Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/B8BFB68A-9186-4131-A568-E0D61948D48F | - |
| Αναγνωριστικό | https://doi.org/10.26233/heallink.tuc.99743 | - |
| Γλώσσα | en | - |
| Μέγεθος | 9.5 megabytes | en |
| Μέγεθος | 76 pages | en |
| Τίτλος | An engine for efficient data stream summarization using Kafka and Kafka streams microservices | en |
| Τίτλος | Μηχανή αποδοτικής σύνοψης ροών δεδομένων με Kafka και Kafka streams μικροϋπηρεσίες | el |
| Δημιουργός | Kalfakis Georgios-Panagiotis | en |
| Δημιουργός | Καλφακης Γεωργιος-Παναγιωτης | el |
| Συντελεστής [Επιβλέπων Καθηγητής] | Giatrakos Nikolaos | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Γιατρακος Νικολαος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Deligiannakis Antonios | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Δεληγιαννακης Αντωνιος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Garofalakis Minos | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Γαροφαλακης Μινως | el |
| Εκδότης | Πολυτεχνείο Κρήτης | el |
| Εκδότης | Technical University of Crete | en |
| Ακαδημαϊκή Μονάδα | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Ακαδημαϊκή Μονάδα | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Περίληψη | In this work, we introduce a novel stream summary maintenance paradigm in the form of distributed microservices, namely Synopses as a MicroService, and we implement this paradigm on top of Apache Kafka and Kafka Streams Microservices. SaaMS is designed for real-time stream summarization and analysis over rapid data streams. SaaMS also contains a built-in library with Synopses that is used for producing stream summaries but remains extensible and customizable to new Synopses techniques. In that, (a) it contributes an innovative architecture to gain scalability dynamically based on the necessary computation requirements, (b) maintains a large volume of Synopses, concurrently with high throughput and fault-tolerance, (c) provides an extensible Synopsis library for real-time analysis (d) experimental evaluation provided using real financial data. SaaMS manages large-scale stream processing and analysis because it enables (i) horizontal scalability, i.e., taking advantage of complicated mechanisms that Kafka has for distributing the workload, achieving maximum throughput and minimum latency (ii) vertical scalability, i.e., the ability to scale the computation with the number of processed streams (iii) federated scalability, i.e., data can be processed across multiple distributed environments even in case they are geographically dispersed. | en |
| Περίληψη | Σε αυτή την εργασία, παρουσιάζεται ένα παράδειγμα συντήρησης συνόψεων ροών δεδομένων με τη μορφή κατανεμημένων μικροϋπηρεσιών, που ονομάζεται Synopses as a MicroService, και υλοποιείτε πάνω στο Apache Kafka και Kafka Streams. Το SaaMS έχει σχεδιαστεί για περίληψη και ανάλυση ροών δεδομένων σε πραγματικό χρόνο. Επίσης, το SaaMS εμπεριέχει μία ενσωματωμένη βιβλιοθήκη με αλγορίθμους συνόψεων που χρησιμοποιούνται για την παραγωγή περιλήψεων με δυνατότητα επεκτάσεις με νέες τεχνικές συνόψεων. Ως εκ τούτου, (α) έχει μια καινοτόμο αρχιτεκτονική που εφαρμόζει δυναμικά την κλιμακωσιμότητα που θέλουμε με βάση τις υπολογιστικές ανάγκες, (β) διατηρεί μεγάλο όγκο συνόψεων ταυτόχρονα, με υψηλή απόδοση και ανοχή σε σφάλματα, (γ) παρέχει μια επεκτάσιμη βιβλιοθήκη για ανάλυση σε πραγματικό χρόνο, (δ) παρέχει πειραματική τεκμηρίωση χρησιμοποιώντας πραγματικά δεδομένα χρηματιστηρίου. Το SaaMS μπορεί να διαχειρίζεται την επεξεργασία και την ανάλυση μεγάλων όγκων δεδομένων επειδή εκμεταλλεύεται (i) Οριζόντια κλιμακωσιμότητα, δηλαδή, την εκμετάλλευση περίπλοκων μηχανισμών που έχει το Kafka ώστε να διαμερίζει τον φόρτο εργασίας πετυχαίνοντας μέγιστη απόδοση και μικρή καθυστέρηση, (ii) Κάθετη κλιμακωσιμότητα, δηλαδή, την ικανότητα για αύξηση των υπολογισμών με τον αριθμό των επεξεργασμένων ροών, (iii) Ομοσπονδιακή κλιμακωσιμότητα, δηλαδή, την δεξιότητα επεξεργασίας δεδομένων σε πολλά κατανεμημένα περιβάλλοντα ακόμα και αν είναι γεωγραφικά διασκορπισμένα. | el |
| Τύπος | Διπλωματική Εργασία | el |
| Τύπος | Diploma Work | en |
| Άδεια Χρήσης | http://creativecommons.org/licenses/by-nc/4.0/ | en |
| Ημερομηνία | 2024-05-28 | - |
| Ημερομηνία Δημοσίευσης | 2024 | - |
| Θεματική Κατηγορία | High throughput and fault-tolerance | en |
| Θεματική Κατηγορία | Real financial data analysis | en |
| Θεματική Κατηγορία | Extensible synopsis library | en |
| Θεματική Κατηγορία | Horizontal, vertical and federated scalability | en |
| Θεματική Κατηγορία | Apache Kafka and Kafka streams | en |
| Θεματική Κατηγορία | Distributed microservices | en |
| Θεματική Κατηγορία | Real-time stream summarization and analysis | en |
| Βιβλιογραφική Αναφορά | Georgios-Panagiotis Kalfakis, "An engine for efficient data stream summarization using Kafka and Kafka streams microservices", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2024 | en |
| Βιβλιογραφική Αναφορά | Γεώργιος-Παναγιώτης Καλφάκης, "Μηχανή αποδοτικής σύνοψης ροών δεδομένων με Kafka και Kafka streams μικροϋπηρεσίες", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024 | el |
Copyright © DIAS 2013
