Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/B8BFB68A-9186-4131-A568-E0D61948D48F | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.99743 | - |
| Language | en | - |
| Extent | 9.5 megabytes | en |
| Extent | 76 pages | en |
| Title | An engine for efficient data stream summarization using Kafka and Kafka streams microservices | en |
| Title | Μηχανή αποδοτικής σύνοψης ροών δεδομένων με Kafka και Kafka streams μικροϋπηρεσίες | el |
| Creator | Kalfakis Georgios-Panagiotis | en |
| Creator | Καλφακης Γεωργιος-Παναγιωτης | el |
| Contributor [Thesis Supervisor] | Giatrakos Nikolaos | en |
| Contributor [Thesis Supervisor] | Γιατρακος Νικολαος | el |
| Contributor [Committee Member] | Deligiannakis Antonios | en |
| Contributor [Committee Member] | Δεληγιαννακης Αντωνιος | el |
| Contributor [Committee Member] | Garofalakis Minos | en |
| Contributor [Committee Member] | Γαροφαλακης Μινως | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | In this work, we introduce a novel stream summary maintenance paradigm in the form of distributed microservices, namely Synopses as a MicroService, and we implement this paradigm on top of Apache Kafka and Kafka Streams Microservices. SaaMS is designed for real-time stream summarization and analysis over rapid data streams. SaaMS also contains a built-in library with Synopses that is used for producing stream summaries but remains extensible and customizable to new Synopses techniques. In that, (a) it contributes an innovative architecture to gain scalability dynamically based on the necessary computation requirements, (b) maintains a large volume of Synopses, concurrently with high throughput and fault-tolerance, (c) provides an extensible Synopsis library for real-time analysis (d) experimental evaluation provided using real financial data. SaaMS manages large-scale stream processing and analysis because it enables (i) horizontal scalability, i.e., taking advantage of complicated mechanisms that Kafka has for distributing the workload, achieving maximum throughput and minimum latency (ii) vertical scalability, i.e., the ability to scale the computation with the number of processed streams (iii) federated scalability, i.e., data can be processed across multiple distributed environments even in case they are geographically dispersed. | en |
| Content Summary | Σε αυτή την εργασία, παρουσιάζεται ένα παράδειγμα συντήρησης συνόψεων ροών δεδομένων με τη μορφή κατανεμημένων μικροϋπηρεσιών, που ονομάζεται Synopses as a MicroService, και υλοποιείτε πάνω στο Apache Kafka και Kafka Streams. Το SaaMS έχει σχεδιαστεί για περίληψη και ανάλυση ροών δεδομένων σε πραγματικό χρόνο. Επίσης, το SaaMS εμπεριέχει μία ενσωματωμένη βιβλιοθήκη με αλγορίθμους συνόψεων που χρησιμοποιούνται για την παραγωγή περιλήψεων με δυνατότητα επεκτάσεις με νέες τεχνικές συνόψεων. Ως εκ τούτου, (α) έχει μια καινοτόμο αρχιτεκτονική που εφαρμόζει δυναμικά την κλιμακωσιμότητα που θέλουμε με βάση τις υπολογιστικές ανάγκες, (β) διατηρεί μεγάλο όγκο συνόψεων ταυτόχρονα, με υψηλή απόδοση και ανοχή σε σφάλματα, (γ) παρέχει μια επεκτάσιμη βιβλιοθήκη για ανάλυση σε πραγματικό χρόνο, (δ) παρέχει πειραματική τεκμηρίωση χρησιμοποιώντας πραγματικά δεδομένα χρηματιστηρίου. Το SaaMS μπορεί να διαχειρίζεται την επεξεργασία και την ανάλυση μεγάλων όγκων δεδομένων επειδή εκμεταλλεύεται (i) Οριζόντια κλιμακωσιμότητα, δηλαδή, την εκμετάλλευση περίπλοκων μηχανισμών που έχει το Kafka ώστε να διαμερίζει τον φόρτο εργασίας πετυχαίνοντας μέγιστη απόδοση και μικρή καθυστέρηση, (ii) Κάθετη κλιμακωσιμότητα, δηλαδή, την ικανότητα για αύξηση των υπολογισμών με τον αριθμό των επεξεργασμένων ροών, (iii) Ομοσπονδιακή κλιμακωσιμότητα, δηλαδή, την δεξιότητα επεξεργασίας δεδομένων σε πολλά κατανεμημένα περιβάλλοντα ακόμα και αν είναι γεωγραφικά διασκορπισμένα. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by-nc/4.0/ | en |
| Date of Item | 2024-05-28 | - |
| Date of Publication | 2024 | - |
| Subject | High throughput and fault-tolerance | en |
| Subject | Real financial data analysis | en |
| Subject | Extensible synopsis library | en |
| Subject | Horizontal, vertical and federated scalability | en |
| Subject | Apache Kafka and Kafka streams | en |
| Subject | Distributed microservices | en |
| Subject | Real-time stream summarization and analysis | en |
| Bibliographic Citation | Georgios-Panagiotis Kalfakis, "An engine for efficient data stream summarization using Kafka and Kafka streams microservices", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2024 | en |
| Bibliographic Citation | Γεώργιος-Παναγιώτης Καλφάκης, "Μηχανή αποδοτικής σύνοψης ροών δεδομένων με Kafka και Kafka streams μικροϋπηρεσίες", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024 | el |
Copyright © DIAS 2013
