Αναζήτηση

Πλοήγηση

• Κοινότητες
• Συγγραφείς
• Έτος
• Τίτλοι
• Θέματα

Ο Χώρος μου

• Είσοδος

Μηχανή αποδοτικής σύνοψης ροών δεδομένων με Kafka και Kafka streams μικροϋπηρεσίες

Kalfakis Georgios-Panagiotis

Πλήρης Εγγραφή

---

Περίληψη

Σε αυτή την εργασία, παρουσιάζεται ένα παράδειγμα συντήρησης συνόψεων ροών δεδομένων με τη μορφή κατανεμημένων μικροϋπηρεσιών, που ονομάζεται Synopses as a MicroService, και υλοποιείτε πάνω στο Apache Kafka και Kafka Streams. Το SaaMS έχει σχεδιαστεί για περίληψη και ανάλυση ροών δεδομένων σε πραγματικό χρόνο. Επίσης, το SaaMS εμπεριέχει μία ενσωματωμένη βιβλιοθήκη με αλγορίθμους συνόψεων που χρησιμοποιούνται για την παραγωγή περιλήψεων με δυνατότητα επεκτάσεις με νέες τεχνικές συνόψεων. Ως εκ τούτου, (α) έχει μια καινοτόμο αρχιτεκτονική που εφαρμόζει δυναμικά την κλιμακωσιμότητα που θέλουμε με βάση τις υπολογιστικές ανάγκες, (β) διατηρεί μεγάλο όγκο συνόψεων ταυτόχρονα, με υψηλή απόδοση και ανοχή σε σφάλματα, (γ) παρέχει μια επεκτάσιμη βιβλιοθήκη για ανάλυση σε πραγματικό χρόνο, (δ) παρέχει πειραματική τεκμηρίωση χρησιμοποιώντας πραγματικά δεδομένα χρηματιστηρίου. Το SaaMS μπορεί να διαχειρίζεται την επεξεργασία και την ανάλυση μεγάλων όγκων δεδομένων επειδή εκμεταλλεύεται (i) Οριζόντια κλιμακωσιμότητα, δηλαδή, την εκμετάλλευση περίπλοκων μηχανισμών που έχει το Kafka ώστε να διαμερίζει τον φόρτο εργασίας πετυχαίνοντας μέγιστη απόδοση και μικρή καθυστέρηση, (ii) Κάθετη κλιμακωσιμότητα, δηλαδή, την ικανότητα για αύξηση των υπολογισμών με τον αριθμό των επεξεργασμένων ροών, (iii) Ομοσπονδιακή κλιμακωσιμότητα, δηλαδή, την δεξιότητα επεξεργασίας δεδομένων σε πολλά κατανεμημένα περιβάλλοντα ακόμα και αν είναι γεωγραφικά διασκορπισμένα.

Διαθέσιμα αρχεία

Υπηρεσίες