Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/6D9C3DBE-41AE-497A-8995-219FD655A956 | - |
| Αναγνωριστικό | https://doi.org/10.26233/heallink.tuc.82295 | - |
| Γλώσσα | en | - |
| Μέγεθος | 36 pages | en |
| Τίτλος | Stream data processing in the cloud for real-time anomaly detection | en |
| Τίτλος | Επεξεργασία ροών δεδομένων στο υπολογιστικό νέφος για την ανίχνευση ανωμαλιών | el |
| Δημιουργός | Kostalia Elisavet-Elli | en |
| Δημιουργός | Κωσταλια Ελισαβετ-Ελλη | el |
| Συντελεστής [Επιβλέπων Καθηγητής] | Petrakis Evripidis | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Πετρακης Ευριπιδης | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Samoladas Vasilis | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Σαμολαδας Βασιλης | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Chalkiadakis Georgios | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Χαλκιαδακης Γεωργιος | el |
| Εκδότης | Πολυτεχνείο Κρήτης | el |
| Εκδότης | Technical University of Crete | en |
| Ακαδημαϊκή Μονάδα | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Ακαδημαϊκή Μονάδα | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Περίληψη | In recent years, data stream processing is becoming extremely popular because of the Big Data era and the increasing number of microservices and IoT devices being used, therefore, the development, deployment and management of distributed services are more important than ever. Data gets stored and analyzed in order to provide predictive and actionable results via frameworks, such as Apache Storm that allows distributed real-time computation of tons of data coming in extremely fast, from various sources. Non-functional requirements often demand a highly-available, high-throughput, fault-tolerant and massively scalable solution. In this context, Apache Kafka is used as a publish-subscribe messaging system that will serve as a broker between various data sources. In our implementation, all services above can reach their highest utility when deployed in containers. This way, the implementation takes advantage of the virtualization features of cloud computing. We ran several experiments based on a simulated (but realistic) use case scenario for detecting un-authorized system accesses (anomalies) in real time. The project runs a distributed cluster of Apache Storm worker nodes (implemented as separate containers) that process incoming data, and uses decision tree classifiers to detect anomalies based on a given dataset. The experimental results demonstrates that Amanda application responds to the increasing resource demands of the application leading to significantly faster response times while more workers are deployed distributed compared to a non-distributed implementation where all service requests are handled by the maximum statically pre-allocated resources. | en |
| Περίληψη | Τα τελευταία χρόνια, η επεξεργασία ροών δεδομένων έχει γίνει εξαιρετικά δημοφιλής, κυρίως λόγω της εποχής του μεγάλου όγκου δεδομένων και του αυξανόμενου αριθμού μικροϋπηρεσιών και συσκευών στο Διαδίκτυο των Πραγμάτων, επομένως η ανάπτυξη, υλοποίηση και διαχείριση των κατανεμημένων υπηρεσιών είναι πιο σημαντική από ποτέ. Τα δεδομένα αποθηκεύονται και αναλύονται για να παρέχουν προβλέψιμα αποτελέσματα τα οποία θα μπορούν να αποτελέσουν μέσο αποφάσεων, μέσω πλατφορμών, όπως το Apache Storm, που επιτρέπει τoν κατανεμημένo υπολογισμό του μεγάλου όγκου δεδομένων σε πραγματικό χρόνο που εισέρχονται με εξαιρετικά γρήγορους ρυθμούς, από διαφορετικές πηγές. Οι μη λειτουργικές απαιτήσεις συχνά απαιτούν μια εξαιρετικά διαθέσιμη, υψηλής απόδοσης, fault-tolerant και μαζικά κλιμακούμενη λύση. Στη λειτουργία του Apache Storm έρχεται να προστεθεί και το Apache Kafka το οποίο χρησιμοποιείται ως σύστημα publish-subscribe messaging που θα λειτουργεί ως broker μεταξύ των διαφόρων πηγών δεδομένων. Όλες οι παραπάνω υπηρεσίες μπορούν να επιτύχουν την υψηλότερη αποτελεσματικότητα τους όταν αναπτυχθούν σε περιβάλλον containers αφού η ανάπτυξη εφαρμογών σε containers παρέχει τις δυνατότητες μιας κατανεμημένης εφαρμογής, αφού κάθε container λειτουργεί ανεξάρτητα από τα υπόλοιπα, χρησιμοποιώντας ελάχιστους πόρους από τον κεντρικό υπολογιστή και προσφέροντας ασφάλεια και ευελιξία. Με αυτόν τον τρόπο, η συγκεκριμένη εφαρμογή εκμεταλλεύεται τα πλεονεκτήματα της εικονοποίησης και του προγραμματισμού στο υπολογιστικό νέφος. Πραγματοποιήσαμε διάφορα πειράματα με βάση ένα προσομοιωμένο (αλλά ρεαλιστικό) σενάριο χρήσης. Η εργασία εκτελέστηκε σε ένα κατανεμημένο cluster Apache Storm σε πραγματικό χρόνο που επεξεργάζεται εισερχόμενα πακέτα δεδομένων δικτύου και χρησιμοποιεί αλγόριθμους Machine Learning και ως classifiers δέντρα αποφάσεων για την ανίχνευση εισβολέων. Τα πειραματικά αποτελέσματα καταδεικνύουν ότι το σύστημά μας ανταποκρίνεται στις αυξανόμενες απαιτήσεις πόρων της εφαρμογής που οδηγούν σε σημαντικά ταχύτερους χρόνους απόκρισης καθώς αυξάνεται ο αριθμός των workers και αξιοποιείται το κατανεμημένο σύστημα, σε σύγκριση με μια μη κατανεμημένη υλοποίηση όπου όλα τα αιτήματα για κλήση υπηρεσιών απασχολούνται από το μέγιστο αριθμό προκαθορισμένων υπολογιστικών πόρων. | el |
| Τύπος | Διπλωματική Εργασία | el |
| Τύπος | Diploma Work | en |
| Άδεια Χρήσης | http://creativecommons.org/licenses/by/4.0/ | en |
| Ημερομηνία | 2019-06-27 | - |
| Ημερομηνία Δημοσίευσης | 2019 | - |
| Θεματική Κατηγορία | Stream data processing | en |
| Θεματική Κατηγορία | Containerization | en |
| Θεματική Κατηγορία | Cloud computing | en |
| Βιβλιογραφική Αναφορά | Elisavet-Elli Kostalia, "Stream data processing in the cloud for real-time anomaly detection", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2019 | en |
| Βιβλιογραφική Αναφορά | Ελισάβετ-Έλλη Κωσταλία, "Επεξεργασία ροών δεδομένων στο υπολογιστικό νέφος για την ανίχνευση ανωμαλιών", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2019 | el |
Copyright © DIAS 2013
