Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/02E820B1-D8E6-45DF-ACFA-7C37D76F29DA | - |
| Αναγνωριστικό | https://doi.org/10.26233/heallink.tuc.70468 | - |
| Γλώσσα | en | - |
| Μέγεθος | 50 pages | en |
| Τίτλος | Outlier detection using Spark Streaming | en |
| Τίτλος | Ανίχνευση δεδομένων άτυπης συμπεριφοράς με το σύστημα Spark Streaming | el |
| Δημιουργός | Psarakis Kyriakos | en |
| Δημιουργός | Ψαρακης Κυριακος | el |
| Συντελεστής [Επιβλέπων Καθηγητής] | Deligiannakis Antonios | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Δεληγιαννακης Αντωνιος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Garofalakis Minos | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Γαροφαλακης Μινως | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Lagoudakis Michael | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Λαγουδακης Μιχαηλ | el |
| Εκδότης | Πολυτεχνείο Κρήτης | el |
| Εκδότης | Technical University of Crete | en |
| Ακαδημαϊκή Μονάδα | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Ακαδημαϊκή Μονάδα | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Περίληψη | Data is continuously being generated from sources such as machines, network traffic, sensor networks, etc. Timely and accurate detection of outliers in massive data streams has important applications such as in preventing machine failures, intrusion detection, and financial fraud detection. In this thesis, we implement an outlier detection algorithm inside the Spark Streaming environment that, makes only one pass over the data while utilizing limited storage. We chose the Spark Streaming environment because it offers scalable, high-throughput, fault-tolerant stream processing of live data streams. The algorithm adapts ideas from matrix sketching to maintain a set of few orthogonal vectors that form a good approximate basis for all the observed data. Using this constructed orthogonal basis, outliers in new incoming data are detected based on a simple reconstruction error test. Additionally, we have implemented two methods for updating the orthogonal vectors one deterministic and one randomized to further speedup the algorithm with a small cost to accuracy. | en |
| Τύπος | Διπλωματική Εργασία | el |
| Τύπος | Diploma Work | en |
| Άδεια Χρήσης | http://creativecommons.org/licenses/by/4.0/ | en |
| Ημερομηνία | 2017-12-19 | - |
| Ημερομηνία Δημοσίευσης | 2017 | - |
| Θεματική Κατηγορία | Data streams | en |
| Θεματική Κατηγορία | Outlier detection | en |
| Βιβλιογραφική Αναφορά | Kyriakos Psarakis, "Outlier detection using Spark Streaming", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2017 | en |
| Βιβλιογραφική Αναφορά | Κυριάκος Ψαράκης, "Ανίχνευση δεδομένων άτυπης συμπεριφοράς με το σύστημα Spark Streaming", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2017 | el |
Copyright © DIAS 2013
