Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/0569DC4B-8A26-4026-9964-7F802533074C | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.89431 | - |
| Language | en | - |
| Extent | 5 megabytes | en |
| Extent | 41 pages | el |
| Title | Distributed k-Means streaming algorithms in Spark | en |
| Title | Κατανεμημένοι αλγόριθμοι Κ-Μέσων στο σύστημα Spark | el |
| Creator | Kyriakidou Ioanna | en |
| Creator | Κυριακιδου Ιωαννα | el |
| Contributor [Thesis Supervisor] | Deligiannakis Antonios | en |
| Contributor [Thesis Supervisor] | Δεληγιαννακης Αντωνιος | el |
| Contributor [Committee Member] | Garofalakis Minos | en |
| Contributor [Committee Member] | Γαροφαλακης Μινως | el |
| Contributor [Committee Member] | Lagoudakis Michail | en |
| Contributor [Committee Member] | Λαγουδακης Μιχαηλ | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | K-means is one of the most commonly used clustering algorithms that clusters the multi-dimensional data points into a predefined number of clusters. When data arrives in a stream, there is a need to estimate clusters dynamically, updating them on arrival. In this thesis, we will apply a sampling technique using a data structure called coreset trees, before any approximation algorithm is applied. Coresets are used to obtain a small weighted sample from the data stream. Using coresets in a tree-like form we successfully speed up the process of computing a summary of the original data. The advantage of such a coreset is that we can apply any clustering algorithm on a much smaller sample to compute a solution for the original dataset faster. In the second step, we are using a StreamKM++ to estimate the cluster centres of the summary. We evaluate the algorithm on how the parallelism level impacts the time needed to extract the clusters, finally we compare the consistency within clusters of data conclusions about the usage of coreset trees as a distributed sampling method. | en |
| Content Summary | Ο αλγόριθμος K-means είναι ένας από τους πιο αποτελεσματικούς αλγόριθμους για την ομαδοποίηση (clustering) πολυδιάστατων δεδομένων σε ένα προκαθορισμένο αριθμό ομάδων (clusters). Όταν τα δεδομένα έρχονται σε stream, θέλουμε να υπολογίζουμε με δυναμικό τρόπο τις ομάδες που έχουμε και να τις ενημερώνουμε για κάθε νέα εισαγωγή. Σε αυτή τη διπλωματική εργασία, εφαρμόζουμε μια τεχνική δειγματοληψίας (sampling) χρησιμοποιώντας ως δομή δεδομένων τα Coreset Trees πριν εφαρμόσουμε κάποιον αλγόριθμο προσέγγισης δεδομένων. Τα coresets χρησιμοποιούνται για να δημιουργήσουμε ένα μικρό σταθμισμένο δείγμα από μια ροή δεδομένων. Επιπλέον, όταν χρησιμοποιήσουμε τα coresets ως μια δενδρική δομή καταφέρνουμε να επιταχύνουμε την διαδικασία δημιουργίας μιας σύνοψης των αρχικών δεδομένων. Η χρήση των coresets μας δίνει το πλεονέκτημα να εφαρμόσουμε έναν αλγόριθμο ομαδοποίησης σε ένα πολύ μικρότερο δείγμα και να υπολογίσουμε το αποτέλεσμα του αρχικού stream ταχύτερα. Στο αποτέλεσμα της σύνοψης που δημιουργήσαμε με χρήση των coreset trees εφαρμόζουμε τον k-means αλγόριθμο για να εξάγουμε τα clusters. Αξιολογούμε τον αλγόριθμο ως προς τον βαθμό παραλληλισμού και την ακρίβεια των κέντρων της σύνοψης. Τέλος, καταλήγουμε σε συμπεράσματα για την χρήση των coreset trees ως κατανεμημένη μέθοδο δειγματοληψίας. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2021-06-22 | - |
| Date of Publication | 2021 | - |
| Subject | k-Means | en |
| Subject | Data mining | en |
| Subject | Streaming algorithms | en |
| Bibliographic Citation | Ioanna Kyriakidou, "Distributed k-Means streaming algorithms in Spark", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2021 | en |
| Bibliographic Citation | Ιωάννα Κυριακίδου, "Κατανεμημένοι αλγόριθμοι Κ-Μέσων στο σύστημα Spark", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2021 | el |
Copyright © DIAS 2013
