Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/07D2D80D-F1AC-4937-B5F6-69D82C9A996F | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.81072 | - |
| Language | en | - |
| Extent | 46 pages | en |
| Title | Distributed machine learning algorithms via geometric monitoring | en |
| Title | Κατανεμημένοι αλγόριθμοι μηχανικής μάθησης μέσω γεωμετρικής παρακολούθησης | el |
| Creator | Konidaris Vissarion-Bertcholnt | en |
| Creator | Κονιδαρης Βησσαριων-Μπερτχολντ | el |
| Contributor [Thesis Supervisor] | Samoladas Vasilis | en |
| Contributor [Thesis Supervisor] | Σαμολαδας Βασιλης | el |
| Contributor [Committee Member] | Garofalakis Minos | en |
| Contributor [Committee Member] | Γαροφαλακης Μινως | el |
| Contributor [Committee Member] | Lagoudakis Michail | en |
| Contributor [Committee Member] | Λαγουδακης Μιχαηλ | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Contemporary deep neural network architectures trained on massive datasets can provenly achieve state-of-the-art performance across a wide variety of domains, from image and speech recognition, to text processing, recommendation systems and fraud detection. With the explosion in the amount of data generated online entering its next phase, we are able to train bigger and deeper neural nets which can dramatically increase performance but also training time. What is more, most of the data is generated or received on different remote machines and its massive nature implies prohibitive communication costs if all data is to be collected at a single site. In view of these problems, much effort has been dedicated the past few years into parallelizing the training procedure of such complex models. We introduce a novel method for scaling up distributed training of deep neural networks using the Functional Geometric Monitoring (FGM) communication protocol, a well studied technique that is used to monitor complex continuous queries on high-volume, rapid distributed streams. This protocol is suitable for classic learning with stationary environment properties, as well as non-stationary ones with concept drift. Our goal is to minimize the prediction loss and network communication at the same time. We demonstrate empirically that the protocol achieves up to 95% less network communication than todays' cutting edge methods, while achieving high predictive performance. | en |
| Content Summary | Οι σύγχρονες αρχιτεκτονικές βαθιών νευρωνικών δικτύων (Deep Neural Networks) μπορούν αποδεδειγμένα πια να επιτύχουν εκπληκτικές επιδόσεις σε ένα ευρύ και ποικίλο φάσμα εφαρμογών. Ο ολοένα και αυξανόμενος ρυθμός παραγωγής ηλεκτρονικών δεδομένων τα τελευταία χρόνια έχει επιτρέψει στην επιστημονική και μη κοινότητα να εκπαιδεύει ολοένα μεγαλύτερα και βαθύτερα νευρωνικά δίκτυα, γεγονός το οποίο αυξάνει την απόδοση τους αλλά ταυτόχρονα και τον χρόνο εκπαίδευσής τους. Επιπρόσθετα, ένας μεγάλος όγκος δεδομένων παράγεται (ή λαμβάνεται) από πολλές διαφορετικές πηγές, με αποτέλεσμα η επικοινωνία που μπορεί να απαιτείται για την κεντρικοποίησή τους σε μια υπολογιστική μηχανή να είναι απαγορευτικά μεγάλη. Τέτοιου είδους προβλήματα έχουν αποτελέσει σημαντικό ερέθισμα για την επιστημονική κοινότητα, ένα μεγάλο μέρος της οποίας έχει επικεντρωθεί τα τελευταία χρόνια στην εφεύρεση αλγορίθμων για την παράλληλη εκπαίδευση των νευρωνικών δικτύων. Παρόλα αυτά, οι σημερινές μέθοδοι παράλληλης εκπαίδευσης τεχνητών νευρωνικών δικτύων, δεν λαμβάνουν υπόψην την εκτεταμένη επικοινωνία που μπορεί να προκαλέσουν στην εκάστοτε κατανεμημένη τοπολογία, γεγονός που μπορεί για λόγου χάρη να αποβεί ενεργειακά κοστοβόρο σε κατανεμημένα συστήματα αισθητήρων. Σε αυτή την εργασία παρουσιάζουμε μια πρωτοπόρα μέθοδο για την παράλληλη εκπαίδευση νευρωνικών δικτύων χρησιμοποιώντας τη μέθοδο Functional Geometric Monitoring, ένα πρωτόκολλο επικοινωνίας για την παρακολούθηση κατανεμημένων ροών δεδομένων. Στόχος της μελέτης αυτής ήταν η μεγιστοποίηση της απόδοσης του κεντρικού νευρωνικού και η ελαχιστοποίηση της επικοινωνίας της κατανεμημένης τοπολογίας. Αποδεικνύουμε εμπειρικά ότι η προσέγγισή μας επιτυγχάνει μέχρι και 95% μείωση της επικοινωνίας της κατανεμημένης τοπολογίας αστέρα, ενώ παράλληλα διατηρεί υψηλή την ποιότητα των προβλέψεων ενός βαθιού συνελικτικού νευρωνικού δικτύου (Deep Convolutional Neural Network) και ενός απλού Adaptive Online Sequential Extreme Learning Machine (AOS-ELM) ταξινομητή. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by-nc-sa/4.0/ | en |
| Date of Item | 2019-02-20 | - |
| Date of Publication | 2019 | - |
| Subject | Online learning | en |
| Subject | Distributed systems | en |
| Subject | Distributed streams | en |
| Subject | Deep learning | en |
| Subject | Μηχανική μάθηση | el |
| Subject | Machine learning | en |
| Bibliographic Citation | Vissarion-Bertcholnt Konidaris, "Distributed machine learning algorithms via geometric monitoring", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2019 | en |
| Bibliographic Citation | Βησσαρίων-Μπέρτχολντ Κονιδάρης, "Κατανεμημένοι αλγόριθμοι μηχανικής μάθησης μέσω γεωμετρικής παρακολούθησης", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2019 | el |
Copyright © DIAS 2013
