Institutional Repository
Technical University of Crete
EN  |  EL



My Space

Distributed machine learning algorithms via geometric monitoring

Konidaris Vissarion-Bertcholnt

Simple record

Extent46 pagesen
TitleDistributed machine learning algorithms via geometric monitoringen
TitleΚατανεμημένοι αλγόριθμοι μηχανικής μάθησης μέσω γεωμετρικής παρακολούθησηςel
CreatorKonidaris Vissarion-Bertcholnten
CreatorΚονιδαρης Βησσαριων-Μπερτχολντel
Contributor [Thesis Supervisor]Samoladas Vasilisen
Contributor [Thesis Supervisor]Σαμολαδας Βασιληςel
Contributor [Committee Member]Garofalakis Minosen
Contributor [Committee Member]Γαροφαλακης Μινωςel
Contributor [Committee Member]Lagoudakis Michailen
Contributor [Committee Member]Λαγουδακης Μιχαηλel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
Content SummaryContemporary deep neural network architectures trained on massive datasets can provenly achieve state-of-the-art performance across a wide variety of domains, from image and speech recognition, to text processing, recommendation systems and fraud detection. With the explosion in the amount of data generated online entering its next phase, we are able to train bigger and deeper neural nets which can dramatically increase performance but also training time. What is more, most of the data is generated or received on different remote machines and its massive nature implies prohibitive communication costs if all data is to be collected at a single site. In view of these problems, much effort has been dedicated the past few years into parallelizing the training procedure of such complex models. We introduce a novel method for scaling up distributed training of deep neural networks using the Functional Geometric Monitoring (FGM) communication protocol, a well studied technique that is used to monitor complex continuous queries on high-volume, rapid distributed streams. This protocol is suitable for classic learning with stationary environment properties, as well as non-stationary ones with concept drift. Our goal is to minimize the prediction loss and network communication at the same time. We demonstrate empirically that the protocol achieves up to 95% less network communication than todays' cutting edge methods, while achieving high predictive performance.en
Content SummaryΟι σύγχρονες αρχιτεκτονικές βαθιών νευρωνικών δικτύων (Deep Neural Networks) μπορούν αποδεδειγμένα πια να επιτύχουν εκπληκτικές επιδόσεις σε ένα ευρύ και ποικίλο φάσμα εφαρμογών. Ο ολοένα και αυξανόμενος ρυθμός παραγωγής ηλεκτρονικών δεδομένων τα τελευταία χρόνια έχει επιτρέψει στην επιστημονική και μη κοινότητα να εκπαιδεύει ολοένα μεγαλύτερα και βαθύτερα νευρωνικά δίκτυα, γεγονός το οποίο αυξάνει την απόδοση τους αλλά ταυτόχρονα και τον χρόνο εκπαίδευσής τους. Επιπρόσθετα, ένας μεγάλος όγκος δεδομένων παράγεται (ή λαμβάνεται) από πολλές διαφορετικές πηγές, με αποτέλεσμα η επικοινωνία που μπορεί να απαιτείται για την κεντρικοποίησή τους σε μια υπολογιστική μηχανή να είναι απαγορευτικά μεγάλη. Τέτοιου είδους προβλήματα έχουν αποτελέσει σημαντικό ερέθισμα για την επιστημονική κοινότητα, ένα μεγάλο μέρος της οποίας έχει επικεντρωθεί τα τελευταία χρόνια στην εφεύρεση αλγορίθμων για την παράλληλη εκπαίδευση των νευρωνικών δικτύων. Παρόλα αυτά, οι σημερινές μέθοδοι παράλληλης εκπαίδευσης τεχνητών νευρωνικών δικτύων, δεν λαμβάνουν υπόψην την εκτεταμένη επικοινωνία που μπορεί να προκαλέσουν στην εκάστοτε κατανεμημένη τοπολογία, γεγονός που μπορεί για λόγου χάρη να αποβεί ενεργειακά κοστοβόρο σε κατανεμημένα συστήματα αισθητήρων. Σε αυτή την εργασία παρουσιάζουμε μια πρωτοπόρα μέθοδο για την παράλληλη εκπαίδευση νευρωνικών δικτύων χρησιμοποιώντας τη μέθοδο Functional Geometric Monitoring, ένα πρωτόκολλο επικοινωνίας για την παρακολούθηση κατανεμημένων ροών δεδομένων. Στόχος της μελέτης αυτής ήταν η μεγιστοποίηση της απόδοσης του κεντρικού νευρωνικού και η ελαχιστοποίηση της επικοινωνίας της κατανεμημένης τοπολογίας. Αποδεικνύουμε εμπειρικά ότι η προσέγγισή μας επιτυγχάνει μέχρι και 95% μείωση της επικοινωνίας της κατανεμημένης τοπολογίας αστέρα, ενώ παράλληλα διατηρεί υψηλή την ποιότητα των προβλέψεων ενός βαθιού συνελικτικού νευρωνικού δικτύου (Deep Convolutional Neural Network) και ενός απλού Adaptive Online Sequential Extreme Learning Machine (AOS-ELM) ταξινομητή.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Date of Item2019-02-20-
Date of Publication2019-
SubjectOnline learningen
SubjectDistributed systemsen
SubjectDistributed streamsen
SubjectDeep learningen
SubjectΜηχανική μάθησηel
SubjectMachine learningen
Bibliographic CitationVissarion-Bertcholnt Konidaris, "Distributed machine learning algorithms via geometric monitoring", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2019en
Bibliographic CitationΒησσαρίων-Μπέρτχολντ Κονιδάρης, "Κατανεμημένοι αλγόριθμοι μηχανικής μάθησης μέσω γεωμετρικής παρακολούθησης", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2019el

Available Files