Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
EN  |  EL

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Κατανεμημένοι αλγόριθμοι μηχανικής μάθησης μέσω γεωμετρικής παρακολούθησης

Konidaris Vissarion-Bertcholnt

Απλή Εγγραφή


URIhttp://purl.tuc.gr/dl/dias/07D2D80D-F1AC-4937-B5F6-69D82C9A996F-
Γλώσσαen-
Μέγεθος46 pagesen
ΤίτλοςDistributed machine learning algorithms via geometric monitoringen
ΤίτλοςΚατανεμημένοι αλγόριθμοι μηχανικής μάθησης μέσω γεωμετρικής παρακολούθησηςel
ΔημιουργόςKonidaris Vissarion-Bertcholnten
ΔημιουργόςΚονιδαρης Βησσαριων-Μπερτχολντel
Συντελεστής [Επιβλέπων Καθηγητής]Samoladas Vasilisen
Συντελεστής [Επιβλέπων Καθηγητής]Σαμολαδας Βασιληςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Garofalakis Minosen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Γαροφαλακης Μινωςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Lagoudakis Michailen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Λαγουδακης Μιχαηλel
ΕκδότηςΠολυτεχνείο Κρήτηςel
ΕκδότηςTechnical University of Creteen
Ακαδημαϊκή ΜονάδαTechnical University of Crete::School of Electrical and Computer Engineeringen
Ακαδημαϊκή ΜονάδαΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
ΠερίληψηContemporary deep neural network architectures trained on massive datasets can provenly achieve state-of-the-art performance across a wide variety of domains, from image and speech recognition, to text processing, recommendation systems and fraud detection. With the explosion in the amount of data generated online entering its next phase, we are able to train bigger and deeper neural nets which can dramatically increase performance but also training time. What is more, most of the data is generated or received on different remote machines and its massive nature implies prohibitive communication costs if all data is to be collected at a single site. In view of these problems, much effort has been dedicated the past few years into parallelizing the training procedure of such complex models. We introduce a novel method for scaling up distributed training of deep neural networks using the Functional Geometric Monitoring (FGM) communication protocol, a well studied technique that is used to monitor complex continuous queries on high-volume, rapid distributed streams. This protocol is suitable for classic learning with stationary environment properties, as well as non-stationary ones with concept drift. Our goal is to minimize the prediction loss and network communication at the same time. We demonstrate empirically that the protocol achieves up to 95% less network communication than todays' cutting edge methods, while achieving high predictive performance.en
ΠερίληψηΟι σύγχρονες αρχιτεκτονικές βαθιών νευρωνικών δικτύων (Deep Neural Networks) μπορούν αποδεδειγμένα πια να επιτύχουν εκπληκτικές επιδόσεις σε ένα ευρύ και ποικίλο φάσμα εφαρμογών. Ο ολοένα και αυξανόμενος ρυθμός παραγωγής ηλεκτρονικών δεδομένων τα τελευταία χρόνια έχει επιτρέψει στην επιστημονική και μη κοινότητα να εκπαιδεύει ολοένα μεγαλύτερα και βαθύτερα νευρωνικά δίκτυα, γεγονός το οποίο αυξάνει την απόδοση τους αλλά ταυτόχρονα και τον χρόνο εκπαίδευσής τους. Επιπρόσθετα, ένας μεγάλος όγκος δεδομένων παράγεται (ή λαμβάνεται) από πολλές διαφορετικές πηγές, με αποτέλεσμα η επικοινωνία που μπορεί να απαιτείται για την κεντρικοποίησή τους σε μια υπολογιστική μηχανή να είναι απαγορευτικά μεγάλη. Τέτοιου είδους προβλήματα έχουν αποτελέσει σημαντικό ερέθισμα για την επιστημονική κοινότητα, ένα μεγάλο μέρος της οποίας έχει επικεντρωθεί τα τελευταία χρόνια στην εφεύρεση αλγορίθμων για την παράλληλη εκπαίδευση των νευρωνικών δικτύων. Παρόλα αυτά, οι σημερινές μέθοδοι παράλληλης εκπαίδευσης τεχνητών νευρωνικών δικτύων, δεν λαμβάνουν υπόψην την εκτεταμένη επικοινωνία που μπορεί να προκαλέσουν στην εκάστοτε κατανεμημένη τοπολογία, γεγονός που μπορεί για λόγου χάρη να αποβεί ενεργειακά κοστοβόρο σε κατανεμημένα συστήματα αισθητήρων. Σε αυτή την εργασία παρουσιάζουμε μια πρωτοπόρα μέθοδο για την παράλληλη εκπαίδευση νευρωνικών δικτύων χρησιμοποιώντας τη μέθοδο Functional Geometric Monitoring, ένα πρωτόκολλο επικοινωνίας για την παρακολούθηση κατανεμημένων ροών δεδομένων. Στόχος της μελέτης αυτής ήταν η μεγιστοποίηση της απόδοσης του κεντρικού νευρωνικού και η ελαχιστοποίηση της επικοινωνίας της κατανεμημένης τοπολογίας. Αποδεικνύουμε εμπειρικά ότι η προσέγγισή μας επιτυγχάνει μέχρι και 95% μείωση της επικοινωνίας της κατανεμημένης τοπολογίας αστέρα, ενώ παράλληλα διατηρεί υψηλή την ποιότητα των προβλέψεων ενός βαθιού συνελικτικού νευρωνικού δικτύου (Deep Convolutional Neural Network) και ενός απλού Adaptive Online Sequential Extreme Learning Machine (AOS-ELM) ταξινομητή.el
ΤύποςΔιπλωματική Εργασίαel
ΤύποςDiploma Worken
Άδεια Χρήσηςhttp://creativecommons.org/licenses/by-nc-sa/4.0/en
Ημερομηνία2019-02-20-
Ημερομηνία Δημοσίευσης2019-
Θεματική ΚατηγορίαOnline learningen
Θεματική ΚατηγορίαDistributed systemsen
Θεματική ΚατηγορίαDistributed streamsen
Θεματική ΚατηγορίαDeep learningen
Θεματική ΚατηγορίαΜηχανική μάθησηel
Θεματική ΚατηγορίαMachine learningen
Βιβλιογραφική ΑναφοράVissarion-Bertcholnt Konidaris, "Distributed machine learning algorithms via geometric monitoring", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2019en
Βιβλιογραφική ΑναφοράΒησσαρίων-Μπέρτχολντ Κονιδάρης, "Κατανεμημένοι αλγόριθμοι μηχανικής μάθησης μέσω γεωμετρικής παρακολούθησης", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2019el

Διαθέσιμα αρχεία

Υπηρεσίες

Στατιστικά