Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI: | http://purl.tuc.gr/dl/dias/07D2D80D-F1AC-4937-B5F6-69D82C9A996F | ||
| Έτος | 2019 | ||
| Τύπος | Διπλωματική Εργασία | ||
| Άδεια Χρήσης |
|
||
| Βιβλιογραφική Αναφορά | Βησσαρίων-Μπέρτχολντ Κονιδάρης, "Κατανεμημένοι αλγόριθμοι μηχανικής μάθησης μέσω γεωμετρικής παρακολούθησης", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2019 https://doi.org/10.26233/heallink.tuc.81072 | ||
| Εμφανίζεται στις Συλλογές |
Οι σύγχρονες αρχιτεκτονικές βαθιών νευρωνικών δικτύων (Deep Neural Networks) μπορούν αποδεδειγμένα πια να επιτύχουν εκπληκτικές επιδόσεις σε ένα ευρύ και ποικίλο φάσμα εφαρμογών. Ο ολοένα και αυξανόμενος ρυθμός παραγωγής ηλεκτρονικών δεδομένων τα τελευταία χρόνια έχει επιτρέψει στην επιστημονική και μη κοινότητα να εκπαιδεύει ολοένα μεγαλύτερα και βαθύτερα νευρωνικά δίκτυα, γεγονός το οποίο αυξάνει την απόδοση τους αλλά ταυτόχρονα και τον χρόνο εκπαίδευσής τους. Επιπρόσθετα, ένας μεγάλος όγκος δεδομένων παράγεται (ή λαμβάνεται) από πολλές διαφορετικές πηγές, με αποτέλεσμα η επικοινωνία που μπορεί να απαιτείται για την κεντρικοποίησή τους σε μια υπολογιστική μηχανή να είναι απαγορευτικά μεγάλη. Τέτοιου είδους προβλήματα έχουν αποτελέσει σημαντικό ερέθισμα για την επιστημονική κοινότητα, ένα μεγάλο μέρος της οποίας έχει επικεντρωθεί τα τελευταία χρόνια στην εφεύρεση αλγορίθμων για την παράλληλη εκπαίδευση των νευρωνικών δικτύων. Παρόλα αυτά, οι σημερινές μέθοδοι παράλληλης εκπαίδευσης τεχνητών νευρωνικών δικτύων, δεν λαμβάνουν υπόψην την εκτεταμένη επικοινωνία που μπορεί να προκαλέσουν στην εκάστοτε κατανεμημένη τοπολογία, γεγονός που μπορεί για λόγου χάρη να αποβεί ενεργειακά κοστοβόρο σε κατανεμημένα συστήματα αισθητήρων. Σε αυτή την εργασία παρουσιάζουμε μια πρωτοπόρα μέθοδο για την παράλληλη εκπαίδευση νευρωνικών δικτύων χρησιμοποιώντας τη μέθοδο Functional Geometric Monitoring, ένα πρωτόκολλο επικοινωνίας για την παρακολούθηση κατανεμημένων ροών δεδομένων. Στόχος της μελέτης αυτής ήταν η μεγιστοποίηση της απόδοσης του κεντρικού νευρωνικού και η ελαχιστοποίηση της επικοινωνίας της κατανεμημένης τοπολογίας. Αποδεικνύουμε εμπειρικά ότι η προσέγγισή μας επιτυγχάνει μέχρι και 95% μείωση της επικοινωνίας της κατανεμημένης τοπολογίας αστέρα, ενώ παράλληλα διατηρεί υψηλή την ποιότητα των προβλέψεων ενός βαθιού συνελικτικού νευρωνικού δικτύου (Deep Convolutional Neural Network) και ενός απλού Adaptive Online Sequential Extreme Learning Machine (AOS-ELM) ταξινομητή.
Copyright © DIAS 2013
