Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/0DC5064A-9D0B-44E9-9317-DA79363A7F86 | - |
| Αναγνωριστικό | https://doi.org/10.26233/heallink.tuc.98259 | - |
| Γλώσσα | en | - |
| Μέγεθος | 74 pages | en |
| Μέγεθος | 3.1 megabytes | en |
| Τίτλος | Federated learning at TensorFlow Using the geometric approach | en |
| Τίτλος | Ομοσπονδοποιημένη μάθηση στο TensorFlow χρησιμοποιώντας τη γεωμετρική μέθοδο | el |
| Δημιουργός | Frangias Georgios | en |
| Δημιουργός | Φραγγιας Γεωργιος | el |
| Συντελεστής [Επιβλέπων Καθηγητής] | Deligiannakis Antonios | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Δεληγιαννακης Αντωνιος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Giatrakos Nikolaos | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Γιατρακος Νικολαος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Samoladas Vasilis | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Σαμολαδας Βασιλης | el |
| Εκδότης | Πολυτεχνείο Κρήτης | el |
| Εκδότης | Technical University of Crete | en |
| Ακαδημαϊκή Μονάδα | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Περίληψη | The rapid growth of data generation and internet usage in recent years has created an unprecedented demand for efficient Big Data collection, processing and analysis. The ever-growing privacy concerns of the public opinion and the enactment of regulations on this subject, induce the need for the development of decentralized, distributed and scalable Machine Learning mechanisms, that can assure both personal data security and high accuracy collective training. The scientific field of Federated Learning is dedicated to achieving exactly that; train a global machine learning model without communicating sensitive locally generated data. For the purpose of the current thesis, we have developed a deployable extension to the Distributed Machine Learning library KungFu, to effortlessly execute Federated Learning training jobs on decentralized compute nodes. The implemented algorithms are the three Functional Dynamic Averaging methods, inspired by the Geometric Approach. These algorithms have the ability to approximately monitor a global threshold function, using solely local data and, subsequently, dynamically determine the need for synchronization and model aggregation. We have put our implementation to the test by executing exhaustive experiments on multi-node GPU infrastructure, and compared it to a classic distributed algorithm. The results demonstrate a significant training time reduction, due to reduced communication overhead, without having repercussions on accuracy, especially for non-ideal network topologies. | en |
| Περίληψη | Η ραγδαία αύξηση της παραγωγής δεδομένων και της χρήσης του διαδικτύου κατά τα τελευταία έτη έχει δημιουργήσει πρωτοφανή ζήτηση για αποδοτική συλλογή, διαχείριση και ανάλυση Μεγάλων Δεδομένων. Οι συνεχώς αυξανόμενες ανησυχίες της κοινής γνώμης για το προσωπικό απόρρητο και η θέσπιση κανονισμών για την διασφάλισή του, παρωθούν την ανάγκη για ανάπτυξη αποκεντρωμένων, κατανεμημένων και επεκτάσιμων μηχανισμών Μηχανικής Μάθησης, οι οποίοι μπορούν να εξασφαλίσουν τόσο την ασφάλεια, όσο και την υψηλής ακρίβειας συλλογική εκπαίδευση. Το επιστημονικό πεδίο της Ομοσπονδοποιημένης Μάθησης εξειδικεύεται ακριβώς σε αυτό: να εκπαιδεύει ένα καθολικό μοντέλο μηχανικής μάθησης, χωρίς την μεταφορά ευαίσθητων τοπικά παραχθέντων δεδομένων. Για τους σκοπούς της παρούσας διπλωματικής εργασίας, δημιουργήθηκε μία αναπτύξιμη επέκταση στην βιβλιοθήκη Κατανεμημένης Μηχανικής Μάθησης KungFu, προκειμένου να διευκολυνθεί η εκτέλεση εργασιών Ομοσπονδοποιημένης Μάθησης, σε αποκεντρωμένους υπολογιστικούς κόμβους. Οι αλγόριθμοι που εφαρμόστηκαν είναι οι τρεις μέθοδοι Functional Dynamic Averaging, εμπνευσμένες από την Γεωμετρική Μέθοδο. Αυτοί οι αλγόριθμοι έχουν την δυνατότητα να επιτηρούν προσεγγιστικά μία καθολική συνάρτηση κατωφλίου, χρησιμοποιώντας αποκλειστικά τοπικά δεδομένα και, επακολούθως, να καθορίζουν την ανάγκη για συγχρονισμό και συνάθροιση των μοντέλων. Η υλοποίηση αυτή δοκιμάστηκε με την εκτέλεση εξαντλητικών πειραμάτων σε υποδομή πολλαπλών GPU, και συγκρίθηκε με έναν συνηθισμένο κατανεμημένο αλγόριθμο. Τα αποτελέσματα επιδεικνύουν σημαντική μείωση στη διάρκεια της εκπαίδευσης, λόγω μείωσης των επιβαρύνσεων επικοινωνίας, χωρίς επιπτώσεις στην ακρίβεια, ειδικότερα σε μη ιδανικές δικτυακές τοπολογίες. | el |
| Τύπος | Διπλωματική Εργασία | el |
| Τύπος | Diploma Work | en |
| Άδεια Χρήσης | http://creativecommons.org/licenses/by/4.0/ | en |
| Ημερομηνία | 2023-12-14 | - |
| Ημερομηνία Δημοσίευσης | 2023 | - |
| Θεματική Κατηγορία | Machine learning | en |
| Θεματική Κατηγορία | Μηχανική μάθηση | el |
| Θεματική Κατηγορία | Ομοσπονδοποιημένη μάθηση | el |
| Θεματική Κατηγορία | Federated learning | en |
| Θεματική Κατηγορία | Κατανεμημένα συστήματα | el |
| Θεματική Κατηγορία | Distributed systems | en |
| Βιβλιογραφική Αναφορά | Georgios Frangias, "Federated learning at TensorFlow using the geometric approach", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023 | en |
| Βιβλιογραφική Αναφορά | Γεώργιος Φραγγιάς, "Ομοσπονδοποιημένη μάθηση στο TensorFlow χρησιμοποιώντας τη γεωμετρική μέθοδο", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023 | el |
Copyright © DIAS 2013
