Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/61C1777B-2094-479C-8BDA-81DA3E994BC3 | - |
| Αναγνωριστικό | https://doi.org/10.26233/heallink.tuc.103444 | - |
| Γλώσσα | en | - |
| Μέγεθος | 82 pages | en |
| Τίτλος | Communication-Efficient federated deep learning via dynamic averaging | en |
| Τίτλος | Αποτελεσματικοί σε επικοινωνία αλγόριθμοι βαθιάς μάθησης μέσω δυναμικού μέσου όρου | el |
| Δημιουργός | Theologitis Michail | en |
| Δημιουργός | Θεολογιτης Μιχαηλ | el |
| Συντελεστής [Επιβλέπων Καθηγητής] | Samoladas Vasilis | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Σαμολαδας Βασιλης | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Deligiannakis Antonios | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Δεληγιαννακης Αντωνιος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Giatrakos Nikolaos | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Γιατρακος Νικολαος | el |
| Εκδότης | Πολυτεχνείο Κρήτης | el |
| Εκδότης | Technical University of Crete | en |
| Ακαδημαϊκή Μονάδα | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Ακαδημαϊκή Μονάδα | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Περίληψη | The ever-growing volume and decentralized nature of data have led to the extensive use of distributed deep learning (DDL) and Federated Learning (FL), both of which struggle with the high cost of transmitting large models. State-of-the-art techniques typically prescribe rigid communication intervals in arbitrary and non-principled ways. To make matters worse, modern language and vision models are rapidly increasing in size. These limitations call for a more principled, adaptive approach to synchronization. To address this, we propose Federated Dynamic Averaging (FDA), a communication-efficient strategy that dynamically triggers synchronization based on real-time training dynamics by monitoring model variance. Our experiments with well-established vision models and tasks show that FDA significantly reduces communication costs while maintaining robust performance across diverse heterogeneity settings. Building on these insights, we also introduce the FDA-Opt family of algorithms—a unified generalization of both FDA and the widely used FedOpt—designed to work out of the box without any calibration. Our experiments focus on fine-tuning pre-trained Language Models (LMs) to downstream NLP tasks and demonstrate that FDA-Opt consistently outperforms FedOpt, even when configured with hyper-parameters optimized for the latter. These results establish FDA-Opt as a practical, drop-in replacement for FedOpt in modern FL libraries and systems. | en |
| Περίληψη | Ο συνεχώς αυξανόμενος όγκος και η αποκεντρωμένη φύση των δεδομένων έχουν οδηγήσει στην εκτεταμένη χρήση της κατανεμημένης βαθιάς μάθησης (DDL) και της Ομοσπονδιακής Μάθησης (FL), οι οποίες αντιμετωπίζουν δυσκολίες λόγω του υψηλού κόστους μετάδοσης μεγάλων μοντέλων. Οι πιο σύγχρονες τεχνικές συνήθως επιβάλλουν αυστηρά διαστήματα επικοινωνίας με αυθαίρετο και μη τεκμηριωμένο τρόπο. Επιπλέον, τα σύγχρονα μοντέλα γλώσσας και όρασης αυξάνονται ραγδαία σε μέγεθος. Αυτοί οι περιορισμοί καθιστούν αναγκαία μια πιο τεκμηριωμένη και προσαρμοστική προσέγγιση στον συγχρονισμό. Για να αντιμετωπίσουμε αυτή την πρόκληση, προτείνουμε τον αλγόριθμο Ομοσπονδιακού Μέσου Όρου (FDA), μια αποδοτική σε επικοινωνία στρατηγική που πυροδοτεί τον συγχρονισμό με βάση τις πραγματικές συνθήκες της εκπαίδευσης, παρακολουθώντας τη διακύμανση των μοντέλων. Τα πειράματά μας με γνωστά vision models και tasks δείχνουν ότι το FDA μειώνει σημαντικά το κόστος επικοινωνίας, διατηρώντας ταυτόχρονα υψηλή απόδοση σε συνθήκες με ετερογένεια. Με βάση αυτά τα αποτελέσματα, προτείνουμε επίσης την οικογένεια αλγορίθμων FDA-Opt—μια ενοποιημένη γενίκευση τόσο της FDA όσο και του ευρέως χρησιμοποιούμενου FedOpt—σχεδιασμένη να λειτουργεί κατευθείαν, χωρίς ανάγκη επιπλέον παραμετροποίησης. Τα πειράματά μας επικεντρώνονται στη βελτιστοποίηση προ-εκπαιδευμένων Γλωσσικών Μοντέλων (LM) σε tasks Natural Language Processing (NLP) τα οποία αποδεικνύουν ότι το FDA-Opt υπερτερεί του FedOpt, ακόμη και όταν ο αλγόριθμός μας έχει ρυθμιστεί με hyper-parameters βελτιστοποιημένες για το τελευταίο. Αυτά τα αποτελέσματα καθιστούν το FDA-Opt μια καλύτερη, πρακτική και άμεση εναλλακτική λύση του FedOpt για σύγχρονες FL βιβλιοθήκες και συστήματα. | el |
| Τύπος | Μεταπτυχιακή Διατριβή | el |
| Τύπος | Master Thesis | en |
| Άδεια Χρήσης | http://creativecommons.org/licenses/by/4.0/ | en |
| Ημερομηνία | 2025-06-12 | - |
| Ημερομηνία Δημοσίευσης | 2025 | - |
| Θεματική Κατηγορία | Federated Learning | en |
| Θεματική Κατηγορία | Deep Learning | en |
| Βιβλιογραφική Αναφορά | Michail Theologitis, "Communication-Efficient federated deep learning via dynamic averaging", Master Thesis, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2025 | en |
| Βιβλιογραφική Αναφορά | Μιχαήλ Θεολογίτης, "Αποτελεσματικοί σε επικοινωνία αλγόριθμοι βαθιάς μάθησης μέσω δυναμικού μέσου όρου", Μεταπτυχιακή Διατριβή, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2025 | el |
Copyright © DIAS 2013
