Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/61C1777B-2094-479C-8BDA-81DA3E994BC3 | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.103444 | - |
| Language | en | - |
| Extent | 82 pages | en |
| Title | Communication-Efficient federated deep learning via dynamic averaging | en |
| Title | Αποτελεσματικοί σε επικοινωνία αλγόριθμοι βαθιάς μάθησης μέσω δυναμικού μέσου όρου | el |
| Creator | Theologitis Michail | en |
| Creator | Θεολογιτης Μιχαηλ | el |
| Contributor [Thesis Supervisor] | Samoladas Vasilis | en |
| Contributor [Thesis Supervisor] | Σαμολαδας Βασιλης | el |
| Contributor [Committee Member] | Deligiannakis Antonios | en |
| Contributor [Committee Member] | Δεληγιαννακης Αντωνιος | el |
| Contributor [Committee Member] | Giatrakos Nikolaos | en |
| Contributor [Committee Member] | Γιατρακος Νικολαος | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | The ever-growing volume and decentralized nature of data have led to the extensive use of distributed deep learning (DDL) and Federated Learning (FL), both of which struggle with the high cost of transmitting large models. State-of-the-art techniques typically prescribe rigid communication intervals in arbitrary and non-principled ways. To make matters worse, modern language and vision models are rapidly increasing in size. These limitations call for a more principled, adaptive approach to synchronization. To address this, we propose Federated Dynamic Averaging (FDA), a communication-efficient strategy that dynamically triggers synchronization based on real-time training dynamics by monitoring model variance. Our experiments with well-established vision models and tasks show that FDA significantly reduces communication costs while maintaining robust performance across diverse heterogeneity settings. Building on these insights, we also introduce the FDA-Opt family of algorithms—a unified generalization of both FDA and the widely used FedOpt—designed to work out of the box without any calibration. Our experiments focus on fine-tuning pre-trained Language Models (LMs) to downstream NLP tasks and demonstrate that FDA-Opt consistently outperforms FedOpt, even when configured with hyper-parameters optimized for the latter. These results establish FDA-Opt as a practical, drop-in replacement for FedOpt in modern FL libraries and systems. | en |
| Content Summary | Ο συνεχώς αυξανόμενος όγκος και η αποκεντρωμένη φύση των δεδομένων έχουν οδηγήσει στην εκτεταμένη χρήση της κατανεμημένης βαθιάς μάθησης (DDL) και της Ομοσπονδιακής Μάθησης (FL), οι οποίες αντιμετωπίζουν δυσκολίες λόγω του υψηλού κόστους μετάδοσης μεγάλων μοντέλων. Οι πιο σύγχρονες τεχνικές συνήθως επιβάλλουν αυστηρά διαστήματα επικοινωνίας με αυθαίρετο και μη τεκμηριωμένο τρόπο. Επιπλέον, τα σύγχρονα μοντέλα γλώσσας και όρασης αυξάνονται ραγδαία σε μέγεθος. Αυτοί οι περιορισμοί καθιστούν αναγκαία μια πιο τεκμηριωμένη και προσαρμοστική προσέγγιση στον συγχρονισμό. Για να αντιμετωπίσουμε αυτή την πρόκληση, προτείνουμε τον αλγόριθμο Ομοσπονδιακού Μέσου Όρου (FDA), μια αποδοτική σε επικοινωνία στρατηγική που πυροδοτεί τον συγχρονισμό με βάση τις πραγματικές συνθήκες της εκπαίδευσης, παρακολουθώντας τη διακύμανση των μοντέλων. Τα πειράματά μας με γνωστά vision models και tasks δείχνουν ότι το FDA μειώνει σημαντικά το κόστος επικοινωνίας, διατηρώντας ταυτόχρονα υψηλή απόδοση σε συνθήκες με ετερογένεια. Με βάση αυτά τα αποτελέσματα, προτείνουμε επίσης την οικογένεια αλγορίθμων FDA-Opt—μια ενοποιημένη γενίκευση τόσο της FDA όσο και του ευρέως χρησιμοποιούμενου FedOpt—σχεδιασμένη να λειτουργεί κατευθείαν, χωρίς ανάγκη επιπλέον παραμετροποίησης. Τα πειράματά μας επικεντρώνονται στη βελτιστοποίηση προ-εκπαιδευμένων Γλωσσικών Μοντέλων (LM) σε tasks Natural Language Processing (NLP) τα οποία αποδεικνύουν ότι το FDA-Opt υπερτερεί του FedOpt, ακόμη και όταν ο αλγόριθμός μας έχει ρυθμιστεί με hyper-parameters βελτιστοποιημένες για το τελευταίο. Αυτά τα αποτελέσματα καθιστούν το FDA-Opt μια καλύτερη, πρακτική και άμεση εναλλακτική λύση του FedOpt για σύγχρονες FL βιβλιοθήκες και συστήματα. | el |
| Type of Item | Μεταπτυχιακή Διατριβή | el |
| Type of Item | Master Thesis | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2025-06-12 | - |
| Date of Publication | 2025 | - |
| Subject | Federated Learning | en |
| Subject | Deep Learning | en |
| Bibliographic Citation | Michail Theologitis, "Communication-Efficient federated deep learning via dynamic averaging", Master Thesis, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2025 | en |
| Bibliographic Citation | Μιχαήλ Θεολογίτης, "Αποτελεσματικοί σε επικοινωνία αλγόριθμοι βαθιάς μάθησης μέσω δυναμικού μέσου όρου", Μεταπτυχιακή Διατριβή, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2025 | el |
Copyright © DIAS 2013
