Αναζήτηση

Πλοήγηση

• Κοινότητες
• Συγγραφείς
• Έτος
• Τίτλοι
• Θέματα

Ο Χώρος μου

• Είσοδος

Αποτελεσματικοί σε επικοινωνία αλγόριθμοι βαθιάς μάθησης μέσω δυναμικού μέσου όρου

Theologitis Michail

Πλήρης Εγγραφή

---

Περίληψη

Ο συνεχώς αυξανόμενος όγκος και η αποκεντρωμένη φύση των δεδομένων έχουν οδηγήσει στην εκτεταμένη χρήση της κατανεμημένης βαθιάς μάθησης (DDL) και της Ομοσπονδιακής Μάθησης (FL), οι οποίες αντιμετωπίζουν δυσκολίες λόγω του υψηλού κόστους μετάδοσης μεγάλων μοντέλων. Οι πιο σύγχρονες τεχνικές συνήθως επιβάλλουν αυστηρά διαστήματα επικοινωνίας με αυθαίρετο και μη τεκμηριωμένο τρόπο. Επιπλέον, τα σύγχρονα μοντέλα γλώσσας και όρασης αυξάνονται ραγδαία σε μέγεθος. Αυτοί οι περιορισμοί καθιστούν αναγκαία μια πιο τεκμηριωμένη και προσαρμοστική προσέγγιση στον συγχρονισμό. Για να αντιμετωπίσουμε αυτή την πρόκληση, προτείνουμε τον αλγόριθμο Ομοσπονδιακού Μέσου Όρου (FDA), μια αποδοτική σε επικοινωνία στρατηγική που πυροδοτεί τον συγχρονισμό με βάση τις πραγματικές συνθήκες της εκπαίδευσης, παρακολουθώντας τη διακύμανση των μοντέλων. Τα πειράματά μας με γνωστά vision models και tasks δείχνουν ότι το FDA μειώνει σημαντικά το κόστος επικοινωνίας, διατηρώντας ταυτόχρονα υψηλή απόδοση σε συνθήκες με ετερογένεια. Με βάση αυτά τα αποτελέσματα, προτείνουμε επίσης την οικογένεια αλγορίθμων FDA-Opt—μια ενοποιημένη γενίκευση τόσο της FDA όσο και του ευρέως χρησιμοποιούμενου FedOpt—σχεδιασμένη να λειτουργεί κατευθείαν, χωρίς ανάγκη επιπλέον παραμετροποίησης. Τα πειράματά μας επικεντρώνονται στη βελτιστοποίηση προ-εκπαιδευμένων Γλωσσικών Μοντέλων (LM) σε tasks Natural Language Processing (NLP) τα οποία αποδεικνύουν ότι το FDA-Opt υπερτερεί του FedOpt, ακόμη και όταν ο αλγόριθμός μας έχει ρυθμιστεί με hyper-parameters βελτιστοποιημένες για το τελευταίο. Αυτά τα αποτελέσματα καθιστούν το FDA-Opt μια καλύτερη, πρακτική και άμεση εναλλακτική λύση του FedOpt για σύγχρονες FL βιβλιοθήκες και συστήματα.

Διαθέσιμα αρχεία

Υπηρεσίες