Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/9AA6FB9F-F22F-4E8E-B4E6-5B4D1B8C0A90 | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.102659 | - |
| Language | en | - |
| Extent | 62 pages | en |
| Title | Distributed optimization algorithms: Performance analysis and application in machine learning problems | en |
| Title | Αλγόριθμοι κατανεμημένης βελτιστοποίησης: Μελέτη απόδοσης και εφαρμογή σε προβλήματα μηχανικής μάθησης | el |
| Creator | Chariompolis Ioannis | en |
| Creator | Χαριομπολης Ιωαννης | el |
| Contributor [Thesis Supervisor] | Liavas Athanasios | en |
| Contributor [Thesis Supervisor] | Λιαβας Αθανασιος | el |
| Contributor [Committee Member] | Karystinos Georgios | en |
| Contributor [Committee Member] | Καρυστινος Γεωργιος | el |
| Contributor [Committee Member] | Spyropoulos Thrasyvoulos | en |
| Contributor [Committee Member] | Σπυροπουλος Θρασυβουλος | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Distributed optimization allows a set of agents to collectively solve a global minimization problem, defined as the numerical average of each agent’s local objective function. In this thesis we examine distributed optimization algorithms in the setting where the agents communicate via a network, where each agent can only communicate with its immediate neighbors, and can not share its objective function (and by extension its training data) directly. More specifically, we investigate how these algorithms can be applied to the classical Machine Learning framework of training a parametrized model to predict labels y from input data x. Typically, distributed optimization algorithms over networks have two main steps: the pooling and then averaging of the parameters of each agent’s neighbors via the consensus protocol, and a gradient descent step towards the minimum of the local function of each agent. We also consider algorithms that build on this scheme by incorporating correction terms, acceleration via momentum, dual ascent, and multiple communication rounds per gradient computation. We experimentally evaluate the performance of a number of distributed algorithms for functions of different classes, namely smooth, and strongly convex functions, as well as objectives with constraints. | en |
| Content Summary | Οι αλγόριθμοι κατανεμημένης βελτιστοποίησης επιτρέπουν σε ένα σετ από πράκτορες να λύσουν συλλογικά ένα καθολικό πρόβλημα ελαχιστοποίησης, ορισμένο ως τον αριθμητικό μέσο της τοπικής συνάρτησης κάθε πράκτορα. Σε αυτή τη διπλωματική εργασία εξετάζουμε κατανεμημένους αλγόριθμους βελτιστοποίησης στο πλαίσιο όπου οι πράκτορες επικοινωνούν μέσω ενός δικτύου, όπου κάθε πράκτορας μπορεί να επικοινωνήσει μόνο με τους άμεσους γείτονες του, και δεν μπορεί να μοιραστεί την αντικειμενική συνάρτηση (και κατ’ επέκταση τα δεδομένα εκπαίδευσης) άμεσα. Πιο συγκεκριμένα, ερευνούμε πως αυτοί οι αλγόριθμοι μπορούν να εφαρμοστούν στο κλασσικό πλαίσιο Μηχανικής Μάθησης της εκπαίδευσης ενός παραμετρικού μοντέλου ώστε να προβλέπει ετικέτες y από δεδομένα εισόδου x. Συνήθως, οι κατανεμημένοι αλγόριθμοι βελτιστοποίησης σε δίκτυα αποτελούνται από δύο βήματα: τη συγκέντρωση και υπολογισμό της μέσης τιμής των παραμέτρων των γειτόνων κάθε πράκτορα, και ένα βήμα καθόδου βαθμίδας προς το ελάχιστο της τοπικής συνάρτησης κάθε πράκτορα. Επιπλέον, θεωρούμε αλγορίθμους που χτίζουν πάνω σε αυτό το σχέδιο με την ενσωμάτωση όρων διόρθωσης, επιτάχυνσης μέσω ορμής, διπλής ανάβασης, και πολλαπλών γύρων επικοινωνίας για κάθε υπολογισμό βαθμίδας. Αξιολογούμε πειραματικά την απόδοση ορισμένων κατανεμημένων αλγορίθμων για συναρτήσεις διαφορετικών κλάσεων, συγκεκριμένα ομαλές, και ισχυρά κυρτές συναρτήσεις, καθώς και προβλήματα με περιορισμούς. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2025-03-18 | - |
| Date of Publication | 2025 | - |
| Subject | Distributed optimization | el |
| Bibliographic Citation | Ioannis Chariompolis, "Distributed optimization algorithms: Performance analysis and application in machine learning problems", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2025 | en |
| Bibliographic Citation | Ιωάννης Χαριομπόλης, "Αλγόριθμοι κατανεμημένης βελτιστοποίησης: Μελέτη απόδοσης και εφαρμογή σε προβλήματα μηχανικής μάθησης", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2025 | el |
Copyright © DIAS 2013
