URI | http://purl.tuc.gr/dl/dias/0AFEB004-A210-4201-9666-C1ABED8AAFAF | - |
Identifier | https://doi.org/10.26233/heallink.tuc.105019 | - |
Language | en | - |
Extent | 72 pages | en |
Title | Federated LoRA-Tuning for LLMs
| en |
Title | Ομοσπονδιακή προσαρμογή χαμηλής τάξης για Μεγάλα Γλωσσικά Μοντέλα | el |
Creator | Kelaidis Kanakis | en |
Creator | Κελαϊδης Κανακης | el |
Contributor [Thesis Supervisor] | Garofalakis Minos | en |
Contributor [Thesis Supervisor] | Γαροφαλακης Μινως | el |
Contributor [Committee Member] | Spyropoulos Thrasyvoulos | en |
Contributor [Committee Member] | Σπυροπουλος Θρασυβουλος | el |
Contributor [Committee Member] | Samoladas Vasilis | en |
Contributor [Committee Member] | Σαμολαδας Βασιλης | el |
Publisher | Πολυτεχνείο Κρήτης | el |
Publisher | Technical University of Crete | en |
Academic Unit | Πολυτεχνείο Κρήτης:Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
Description | Διπλωματική εργασία που υποβλήθηκε στη σχολή ΗΜΜΥ του Πολ. Κρήτης για την πλήρωση πορϋποθέσεων λήψης του προπτυχιακού Διπλώματος. | el |
Content Summary | Large language models (LLMs) have become essential across a wide spectrum of applications, from conversational agents to code generation, making fine-tuning on domain-specific data a ubiquitous need. Yet their deployment in real-world domains is often constrained by data isolation, computational cost and memory requirements. Centralizing proprietary data is frequently infeasible and forcing each organization to train on its own limited dataset typically yields inferior models. Federated Learning offers a natural solution by enabling multiple clients to collaborate without sharing raw data, but naively applying it to massive
architectures remains computationally demanding and communication-intensive.
In this thesis, we present a framework for federated fine-tuning of LLMs via Low-Rank Adaptation (LoRA), focusing on efficiency and performance. Building on the recently proposed DP-LoRA framework, we reformulate the original algorithm and aim to evaluate the performance ceiling of federated LoRA-tuning in its non-private form. By introducing small low-rank trainable matrices into transformer attention layers, LoRA reduces the number of tunable parameters by orders of magnitude, making per-client training both feasible and communication-efficient in federated environments. We also implement components for data formatting, inference and parsing for improved data preparation and evaluation, and justify our choice of Gemma3-4B as the backbone model from a plethora of available options. Our experiments compare against the non-private baselines reported in the DP-LoRA study and show that our approach outperforms them, establishing a new benchmark for this setting. These findings highlight the utility of parameter-efficient federated adaptation of LLMs in scenarios where maximizing accuracy and efficiency is the primary goal and suggest promising directions for future research in improving and extending these methods. | en |
Content Summary | Τα μεγάλα γλωσσικά μοντέλα (LLMs) έχουν γίνει απαραίτητα σε ένα μεγάλο πλήθος διαφορετικών εφαρμογών που εκτείνονται από συστήματα συνομιλίας έως και την αυτόματη παραγωγή κώδικα, καθιστώντας την προσαρμογή τους σε εξειδικευμένoυς τομείς αναγκαία. Ωστόσο, η ανάπτυξή τους συχνά περιορίζεται από την έλλειψη συγκεντρωμένων δεδομένων, το υψηλό υπολογιστικό κόστος και τις μεγάλες απαιτήσεις σε μνήμη. Η κεντρικοποίηση ιδιοκτησιακών δεδομένων είναι συχνά ανέφικτη, ενώ αν κάθε εταιρεία εκπαιδεύει αποκλειστικά στα περιορισμένα δεδομένα που διαθέτει, θα καταλήγει συνήθως σε υποδεέστερα μοντέλα. Η μέθοδος Federated Learning προσφέρει μια λύση καθώς επιτρέπει σε πολλαπλούς φορείς να συνεργάζονται χωρίς να κοινοποιούν τα δεδομένα τους, ωστόσο η άμεση εφαρμογή της σε τεράστιες αρχιτεκτονικές παραμένει υπολογιστικά δαπανηρή και απαιτητική ως προς την επικοινωνία.
Σε αυτή τη διπλωματική παρουσιάζουμε μια μέθοδο για Federated tuning των LLMs μέσω Low-Rank Adaptation (LoRA), με έμφαση στην αποδοτικότητα και την ακρίβεια. Βασιζόμενοι στην πρόσφατη μελέτη DP-LoRA, επαναδιατυπώνουμε τον αλγόριθμο και μελετούμε το ανώτατο όριο απόδοσης της federated LoRA-tuning στη μη ιδιωτική εκδοχή της. Με την εισαγωγή μικρών πινάκων χαμηλής τάξης στα transformer attention layers, η LoRA μειώνει τον αριθμό των παραμέτρων που πρέπει να προσαρμοστούν κατά τάξεις μεγέθους, καθιστώντας την εκπαίδευση στο επίπεδο του χρήστη εφικτή και πιο οικονομική ως προς την επικοινωνία.
Επίσης, υλοποιούμε μονάδες για τη διαμόρφωση των δεδομένων, την εξαγωγή αποτελεσμάτων και την ανάλυση τους, βελτιώνοντας τη διαδικασία προετοιμασίας και αξιολόγησης του μοντέλου, ενώ αιτιολογούμε την επιλογή του Gemma3-4B ως βασικό μοντέλο ανάμεσα σε μια πληθώρα εναλλακτικών επιλογών. Τα πειράματά μας συγκρίνονται με τα μη ιδιωτικά αποτελέσματα που αναφέρονται στη μελέτη DP-LoRA και δείχνουν ότι η προσέγγισή μας τα υπερβαίνει, θέτοντας ένα νέο σημείο αναφοράς για το συγκεκριμένο περιβάλλον. Τα ευρήματα αυτά αναδεικνύουν τη χρησιμότητα της παραμετρο-αποδοτικής federated προσαρμογής μεγάλων γλωσσικών μοντέλων σε σενάρια όπου η μεγιστοποίηση της ακρίβειας και της αποδοτικότητας αποτελεί τον κύριο στόχο, και υποδεικνύουν υποσχόμενες κατευθύνσεις για μελλοντική έρευνα με στόχο την περαιτέρω βελτίωση και ανάπτυξη αυτών των μεθόδων. | el |
Type of Item | Διπλωματική Εργασία | el |
Type of Item | Diploma Work | en |
License | http://creativecommons.org/licenses/by/4.0/ | en |
Date of Item | 2025-10-10 | - |
Date of Publication | 2025 | - |
Subject | Μεγάλα Γλωσσικά Μοντέλα | el |
Subject | Large Language Models | en |
Subject | LLMs | en |
Subject | Προσαρμογή Χαμηλής Τάξης | el |
Subject | LoRA | en |
Subject | Low-Rank Adaptation | en |
Subject | Adaptations for LLMs | en |
Subject | Fine-Tuning | en |
Subject | Ομοσπονδιακή Μάθηση | el |
Subject | Federated Learning | en |
Subject | Νευρωνικά Δίκτυα | el |
Subject | Neural Networks | en |
Bibliographic Citation | Kanakis Kelaidis, "Federated LoRA-Tuning for LLMs", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2025
| en |
Bibliographic Citation | Κελαϊδής Κανάκης, "Ομοσπονδιακή προσαρμογή χαμηλής τάξης για Μεγάλα Γλωσσικά Μοντέλα", Διπλωματική Εργασία, Πολυτεχνείο Κρήτης:Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Χανιά, Ελλάς, 2025 | el |