Institutional Repository
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Automatic summarization of phytopathologies using multimodal large language models

Fragkogiannis Georgios

Simple record


URIhttp://purl.tuc.gr/dl/dias/7885A5EB-837D-4C75-8116-6EC554AABAC2-
Identifierhttps://doi.org/10.26233/heallink.tuc.105007-
Languageel-
Extent121 σελίδεςel
TitleΑυτόματη περίληψη φυτοπαθολογιών με χρήση πολυτροπικών μεγάλων γλωσσικών μοντέλωνel
TitleAutomatic summarization of phytopathologies using multimodal large language models en
CreatorFragkogiannis Georgiosen
CreatorΦραγκογιαννης Γεωργιοςel
Contributor [Committee Member]Diakoloukas Vasileiosen
Contributor [Committee Member]Διακολουκας Βασιλειoςel
Contributor [Thesis Supervisor]Lagoudakis Michailen
Contributor [Thesis Supervisor]Λαγουδακης Μιχαηλel
Contributor [Committee Member]Spyropoulos Thrasyvoulosen
Contributor [Committee Member]Σπυροπουλος Θρασυβουλοςel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
DescriptionΔιπλωματική Εργασία που υποβλήθηκε στη σχολή ΗΜΜΥ του Πολ. Κρήτης για την πλήρωση προϋποθέσεων λήψης του Πτυχίουel
Content SummaryΗ σύγχρονη γεωργία καλείται να ανταποκριθεί στις αυξανόμενες ανάγκες για παραγωγή τροφής, διατηρώντας παράλληλα τη βιωσιμότητα και την αποδοτικότητά της. Η πρόκληση αυτή καθιστά απαραίτητη την αξιοποίηση προηγμένων τεχνολογιών, όπως η υπολογιστική όραση και τα σύγχρονα μεγάλα γλωσσικά μοντέλα, ιδιαίτερα σε πεδία όπου η έγκαιρη και ακριβής διάγνωση φυτοπαθολογιών μπορεί να μειώσει σημαντικά, τόσο τις απώλειες στην παραγωγή, όσο και τη χρήση φυτοφαρμάκων. Στη παρούσα διπλωματική εργασία, επικεντρωνόμαστε στην ανάπτυξη ενός συστήματος ικανού να αναγνωρίζει ασθένειες που προσβάλλουν τα φυτά, με βάση φωτογραφίες των φύλλων τους και να προτείνει τρόπους αντιμετώπισης. Η προτεινόμενη αρχιτεκτονική αποτελείται από τρία βασικά στάδια. Αρχικά, αξιοποιείται μια σειρά από οπτικά μοντέλα για τον εντοπισμό του φύλλου, την ανίχνευση περιοχών με ενδείξεις προσβολής και την ταξινόμηση της πιθανής ασθένειας. Στο επόμενο στάδιο, ένα σύστημα tool calling επιτρέπει σε ένα γλωσσικό μοντέλο να επιλέξει και να ενεργοποιήσει τα κατάλληλα εργαλεία, εμπλουτίζοντας τη διαγνωστική διαδικασία. Τέλος, το σύστημα συνθέτει μία τεκμηριωμένη και ολοκληρωμένη απάντηση, στην οποία παρουσιάζονται, τόσο η αναγνωρισμένη ασθένεια, όσο και οι προτεινόμενοι τρόποι αντιμετώπισής της. Κατά τη διάρκεια της πειραματικής διαδικασίας, χρησιμοποιήθηκαν μοντέλα YOLO για την ανίχνευση και ταξινόμηση εικόνων, τα οποία εκπαιδεύτηκαν σε ειδικά διαμορφωμένα σύνολα δεδομένων, βασισμένα σε αναγνωρισμένα δημόσια datasets του χώρου της έξυπνης γεωργίας, όπως τα PlantVillage και PlantDoc. Παράλληλα, αναπτύχθηκαν συστήματα Retrieval-Augmented Generation (RAG) για την ανάκτηση πληροφοριών σχετικά με μεθόδους αντιμετώπισης των ασθενειών, ενώ πραγματοποιήθηκε και fine-tuning σε vision-language models για την ενίσχυση της ακρίβειας στην αναγνώριση φυτοπαθολογιών.el
Content SummaryModern agriculture is called to respond to the increasing needs for food production, while at the same time maintaining its sustainability and efficiency. This challenge makes necessary the exploitation of advanced technologies, such as computer vision and modern large language models, especially in fields where timely and accurate diagnosis of phytopathologies can significantly reduce both production losses and the use of pesticides. In the present diploma thesis, we focus on the development of a system capable of recognizing diseases that affect plants, based on pictures of their leaves. The proposed architecture consists of three basic stages. Initially, a series of visual models is utilized for the detection of the leaf, the identification of areas with signs of infection, and the classification of the possible disease. In the next stage, a tool calling system allows a language model to select and activate the appropriate tools, enriching the diagnostic process. Finally, the system composes a documented and complete answer, in which both the recognized disease and the proposed ways of addressing it are presented. During the experimental process, YOLO models were used for the detection and classification of images, which were trained on specially configured datasets, based on recognized public datasets in the field of smart agriculture, such as PlantVillage and PlantDoc. At the same time, Retrieval-Augmented Generation (RAG) systems were developed for the retrieval of information regarding methods for dealing with the diseases, while fine-tuning was also carried out on vision-language models to enhance accuracy in the recognition of phytopathologies. en
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by/4.0/en
Date of Item2025-10-09-
Date of Publication2025-
SubjectSmart agricultureen
SubjectΕξυπνη γεωργίαel
SubjectΥπολογιστική όραση el
SubjectComputer visionen
SubjectΜεγάλα γλωσσικά μοντέλαel
SubjectLarge language models en
SubjectΑνίχνευση φυτοπαθολογιώνel
SubjectDetection of phytopathologiesen
SubjectYOLO en
SubjectVision-language modelsen
SubjectFine-tuningen
SubjectTool calling en
SubjectRetrieval-augmented generationen
SubjectPlantVillageen
SubjectPlantDoc en
SubjectΔιάγνωση φυτοπαθολογικών ασθενειώνel
SubjectPlant disease diagnosis en
SubjectSustainable agriculture en
SubjectΑυτόματη αναγνώριση εικόναςel
SubjectAutomated image recognition en
SubjectΑντιμετώπιση ασθενειών φυτώνel
SubjectPlant disease treatmenten
SubjectΒιώσιμη γεωργίαel
Bibliographic CitationGeorgios Fragkogiannis, "Automatic summarization of phytopathologies using multimodal large language models", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2025en
Bibliographic CitationΓεώργιος Φραγκογιάννης, "Αυτόματη περίληψη φυτοπαθολογιών με χρήση πολυτροπικών μεγάλων γλωσσικών μοντέλων", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2025el

Available Files

Services

Statistics