Το έργο με τίτλο Αυτόματη περίληψη φυτοπαθολογιών με χρήση πολυτροπικών μεγάλων γλωσσικών μοντέλων από τον/τους δημιουργό/ούς Fragkogiannis Georgios διατίθεται με την άδεια Creative Commons Αναφορά Δημιουργού 4.0 Διεθνές
Βιβλιογραφική Αναφορά
Γεώργιος Φραγκογιάννης, "Αυτόματη περίληψη φυτοπαθολογιών με χρήση πολυτροπικών μεγάλων γλωσσικών μοντέλων", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2025
https://doi.org/10.26233/heallink.tuc.105007
Η σύγχρονη γεωργία καλείται να ανταποκριθεί στις αυξανόμενες ανάγκες για παραγωγή τροφής, διατηρώντας παράλληλα τη βιωσιμότητα και την αποδοτικότητά της. Η πρόκληση αυτή καθιστά απαραίτητη την αξιοποίηση προηγμένων τεχνολογιών, όπως η υπολογιστική όραση και τα σύγχρονα μεγάλα γλωσσικά μοντέλα, ιδιαίτερα σε πεδία όπου η έγκαιρη και ακριβής διάγνωση φυτοπαθολογιών μπορεί να μειώσει σημαντικά, τόσο τις απώλειες στην παραγωγή, όσο και τη χρήση φυτοφαρμάκων. Στη παρούσα διπλωματική εργασία, επικεντρωνόμαστε στην ανάπτυξη ενός συστήματος ικανού να αναγνωρίζει ασθένειες που προσβάλλουν τα φυτά, με βάση φωτογραφίες των φύλλων τους και να προτείνει τρόπους αντιμετώπισης. Η προτεινόμενη αρχιτεκτονική αποτελείται από τρία βασικά στάδια. Αρχικά, αξιοποιείται μια σειρά από οπτικά μοντέλα για τον εντοπισμό του φύλλου, την ανίχνευση περιοχών με ενδείξεις προσβολής και την ταξινόμηση της πιθανής ασθένειας. Στο επόμενο στάδιο, ένα σύστημα tool calling επιτρέπει σε ένα γλωσσικό μοντέλο να επιλέξει και να ενεργοποιήσει τα κατάλληλα εργαλεία, εμπλουτίζοντας τη διαγνωστική διαδικασία. Τέλος, το σύστημα συνθέτει μία τεκμηριωμένη και ολοκληρωμένη απάντηση, στην οποία παρουσιάζονται, τόσο η αναγνωρισμένη ασθένεια, όσο και οι προτεινόμενοι τρόποι αντιμετώπισής της. Κατά τη διάρκεια της πειραματικής διαδικασίας, χρησιμοποιήθηκαν μοντέλα YOLO για την ανίχνευση και ταξινόμηση εικόνων, τα οποία εκπαιδεύτηκαν σε ειδικά διαμορφωμένα σύνολα δεδομένων, βασισμένα σε αναγνωρισμένα δημόσια datasets του χώρου της έξυπνης γεωργίας, όπως τα PlantVillage και PlantDoc. Παράλληλα, αναπτύχθηκαν συστήματα Retrieval-Augmented Generation (RAG) για την ανάκτηση πληροφοριών σχετικά με μεθόδους αντιμετώπισης των ασθενειών, ενώ πραγματοποιήθηκε και fine-tuning σε vision-language models για την ενίσχυση της ακρίβειας στην αναγνώριση φυτοπαθολογιών.