Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/A0DA26EE-1CBA-4532-ACE2-2C8F87C703FD | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.104765 | - |
| Language | en | - |
| Extent | 113 pages | en |
| Title | Automated mosaic tesserae segmentation using artificial intelligence techniques | en |
| Title | Αυτοματοποιημένη κατάτμηση ψηφίδων μωσαϊκού με χρήση τεχνικών τεχνητής νοημοσύνης | el |
| Creator | Kapelonis Charilaos | en |
| Creator | Καπελωνης Χαριλαος | el |
| Contributor [Thesis Supervisor] | Zervakis Michail | en |
| Contributor [Thesis Supervisor] | Ζερβακης Μιχαηλ | el |
| Contributor [Committee Member] | Antoniadis Aristomenis | en |
| Contributor [Committee Member] | Αντωνιαδης Αριστομενης | el |
| Contributor [Committee Member] | Lagoudakis Michail | en |
| Contributor [Committee Member] | Λαγουδακης Μιχαηλ | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Art is widely recognized as a reflection of civilization and mosaics represent an important part of cultural heritage. Mosaics are an old art form where a surface is decorated by attaching small pieces of material, called tesserae, to a base with adhesive. Due to their age and fragility, they are prone to damage, highlighting the need for digital preservation. This thesis addresses the problem of digitalizing mosaics by segmenting the tesserae, producing a binary image in which they are clearly separated from the background. This task falls under the field of Image Segmentation, one of the primary tasks in Computer Vision. We aim to create a method that achieves it automatically and with high accuracy. Although classical approaches on Image Segmentation yield decent results, we employ Deep Learning models and, more specifically, our work utilizes the latest Segment Anything Model 2 (SAM 2) by META AI, a foundation model that outperforms most conventional segmentation models. Our work involves manually annotating a set of mosaic images to create a dataset which we utilize both to fine-tune the model and to eventually evaluate its performance. The quantitative results, including the evaluation metrics, show a significant improvement compared to the baseline SAM 2 model. The baseline SAM 2 model - evaluated on the large checkpoint - yields 89.00% IoU and 92.12% Recall, while our model achieves 91.02% IoU and 95.89% Recall on the same dataset. Furthermore, we show that our approach can yield even more impressive results if trained without computational and time limitations. This task belongs to the field of Computer Vision problems, hence the qualitative results, such as visual comparative representations, are equally important. These visualizations further confirm that the fine-tuned model we employ brings us closer to an effective solution to this problem. Keywords: Mosaics, Deep Learning, Computer Vision, Image Segmentation, SAM 2, Transfer Learning, Digital Preservation | en |
| Content Summary | Η τέχνη αναγνωρίζεται ευρέως ως αντανάκλαση του πολιτισμού και τα ψηφιδωτά αντιπροσωπεύουν ένα σημαντικό κομμάτι της πολιτιστικής κληρονομιάς. Τα ψηφιδωτά είναι μια παλιά μορφή τέχνης όπου μια επιφάνεια διακοσμείται με την τοποθέτηση μικρών κομματιών υλικού, που ονομάζονται ψηφίδες, σε μια βάση με κόλλα. Λόγω της ηλικίας και της ευθραυστότητάς τους, είναι επιρρεπή σε φθορά, κάτι που αναδεικνύει την ανάγκη για την ψηφιακή τους διατήρηση. Αυτή η εργασία αντιμετωπίζει το πρόβλημα της ψηφιοποίησης των ψηφιδωτών μέσω της κατάτμησης των ψηφίδων, παράγοντας μια δυαδική εικόνα στην οποία αυτές διαχωρίζονται καθαρά από το φόντο. Αυτή η εργασία εμπίπτει στον τομέα της Κατάτμησης Εικόνας, ένα από τα κυριότερα προβλήματα της Μηχανικής Όρασης. Στοχεύουμε στη δημιουργία μιας μεθόδου που το επιτυγχάνει αυτόματα και με υψηλή ακρίβεια. Παρόλο που οι κλασσικές προσεγγίσεις στην Κατάτμηση Εικόνας παρουσιάζουν ικανοποιητικά αποτελέσματα, εμείς χρησιμοποιούμε μοντέλα Βαθιάς Μάθησης και, πιο συγκεκριμένα, η εργασία μας αξιοποιεί το πιο πρόσφατο μοντέλο Segment Anything Model 2 (SAM 2) της META AI, ένα θεμελιώδες μοντέλο που ξεπερνά τα περισσότερα κλασσικά μοντέλα κατάτμησης εικόνας. Η εργασία μας περιλαμβάνει χειροκίνητο annotation ενός συνόλου εικόνων ψηφιδωτών για τη δημιουργία ενός σετ δεδομένων, το οποίο χρησιμοποιούμε για τη βελτιστοποίηση του μοντέλου και την αξιολόγηση της απόδοσής του. Τα ποσοτικά αποτελέσματα, συμπεριλαμβανομένων των μετρικών αξιολόγησης, δείχνουν σημαντική βελτίωση σε σύγκριση με το αρχικό μοντέλο SAM 2. Το αρχικό μοντέλο SAM 2 - αξιολογημένο στο large checkpoint - αποδίδει 89.00% IoU και 92.12% Recall, ενώ το δικό μας μοντέλο πετυχαίνει 91.02% IoU και 95.89% Recall στο ίδιο σετ δεδομένων. Επιπλέον, δείχνουμε ότι η προσέγγισή μας μπορεί να αποδώσει ακόμη πιο αξιοσημείωτα αποτελέσματα εάν εκπαιδευτεί χωρίς περιορισμούς υπολογιστικής ισχύος και χρόνου. Το παρόν πρόβλημα ανήκει στον τομέα των προβλημάτων Μηχανικής Όρασης, επομένως τα ποιοτικά αποτελέσματα, όπως οπτικές συγκριτικές απεικονίσεις, είναι εξίσου σημαντικά. Αυτές οι απεικονίσεις επιβεβαιώνουν ότι το μοντέλο που χρησιμοποιούμε μετά τη βελτιστοποίηση μας φέρνει πιο κοντά σε μια αποτελεσματική λύση για αυτό το πρόβλημα. Λέξεις-Κλειδιά: Ψηφιδωτά, Βαθιά Μάθηση, Μηχανική Όραση, Κατάτμηση Εικόνας, SAM 2, Μεταφορά Μάθησης, Ψηφιακή Διατήρηση | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2025-09-30 | - |
| Date of Publication | 2025 | - |
| Subject | Mosaics | en |
| Subject | Cultural heritage | en |
| Subject | Machine learning | en |
| Subject | Image segmentation | en |
| Bibliographic Citation | Charilaos Kapelonis, "Automated mosaic tesserae segmentation using artificial intelligence techniques", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2025 | en |
| Bibliographic Citation | Χαρίλαος Καπελώνης, "Αυτοματοποιημένη κατάτμηση ψηφίδων μωσαϊκού με χρήση τεχνικών τεχνητής νοημοσύνης", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2025 | el |
Copyright © DIAS 2013
