Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/43321662-C403-4226-A0E3-83CF6B2EE0AA | - |
| Αναγνωριστικό | https://doi.org/10.26233/heallink.tuc.90049 | - |
| Γλώσσα | en | - |
| Μέγεθος | 2.6 megabytes | en |
| Μέγεθος | 102 pages | en |
| Τίτλος | Dendritic application to machine learning | en |
| Τίτλος | Εφαρμογή των ιδιοτήτων των δενδριτών στη μηχανική μάθηση | el |
| Δημιουργός | Pinitas Kosmas | en |
| Δημιουργός | Πινητας Κοσμας | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Dollas Apostolos | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Δολλας Αποστολος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Panayiota Poirazi | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Παναγιώτα Ποϊράζη | el |
| Συντελεστής [Επιβλέπων Καθηγητής] | Zervakis Michail | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Ζερβακης Μιχαηλ | el |
| Εκδότης | Πολυτεχνείο Κρήτης | el |
| Εκδότης | Technical University of Crete | en |
| Ακαδημαϊκή Μονάδα | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Ακαδημαϊκή Μονάδα | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Περιγραφή | Διπλωματική εργασία που υποβλήθηκε στη σχολή ΗΜΜΥ του Πολυτεχνείου Κρήτης για τη πλήρωση προϋποθέσεων λήψης Διπλώματος Μηχανικού | el |
| Περίληψη | The current deep learning architectures achieve remarkable performance when trained in large-scale controlled datasets. However, the predictive ability of these architectures significantly decreases when learning new classes incrementally due to their inclination to forget the knowledge acquired from previously seen data, also called catastrophic-forgetting. The Self-Organizing Maps can model the input space utilizing constrained-kmeans and thus ensure that the past knowledge is maintained. Hence, we propose the Dendritic-Self-Organizing Map algorithm consisting of a single layer of Self-Organizing Maps, which extract patterns from specific regions of the input space, and an association matrix that estimates the association between units and labels. The best-matching unit of an input pattern is selected using the maximum cosine similarity rule, while the point-wise mutual information is employed for inferencing. Our method performs unsupervised classification since we do not utilize the labels for targeted weight update. Finally, the results indicate that our algorithm outperforms several state-of-the-art continual learning algorithms on benchmark datasets such as the Split-MNIST and Split-CIFAR-10. | en |
| Περίληψη | Τα υπάρχοντα μοντέλα βαθιάς μάθησης επιτυγχάνουν αξιοσημείωτη απόδοση όταν εκπαιδεύονται σε μεγάλα σύνολα δεδομένων, Ωστόσο απόδοση των μοντέλων αυτών μειώνεται σημαντικά όταν μαθαίνουν σταδιακά νέες κλάσεις λόγω της τάσης τους να ξεχνούν τις γνώσεις που έχουν αποκτηθεί από προηγούμενα δεδομένα, το φαινόμενο αυτό ονομάζεται καταστροφική λήθη (catastrophic forgetting). Οι Αυτοοργανωτικοί Χάρτες μπορούν να μοντελοποιήσουν τον χώρο εισόδου χρησιμοποιώντας constrained-kmeans διασφαλίζοντας τη διατήρηση των προηγούμενων γνώσεων. Ως εκ τούτου, εισάγουμε τον Δενδριτικό-Αυτοοργανοτικό Χάρτη που αποτελείται από ένα μόνο επίπεδο Χαρτών Αυτοοργάνωσης, οι οποίοι εξάγουν μοτίβα από συγκεκριμένες περιοχές του χώρου εισόδου και ένα πίνακα συσχέτισης που εκτιμά τη συσχέτιση μεταξύ μονάδων και ετικετών. Η μονάδα που ταιριάζει καλύτερα σε ένα μοτίβο εισόδου επιλέγεται με βάση τον κανόνα της μέγιστου συνημιτόνου, ενώ η αμοιβαία πληροφορία χρησιμοποιείται για συμπερασμό. Η μέθοδος μας εκτελεί ταξινόμηση χωρίς επίβλεψη, καθώς δεν γίνεται χρήση των ετικετών κατά την ενημέρωση των διανυσμάτων βάρους των χαρτών. Τα αποτελέσματα υποδεικνύουν ότι ο προτεινόμενος αλγόριθμος υπερτερεί πολλών αλγορίθμων συνεχούς μάθησης στα σύνολα δεδομένων όπως το Split-MNIST και το Split-CIFAR-10. | el |
| Τύπος | Διπλωματική Εργασία | el |
| Τύπος | Diploma Work | en |
| Άδεια Χρήσης | http://creativecommons.org/licenses/by/4.0/ | en |
| Ημερομηνία | 2021-08-30 | - |
| Ημερομηνία Δημοσίευσης | 2021 | - |
| Θεματική Κατηγορία | Self-Organizing maps | en |
| Θεματική Κατηγορία | Unsupervised classification | en |
| Θεματική Κατηγορία | Lifelong learning | en |
| Θεματική Κατηγορία | Incremental learning | en |
| Θεματική Κατηγορία | Continual learning | en |
| Βιβλιογραφική Αναφορά | Kosmas Pinitas, "Dendritic application to machine learning", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2021 | en |
| Βιβλιογραφική Αναφορά | Κοσμάς Πινήτας, "Εφαρμογή των ιδιοτήτων των δενδριτών στη μηχανική μάθηση", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2021 | el |
Copyright © DIAS 2013
