Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/43321662-C403-4226-A0E3-83CF6B2EE0AA | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.90049 | - |
| Language | en | - |
| Extent | 2.6 megabytes | en |
| Extent | 102 pages | en |
| Title | Dendritic application to machine learning | en |
| Title | Εφαρμογή των ιδιοτήτων των δενδριτών στη μηχανική μάθηση | el |
| Creator | Pinitas Kosmas | en |
| Creator | Πινητας Κοσμας | el |
| Contributor [Committee Member] | Dollas Apostolos | en |
| Contributor [Committee Member] | Δολλας Αποστολος | el |
| Contributor [Committee Member] | Panayiota Poirazi | en |
| Contributor [Committee Member] | Παναγιώτα Ποϊράζη | el |
| Contributor [Thesis Supervisor] | Zervakis Michail | en |
| Contributor [Thesis Supervisor] | Ζερβακης Μιχαηλ | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Description | Διπλωματική εργασία που υποβλήθηκε στη σχολή ΗΜΜΥ του Πολυτεχνείου Κρήτης για τη πλήρωση προϋποθέσεων λήψης Διπλώματος Μηχανικού | el |
| Content Summary | The current deep learning architectures achieve remarkable performance when trained in large-scale controlled datasets. However, the predictive ability of these architectures significantly decreases when learning new classes incrementally due to their inclination to forget the knowledge acquired from previously seen data, also called catastrophic-forgetting. The Self-Organizing Maps can model the input space utilizing constrained-kmeans and thus ensure that the past knowledge is maintained. Hence, we propose the Dendritic-Self-Organizing Map algorithm consisting of a single layer of Self-Organizing Maps, which extract patterns from specific regions of the input space, and an association matrix that estimates the association between units and labels. The best-matching unit of an input pattern is selected using the maximum cosine similarity rule, while the point-wise mutual information is employed for inferencing. Our method performs unsupervised classification since we do not utilize the labels for targeted weight update. Finally, the results indicate that our algorithm outperforms several state-of-the-art continual learning algorithms on benchmark datasets such as the Split-MNIST and Split-CIFAR-10. | en |
| Content Summary | Τα υπάρχοντα μοντέλα βαθιάς μάθησης επιτυγχάνουν αξιοσημείωτη απόδοση όταν εκπαιδεύονται σε μεγάλα σύνολα δεδομένων, Ωστόσο απόδοση των μοντέλων αυτών μειώνεται σημαντικά όταν μαθαίνουν σταδιακά νέες κλάσεις λόγω της τάσης τους να ξεχνούν τις γνώσεις που έχουν αποκτηθεί από προηγούμενα δεδομένα, το φαινόμενο αυτό ονομάζεται καταστροφική λήθη (catastrophic forgetting). Οι Αυτοοργανωτικοί Χάρτες μπορούν να μοντελοποιήσουν τον χώρο εισόδου χρησιμοποιώντας constrained-kmeans διασφαλίζοντας τη διατήρηση των προηγούμενων γνώσεων. Ως εκ τούτου, εισάγουμε τον Δενδριτικό-Αυτοοργανοτικό Χάρτη που αποτελείται από ένα μόνο επίπεδο Χαρτών Αυτοοργάνωσης, οι οποίοι εξάγουν μοτίβα από συγκεκριμένες περιοχές του χώρου εισόδου και ένα πίνακα συσχέτισης που εκτιμά τη συσχέτιση μεταξύ μονάδων και ετικετών. Η μονάδα που ταιριάζει καλύτερα σε ένα μοτίβο εισόδου επιλέγεται με βάση τον κανόνα της μέγιστου συνημιτόνου, ενώ η αμοιβαία πληροφορία χρησιμοποιείται για συμπερασμό. Η μέθοδος μας εκτελεί ταξινόμηση χωρίς επίβλεψη, καθώς δεν γίνεται χρήση των ετικετών κατά την ενημέρωση των διανυσμάτων βάρους των χαρτών. Τα αποτελέσματα υποδεικνύουν ότι ο προτεινόμενος αλγόριθμος υπερτερεί πολλών αλγορίθμων συνεχούς μάθησης στα σύνολα δεδομένων όπως το Split-MNIST και το Split-CIFAR-10. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2021-08-30 | - |
| Date of Publication | 2021 | - |
| Subject | Self-Organizing maps | en |
| Subject | Unsupervised classification | en |
| Subject | Lifelong learning | en |
| Subject | Incremental learning | en |
| Subject | Continual learning | en |
| Bibliographic Citation | Kosmas Pinitas, "Dendritic application to machine learning", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2021 | en |
| Bibliographic Citation | Κοσμάς Πινήτας, "Εφαρμογή των ιδιοτήτων των δενδριτών στη μηχανική μάθηση", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2021 | el |
Copyright © DIAS 2013
