Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/770878C0-99A0-4F37-990E-3D52D4C81D4F | - |
| Αναγνωριστικό | https://doi.org/10.26233/heallink.tuc.99534 | - |
| Γλώσσα | en | - |
| Μέγεθος | 3 megabytes | en |
| Μέγεθος | 123 pages | en |
| Τίτλος | A reconfigurable logic based accelerator for bioinspired DNN architectures with dendritic structure and a novel learning rule | en |
| Τίτλος | Σχεδίαση επιταχυντή βασισμένου σε αναδιατασσόμενη λογική για βιοεμπνευσμένες αρχιτεκτονικές με δενδριτική δομή και νέο κανόνα εκμάθησης για βαθιά νευρωνικά δίκτυα | el |
| Δημιουργός | Palatiana Nikoletta | en |
| Δημιουργός | Παλατιανα Νικολεττα | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Zervakis Michail | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Ζερβακης Μιχαηλ | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Παναγιώτα Ποϊράζη | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Panayiota Poirazi | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Dollas Apostolos | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Δολλας Αποστολος | el |
| Εκδότης | Πολυτεχνείο Κρήτης | el |
| Εκδότης | Technical University of Crete | en |
| Ακαδημαϊκή Μονάδα | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Ακαδημαϊκή Μονάδα | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Περίληψη | Artificial Neural Networks (ANNs) have been successfully used in Deep Learning architectures to solve a variety of challenging machine learning problems. Nevertheless they usually require a considerable amount of energy. In addition, they demonstrate weakness in continually learning new tasks without forgetting the previous ones. They require multiple sets of data and a considerable amount of trainable parameters. The brain, on the other hand, operates at a very low energy level without facing problems learning new things. By drawing inspiration from the human brain and overcoming the limitations of ANNs, the Poirazi lab at IMBB-FORTH developed a bio-inspired architecture that incorporates the dendritic structure and receptive field, along with a novel approach to Hebbian learning. In this thesis a lower-level Numpy implementation was developed based on their initial Keras implementation in order to analyze and understand this model and its training process in greater depth. This was followed by the design, implementation, and download of an FPGA-based architecture onto the Xilinx ZCU 102 board for training the ANN. Using the high parallelism and power efficiency of the FPGA, our architecture has accelerated training and reduced power consumption. In particular, our proposed FPGA implementation executes an epoch of training (for the MNIST dataset) in only 13.46 seconds rather than 490 seconds on the CPU (Keras) and 45 seconds on the GPU (Keras). Furthermore, it achieves 346 times greater energy efficiency than the CPU implementation (Keras) and 57.5 times greater energy efficiency than the GPU implementation (Keras). | en |
| Περίληψη | Τα Artificial Neural Networks (ANNs), έχουν χρησιμοποιηθεί με επιτυχία σε αρχιτεκτονικές βαθιάς μάθησης για την επίλυση μιας σειράς δύσκολων προβλη- μάτων μηχανικής μάθησης. Ωστόσο, προκειμένου να επιτύχουν τη μέγιστη από- δοση, απαιτούν συνήθως σημαντική ποσότητα ενέργειας. Επιπλέον, δυσκολεύον- ται στην εκμάθηση νέων εργασιών. Απαιτούν μεγάλο όγκο δεδομένων και σημαν- τικό αριθμό παραμέτρων. Ο εγκέφαλος, από την άλλη πλευρά, λειτουργεί σε πολύ χαμηλό επίπεδο ενέργειας χωρίς να αντιμετωπίζει προβλήματα στη συνεχή εκμάθηση. Αντλώντας έμπνευση από τον ανθρώπινο εγκέφαλο και προσπαθώντας να ξεπερασ- τούν οι περιορισμούς των ANNs, το εργαστήριο Poirazi στο IMBB-FORTH ανέπ- τυξε μια βιο-εμπνευσμένη αρχιτεκτονική που ενσωματώνει δενδριτική δομή και receptive field, μαζί με μια νέα προσέγγιση του Hebbian κανόνα. Με βάση την αρχική υλοποίηση στο Keras στην παρούσα διπλωματική αναπτύχθηκε μια προσέγ- γιση σε Numpy προκειμένου να αναλυθεί και να κατανοηθεί σε μεγαλύτερο βάθος αυτό το μοντέλο και η διαδικασία εκπαίδευσής του. Στη συνέχεια, σχεδιάστηκε, υλοποιήθηκε και μεταφορτώθηκε στην πλακέτα Xilinx ZCU 102 μια αρχιτεκτονική βασισμένη σε FPGA για τη διαδικασία εκπαίδευσης αυτού του βιοεμπνευσμένου ANN. Χρησιμοποιώντας τον υψηλό παραλληλισμό και την αποδοτικότητα ισχύος της FPGA, η αρχιτεκτονική μας κατάφερε να επιταχύνει την εκπαίδευση και να μειώ- σει την κατανάλωση ισχύος. Συγκεκριμένα, η προτεινόμενη υλοποίηση FPGA εκ- τελεί μια εποχή εκπαίδευσης (για το σύνολο δεδομένων MNIST) σε μόλις 13,46 δευτερόλεπτα αντί για 490 δευτερόλεπτα στην CPU (Keras) και τα 45 δευτερόλεπτα που απαιτεί η GPU (Keras). Επιπλέον, είναι 346 φορές πιο αποδοτική ενεργειακά συγκριτικά με την CPU και 57.5 φορές συγκριτικά με την GPU. | el |
| Τύπος | Διπλωματική Εργασία | el |
| Τύπος | Diploma Work | en |
| Άδεια Χρήσης | http://creativecommons.org/licenses/by/4.0/ | en |
| Ημερομηνία | 2024-04-22 | - |
| Ημερομηνία Δημοσίευσης | 2024 | - |
| Θεματική Κατηγορία | Bioinspired artificial neural networks | en |
| Θεματική Κατηγορία | FPGA | en |
| Βιβλιογραφική Αναφορά | Nikoletta Palatiana, "A reconfigurable logic based accelerator for bioinspired DNN architectures with dendritic structure and a novel learning rule", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2024 | en |
| Βιβλιογραφική Αναφορά | Νικολέττα Παλατιανά, "Σχεδίαση επιταχυντή βασισμένου σε αναδιατασσόμενη λογική για βιοεμπνευσμένες αρχιτεκτονικές με δενδριτική δομή και νέο κανόνα εκμάθησης για βαθιά νευρωνικά δίκτυα", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024 | el |
Copyright © DIAS 2013
