Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/770878C0-99A0-4F37-990E-3D52D4C81D4F | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.99534 | - |
| Language | en | - |
| Extent | 3 megabytes | en |
| Extent | 123 pages | en |
| Title | A reconfigurable logic based accelerator for bioinspired DNN architectures with dendritic structure and a novel learning rule | en |
| Title | Σχεδίαση επιταχυντή βασισμένου σε αναδιατασσόμενη λογική για βιοεμπνευσμένες αρχιτεκτονικές με δενδριτική δομή και νέο κανόνα εκμάθησης για βαθιά νευρωνικά δίκτυα | el |
| Creator | Palatiana Nikoletta | en |
| Creator | Παλατιανα Νικολεττα | el |
| Contributor [Committee Member] | Zervakis Michail | en |
| Contributor [Committee Member] | Ζερβακης Μιχαηλ | el |
| Contributor [Committee Member] | Παναγιώτα Ποϊράζη | el |
| Contributor [Committee Member] | Panayiota Poirazi | en |
| Contributor [Thesis Supervisor] | Dollas Apostolos | en |
| Contributor [Thesis Supervisor] | Δολλας Αποστολος | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Artificial Neural Networks (ANNs) have been successfully used in Deep Learning architectures to solve a variety of challenging machine learning problems. Nevertheless they usually require a considerable amount of energy. In addition, they demonstrate weakness in continually learning new tasks without forgetting the previous ones. They require multiple sets of data and a considerable amount of trainable parameters. The brain, on the other hand, operates at a very low energy level without facing problems learning new things. By drawing inspiration from the human brain and overcoming the limitations of ANNs, the Poirazi lab at IMBB-FORTH developed a bio-inspired architecture that incorporates the dendritic structure and receptive field, along with a novel approach to Hebbian learning. In this thesis a lower-level Numpy implementation was developed based on their initial Keras implementation in order to analyze and understand this model and its training process in greater depth. This was followed by the design, implementation, and download of an FPGA-based architecture onto the Xilinx ZCU 102 board for training the ANN. Using the high parallelism and power efficiency of the FPGA, our architecture has accelerated training and reduced power consumption. In particular, our proposed FPGA implementation executes an epoch of training (for the MNIST dataset) in only 13.46 seconds rather than 490 seconds on the CPU (Keras) and 45 seconds on the GPU (Keras). Furthermore, it achieves 346 times greater energy efficiency than the CPU implementation (Keras) and 57.5 times greater energy efficiency than the GPU implementation (Keras). | en |
| Content Summary | Τα Artificial Neural Networks (ANNs), έχουν χρησιμοποιηθεί με επιτυχία σε αρχιτεκτονικές βαθιάς μάθησης για την επίλυση μιας σειράς δύσκολων προβλη- μάτων μηχανικής μάθησης. Ωστόσο, προκειμένου να επιτύχουν τη μέγιστη από- δοση, απαιτούν συνήθως σημαντική ποσότητα ενέργειας. Επιπλέον, δυσκολεύον- ται στην εκμάθηση νέων εργασιών. Απαιτούν μεγάλο όγκο δεδομένων και σημαν- τικό αριθμό παραμέτρων. Ο εγκέφαλος, από την άλλη πλευρά, λειτουργεί σε πολύ χαμηλό επίπεδο ενέργειας χωρίς να αντιμετωπίζει προβλήματα στη συνεχή εκμάθηση. Αντλώντας έμπνευση από τον ανθρώπινο εγκέφαλο και προσπαθώντας να ξεπερασ- τούν οι περιορισμούς των ANNs, το εργαστήριο Poirazi στο IMBB-FORTH ανέπ- τυξε μια βιο-εμπνευσμένη αρχιτεκτονική που ενσωματώνει δενδριτική δομή και receptive field, μαζί με μια νέα προσέγγιση του Hebbian κανόνα. Με βάση την αρχική υλοποίηση στο Keras στην παρούσα διπλωματική αναπτύχθηκε μια προσέγ- γιση σε Numpy προκειμένου να αναλυθεί και να κατανοηθεί σε μεγαλύτερο βάθος αυτό το μοντέλο και η διαδικασία εκπαίδευσής του. Στη συνέχεια, σχεδιάστηκε, υλοποιήθηκε και μεταφορτώθηκε στην πλακέτα Xilinx ZCU 102 μια αρχιτεκτονική βασισμένη σε FPGA για τη διαδικασία εκπαίδευσης αυτού του βιοεμπνευσμένου ANN. Χρησιμοποιώντας τον υψηλό παραλληλισμό και την αποδοτικότητα ισχύος της FPGA, η αρχιτεκτονική μας κατάφερε να επιταχύνει την εκπαίδευση και να μειώ- σει την κατανάλωση ισχύος. Συγκεκριμένα, η προτεινόμενη υλοποίηση FPGA εκ- τελεί μια εποχή εκπαίδευσης (για το σύνολο δεδομένων MNIST) σε μόλις 13,46 δευτερόλεπτα αντί για 490 δευτερόλεπτα στην CPU (Keras) και τα 45 δευτερόλεπτα που απαιτεί η GPU (Keras). Επιπλέον, είναι 346 φορές πιο αποδοτική ενεργειακά συγκριτικά με την CPU και 57.5 φορές συγκριτικά με την GPU. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2024-04-22 | - |
| Date of Publication | 2024 | - |
| Subject | Bioinspired artificial neural networks | en |
| Subject | FPGA | en |
| Bibliographic Citation | Nikoletta Palatiana, "A reconfigurable logic based accelerator for bioinspired DNN architectures with dendritic structure and a novel learning rule", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2024 | en |
| Bibliographic Citation | Νικολέττα Παλατιανά, "Σχεδίαση επιταχυντή βασισμένου σε αναδιατασσόμενη λογική για βιοεμπνευσμένες αρχιτεκτονικές με δενδριτική δομή και νέο κανόνα εκμάθησης για βαθιά νευρωνικά δίκτυα", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024 | el |
Copyright © DIAS 2013
