Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/E3466A49-13C0-41E6-8AC9-484A0C47CFC4 | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.97389 | - |
| Language | en | - |
| Extent | 5.8 megabytes | en |
| Extent | 147 pages | en |
| Title | Bioinspired DNN architectures with dendritic structure | en |
| Title | Βιοεμπνευσμένες αρχιτεκτονικές για βαθιά νευρωνικά δίκτυα με δενδριτικές δομές | el |
| Creator | Pantzekos Lampros | en |
| Creator | Παντζεκος Λαμπρος | el |
| Contributor [Committee Member] | Zervakis Michail | en |
| Contributor [Committee Member] | Ζερβακης Μιχαηλ | el |
| Contributor [Committee Member] | Panayiota Poirazi | en |
| Contributor [Committee Member] | Παναγιώτα Ποϊράζη | el |
| Contributor [Thesis Supervisor] | Dollas Apostolos | en |
| Contributor [Thesis Supervisor] | Δολλας Αποστολος | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Artificial Neural Networks (ANNs) implemented in Deep Learning architectures have been successfully used to solve a wide range of challenging machine learning tasks. However, in order to achieve top performance, they typically require a substantial amount of energy. In contrast, the brain operates at a very low energy level. Drawing inspiration from biological dendrites and the aforementioned limitations of ANNs, the Poirazi lab of IMBB-FORTH introduced a bio-inspired ANN architecture with a dendritic structure and receptive field. Regarding the learning rule, backpropagation is fully applied. Training parameters are updated using the Adam optimization algorithm instead of the classical gradient descent algorithm. Based on their initial high-level Keras implementation, a lower-level Numpy implementation was developed in this thesis to analyze and understand in depth this model and its training process. Following this, an FPGA-based architecture for the training process of this bio-inspired ANN was designed, implemented, and downloaded onto the Xilinx ZCU 102 board in this thesis. In this developed FPGA implementation, training has been accelerated and power/energy consumption has been greatly reduced as a result of leveraging the high parallelism and power efficiency of the FPGA. In particular, our proposed FPGA implementation executes an epoch of training (for the MNIST dataset) in only 2.3797 seconds rather than 37 seconds on the CPU (Keras) and 17 seconds on the GPU (Keras). Furthermore, it achieves 106.15 times greater energy efficiency than the CPU implementation (Keras) and 56.5 times greater energy efficiency than the GPU implementation (Keras). | en |
| Content Summary | Τα Artificial Neural Networks (ANNs), τα οποία είναι υλοποιημένα σε αρχιτεκτονικές Deep Learning, έχουν επιτυχώς επιλύσει ένα μεγάλο έυρος απαιτητικών προβλημάτων μηχανικής μάθησης. Ωστόσο, προκειμένου να επιτευχθεί μέγιστη απόδοση, απαιτούν υψηλά επίπεδα ενέργειας. Σε αντίθεση, ο εγκέφαλος λειτουργεί σε πολύ χαμηλά επίπεδα ενέργειας. Αντλώντας έμπνευση από τους δενδρίτες στην βιολογία και τους παραπάνω περιορισμούς των ANNs, το Poirazi lab του ΙΜΒΒ-ΙΤΕ, παρουσίασε μία βιοεμπνευσμένη ANN αρχιτεκτονική, η οποία περιλαμβάνει δενδριτική δομή και receptive field. Αναφορικά με τον κανόνα εκμάθησης του μοντέλου, εφαρμόζεται πλήρως backpropagation. Οι παράμετροι εκμάθησης ενημερώνονται μέσω του Adam optimization αλγόριθμου, αντί της κλασικής gradient descent μεθόδου. Με βάση την αρχική τους, υψηλού επιπέδου υλοποίηση του μοντέλου σε Keras, υλοποίηθηκε αυτό σε αυτή τη διπλωματική σε χαμηλότερο επίπεδο σε Numpy, ώστε να αναλυθεί διεξοδικά το μοντέλο και η διεργασία του training. Έπειτα στα πλαίσια αυτής της διπλωματικής, σχεδιάστηκε και υλοποιήθηκε η αρχιτεκτονική της training διεργασίας αυτού του μοντέλου σε FPGA, καθώς και μεταφορτώθηκε αυτή η σχεδίαση στην πλακέτα ZCU 102 της Xilinx. Μέσω αυτής της υλοποίησης σε FPGA, το training επιταχύνθηκε και η κατανάλωση ενέργειας μειώθηκε σημαντικά, εκμεταλλευόμενοι την υψηλή παραλληλοποίηση και την ενεργειακή αποδοτικότητα που παρέχει η FPGA. Συγκεκριμένα, η υλοποίηση μας σε FPGA εκτελεί ένα epoch του training (για το MNIST dataset) σε μόνο 2.3797 δευτερόλεπτα αντί για τα 37 δευτερόλεπτα που απαιτεί η CPU (Keras) και τα 17 δευτερόλεπτα που απαιτεί η GPU (Keras). Επιπλέον, είναι 106.15 φορές πιο αποδοτική ενεργειακά συγκριτικά με την CPU και 56.5 φορές συγκριτικά με την GPU. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2023-09-14 | - |
| Date of Publication | 2023 | - |
| Subject | FPGA | en |
| Subject | Bioinspired artificial neural networks | en |
| Bibliographic Citation | Lampros Pantzekos, "Bioinspired DNN architectures with dendritic structure", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023 | en |
| Bibliographic Citation | Λάμπρος Παντζέκος, "Βιοεμπνευσμένες αρχιτεκτονικές για βαθιά νευρωνικά δίκτυα με δενδριτικές δομές", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023 | el |
Copyright © DIAS 2013
