Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
EN  |  EL

Αναζήτηση

Πλοήγηση

Ο Χώρος μου

Συμπίεση βαρών αναδρομικού νευρωνικού δικτύου για την επιτάχυνση αναγνώρισης ωωνής σε αναδιατασσόμενη λογική (FPGA)

Poupakis Alexandros

Απλή Εγγραφή


URIhttp://purl.tuc.gr/dl/dias/9F6CCDED-8F17-4D23-89E9-F86717C3BA32-
Αναγνωριστικόhttps://doi.org/10.26233/heallink.tuc.95117-
Γλώσσαen-
Μέγεθος5.1 megabytesen
Μέγεθος176 pagesen
ΤίτλοςCompression of weights of recurrent neural network for speech recognition acceleration in reconfigurable hardware (FPGA) en
ΤίτλοςΣυμπίεση βαρών αναδρομικού νευρωνικού δικτύου για την επιτάχυνση αναγνώρισης ωωνής σε αναδιατασσόμενη λογική (FPGA)el
ΔημιουργόςPoupakis Alexandrosen
ΔημιουργόςΠουπακης Αλεξανδροςel
Συντελεστής [Επιβλέπων Καθηγητής]Dollas Apostolosen
Συντελεστής [Επιβλέπων Καθηγητής]Δολλας Αποστολοςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Bletsas Aggelosen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Μπλετσας Αγγελοςel
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Lagoudakis Michailen
Συντελεστής [Μέλος Εξεταστικής Επιτροπής]Λαγουδακης Μιχαηλel
ΕκδότηςΠολυτεχνείο Κρήτηςel
ΕκδότηςTechnical University of Creteen
Ακαδημαϊκή ΜονάδαTechnical University of Crete::School of Electrical and Computer Engineeringen
Ακαδημαϊκή ΜονάδαΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
ΠερίληψηOver the last decades, advances in machine learning and neural networks have been unprecedented, with ever more sophisticated models trickling down the mainstream and forming the backbone of products and services we use every day. While cutting edge research in this field has expanded the realm of what is feasible, the learning superiority of deep neural networks is largely attributed to their size. Hardware acceleration of deep learning inference is necessary, for such models to be practically deployable. However, as model size increases rapidly, the available memory bandwidth on massively parallel computing platforms such as FPGAs is outpaced, constituting a bottleneck for scalability. This study addresses the problem of compressing deep neural network weights for inference acceleration on FPGAs. The DeepSpeech2 model for Speech Recognition is trained and used as a case study for weight pruning and quantization. The pièce de résistance of this thesis is the development of a novel compression method suitable for quantized weights, which is tested on the sparse matrices of DeepSpeech2. This method generates a tree of overlapping symbol sequences and uses it to encode the data with mathematically decodable, variable length codes. Importantly, our compression method inherently allows one to coarsely select the decompression throughput. Lastly, the decompressor's architecture is designed and a general model for its resource cost in UltraScale FPGAs is created. When compared against various LZ77-based decompressors in literature, our decompressor consumes more than an order of magnitude fewer logic resources, while being capable of the same or higher throughput.en
ΤύποςΔιπλωματική Εργασίαel
ΤύποςDiploma Worken
Άδεια Χρήσηςhttp://creativecommons.org/licenses/by/4.0/en
Ημερομηνία2023-03-01-
Ημερομηνία Δημοσίευσης2023-
Θεματική ΚατηγορίαFPGAen
Θεματική ΚατηγορίαReconfigurable logicen
Θεματική ΚατηγορίαCompressionen
Θεματική ΚατηγορίαInference accelerationen
Θεματική ΚατηγορίαNeural networksen
Βιβλιογραφική ΑναφοράAlexandros Poupakis, "Compression of weights of recurrent neural network for speech recognition acceleration in reconfigurable hardware (FPGA)", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023en
Βιβλιογραφική ΑναφοράΑλέξανδρος Πουπάκης, "Συμπίεση βαρών αναδρομικού νευρωνικού δικτύου για την επιτάχυνση αναγνώρισης ωωνής σε αναδιατασσόμενη λογική (FPGA)", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023el

Διαθέσιμα αρχεία

Υπηρεσίες

Στατιστικά