Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/391F6EEB-5AC3-4516-8E11-AFF78905339F | - |
| Αναγνωριστικό | https://doi.org/10.26233/heallink.tuc.97559 | - |
| Γλώσσα | en | - |
| Μέγεθος | 125 pages | en |
| Μέγεθος | 8.4 megabytes | en |
| Τίτλος | Design space exploration of hardware accelerated continual learning methods in convolutional neural networks | en |
| Τίτλος | Εξερεύνηση σχεδιαστικού χώρου για επιτάχυνση μεθόδων συνεχούς μάθησης συνελικτικών νευρωνικών δικτύων σε υλικό υπολογιστών (Hardware) | el |
| Δημιουργός | Perakis Emmanouil | en |
| Δημιουργός | Περακης Εμμανουηλ | el |
| Συντελεστής [Επιβλέπων Καθηγητής] | Dollas Apostolos | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Δολλας Αποστολος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Lagoudakis Michail | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Λαγουδακης Μιχαηλ | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Τσαγκατάκης Γρηγόριος | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Tsagkatakis Grigorios | en |
| Εκδότης | Πολυτεχνείο Κρήτης | el |
| Εκδότης | Technical University of Crete | en |
| Ακαδημαϊκή Μονάδα | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Ακαδημαϊκή Μονάδα | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Περίληψη | Artificial Intelligence (AI) and Machine Learning (ML) have seen indisputable advancements over the years, spanning a large number of branches from medicine and industry related machinery to data analytics and Internet of Things. One way in which Machine Learning on the edge falters is to learn from new, never before seen data, without having access to the previous data. If left as it is, trying to learn new classes results in catastrophic forgetting. By training a classifier that is separated from the network's parameters the model can learn new tasks without forgetting previously learned ones, and do this at inference time. This is where Continual Learning, and more importantly to this thesis, Streaming Linear Discriminant Analysis comes into play. In this thesis, an accelerator for the previously mentioned method was fully implemented and downloaded on an Field Programmable Gate Array (FPGA) device and compared to other platforms such as modern CPUs and Graphical Processing Units (GPUs). This accelerator results in fixed point latency that is two orders of magnitude smaller than even GPUs and hundrends of times more energy efficient. The floating point latency speedup is a lot smaller but still comparable to modern devices, while retaining the energy efficiency. | en |
| Περίληψη | Η Τεχνητή Νοημοσύνη (ΤΝ) και η Μηχανική Μάθηση (ΜΜ) έχουν δει αναμφισβήτητη πρόοδο τα τελευταία χρόνια, βρίσκοντας χρήση σε διάφορους κλάδους από την ιατρική και τα μηχανήματα που χρησιμοποιούνται στη βιομηχανία μέχρι την Ανάλυση Δεδομένων και το Διαδίκτυο των Πραγμάτων (IoT). Ένας τρόπος με τον οποίο η Μηχανική Μάθηση στην άκρη αποτυγχάνει είναι το να μάθει από νέα, πρωτοφανή δεδομένα, χωρίς να έχει πρόσβαση σε προηγούμενα δεδομένα. Αν μέινει όπως είναι, τότε η προσπάθεια εκμάθησης νέων κλάσεων οδηγεί σε ένα φαινόμενο που ονομάζεται καταστροφική λήθη. Εκπαιδεύοντας ένας ταξινομητή ο οποίος είναι διαχωρισμένος από τις παραμέτρους ενός δικτύου το μοντέλο μπορεί να μάθει νέες εργασίες χωρίς να ξεχνάει τις προηγούμενες, και όλα αυτά σε χρόνο συμπερασμού. Εδώ είναι που "εισέρχεται στην εξίσωση" η Συνεχής Μάθηση, και σημαντικότερα για τη συγκεκριμένη διατριβή, η Εισρέουσα Γραμμική Διακριτική Ανάλυση. Σε αυτή τη διατριβή ένας επιταχυντής για την προαναφερθείσα μέθοδο υλοποιήθηκε και κατέβηκε σε συσκευή Προγραμματιζόμενη Συστοιχία Πυλών Πεδίου και συγρίθηκε με άλλες πλατφόρμες όπως μοντέρνoυς επεξεργαστές και Επξεργαστικές Μονάδες Γραφικών. O επιταχυντής επιτυγχάνει, σε αριθμητική σταθερής υποδιαστολής, καθυστέρηση που είναι δύο τάξεις μεγέθους χαμηλότερη ακόμα και από Επξεργαστικές Μονάδες Γραφικών αλλά ταυτόχρονα είναι εκατοντάδες φορές πιο ενεργειακά αποδοτικός. Η βελτίωση στην καθυστέρηση, σε αριθμητική κινητής υποδιαστολής είναι πολύ μικρότερη αλλά συγκρίσημη με σύγχρονες συσκευές παράλληλα διατηρώντας την ενεργειακή απόδοση. | el |
| Τύπος | Διπλωματική Εργασία | el |
| Τύπος | Diploma Work | en |
| Άδεια Χρήσης | http://creativecommons.org/licenses/by-nc/4.0/ | en |
| Ημερομηνία | 2023-10-04 | - |
| Ημερομηνία Δημοσίευσης | 2023 | - |
| Θεματική Κατηγορία | Continual learning | en |
| Θεματική Κατηγορία | AI | en |
| Θεματική Κατηγορία | Machine learning | en |
| Θεματική Κατηγορία | Hardware | en |
| Θεματική Κατηγορία | CNN | en |
| Θεματική Κατηγορία | FPGA | en |
| Θεματική Κατηγορία | High level synthesis | en |
| Θεματική Κατηγορία | Hardware acceleration | en |
| Βιβλιογραφική Αναφορά | Perakis Emmanouil, "Design Space Exploration of Hardware Accelerated Continual Learning Methods in Convolutional Neural Networks", Diploma Thesis, Microprocessor and Hardware Lab, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023 | en |
| Βιβλιογραφική Αναφορά | Εμμανουήλ Περάκης, "Εξερεύνηση σχεδιαστικού χώρου για επιτάχυνση μεθόδων συνεχούς μάθησης συνελικτικών νευρωνικών δικτύων σε υλικό υπολογιστών (Hardware) ", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023 | el |
Copyright © DIAS 2013
