Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/391F6EEB-5AC3-4516-8E11-AFF78905339F | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.97559 | - |
| Language | en | - |
| Extent | 125 pages | en |
| Extent | 8.4 megabytes | en |
| Title | Design space exploration of hardware accelerated continual learning methods in convolutional neural networks | en |
| Title | Εξερεύνηση σχεδιαστικού χώρου για επιτάχυνση μεθόδων συνεχούς μάθησης συνελικτικών νευρωνικών δικτύων σε υλικό υπολογιστών (Hardware) | el |
| Creator | Perakis Emmanouil | en |
| Creator | Περακης Εμμανουηλ | el |
| Contributor [Thesis Supervisor] | Dollas Apostolos | en |
| Contributor [Thesis Supervisor] | Δολλας Αποστολος | el |
| Contributor [Committee Member] | Lagoudakis Michail | en |
| Contributor [Committee Member] | Λαγουδακης Μιχαηλ | el |
| Contributor [Committee Member] | Τσαγκατάκης Γρηγόριος | el |
| Contributor [Committee Member] | Tsagkatakis Grigorios | en |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Artificial Intelligence (AI) and Machine Learning (ML) have seen indisputable advancements over the years, spanning a large number of branches from medicine and industry related machinery to data analytics and Internet of Things. One way in which Machine Learning on the edge falters is to learn from new, never before seen data, without having access to the previous data. If left as it is, trying to learn new classes results in catastrophic forgetting. By training a classifier that is separated from the network's parameters the model can learn new tasks without forgetting previously learned ones, and do this at inference time. This is where Continual Learning, and more importantly to this thesis, Streaming Linear Discriminant Analysis comes into play. In this thesis, an accelerator for the previously mentioned method was fully implemented and downloaded on an Field Programmable Gate Array (FPGA) device and compared to other platforms such as modern CPUs and Graphical Processing Units (GPUs). This accelerator results in fixed point latency that is two orders of magnitude smaller than even GPUs and hundrends of times more energy efficient. The floating point latency speedup is a lot smaller but still comparable to modern devices, while retaining the energy efficiency. | en |
| Content Summary | Η Τεχνητή Νοημοσύνη (ΤΝ) και η Μηχανική Μάθηση (ΜΜ) έχουν δει αναμφισβήτητη πρόοδο τα τελευταία χρόνια, βρίσκοντας χρήση σε διάφορους κλάδους από την ιατρική και τα μηχανήματα που χρησιμοποιούνται στη βιομηχανία μέχρι την Ανάλυση Δεδομένων και το Διαδίκτυο των Πραγμάτων (IoT). Ένας τρόπος με τον οποίο η Μηχανική Μάθηση στην άκρη αποτυγχάνει είναι το να μάθει από νέα, πρωτοφανή δεδομένα, χωρίς να έχει πρόσβαση σε προηγούμενα δεδομένα. Αν μέινει όπως είναι, τότε η προσπάθεια εκμάθησης νέων κλάσεων οδηγεί σε ένα φαινόμενο που ονομάζεται καταστροφική λήθη. Εκπαιδεύοντας ένας ταξινομητή ο οποίος είναι διαχωρισμένος από τις παραμέτρους ενός δικτύου το μοντέλο μπορεί να μάθει νέες εργασίες χωρίς να ξεχνάει τις προηγούμενες, και όλα αυτά σε χρόνο συμπερασμού. Εδώ είναι που "εισέρχεται στην εξίσωση" η Συνεχής Μάθηση, και σημαντικότερα για τη συγκεκριμένη διατριβή, η Εισρέουσα Γραμμική Διακριτική Ανάλυση. Σε αυτή τη διατριβή ένας επιταχυντής για την προαναφερθείσα μέθοδο υλοποιήθηκε και κατέβηκε σε συσκευή Προγραμματιζόμενη Συστοιχία Πυλών Πεδίου και συγρίθηκε με άλλες πλατφόρμες όπως μοντέρνoυς επεξεργαστές και Επξεργαστικές Μονάδες Γραφικών. O επιταχυντής επιτυγχάνει, σε αριθμητική σταθερής υποδιαστολής, καθυστέρηση που είναι δύο τάξεις μεγέθους χαμηλότερη ακόμα και από Επξεργαστικές Μονάδες Γραφικών αλλά ταυτόχρονα είναι εκατοντάδες φορές πιο ενεργειακά αποδοτικός. Η βελτίωση στην καθυστέρηση, σε αριθμητική κινητής υποδιαστολής είναι πολύ μικρότερη αλλά συγκρίσημη με σύγχρονες συσκευές παράλληλα διατηρώντας την ενεργειακή απόδοση. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by-nc/4.0/ | en |
| Date of Item | 2023-10-04 | - |
| Date of Publication | 2023 | - |
| Subject | Continual learning | en |
| Subject | AI | en |
| Subject | Machine learning | en |
| Subject | Hardware | en |
| Subject | CNN | en |
| Subject | FPGA | en |
| Subject | High level synthesis | en |
| Subject | Hardware acceleration | en |
| Bibliographic Citation | Perakis Emmanouil, "Design Space Exploration of Hardware Accelerated Continual Learning Methods in Convolutional Neural Networks", Diploma Thesis, Microprocessor and Hardware Lab, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2023 | en |
| Bibliographic Citation | Εμμανουήλ Περάκης, "Εξερεύνηση σχεδιαστικού χώρου για επιτάχυνση μεθόδων συνεχούς μάθησης συνελικτικών νευρωνικών δικτύων σε υλικό υπολογιστών (Hardware) ", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2023 | el |
Copyright © DIAS 2013
