Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/A5174955-4079-40E7-B928-4575DD706773 | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.91712 | - |
| Language | en | - |
| Extent | 5.5 megabytes | en |
| Extent | 132 pages | en |
| Title | Convolutional neural network optimizations using knowledge distillation for applications on hardware accelarators | en |
| Title | Βελτιστοποιήσεις συνελικτικών νευρωνικών δικτύων με τεχνικές απόσταξης γνώσης για εφαρμογές σε επιταχυντές υλικού (Hardware) | el |
| Creator | Vailakis Apostolos-Nikolaos | en |
| Creator | Βαϊλακης Αποστολος-Νικολαος | el |
| Contributor [Thesis Supervisor] | Dollas Apostolos | en |
| Contributor [Thesis Supervisor] | Δολλας Αποστολος | el |
| Contributor [Committee Member] | Lagoudakis Michail | en |
| Contributor [Committee Member] | Λαγουδακης Μιχαηλ | el |
| Contributor [Committee Member] | Papaefstathiou Vassilis Dr. | en |
| Contributor [Committee Member] | Παπαευσταθίου Βασίλειος Δρ. | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Over the last decade, Convolutional Neural Networks have gained popularity amongst the scientific community, due to their versatility and performance in an all-growing domain of applications. Recent advances in computational power have enabled researchers to develop and train CNNs of exponential complexity, capable of solving problems previously considered unattainable. From facial recognition, to climate analysis and self-driving cars, CNNs constantly prove their value in the field of Machine Learning. Deploying however such models in real-world applications presents a significant challenge. While training complex CNNs requires high performance computing systems, inference may need to be performed at much tighter computational budgets. This has motivated the scientific community to develop both hardware architectures capable of efficiently executing CNNs, as well as methodologies for compressing networks. Hardware accelerators focused on edge applications opt for lower precision arithmetics (network quantization), which in turn simplifies the computational engines and greatly reduces the memory footprint of the models. This however can result in staggering accuracy losses. Recent advances in quantization-aware training techniques promise to mitigate these effects. Centered around DenseNet, a state-of-the-art CNN developed for image classification, this study performs an in-depth analysis of Quantization Aware Knowledge Distillation (QKD), a promising technique which combines quantization-aware training with knowledge distillation. Additionally, a comparison in inference performance between a CPU, a GPU and a Xilinx DPU is conducted, the latter of which employs 8-bit integer arithmetic. To achieve this, QKD is integrated in Xilinx's Vitis-AI workflow. Achieving a minimum of 9x latency speedup and 4x power efficiency compared to all other platforms using Xilinx's DPU, indicates that effective model compression and quantization, coupled with dedicated hardware architectures can produce highly capable systems for edge applications. | en |
| Content Summary | Την τελευταία δεκαετία, τα Συνελικτικά Νευρωνικά Δίκτυα (CNN) γίνονται ολοένα και πιο δημοφιλή στην επιστημονική κοινότητα, λόγω της ευελιξίας και της απόδοσής τους σε πληθώρα εφαρμογών. Πρόοδοι στην διαθέσιμη υπολογιστική ισχύ επιτρέπουν στους ερευνητές να αναπτύξουν και να εκπαιδεύσουν CNN εκθετικής πολυπλοκότητας, ικανά να λύσουν προβλήματα που προηγουμένως θεωρούνταν μη προσεγγίσημα. Από αναγνώριση προσώπων, μέχρι κλιματική ανάλυση και αυτοοδηγούμενα οχήματα, τα CNN αποδεικνύουν συνεχώς την αξία τους στον τομέα της Μηχανικής Μάθησης. Ωστόσο, η ανάπτυξη τέτοιων μοντέλων σε εφαρμογές πραγματικού κόσμου αποτελεί σημαντική πρόκληση. Ενώ η εκπαίδευση πολύπλοκων CNN απαιτεί υπολογιστικά συστήματα υψηλής απόδοσης, η χρήση τους μπορεί να προϋποθέτει συστήματα περιορισμένης επεξεργαστικής ισχύoς. Αυτό έχει παρακινήσει την επιστημονική κοινότητα να αναπτύξει τόσο αρχιτεκτονικές υλικού ικανές να εκτελούν αποτελεσματικά CNN, όσο και μεθοδολογίες για τη συμπίεση δικτύων. Οι επιταχυντές υλικού που εστιάζουν σε εφαρμογές χαμηλής κατανάλωσης βασίζονται σε αριθμητικές ακέραιων αριθμών (κβάντιση δικτύου), κάτι που με τη σειρά του απλοποιεί τις υπολογιστικές μηχανές και μειώνει σημαντικά το αποτύπωμα των μοντέλων στη μνήμη. Αυτό, ωστόσο, μπορεί να οδηγήσει σε σημαντικές απώλειες ακρίβειας. Οι πρόσφατες εξελίξεις σε τεχνικές εκπαίδευσης κάνοντας χρήση απόσταξης γνώσης (knowledge distillation) υπόσχονται να μετριάσουν αυτές τις επιπτώσεις. Με επίκεντρο το DenseNet, ένα CNN τελευταίας τεχνολογίας που αναπτύχθηκε για αναγνώριση εικόνων, η παρούσα μελέτη αναλύει εις βάθος τη μέθοδο Quantization aware Knowledge Distillation (QKD), η οποία συνδυάζει εκπαίδευση κβαντισμένων δικτύων με απόσταξη γνώσης και υπόσχεται σημαντική βελτίωση στην τελική ακρίβεια. Επιπλέον, συγκρίνεται η απόδοση ανάμεσα σε μια CPU, μια GPU και μια Xilinx DPU, η τελευταία από τις οποίες χρησιμοποιεί αριθμητική ακέραιων αριθμών 8-bit. Για να επιτευχθεί αυτό, το QKD ενσωματώνεται στη ροή του Vitis-AI της Xilinx. Τα τελικά αποτελέσματα παρουσιάζουν την Xilinx DPU να επιτυγχάνει τουλάχιστον 9x επιτάχυνση σε latency και 9x χαμηλότερη κατανάλωση ισχύος σε σύγκριση με όλες τις άλλες πλατφόρμες. Αυτό υποδηλώνει ότι η αποτελεσματική συμπίεση και κβάντιση νευρωνικών δικτύων, σε συνδυασμό με κατάλληλες αρχιτεκτονικές επιτάχυνσης υλικού, μπορούν να παράγουν συστήματα υψηλής ακρίβειας για εφαρμογές χαμηλής κατανάλωσης. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2022-03-08 | - |
| Date of Publication | 2022 | - |
| Subject | Artificial Neural Network | en |
| Subject | Convolutional Neural Network | en |
| Subject | FPGA | en |
| Subject | Knowledge distillation | en |
| Subject | Quantization | en |
| Subject | Quantization aware knowledge distillation | en |
| Subject | Quantization aware training | en |
| Subject | Vitis-AI | en |
| Bibliographic Citation | Apostolos-Nikolaos Vailakis, "Convolutional neural network optimizations using knowledge distillation for applications on hardware accelarators", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2022 | en |
| Bibliographic Citation | Απόστολος-Νικόλαος Βαϊλάκης, "Βελτιστοποιήσεις συνελικτικών νευρωνικών δικτύων με τεχνικές απόσταξης γνώσης για εφαρμογές σε επιταχυντές υλικού (Hardware)", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2022 | el |
Copyright © DIAS 2013
