Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/E93A906F-856D-4D07-8B71-93114448146E | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.86833 | - |
| Language | en | - |
| Extent | 62 pages | en |
| Title | Distributed training of recurrent neural networks by FGM protocol | en |
| Title | Κατανεμημένη εκπαίδευση αναδρομικών νευρωνικών δικτύων με την χρήση γεωμετρικής μεθόδου | el |
| Creator | Balampanis Ilias | en |
| Creator | Μπαλαμπανης Ηλιας | el |
| Contributor [Thesis Supervisor] | Samoladas Vasilis | en |
| Contributor [Thesis Supervisor] | Σαμολαδας Βασιλης | el |
| Contributor [Committee Member] | Deligiannakis Antonios | en |
| Contributor [Committee Member] | Δεληγιαννακης Αντωνιος | el |
| Contributor [Committee Member] | Lagoudakis Michail | en |
| Contributor [Committee Member] | Λαγουδακης Μιχαηλ | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Artificial Neural Networks are appealing because they learn by example and are strongly supported by statistical and optimization theories. The usage of recurrent neural networks as identifiers and predictors in nonlinear dynamic systems has increased significantly. They can present a wide range of dynamics, due to feedback and are also flexible nonlinear maps. Based on this, there is a need for distributed training on these networks, because of the enormous datasets. One of the most known protocols for distributed training is the Geometric Monitoring protocol. Our conviction is that this is a very expensive protocol regarding the communication of nodes. Recently, the Functional Geometric Protocol has tested training on Convolutional Neural Networks and has had encouraging results. The goal of this work is to test and compare these two protocols on Recurrent Neural Networks. | en |
| Content Summary | Τα Νευρωνικά Δίκτυα είναι ελκυστικά επειδή μαθαίνουν από τα δεδομένα και υποστηρίζονται έντονα από τις θεωρίες στατιστικής και βελτιστοποίησης. Η χρήση των Αναδρομικών Νευρωνικών Δικτύων για την πρόγνωση σε μη γραμμικά δυναμικά συστήματα έχει αυξηθεί σημαντικά. Αυτά έχουν την δυνατότητα να παρουσιάσουν ένα ευρύ φάσμα δυναμικής, λόγω της ανατροφοδότησης στην αρχιτεκτονικής τους. Βασιζόμενοι σε αυτό, προκύπτει η ανάγκη για κατανεμημένη εκπαίδευση σε αυτά τα δίκτυα, λόγω των τεράστιων δεδομένων. Ένα από τα πιο γνωστά πρωτόκολλα για κατανεμημένη εκπαίδευση είναι το πρωτόκολλο Γεωμετρικής Παρακολούθησης. Η πεποίθησή μας είναι ότι αυτό είναι ένα πολύ ακριβό πρωτόκολλο όσον αφορά την επικοινωνία των κόμβων, όταν το δίκτυο γίνεται όλο και μεγαλύτερο. Πρόσφατα, το Functional Geometric Monitoring πρωτόκολλο έχει δοκιμαστεί στην εκπαίδευση των Συνελικτικών Νευρωνικών Δικτύων και είχε ενθαρρυντικά αποτελέσματα. Ο στόχος αυτής της εργασίας είναι να δοκιμάσει και να συγκρίνει αυτά τα δύο πρωτόκολλα στα Αναδρομικά Νευρωνικά Δίκτυα. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by-sa/4.0/ | en |
| Date of Item | 2020-10-02 | - |
| Date of Publication | 2020 | - |
| Subject | Recurrent neural networks | en |
| Subject | Functional geometric monitoring | en |
| Subject | Distributed training of neural networks | en |
| Bibliographic Citation | Ilias Balampanis, "Distributed training of recurrent neural networks by FGM protocol", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2020 | en |
| Bibliographic Citation | Ηλίας Μπαλαμπάνης, "Κατανεμημένη εκπαίδευση αναδρομικών νευρωνικών δικτύων με την χρήση γεωμετρικής μεθόδου", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2020 | el |
Copyright © DIAS 2013
