Αναζήτηση

Πλοήγηση

• Κοινότητες
• Συγγραφείς
• Έτος
• Τίτλοι
• Θέματα

Ο Χώρος μου

• Είσοδος

Βαθιά υπό καθοδήγηση ενισχυτική μάθηση

Chrysomallis Iason

Πλήρης Εγγραφή

---

Περίληψη

Η μίμηση αποτελεί μία τεχνική συμπεριφορικής εκμάθησης, ευρέως χρησιμοποιούμενη στην φύση. Στο ζωϊκό βασίλειο, για παράδειγμα, τα μωρά μιμούνται τους γονείς τους, και η μίμηση τα εφοδιάζει με τις κατάλληλες γνώσεις για να περπατήσουν στα πρώτα τους βήματα επιβίωσης. Παραδείγματα μίμησης παρατηρούνται και μεταξύ διαφορετικών ειδών, όπως στην φωνητική μίμηση των παπαγάλων ή στην συμπεριφορική μίμηση των κορακιών.Η μίμηση, λοιπόν, δεν θα μπορούσε να μην συμπεριληφθεί σε εφαρμογές της μηχανικής μάθησης, όπου αλγόριθμοι των πεδίων επιτηρούμενης μάθησης και ενισχυτικής μάθησης εκμεταλλεύονται την χρήση τεχνικών απευθείας, κυρίως, μίμησης, όπου ο πράκτορας που λειτουργεί ως "μέντορας'' προσπαθεί να "διδάξει'' απευθείας άλλους. Η μηχανική εκμάθηση μέσω έμμεσης μίμησης, από την άλλη, θεωρεί ότι οι πράκτορες-μιμητές απλά παρατηρούν τις αλλαγές καταστάσεων που προκύπτουν από την συμπεριφορά ενός πράκτορα που επιλέγουν ως μέντορα, και προσπαθούν να τις αναπαράγουν με βάση τις δικές τους δυνατότητες και γνώση του περιβάλλοντός τους. Αν και η έμμεση μίμηση έχει χρησιμοποιηθεί με ικανοποιητικά αποτελέσματα στο απώτερο παρελθόν, μόλις πρόσφατα έχει αξιοποιηθεί σε συνδυασμό με βαθιά ενισχυτική μάθηση, η οποία αποτελεί μια τρέχουσα τεχνολογία αιχμής στη μηχανική μάθηση.Στην παρούσα διπλωματική εργασία, βελτιώνουμε περαιτέρω την διαδικασία της έμμεσης μηχανικής εκμάθησης ενσωματώνοντας τέσσερις σύγχρονους αλγόριθμους βαθειάς ενισχυτικής μάθησης, τους οποίους θεωρούμε και χρησιμοποιούμε ως δομικά στοιχεία βελτιστοποίησης της προσπάθειας μίμησης. Οι εν λόγω αλγόριθμοι είναι οι Double Deep Q-network [Hasselt, Guez, and Silver, 2016], Prioritized Experience Replay [Schaul et al., 2016], Dueling Network Architecture [Wang et al., 2016] και Parameter Space Noise for Exploration [Plappert et al., 2018]. Προσαρμόσαμε τη λειτουργία των αλγορίθμων ώστε να συνάδει με το μοντέλο της έμμεσης μίμησης. Ενεργοποιώντας και απενεργοποιώντας τις παραπάνω μεθόδους, δημιουργούμε ποικίλους συνδυασμούς αυτών, και δοκιμάζουμε μεθοδικά και συγκρίνουμε την βιωσιμότητα του κάθε ενός από αυτούς τους συνδυασμούς. Οι πειραματισμοί μας κατέληξαν στην ανάδειξη ενός ξεκάθαρου "νικητή”: συγκεκριμένα, του συνδυασμού των Double Deep Q-network, Prioritized Experience Replay και Dueling Network Architecture.

Διαθέσιμα αρχεία

Υπηρεσίες