Ιδρυματικό Αποθετήριο
Πολυτεχνείο Κρήτης
Πολυτεχνείο Κρήτης
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/8E9F870F-EF8B-42A0-AFC6-488BF38B90DF | - |
| Αναγνωριστικό | https://doi.org/10.26233/heallink.tuc.90434 | - |
| Γλώσσα | en | - |
| Μέγεθος | 108 pages | en |
| Μέγεθος | 6.2 megabytes | en |
| Μέγεθος | A4 (210x297mm) | en |
| Τίτλος | Autonomous drone navigation for landmark position estimation using reinforcement learning | en |
| Τίτλος | Αυτόνομη πλοήγηση drone για εκτίμηση θέσης διακριτικών με χρήση ενισχυτικής μάθησης | el |
| Δημιουργός | Galanis Michalis | en |
| Δημιουργός | Γαλανης Μιχαλης | el |
| Συντελεστής [Επιβλέπων Καθηγητής] | Lagoudakis Michail | en |
| Συντελεστής [Επιβλέπων Καθηγητής] | Λαγουδακης Μιχαηλ | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Zervakis Michail | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Ζερβακης Μιχαηλ | el |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Partsinevelos Panagiotis | en |
| Συντελεστής [Μέλος Εξεταστικής Επιτροπής] | Παρτσινεβελος Παναγιωτης | el |
| Εκδότης | Πολυτεχνείο Κρήτης | el |
| Εκδότης | Technical University of Crete | en |
| Ακαδημαϊκή Μονάδα | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Ακαδημαϊκή Μονάδα | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Περίληψη | Unmanned aerial vehicles (UAVs) have been increasingly used for critical and challenging applications, which often require a substantial level of autonomy. Several approaches have been investigated to create autonomous navigation systems such as Simultaneous Localization and Mapping (SLAM) using real-time mapping and position estimation. Reinforcement leaning (RL) is a promising alternative that focuses on learning to perform a task through a trial-and-error procedure, in which an agent interacts with its environment and receives continuous feedback based on the actions taken, with no access to any information about the environment itself. Eventually, the agent’s objective is to find the best possible sequence of actions that lead to the maximum total reward in the long term. This thesis explores a mapless approach to UAV autonomous navigation in completely unknown 3D environments using deep reinforcement learning (DRL), a reinforcement learning approach that incorporates deep learning techniques (deep neural networks) to overcome dimensionality limitations. The goal of the agent is to safely navigate through this unknown environment, so as to detect and approach a predefined set of ArUco markers (landmarks) placed within the environment. The unknown environments are dynamically created and contain a number of procedurally generated obstacles. We evaluate our agent in five different environment profiles with increasing difficulty level and observe how environment complexity affects training performance. Results show that deep reinforcement learning can be effective and can be successfully used for autonomous navigation missions. The entire project was implemented using the Robot Operating System (ROS) platform within the Gazebo robot simulator environment. | en |
| Περίληψη | Τα μη επανδρωμένα αεροσκάφη (Unmanned Aerial Vehicles, UAVs) χρησιμοποιούνται ολοένα και περισσότερο για κρίσιμες και απαιτητικές εφαρμογές, οι οποίες συχνά απαιτούν ένα σημαντικό επίπεδο αυτονομίας. ‘ ́Εχουν διερευνηθεί διάφορες προσεγγίσεις για τη δημιουργία συστημάτων αυτόνομης πλοήγησης, όπως ο ταυτόχρονος εντοπισμός και χαρτογράφηση (SLAM) που υλοποιεί σε πραγματικό χρόνο χαρτογράφηση και εκτίμηση θέσης. Η Ενισχυτική Μάθηση (Reinforcement Learning, RL) θεωρείται μια πολλά υποσχόμενη εναλλακτική λύση που επικεντρώνεται στη μάθηση κάποιου έργου μέσω μιας διαδικασίας δοκιμής και σφάλματος, στην οποία ένας πράκτορας αλληλεπιδρά με το περιβάλλον του και λαμβάνει συνεχή αξιολόγηση εξαρτώμενη από τις ενέργειες που επιλέγει, χωρίς ωστόσο να έχει πρόσβαση σε πληροφορίες για το ίδιο το περιβάλλον. Εν τέλει, ο στόχος του πράκτορα είναι να βρει την καλύτερη δυνατή ακολουθία ενεργειών που θα εξασφαλίσουν τη μέγιστη συνολική ανταμοιβή μακροπρόθεσμα. Η παρούσα διπλωματική εργασία διερευνά μια προσέγγιση αυτόνομης πλοήγησης αεροσκαφών (χωρίς χάρτη) σε εντελώς άγνωστα τρισδιάστατα περιβάλλοντα χρησιμοποιώντας βαθιά ενισχυτική μάθηση (Deep Reinforcement Learning, DRL), μια προσέγγιση ενισχυτικής μάθησης που ενσωματώνει τεχνικές βαθιάς μάθησης (βαθιά νευρωνικά δίκτυα) για να αντιμετωπιστούν οι περιορισμοί διαστατικότητας. Ο στόχος του πράκτορα είναι να περιηγηθεί με ασφάλεια στο άγνωστο περιβάλλον, ώστε να εντοπίσει και να προσεγγίσει έναν προκαθορισμένο αριθμό διακριτικών δεικτών ArUco που είναι τοποθετημένοι μέσα στο περιβάλλον. Τα άγνωστα περιβάλλοντα δημιουργούνται δυναμικά και συμπεριλαμβάνουν έναν πλήθος από εμπόδια παραγόμενα με αυτοματοποιημένο τρόπο. Αξιολογούμε τον πράκτορας μας σε πέντε διαφορετικά προφίλ περιβαλλόντων με αυξανόμενο επίπεδο δυσκολίας και παρατηρούμε πως η πολυπλοκότητα του περιβάλλοντος επηρεάζει την απόδοση της μάθησης. Τα αποτελέσματα δείχνουν ότι η βαθιά ενισχυτική μάθηση μπορεί να είναι αποτελεσματική και μπορεί να χρησιμοποιηθεί επιτυχώς σε αποστολές αυτόνομης πλοήγησης. Η εργασία στο σύνολό της έχει υλοποιηθεί μέσω της πλατφόρμας Robot Operating System (ROS) στο περιβάλλον ρομποτικής προσομοίωσης Gazebo. | el |
| Τύπος | Διπλωματική Εργασία | el |
| Τύπος | Diploma Work | en |
| Άδεια Χρήσης | http://creativecommons.org/licenses/by/4.0/ | en |
| Ημερομηνία | 2021-10-11 | - |
| Ημερομηνία Δημοσίευσης | 2021 | - |
| Θεματική Κατηγορία | 3D environment | en |
| Θεματική Κατηγορία | Artificial intelligence | en |
| Θεματική Κατηγορία | Artificial neural network | en |
| Θεματική Κατηγορία | ArUco marker | en |
| Θεματική Κατηγορία | ArUco marker detection | en |
| Θεματική Κατηγορία | ArUco tag | en |
| Θεματική Κατηγορία | Autonomous UAV navigation | en |
| Θεματική Κατηγορία | Deep learning | en |
| Θεματική Κατηγορία | Deep neural network | en |
| Θεματική Κατηγορία | Deep reinforcement learning | en |
| Θεματική Κατηγορία | DQN | en |
| Θεματική Κατηγορία | Drone | en |
| Θεματική Κατηγορία | Drone aircraft | en |
| Θεματική Κατηγορία | Dynamic environment | en |
| Θεματική Κατηγορία | Environment | en |
| Θεματική Κατηγορία | Fully connected layer | en |
| Θεματική Κατηγορία | Gazebo | en |
| Θεματική Κατηγορία | Inertial measurement unit | en |
| Θεματική Κατηγορία | Keras | en |
| Θεματική Κατηγορία | Landmark position estimation | en |
| Θεματική Κατηγορία | LIDAR | en |
| Θεματική Κατηγορία | Machine vision | en |
| Θεματική Κατηγορία | Neural network | en |
| Θεματική Κατηγορία | Obstacle avoidance | en |
| Θεματική Κατηγορία | Obstacles | en |
| Θεματική Κατηγορία | OpenAI Gym | en |
| Θεματική Κατηγορία | Optical camera | en |
| Θεματική Κατηγορία | Q-Learning | en |
| Θεματική Κατηγορία | Reinforcement learning | en |
| Θεματική Κατηγορία | Reward | en |
| Θεματική Κατηγορία | ROS | en |
| Θεματική Κατηγορία | ROS transformations | en |
| Θεματική Κατηγορία | Sensors | en |
| Θεματική Κατηγορία | SONAR | en |
| Θεματική Κατηγορία | Target approach | en |
| Θεματική Κατηγορία | Tensorflow | en |
| Θεματική Κατηγορία | Training | en |
| Θεματική Κατηγορία | Unknown environment | en |
| Θεματική Κατηγορία | Unmanned eerial vehicle | en |
| Θεματική Κατηγορία | Value function approximation | en |
| Θεματική Κατηγορία | Autonomous drone navigation | en |
| Βιβλιογραφική Αναφορά | Michalis Galanis, "Autonomous drone navigation for landmark position estimation using reinforcement learning", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2021 | en |
| Βιβλιογραφική Αναφορά | Μιχάλης Γαλάνης, "Αυτόνομη πλοήγηση drone για εκτίμηση θέσης διακριτικών με χρήση ενισχυτικής μάθησης", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2021 | el |
Copyright © DIAS 2013
