Autonomous drone navigation for landmark position estimation using reinforcement learning

Galanis Michalis

URI	http://purl.tuc.gr/dl/dias/8E9F870F-EF8B-42A0-AFC6-488BF38B90DF	-
Identifier	https://doi.org/10.26233/heallink.tuc.90434	-
Language	en	-
Extent	108 pages	en
Extent	6.2 megabytes	en
Extent	A4 (210x297mm)	en
Title	Autonomous drone navigation for landmark position estimation using reinforcement learning	en
Title	Αυτόνομη πλοήγηση drone για εκτίμηση θέσης διακριτικών με χρήση ενισχυτικής μάθησης	el
Creator	Galanis Michalis	en
Creator	Γαλανης Μιχαλης	el
Contributor [Thesis Supervisor]	Lagoudakis Michail	en
Contributor [Thesis Supervisor]	Λαγουδακης Μιχαηλ	el
Contributor [Committee Member]	Zervakis Michail	en
Contributor [Committee Member]	Ζερβακης Μιχαηλ	el
Contributor [Committee Member]	Partsinevelos Panagiotis	en
Contributor [Committee Member]	Παρτσινεβελος Παναγιωτης	el
Publisher	Πολυτεχνείο Κρήτης	el
Publisher	Technical University of Crete	en
Academic Unit	Technical University of Crete::School of Electrical and Computer Engineering	en
Academic Unit	Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών	el
Content Summary	Unmanned aerial vehicles (UAVs) have been increasingly used for critical and challenging applications, which often require a substantial level of autonomy. Several approaches have been investigated to create autonomous navigation systems such as Simultaneous Localization and Mapping (SLAM) using real-time mapping and position estimation. Reinforcement leaning (RL) is a promising alternative that focuses on learning to perform a task through a trial-and-error procedure, in which an agent interacts with its environment and receives continuous feedback based on the actions taken, with no access to any information about the environment itself. Eventually, the agent’s objective is to find the best possible sequence of actions that lead to the maximum total reward in the long term. This thesis explores a mapless approach to UAV autonomous navigation in completely unknown 3D environments using deep reinforcement learning (DRL), a reinforcement learning approach that incorporates deep learning techniques (deep neural networks) to overcome dimensionality limitations. The goal of the agent is to safely navigate through this unknown environment, so as to detect and approach a predefined set of ArUco markers (landmarks) placed within the environment. The unknown environments are dynamically created and contain a number of procedurally generated obstacles. We evaluate our agent in five different environment profiles with increasing difficulty level and observe how environment complexity affects training performance. Results show that deep reinforcement learning can be effective and can be successfully used for autonomous navigation missions. The entire project was implemented using the Robot Operating System (ROS) platform within the Gazebo robot simulator environment.	en
Content Summary	Τα μη επανδρωμένα αεροσκάφη (Unmanned Aerial Vehicles, UAVs) χρησιμοποιούνται ολοένα και περισσότερο για κρίσιμες και απαιτητικές εφαρμογές, οι οποίες συχνά απαιτούν ένα σημαντικό επίπεδο αυτονομίας. ‘ ́Εχουν διερευνηθεί διάφορες προσεγγίσεις για τη δημιουργία συστημάτων αυτόνομης πλοήγησης, όπως ο ταυτόχρονος εντοπισμός και χαρτογράφηση (SLAM) που υλοποιεί σε πραγματικό χρόνο χαρτογράφηση και εκτίμηση θέσης. Η Ενισχυτική Μάθηση (Reinforcement Learning, RL) θεωρείται μια πολλά υποσχόμενη εναλλακτική λύση που επικεντρώνεται στη μάθηση κάποιου έργου μέσω μιας διαδικασίας δοκιμής και σφάλματος, στην οποία ένας πράκτορας αλληλεπιδρά με το περιβάλλον του και λαμβάνει συνεχή αξιολόγηση εξαρτώμενη από τις ενέργειες που επιλέγει, χωρίς ωστόσο να έχει πρόσβαση σε πληροφορίες για το ίδιο το περιβάλλον. Εν τέλει, ο στόχος του πράκτορα είναι να βρει την καλύτερη δυνατή ακολουθία ενεργειών που θα εξασφαλίσουν τη μέγιστη συνολική ανταμοιβή μακροπρόθεσμα. Η παρούσα διπλωματική εργασία διερευνά μια προσέγγιση αυτόνομης πλοήγησης αεροσκαφών (χωρίς χάρτη) σε εντελώς άγνωστα τρισδιάστατα περιβάλλοντα χρησιμοποιώντας βαθιά ενισχυτική μάθηση (Deep Reinforcement Learning, DRL), μια προσέγγιση ενισχυτικής μάθησης που ενσωματώνει τεχνικές βαθιάς μάθησης (βαθιά νευρωνικά δίκτυα) για να αντιμετωπιστούν οι περιορισμοί διαστατικότητας. Ο στόχος του πράκτορα είναι να περιηγηθεί με ασφάλεια στο άγνωστο περιβάλλον, ώστε να εντοπίσει και να προσεγγίσει έναν προκαθορισμένο αριθμό διακριτικών δεικτών ArUco που είναι τοποθετημένοι μέσα στο περιβάλλον. Τα άγνωστα περιβάλλοντα δημιουργούνται δυναμικά και συμπεριλαμβάνουν έναν πλήθος από εμπόδια παραγόμενα με αυτοματοποιημένο τρόπο. Αξιολογούμε τον πράκτορας μας σε πέντε διαφορετικά προφίλ περιβαλλόντων με αυξανόμενο επίπεδο δυσκολίας και παρατηρούμε πως η πολυπλοκότητα του περιβάλλοντος επηρεάζει την απόδοση της μάθησης. Τα αποτελέσματα δείχνουν ότι η βαθιά ενισχυτική μάθηση μπορεί να είναι αποτελεσματική και μπορεί να χρησιμοποιηθεί επιτυχώς σε αποστολές αυτόνομης πλοήγησης. Η εργασία στο σύνολό της έχει υλοποιηθεί μέσω της πλατφόρμας Robot Operating System (ROS) στο περιβάλλον ρομποτικής προσομοίωσης Gazebo.	el
Type of Item	Διπλωματική Εργασία	el
Type of Item	Diploma Work	en
License	http://creativecommons.org/licenses/by/4.0/	en
Date of Item	2021-10-11	-
Date of Publication	2021	-
Subject	3D environment	en
Subject	Artificial intelligence	en
Subject	Artificial neural network	en
Subject	ArUco marker	en
Subject	ArUco marker detection	en
Subject	ArUco tag	en
Subject	Autonomous UAV navigation	en
Subject	Deep learning	en
Subject	Deep neural network	en
Subject	Deep reinforcement learning	en
Subject	DQN	en
Subject	Drone	en
Subject	Drone aircraft	en
Subject	Dynamic environment	en
Subject	Environment	en
Subject	Fully connected layer	en
Subject	Gazebo	en
Subject	Inertial measurement unit	en
Subject	Keras	en
Subject	Landmark position estimation	en
Subject	LIDAR	en
Subject	Machine vision	en
Subject	Neural network	en
Subject	Obstacle avoidance	en
Subject	Obstacles	en
Subject	OpenAI Gym	en
Subject	Optical camera	en
Subject	Q-Learning	en
Subject	Reinforcement learning	en
Subject	Reward	en
Subject	ROS	en
Subject	ROS transformations	en
Subject	Sensors	en
Subject	SONAR	en
Subject	Target approach	en
Subject	Tensorflow	en
Subject	Training	en
Subject	Unknown environment	en
Subject	Unmanned eerial vehicle	en
Subject	Value function approximation	en
Subject	Autonomous drone navigation	en
Bibliographic Citation	Michalis Galanis, "Autonomous drone navigation for landmark position estimation using reinforcement learning", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2021	en
Bibliographic Citation	Μιχάλης Γαλάνης, "Αυτόνομη πλοήγηση drone για εκτίμηση θέσης διακριτικών με χρήση ενισχυτικής μάθησης", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2021	el

Name	Size	Type	File
Galanis_Michalis_Dip_2021.pdf	5 MB	application/pdf
GALANIS_MICHALIS_DIP_PRESENTATION_2021.pdf	4 MB	application/pdf

Search

Browse

My Space

Autonomous drone navigation for landmark position estimation using reinforcement learning

Galanis Michalis

Available Files

Services

Export

Share

Statistics

Metadata & Content in a METS Package:

Metadata in Format: