Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/058EFB0E-3887-4357-994E-89B9DCDD3BB1 | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.101050 | - |
| Language | en | - |
| Extent | 9.9 megabytes | en |
| Extent | 178 pages | en |
| Title | Multimodal user interface for autonomous driving in augmented reality simulated in virtual reality | en |
| Title | Πολυτροπική διεπαφή χρήστη για αυτόνομη οδήγηση σε επαυξημένη πραγματικότητα προσομοιωμένη σε εικονική πραγματικότητα | el |
| Creator | Protopapadakis Georgios | en |
| Creator | Πρωτοπαπαδακης Γεωργιος | el |
| Contributor [Thesis Supervisor] | Mania Aikaterini | en |
| Contributor [Thesis Supervisor] | Μανια Αικατερινη | el |
| Contributor [Committee Member] | Lagoudakis Michail | en |
| Contributor [Committee Member] | Λαγουδακης Μιχαηλ | el |
| Contributor [Committee Member] | Deligiannakis Antonios | en |
| Contributor [Committee Member] | Δεληγιαννακης Αντωνιος | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Πολυτεχνείο Κρήτης:Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | As autonomous vehicles become more common in daily life, developing effective and intuitive User Interfaces (UIs) for passenger interaction is becoming increasingly important. Multimodal interaction techniques, like eye tracking and voice commands, seem like promising solutions by providing hands-free and intuitive control methods. This thesis introduces a VR-based simulator designed to explore these interactions on an Augmented Reality (AR) windshield display (WSD) within a mobile office setting in an autonomously driven vehicle. The system combines gaze-based interaction techniques, such as eye blink and dwell-time, as well as voice commands to offer a hands-free interface for controlling vehicle functions, such as air conditioning and radio, as well as office tasks like phone calls and messaging. The system uses the HTC Vive Pro Eye with SRanipal SDK for real-time eye tracking, together with TobiiXR SDK for advanced gaze-based interactions. Built using the Unity game engine, the simulator enables the users to experience an autonomous vehicle while navigating an urban environment. Unity’s Speech and Dictation Recognizers also help to implement voice command interactions and speech to text writing. This system’s capabilities were evaluated based on user studies, measuring task completion times, errors throughout specific tasks, and user preferences across different levels of VR familiarity. Additionally, the system explores the concept of the mobile office, where users can stay productive while the vehicle autonomously navigates. The detailed performance evaluation focuses on user interaction metrics, including responsiveness and error rates for each eye-gaze modality. Usability Testing and User Experience Metrics evaluation methods were used with 12 participants, providing feedback on the effectiveness of the interaction techniques. The results show a preference for eye blink and voice command interactions for speed, though dwell-time demonstrated potential for improved accuracy with training. The study also emphasizes the importance of user trust in autonomous vehicles, enhanced by real-time feedback from the vehicle. This work con tributes to the evolving field of AR-driven user interfaces in autonomous driving, offering insights into future interface design and user interaction techniques for highly automated systems. | en |
| Content Summary | Καθώς τα αυτόνομα οχήματα γίνονται όλο και πιο συνηθισμένα στην καθημερινή ζωή, η ανάπτυξη αποτελεσματικών και διαισθητικών Διεπαφών Χρήστη (UIs) για την αλληλεπίδραση των επιβατών γίνεται όλο και πιο σημαντική. Τεχνικές πολυτροπικής αλληλεπίδρασης, όπως ο εντοπισμός ματιών και οι φωνητικές εντολές, φαίνονται να προσφέρουν ελπιδοφόρες λύσεις παρέχοντας διαισθητικές μεθόδους ελέγχου χωρίς τη χρήση χεριών. Αυτή η διπλωματική εργασία παρουσιάζει έναν προσομοιωτή βασισμένο στην Εικονική Πραγματικότητα (VR), σχεδιασμένο για την εξερεύνηση αυτών των αλληλεπιδράσεων σε μια Οθόνη Επαυξημένης Πραγματικότητας (AR) στο παρμπρίζ, μέσα σε ένα περιβάλλον κινητού γραφείου σε αυτόνομα κινούμενο όχημα. Το σύστημα συνδυάζει τεχνικές αλληλεπίδρασης με τη χρήση του βλέμματος, όπως το κλείσιμο των ματιών και ο χρόνος παρατεταμένου βλέμματος, καθώς και φωνητικές εντολές, για να προσφέρει μια διεπαφή χωρίς τη χρήση χεριών για τον έλεγχο λειτουργιών του οχήματος, όπως το κλιματιστικό και το ραδιόφωνο, καθώς και εργασίες γραφείου, όπως οι τηλεφωνικές κλήσεις και η αποστολή μηνυμάτων. Το σύστημα χρησιμοποιεί την συσκευή απεικόνισης HTC Vive Pro Eye με τις βιβλιοθήκες SRanipal SDK για την παρακολούθηση των ματιών σε πραγματικό χρόνο, σε συνδυασμό με το TobiiXR SDK για προηγμένες αλληλεπιδράσεις που βασίζονται στο βλέμμα. Κατασκευασμένο με τη μηχανή παιχνιδιών Unity, ο προσομοιωτής επιτρέπει στους χρήστες να βιώσουν την εμπειρία ενός αυτόνομου οχήματος που κινείται σε ένα αστικό περιβάλλον. Οι Αναγνωριστές Ομιλίας και Υπαγόρευσης της Unity χρησιμοποιούνται επίσης για την υλοποίηση φωνητικών εντολών και τη μετατροπή ομιλίας σε κείμενο. Οι δυνατότητες αυτού του συστήματος αξιολογήθηκαν με βάση μελέτες χρηστών, μετρώτας τους χρόνους ολοκλήρωσης εργασιών, τα λάθη κατά τη διάρκεια συγκεκριμένων εργασιών και τις προτιμήσεις των χρηστών σε διάφορα επίπεδα εξοικείωσης με την τεχνολογία Εικονικής Πραγματικότητας. Επιπλέον, το σύστημα εξερευνά την έννοια του κινητού γραφείου, όπου οι χρήστες μπορούν να παραμένουν παραγωγικοί ενώ το όχημα κινείται αυτόνομα. Η λεπτομερής αξιολόγηση απόδοσης επικεντρώνεται σε μετρήσεις αλληλεπίδρασης χρήστη, συμπεριλαμβανομένης της απόκρισης και των ποσοστών σφάλματος για κάθε μέθοδο αλληλεπίδρασης μέσω του βλέμματος. Μεθοδολογίες Αξιολόγησης Χρηστικότητας και Μετρήσεις Εμπειρίας Χρήστη χρησιμοποιήθηκαν με τη συμμετοχή 12 ατόμων, προσφέροντας ανατροφοδότηση για την αποτελεσματικότητα των τεχνικών αλληλεπίδρασης. Τα αποτελέσματα δείχνουν προτίμηση για τις αλληλεπιδράσεις με το κλείσιμο των ματιών και τις φωνητικές εντολές ως προς την ταχύτητα, ενώ ο παρατεταμένος χρόνος του βλέμματος έδειξε προοπτική για βελτίωση της ακρίβειας με περαιτέρω εκπαίδευση. Η μελέτη τονίζει επίσης τη σημασία της εμπιστοσύνης των χρηστών στα αυτόνομα οχήματα, που ενισχύεται από την ανατροφοδότηση του χρήστη σε πραγματικό χρόνο από το όχημα. Η εργασία αυτή συμβάλλει στο εξελισσόμενο πεδίο των διεπαφών χρήστη που βασίζονται στην Επαυξημένη Πραγματικότητα στα αυτόνομα οχήματα, προσφέροντας πληροφορίες για τον σχεδιασμό διεπαφών και τεχνικών αλληλεπίδρασης για συστήματα υψηλής αυτοματοποίησης. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2024-10-04 | - |
| Date of Publication | 2024 | - |
| Subject | Autonomous vehicle | en |
| Subject | User interface | en |
| Subject | Multimodal interaction | en |
| Subject | Augmented reality | en |
| Subject | Virtual reality | en |
| Bibliographic Citation | Georgios Protopapadakis, "Multimodal user interface for autonomous driving in augmented reality simulated in virtual reality", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2024 | en |
| Bibliographic Citation | Γεώργιος Πρωτοπαπαδάκης, "Πολυτροπική διεπαφή χρήστη για αυτόνομη οδήγηση σε επαυξημένη πραγματικότητα προσομοιωμένη σε εικονική πραγματικότητα", Διπλωματική Εργασία, Πολυτεχνείο Κρήτης:Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Χανιά, Ελλάς, 2024 | el |
Copyright © DIAS 2013
