Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/8CD087BD-F8FF-43A8-955B-7BA1C106CBB8 | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.89397 | - |
| Language | en | - |
| Extent | 99 pages | en |
| Title | Eye tracking on unmodified mobile VR headsets using the selfie camera | en |
| Title | Ανίχνευση εστίασης βλέμματος σε μη τροποποιημένα φορητά VR headsets χρησιμοποιώντας την selfie κάμερα του κινητού | el |
| Creator | Drakopoulos Panagiotis | en |
| Creator | Δρακοπουλος Παναγιωτης | el |
| Contributor [Thesis Supervisor] | Mania Aikaterini | en |
| Contributor [Thesis Supervisor] | Μανια Αικατερινη | el |
| Contributor [Committee Member] | Balas Costas | en |
| Contributor [Committee Member] | Μπαλας Κωστας | el |
| Contributor [Committee Member] | Deligiannakis Antonios | en |
| Contributor [Committee Member] | Δεληγιαννακης Αντωνιος | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Input methods for interaction in smartphone-based virtual and mixed reality (VR/MR) are currently limited on uncomfortable head orientation tracking controlling a pointer on the screen. User fixations are a fast and natural input method for VR/MR interaction. Previously, eye tracking in mobile VR suffered from low accuracy, long processing time and the need for hardware add-ons such as anti-reflective lens coating and infrared emitters. We present an innovative mobile VR eye tracking methodology utilizing only the eye images from the front-facing (selfie) camera through the headset’s lens, without any modifications. Our system first enhances the low-contrast, poorly lit eye images by applying a pipeline of customised low level image enhancements suppressing obtrusive lens reflections. We then propose an iris region-of-interest detection algorithm that is run only once. This increases the iris tracking speed by significantly reducing the iris search space in mobile devices. We iteratively fit a customised geometric model to the iris to refine its coordinates. We display a thin bezel of light at the top edge of the screen for constant illumination. A confidence metric calculates the probability of successful iris detection, based on knowledge from previous work and experimentall validated heuristics. Calibration and linear gaze mapping between the estimated iris centroid and physical pixels on the screen results in low latency, real-time iris tracking. A formal study confirmed that our system’s accuracy is similar to eye trackers in commercial VR headsets in the central part of the headset’s field-of-view in optimal illumination conditions. In a VR game, gaze-driven user completion time was as fast as with head tracked interaction, without the need for consecutive head motions. In a VR panorama viewer, users could successfully switch between panoramas using gaze. | en |
| Content Summary | Οι μέθοδοι εισόδου για αλληλεπίδραση του χρήστη με εικονικά (VR) ή περιβάλλοντα επαυξημένης/μεικτής πραγματικότητας (MR) μέσω κινητής συσκευής (smartphone) περιορίζονται κυρίως σε άβολες περιστροφικές κινήσεις του κεφαλιού για τον έλεγχο ενός δείκτη στην οθόνη. Η ανίχνευση της εστίασης του βλέμματος (eye-tracking) είναι ένας γρήγορος και φυσικός τρόπος αλληλεπίδρασης σύμφωνα με προηγούμενες έρευνες. Η αξιοποίηση του βλέμματος σε VR έχει υπάρξει προβληματική, καθώς προηγούμενες υλοποιήσεις προσέφεραν χαμηλή ακρίβεια, υψηλή καθυστέρηση και επιπλέον υλικό (hardware) ή τροποποιήσεις του ήδη υπάρχοντος, όπως για παράδειγμα υπέρυθρες κάμερες και φακοί με αντι-ανακλαστικές στρώσεις. Παρουσιάζουμε μια πρωτοπόρα μεθοδολογία ανίχνευσης βλέμματος, χρησιμοποιώντας μόνο την καταγραφή της μπροστινής κάμερας ενός σύγχρονου smartphone, χωρίς κάποια τροποποίηση. Το σύστημα μας αρχικά βελτιώνει την ευκρίνεια του ματιού στις καταγραφόμενες εικόνες λόγω του μη επαρκούς φωτισμού, καταστέλλοντας τις έντονες αντανακλάσεις που προσπίπτουν στο μάτι και εκτελώντας μια σειρά αλγοριθμικών βελτιώσεων. Στη συνέχεια παρουσιάζουμε έναν έξυπνο αλγόριθμο αποκοπής της “περιοχής ενδιαφέροντος” της εικόνας (region of interest) στην οποία κινείται το μάτι ώστε να μειώσουμε τον υπολογιστικό φόρτο. Αφού έχει καθοριστεί η περιοχή ενδιαφέροντος, προσαρμόζουμε επαναληπτικά για κάθε εικόνα ένα γεωμετρικό μοντέλο στην ίριδα, ώστε να προσδιορίσουμε τις συντεταγμένες του κέντρου της. Ορίζουμε έναν “δείκτη εμπιστοσύνης” (confidence metric), ο οποίος υπολογίζει την πιθανότητα επιτυχούς ή μη αναγνώρισης της ίριδας, βασιζόμενοι σε γνώση από προηγούμενη έρευνα αλλά και πειραματικά επαληθευμένες υποθέσεις. Η διαδικασία βαθμονόμησης (calibration) και γραμμικής μετατροπής συντεταγμένων της ίριδας σε συντεταγμένες στην οθόνη του κινητού εξασφαλίζουν ανίχνευση βλέμματος με ακρίβεια σε πραγματικό χρόνο. Η μελέτη μας επιβεβαιώνει τα παραπάνω, με την προϋπόθεση ύπαρξης ευνοϊκών συνθηκών φωτισμού του ματιού. Πιο συγκεκριμένα, σε ένα VR παιχνίδι, η ολοκλήρωση ενός task με το βλέμμα αποδείχτηκε εξίσου γρήγορη με το την ολοκλήρωση του ίδιου task με κινήσεις του κεφαλιού, ενώ σε ένα VR panorama viewer, οι χρήστες είχαν τη δυνατότητα να εναλλάσσουν τις προβληθείσες εικόνες με το βλέμμα τους. | el |
| Type of Item | Μεταπτυχιακή Διατριβή | el |
| Type of Item | Master Thesis | en |
| License | http://creativecommons.org/licenses/by-nc/4.0/ | en |
| Date of Item | 2021-06-22 | - |
| Date of Publication | 2021 | - |
| Subject | Gaze-tracking | en |
| Subject | VR | en |
| Subject | Mobile headset | en |
| Subject | Eye-tracking | en |
| Subject | Virtual Reality | en |
| Subject | Mobile VR | en |
| Bibliographic Citation | Panagiotis Drakopoulos, "Eye tracking on unmodified mobile VR headsets using the selfie camera", Master Thesis, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2021 | en |
| Bibliographic Citation | Παναγιώτης Δρακόπουλος, "Ανίχνευση εστίασης βλέμματος σε μη τροποποιημένα φορητά VR headsets χρησιμοποιώντας την selfie κάμερα του κινητού", Μεταπτυχιακή Διατριβή, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2021 | el |
Copyright © DIAS 2013
