Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/29062D27-DB09-4147-8B6E-B5AFBA904DD6 | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.84597 | - |
| Language | en | - |
| Extent | 28 megabytes | en |
| Title | Real-time foveated rendering in virtual reality for ray-tracing | en |
| Title | Αλγόριθμοι γραφικής σε πραγματικό χρόνο βασισμένοι σε παρακολούθηση ματιού σε εικονική πραγματικότητα (ray tracing) | el |
| Creator | Polychronakis Andreas | en |
| Creator | Πολυχρονακης Ανδρεας | el |
| Contributor [Thesis Supervisor] | Mania Aikaterini | en |
| Contributor [Thesis Supervisor] | Μανια Αικατερινη | el |
| Contributor [Committee Member] | Deligiannakis Antonios | en |
| Contributor [Committee Member] | Δεληγιαννακης Αντωνιος | el |
| Contributor [Committee Member] | Balas Costas | en |
| Contributor [Committee Member] | Μπαλας Κωστας | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Τhe goal of this thesis is the development of software supporting 3D photorealistic graphics for Virtual or Augmented Reality environments. Foveated rendering utilizes an eye tracker embedded in a Virtual Reality headset to produce images with progressively less detail in the peripheral vision located outside the zone gazed by the fovea, based on eye tracking input. By doing that, the computational cost of rendering is reduced without any noticeable change of image quality. The ray-tracing algorithm produces superior rendering quality compared to rasterization, however, its computational cost is high because of intense ray intersection calculations with the 3D scene. Real-time ray-tracing is challenging. We propose a ray-tracing rendering pipeline for which we apply foveated rendering so that a higher frame rate without perceived reduction in quality. This is achieved by using Nvidia newest generation of graphic process unit card, the RTX 2060, and OptiX software to have the highest available performance for ray tracing. Arrington Research's Viewpoint EyeTracker embedded in the NVIS SX111 VR Head Mounted Display monitored gaze position in real-time. In our work, we take advantage of the eye tracking capabilities of our HMD to separate the center of the user's field of view from the periphery. We then reduce the sampling done using ray tracing in the periphery, taking samples for only a smaller amount of pixels. Next, we duplicate neighboring pixels to cover all blank spots using the information of our closest neighbors. Finally, we use Gaussian blurring to cover all the imperfections in the recreated frame. Evaluations and user tests show that our method achieves real-time frame rates, while visual differences compared to fully rendered images are hardly perceivable. Our approach, therefore, achieves foveated real time ray-tracing as displayed in a binocularly eye-tracked Head Mounted Display, for complex 3D scenes, without any perceived visual differences compared to full scale ray-tracing. Such techniques could be applied for gaze-based interaction in 3D scenes displayed in developed software for Virtual or Augmented Reality applications. Testing such techniques is demonstrated in scenes which represent 3D reconstructions of cultural heritage sites aiming to pursue their scientific documentation in Virtual or Augmented Reality applications. | en |
| Content Summary | Σκοπός της παρούσας διπλωματικής εργασίας είναι η ανάπτυξη λογισμικού διαδικασίας παραγωγής τρισδιάστατων φωτορεαλιστικών γραφικών τα οποία απεικονίζονται σε μάσκες Εικονικής ή Επαυξημένης Πραγματικότητας. Η διαδικασία αυτή χρησιμοποιεί τον αλγόριθμο παρακολούθησης ακτινών (ray-tracing) ενώ ταυτόχρονα εκμεταλλεύεται τη γνώση του οπτικού πεδίου κίνησης του ματιού του χρήστη (eye tracking) για οθόνες τοποθετημένες στο κεφάλι Εικονικής Πραγματικότητας. Oι αλγόριθμοι Γραφικής που εκμεταλλεύονται την ακολουθία κίνησης του ματιού (foveated rendering) χρησιμοποιούν ανιχνευτές ματιού οι οποίοι είναι ενσωματωμένοι σε μάσκες Εικονικής ή Επαυξημένης Πραγματικότητας για να παραχθούν εικόνες με λιγότερη λεπτομέρεια στην εξωτερική περιοχή του οπτικού πεδίου του ματιού. Αυτό γίνεται ώστε να μειωθεί το υπολογιστικό κόστος της διαδικασίας παραγωγής της εικόνας. Σκοπός είναι να υπάρξει υψηλότερος ρυθμός παραγωγής εικόνων χωρίς να γίνεται αισθητή η μείωση της ποιότητας από τον χρήστη. Αυτό επιτυγχάνεται με την χρήση της νέας γενιάς επεξεργαστών για γραφικά (RTX 2060 GPU card) που έχει προτείνει η NVidia και με τη χρήση του λογισμικού OptiX, ώστε να βελτιστοποιηθεί η κατανομή πόρων για τον αλγόριθμο παρακολούθησης ακτινών. Στην μάσκα Εικονικής Πραγματικότητας που χρησιμοποιήθηκε έχουν ενσωματωθεί ανιχνευτές του ματιού από την Arrington Research σκοπεύοντας να γίνει η παρακολούθηση της κατεύθυνσης του ματιού και η εκτίμηση του οπτικού πεδίου του σε πραγματικό χρόνο. Για την επίτευξη της βελτιστοποίησης στην εφαρμογή μειώνεται ο αριθμός των ακτινών που παράχθηκαν με τον αλγόριθμο παρακολούθησης ακτινών στην περιφερειακή όραση παράγοντας ακτίνες για μικρότερο αριθμό pixel. Τέλος, χρησιμοποιείται μια μέθοδο επεξεργασίας της εικόνας για να καλυφθούν τα κενά καθώς και τυχόν ατέλειες λόγω της μειωμένης ποιότητας. Η αξιολόγηση της μεθόδου έδειξε ότι επιτυγχάνει ικανοποιητική ταχύτητα απεικόνισης γραφικών σε πραγματικό χρόνο ενώ οι οπτικές διαφορές μεταξύ κεντρικού οπτικού πεδίου και περιφερειακού δε γίνονται αντιληπτές. Τέτοιες τεχνικές μπορούν να εφαρμοστούν για αλληλεπίδραση με βάση το βλέμμα (gaze interaction) σε ανάπτυξη λογισμικού για νέες εφαρμογές Εικονικής και Επαυξημένης Πραγματικότητας. Oι δοκιμές εφαρμόζονται σε τρισδιάστατες σκηνές που αναπαραστούν τρισδιάστατες ανακατασκευές αποτύπωσης μνημείων πολιτιστικής κληρονομιάς με σκοπό την ανάδειξή τους για εφαρμογές Εικονικής ή Επαυξημένης Πραγματικότητας. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2020-02-20 | - |
| Date of Publication | 2020 | - |
| Subject | Αλγόριθμοι γραφικής | el |
| Subject | Virtual reality | el |
| Bibliographic Citation | Ανδρέας Πολυχρονάκης, "Αλγόριθμοι γραφικής σε πραγματικό χρόνο βασισμένοι σε παρακολούθηση ματιού σε εικονική πραγματικότητα (ray tracing)", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2020 | el |
| Bibliographic Citation | Andreas Polychronakis, "Real-time foveated rendering in virtual reality for ray-tracing", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2020 | en |
Copyright © DIAS 2013
