Institutional Repository
Technical University of Crete
Technical University of Crete
EN
|
EL
| URI | http://purl.tuc.gr/dl/dias/74453EA6-5B49-40FB-8D1A-CE2A44F1D3C4 | - |
| Identifier | https://doi.org/10.26233/heallink.tuc.99433 | - |
| Language | en | - |
| Extent | 119 pages | en |
| Extent | 20.2 megabytes | en |
| Title | Brain computer interface driving movement in a virtual reality game based on EEG signals | en |
| Title | Διεπαφή εγκεφάλου με υπολογιστή για κίνηση σε παιχνίδι εικονικής πραγματικότητας βασισμένο σε σήματα εγκεφαλογραφήματος (EEG) | el |
| Creator | Ramiotis Georgios | en |
| Creator | Ραμιωτης Γεωργιος | el |
| Contributor [Thesis Supervisor] | Mania Aikaterini | en |
| Contributor [Thesis Supervisor] | Μανια Αικατερινη | el |
| Contributor [Committee Member] | Karystinos Georgios | en |
| Contributor [Committee Member] | Καρυστινος Γεωργιος | el |
| Contributor [Committee Member] | Lagoudakis Michail | en |
| Contributor [Committee Member] | Λαγουδακης Μιχαηλ | el |
| Publisher | Πολυτεχνείο Κρήτης | el |
| Publisher | Technical University of Crete | en |
| Academic Unit | Technical University of Crete::School of Electrical and Computer Engineering | en |
| Academic Unit | Πολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών | el |
| Content Summary | Brain Computer Interfaces (BCIs) are systems that aim to connect the human brain with a computer to control an external application. BCIs rely on external devices that record a user’s bio-signals such as EEG signals. The Motor Imagery paradigm is a mental process where the user simulates a given motor action that can generate unique EEG signal patterns. These patterns can be analyzed and translated into commands for the external application. This emerging technology has seen an expanding use in medical rehabilitation, neurofeedback, control of an exoskeleton and quite recently neurogaming. This thesis focuses on the use of a Brain Computer Interface based on EEG signals with the Motor Imagery paradigm in a virtual reality environment for neurogaming. There are existing software tools such as OpenVibe that offer a straight forward methodology of developing BCIs based on EEG signals. However, they focus on traditional machine learning algorithms to classify the EEG signal and, thus, often lack in performance which is crucial for brain-controlled games that rely on accuracy. For this reason, we have developed a BCI that controls movement in a virtual reality maze game. The BCI relies on the OpenVibe platform to process the EEG signal and generate unique features for classification. To improve the accuracy of the BCI, we developed a Convolutional Neural Network (CNN) to replace the classification system of OpenVibe. To further enhance the performance of our CNN we designed a Wasserstein Generative Adversarial Network to generate artificial EEG features to be used for training. The classified EEG features are then translated into commands for our VR maze game. We have also developed a BCI-based system that enables brain-controlled interaction with in-game props and User Interface menus. We put our BCI to the test by comparing the performance and accuracy of our neural networks offer, to that of OpenVibe’s classification algorithms. We also measure the performance of the system with a varied number of available motor imagery actions. The results have shown that a Deep learning-based classification system improves the accuracy of the BCI compared to OpenVibe. | en |
| Content Summary | Οι Διεπαφές Εγκεφάλου με Υπολογιστή είναι συστήματα που στοχεύουν την σύνδεση του ανθρώπινου εγκεφάλου με υπολογιστή για τον έλεγχο μιας εξωτερικής εφαρμογής. Οι διεπαφές εγκεφάλου υπολογιστή βασίζονται σε εξωτερικές συσκευές για την καταγραφή των βιοσημάτων ενός χρήστη, όπως τα σήματα εγκεφαλογραφήματος (EEG). Το παράδειγμα Κινητικής Αναπαράστασης είναι μια νοητική διεργασία όπου ο χρήστης προσομοιώνει μια δοθείσα κίνηση για την παραγωγή μοναδικών μοτίβων σημάτων EEG. Τα μοτίβα αυτά μπορούν να αναλυθούν και να μεταφραστούν σε εντολές για την εξωτερική εφαρμογή. Αυτή η αναδυόμενη τεχνολογία παρουσιάζει μια επεκτεινόμενη χρήση στην ιατρική ανάρρωση, στην νευροανάδραση, στον έλεγχο εξωσκελετού και πρόσφατα στα νευροπαιχνίδια. Αυτή η διπλωματική εστιάζει στην χρήση μιας Διεπαφής Εγκεφάλου με Υπολογιστή με το παράδειγμα Κινητικής Αναπαράστασης βασισμένο σε σήματα εγκεφαλογραφήματος σε περιβάλλον εικονικής πραγματικότητας για νευροπαιχνίδι. Υπάρχουν εργαλεία λογισμικού, όπως το OpenVibe, που προσφέρουν μια ευθύς μεθοδολογία για την ανάπτυξη διεπαφών εγκεφάλου υπολογιστή βασισμένο σε EEG σήματα. Ωστόσο, εστιάζουν στην χρήση παραδοσιακών αλγορίθμων μηχανικής μάθησης για την κατηγοριοποίηση του σήματος και έτσι, συχνά παρουσιάζουν μειωμένη απόδοση που είναι κρίσιμη για εγκεφαλικά ελεγχόμενα παιχνίδια που βασίζονται στην ακρίβεια. Για αυτόν τον λόγο, έχουμε αναπτύξει μια διεπαφή εγκεφάλου υπολογιστή που ελέγχει κίνηση σε ένα παιχνίδι λαβυρίνθου εικονικής πραγματικότητας. Η διεπαφή εγκεφάλου υπολογιστή βασίζεται στην πλατφόρμα OpenVibe για την επεξεργασία του EEG σήματος και την παραγωγή μοναδικών EEG χαρακτηριστικών που θα χρησιμοποιηθούν για κατηγοριοποίηση. Για την βελτίωση της ακρίβειας της διεπαφής εγκεφάλου υπολογιστή, αναπτύξαμε ένα συνελικτικό νευρωνικό δίκτυο που αντικαθιστά το σύστημα κατηγοριοποίησης του OpenVibe. Για την περαιτέρω ενίσχυση της απόδοσης του νευρωνικού δικτύου μας, σχεδιάσαμε ένα Wasserstein παραγωγικό ανταγωνιστικό δίκτυο που θα παράγει τεχνητά EEG χαρακτηριστικά για την εκπαίδευση του συνελικτικού δικτύου. Έπειτα, τα κατηγοριοποιημένα EEG χαρακτηριστικά μεταφράζονται σε εντολές για το παιχνίδι λαβυρίνθου εικονικής πραγματικότητας. Επίσης, έχουμε σχεδιάσει ένα σύστημα βασισμένο στην διεπαφή εγκεφάλου υπολογιστή που επιτρέπει την εγκεφαλικά ελεγχόμενη αλληλεπίδραση με αντικείμενα του παιχνιδιού και μενού διεπαφής χρήστη. Εξετάσαμε την απόδοση της υλοποιημένης διεπαφής εγκεφάλου υπολογιστή, συγκρίνοντας την ακρίβεια των νευρωνικών δικτύων μας με αυτήν που προσφέρουν οι αλγόριθμοι κατηγοριοποίησης του OpenVibe. Επιπλέον, καταγράψαμε την απόδοση του συστήματος με ποικίλο αριθμό διαθέσιμων ενεργειών κινητικής αναπαράστασης. Τα αποτελέσματα παρουσιάζουν αύξηση στην ακρίβεια της διεπαφής εγκεφάλου υπολογιστή με την χρήση ενός συστήματος κατηγοριοποίησης βασισμένο στην βαθιά μάθηση σε σύγκριση με το OpenVibe. | el |
| Type of Item | Διπλωματική Εργασία | el |
| Type of Item | Diploma Work | en |
| License | http://creativecommons.org/licenses/by/4.0/ | en |
| Date of Item | 2024-04-10 | - |
| Date of Publication | 2024 | - |
| Subject | Deep learning | en |
| Subject | EEG signals | en |
| Subject | Σήματα εγκεφαλογραφήματος | el |
| Subject | Brain computer interfaces | en |
| Subject | Διεπαφές εγκεφάλου υπολογιστή | el |
| Bibliographic Citation | Georgios Ramiotis, "Brain computer interface driving movement in a virtual reality game based on EEG signals", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2024 | en |
| Bibliographic Citation | Γεώργιος Ραμιώτης, "Διεπαφή εγκεφάλου με υπολογιστή για κίνηση σε παιχνίδι εικονικής πραγματικότητας βασισμένο σε σήματα εγκεφαλογραφήματος (EEG)", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024 | el |
Copyright © DIAS 2013
