Institutional Repository
Technical University of Crete
EN  |  EL

Search

Browse

My Space

Brain computer interface driving movement in a virtual reality game based on EEG signals

Ramiotis Georgios

Simple record


URIhttp://purl.tuc.gr/dl/dias/74453EA6-5B49-40FB-8D1A-CE2A44F1D3C4-
Identifierhttps://doi.org/10.26233/heallink.tuc.99433-
Languageen-
Extent119 pagesen
Extent20.2 megabytesen
TitleBrain computer interface driving movement in a virtual reality game based on EEG signals en
TitleΔιεπαφή εγκεφάλου με υπολογιστή για κίνηση σε παιχνίδι εικονικής πραγματικότητας βασισμένο σε σήματα εγκεφαλογραφήματος (EEG)el
CreatorRamiotis Georgiosen
CreatorΡαμιωτης Γεωργιοςel
Contributor [Thesis Supervisor]Mania Aikaterinien
Contributor [Thesis Supervisor]Μανια Αικατερινηel
Contributor [Committee Member]Karystinos Georgiosen
Contributor [Committee Member]Καρυστινος Γεωργιοςel
Contributor [Committee Member]Lagoudakis Michailen
Contributor [Committee Member]Λαγουδακης Μιχαηλel
PublisherΠολυτεχνείο Κρήτηςel
PublisherTechnical University of Creteen
Academic UnitTechnical University of Crete::School of Electrical and Computer Engineeringen
Academic UnitΠολυτεχνείο Κρήτης::Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστώνel
Content SummaryBrain Computer Interfaces (BCIs) are systems that aim to connect the human brain with a computer to control an external application. BCIs rely on external devices that record a user’s bio-signals such as EEG signals. The Motor Imagery paradigm is a mental process where the user simulates a given motor action that can generate unique EEG signal patterns. These patterns can be analyzed and translated into commands for the external application. This emerging technology has seen an expanding use in medical rehabilitation, neurofeedback, control of an exoskeleton and quite recently neurogaming. This thesis focuses on the use of a Brain Computer Interface based on EEG signals with the Motor Imagery paradigm in a virtual reality environment for neurogaming. There are existing software tools such as OpenVibe that offer a straight forward methodology of developing BCIs based on EEG signals. However, they focus on traditional machine learning algorithms to classify the EEG signal and, thus, often lack in performance which is crucial for brain-controlled games that rely on accuracy. For this reason, we have developed a BCI that controls movement in a virtual reality maze game. The BCI relies on the OpenVibe platform to process the EEG signal and generate unique features for classification. To improve the accuracy of the BCI, we developed a Convolutional Neural Network (CNN) to replace the classification system of OpenVibe. To further enhance the performance of our CNN we designed a Wasserstein Generative Adversarial Network to generate artificial EEG features to be used for training. The classified EEG features are then translated into commands for our VR maze game. We have also developed a BCI-based system that enables brain-controlled interaction with in-game props and User Interface menus. We put our BCI to the test by comparing the performance and accuracy of our neural networks offer, to that of OpenVibe’s classification algorithms. We also measure the performance of the system with a varied number of available motor imagery actions. The results have shown that a Deep learning-based classification system improves the accuracy of the BCI compared to OpenVibe.en
Content SummaryΟι Διεπαφές Εγκεφάλου με Υπολογιστή είναι συστήματα που στοχεύουν την σύνδεση του ανθρώπινου εγκεφάλου με υπολογιστή για τον έλεγχο μιας εξωτερικής εφαρμογής. Οι διεπαφές εγκεφάλου υπολογιστή βασίζονται σε εξωτερικές συσκευές για την καταγραφή των βιοσημάτων ενός χρήστη, όπως τα σήματα εγκεφαλογραφήματος (EEG). Το παράδειγμα Κινητικής Αναπαράστασης είναι μια νοητική διεργασία όπου ο χρήστης προσομοιώνει μια δοθείσα κίνηση για την παραγωγή μοναδικών μοτίβων σημάτων EEG. Τα μοτίβα αυτά μπορούν να αναλυθούν και να μεταφραστούν σε εντολές για την εξωτερική εφαρμογή. Αυτή η αναδυόμενη τεχνολογία παρουσιάζει μια επεκτεινόμενη χρήση στην ιατρική ανάρρωση, στην νευροανάδραση, στον έλεγχο εξωσκελετού και πρόσφατα στα νευροπαιχνίδια. Αυτή η διπλωματική εστιάζει στην χρήση μιας Διεπαφής Εγκεφάλου με Υπολογιστή με το παράδειγμα Κινητικής Αναπαράστασης βασισμένο σε σήματα εγκεφαλογραφήματος σε περιβάλλον εικονικής πραγματικότητας για νευροπαιχνίδι. Υπάρχουν εργαλεία λογισμικού, όπως το OpenVibe, που προσφέρουν μια ευθύς μεθοδολογία για την ανάπτυξη διεπαφών εγκεφάλου υπολογιστή βασισμένο σε EEG σήματα. Ωστόσο, εστιάζουν στην χρήση παραδοσιακών αλγορίθμων μηχανικής μάθησης για την κατηγοριοποίηση του σήματος και έτσι, συχνά παρουσιάζουν μειωμένη απόδοση που είναι κρίσιμη για εγκεφαλικά ελεγχόμενα παιχνίδια που βασίζονται στην ακρίβεια. Για αυτόν τον λόγο, έχουμε αναπτύξει μια διεπαφή εγκεφάλου υπολογιστή που ελέγχει κίνηση σε ένα παιχνίδι λαβυρίνθου εικονικής πραγματικότητας. Η διεπαφή εγκεφάλου υπολογιστή βασίζεται στην πλατφόρμα OpenVibe για την επεξεργασία του EEG σήματος και την παραγωγή μοναδικών EEG χαρακτηριστικών που θα χρησιμοποιηθούν για κατηγοριοποίηση. Για την βελτίωση της ακρίβειας της διεπαφής εγκεφάλου υπολογιστή, αναπτύξαμε ένα συνελικτικό νευρωνικό δίκτυο που αντικαθιστά το σύστημα κατηγοριοποίησης του OpenVibe. Για την περαιτέρω ενίσχυση της απόδοσης του νευρωνικού δικτύου μας, σχεδιάσαμε ένα Wasserstein παραγωγικό ανταγωνιστικό δίκτυο που θα παράγει τεχνητά EEG χαρακτηριστικά για την εκπαίδευση του συνελικτικού δικτύου. Έπειτα, τα κατηγοριοποιημένα EEG χαρακτηριστικά μεταφράζονται σε εντολές για το παιχνίδι λαβυρίνθου εικονικής πραγματικότητας. Επίσης, έχουμε σχεδιάσει ένα σύστημα βασισμένο στην διεπαφή εγκεφάλου υπολογιστή που επιτρέπει την εγκεφαλικά ελεγχόμενη αλληλεπίδραση με αντικείμενα του παιχνιδιού και μενού διεπαφής χρήστη. Εξετάσαμε την απόδοση της υλοποιημένης διεπαφής εγκεφάλου υπολογιστή, συγκρίνοντας την ακρίβεια των νευρωνικών δικτύων μας με αυτήν που προσφέρουν οι αλγόριθμοι κατηγοριοποίησης του OpenVibe. Επιπλέον, καταγράψαμε την απόδοση του συστήματος με ποικίλο αριθμό διαθέσιμων ενεργειών κινητικής αναπαράστασης. Τα αποτελέσματα παρουσιάζουν αύξηση στην ακρίβεια της διεπαφής εγκεφάλου υπολογιστή με την χρήση ενός συστήματος κατηγοριοποίησης βασισμένο στην βαθιά μάθηση σε σύγκριση με το OpenVibe.el
Type of ItemΔιπλωματική Εργασίαel
Type of ItemDiploma Worken
Licensehttp://creativecommons.org/licenses/by/4.0/en
Date of Item2024-04-10-
Date of Publication2024-
SubjectDeep learningen
SubjectEEG signalsen
SubjectΣήματα εγκεφαλογραφήματοςel
SubjectBrain computer interfacesen
SubjectΔιεπαφές εγκεφάλου υπολογιστήel
Bibliographic CitationGeorgios Ramiotis, "Brain computer interface driving movement in a virtual reality game based on EEG signals", Diploma Work, School of Electrical and Computer Engineering, Technical University of Crete, Chania, Greece, 2024en
Bibliographic CitationΓεώργιος Ραμιώτης, "Διεπαφή εγκεφάλου με υπολογιστή για κίνηση σε παιχνίδι εικονικής πραγματικότητας βασισμένο σε σήματα εγκεφαλογραφήματος (EEG)", Διπλωματική Εργασία, Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών, Πολυτεχνείο Κρήτης, Χανιά, Ελλάς, 2024el

Available Files

Services

Statistics