Evaluating Multisensory Integration in Individuals with Autism and Schizophrenia utilizing EEG Data

Abstract

Οι γρήγορες και ακριβείς αλληλεπιδράσεις με το περιβάλλον εξαρτώνται από την αποτελεσματική ταυτόχρονη επεξεργασία ηχητικών και οπτικών αισθητηριακών σημάτων (MSI), αλλά άτομα με νευροαναπτυξιακές διαταραχές όπως η σχιζοφρένεια (SCZ) και η διαταραχή του φάσματος του αυτισμού (ASD) έχει παρατηρηθεί ότι δυσκολεύονται με αυτή τη διαδικασία. Αυτή η διατριβή χρησιμοποιεί ανάλυση δεδομένων ηλεκτροεγκεφαλογραφίας (EEG) για να εξετάσει τους νευρικούς μηχανισμούς της ταυτόχρονης επεξεργασίας ηχητικών και οπτικών αισθητηριακών σημάτων (MSI) σε αυτούς τους πληθυσμούς σε σύγκριση με υγιείς συμμετέχοντες (CN). Μέσω ενός πειράματος χρόνου αντίδρασης, η μελέτη εξετάζει πώς διάφορες ομάδες επεξεργάζονται πολυαισθητηριακές και μονοαισθητηριακές πληροφορίες. Οι συμμετέχοντες εκτίθενται σε ακουστικά (A), οπτικά (V) και οπτικοακουστικά (AV) ερεθίσματα και πρέπει να πατήσουν το γρηγορότερο δυνατό ένα κουμπί. Χρησιμοποιώντας προηγμένες τεχνικές αποσύνθεσης όπως η Slice Tensor Component Analysis (SliceTCA) και η αποσύνθεση Tucker, που απλοποιούν τα δεδομένα EEG υψηλών διαστάσεων. σημαντικά νευρικά συστατικά που διαφοροποιούν άτομα που αποδίδουν καλύτερα με πολυαισθητηριακά ερεθίσματα ("ενσωματωτές") από άτομα που δεν το κάνουν ("μη ενσωματωτές") εξήχθησαν από τα δεδομένα EEG. Εκτός από την ταξινόμηση των "ενσωματωτών" και "μη ενσωματωτών", πραγματοποιήθηκε μια συνεχής ανάλυση χρησιμοποιώντας το SliceTCA για να εξεταστεί η σχέση μεταξύ της εγκεφαλικής δραστηριότητας και των χρόνων κέρδους απόκρισης—ένα μέτρο του πλεονεκτήματος ταχύτητας που αποκτάται από πολυαισθητηριακά ερεθίσματα σε σύγκριση με την ταχύτερη μονοαισθητηριακή κατάσταση. Πέρα από την απλή δυαδική ταξινόμηση, αυτή η συνεχής ανάλυση επέτρεψε την κατανόηση της απόδοσης στην ταυτόχρονη Multisensory integration (MSI) is the brain's ability to combine inputs from multiple sensory modalities, such as auditory and visual stimuli, to form a cohesive perceptual experience. Rapid and accurate interactions with the environment depend on effective MSI, but people with neurodevelopmental disorders such as schizophrenia (SCZ) and autism spectrum disorder (ASD) frequently struggle with this process. This thesis performs a electroencephalography (EEG) data analysis to examine the neural mechanisms of MSI in these populations relative to healthy controls (CN). Through the use of a reaction-time task, the study examines how various groups process multisensory and unisensory information. Participants are exposed to auditory (A), visual (V), and audiovisual (AV) stimuli and are asked to push a button as quickly as possible. Utilizing sophisticated decomposition techniques like Slice Tensor Component Analysis (SliceTCA) and Tucker decomposition, important neural components that differentiate people who perform better with multisensory stimuli ("integrators") from people who do not ("non-integrators") were extracted from the EEG data. These methods maintain the crucial brain dynamics associated with MSI while simplifying the high-dimensional EEG data. In addition to classifying integrators and non-integrators, a continuous analysis was performed using SliceTCA to examine the relationship between brain activity and response gain times—a measure of the speed advantage gained from multisensory stimuli compared to the faster unisensory condition. Beyond simple binary classification, this continuous analysis made it possible to understand MSI performance in more detail. The study found neural-behavior relationships by correlating neural components with response time gains. This finer-grained analysis highlighted how MSI impairments in these clinical populations manifest at both behavioral and neural levels. A key result of this study was the identification of P-300 playing a role in correlating neural activity with behavior. Moreover, EEGNet, a compact deep convolutional neural network, was utilized to distinguish between the ASD, SCZ, and CN groups since it is well-suited for extracting spatiotemporal features from EEG signals. Through utilization of the complete trial-by-trial EEG dataset, the model yielded further insights into the neural variations that underlie MSI. The general knowledge of how MSI is disrupted in people with ASD and SCZ has been aided by EEGNet's capacity to identify spatial and temporal variations in EEG data. All things considered, this work provides an extensive investigation of MSI through the integration of deep learning models and conventional decomposition methods. By highlighting notable variations in brain activity and behavior among ASD, SCZ, and CN groups, the study sheds light on the neural underpinnings of deficits in multisensory integration. Future diagnostic techniques and treatments targeted at enhancing sensory processing in neurodevelopmental disorders may benefit from these findings.