Αναγνώριση Και Μοντελοποίηση Νοηματικής Γλώσσας Με Την Χρήση Οπτικής Επεξεργασίας Και Στατιστικών Μεθόδων

Abstract

Η διδακτορική αυτή έρευνα επικεντρώνεται στην αυτόματη επεξεργασία βίντεο νοηματικής γλώσσας, στην εξαγωγή χαρακτηριστικών, στη μοντελοποίηση και τελικά στην αναγνώριση νοηματικής γλώσσας συνδυάζοντας τα ερευνητικά πεδία της Αναγνώρισης Προτύπων και Ορασης Υπολογιστών. Σε αυτά τα πλαίσια αναπτύσσονται μέθοδοι για την οπτική επεξεργασία βίντεο νοηματικής γλώσσας και την εξαγωγή χαρακτηριστικών που σχετίζονται με τους αρθρωτές όπως τα χέρια και το κεφάλι. Επιπλέον αναπτύσσονται στατιστικές μέθοδοι για τη μοντελοποίηση και αναγνώριση της νοηματικής γλώσσας. Πιο συγκεκριμένα αναπτύσσονται μέθοδοι για τη μοντελοποίηση της νοηματικής γλώσσας κάνοντας χρήση δεδομενοκεντρικών υπομονάδων. Οι δεδομενοκεντρικές υπομονάδες αποτελούν τα δομικά στοιχεία που απαρτίζουν τα νοήματα και κατασκευάζονται αυτόματα καθοδηγούμενες από τα δεδομένα εκπαίδευσης. Στόχος τους είναι να μοντελοποιήσουν τα διαφορετικά είδη κίνησης, θέσης και χειρομορφής των χεριών του νοηματιστή κατά την άρθρωση ενός νοήματος. Επιπλέον η μοντελοποίηση των παραπάνω υπομονάδων εμπλουτίζεται από την αξιοποίηση γλωσσικής-φωνητικής πληροφορίας. Ακόμα, λόγω των πολλαπλών παράλληλων ροών πληροφορίας (π.χ. θέση, κίνηση των χεριών, είδος χειρομορφής κ.τ.λ) αναπτύσσονται μέθοδοι για την σύμμειξη των διαφορετικών καναλιών πληροφορίας με απώτερο σκοπό την αναγνώριση της νοηματικής γλώσσας. Οι μέθοδοι που προτείνονται συνδυάζονται σε ένα συνολικό σύστημα επεξεργασίας, εκπαίδευσης και αναγνώρισης και αξιολογούνται σε προτυποποιημένα σώματα βίντεο νοηματικών γλωσσών. Συγκρίσεις με σύγχρονες μεθόδους από τη βιβλιογραφία οδηγούν σε βελτιώσεις σε σχέση με βασικές υπάρχουσες μεθόδους. Οι επιδράσεις της έρευνας αυτής και των εφαρμογών της αναμένεται να έχουν διεπιστημονικό χαρακτήρα, όπως για παράδειγμα στη γλωσσολογία και ανάλυση των νοηματικών γλωσσών καθώς και την αυτόματη επεξεργασία και επισημείωση μεγάλων σωμάτων βίντεο νοηματικών γλωσσών. Τέλος, αναπτύχθηκε ένα σύστημα αναγνώρισης χειρονομιών από πολυτροπικά δεδομένα, τα οποία περιλαμβάνουν οπτικές αλλά και ακουστικές ροές πληροφορίας. Πιο συγκεκριμένα αναπτύχθηκαν αλγόριθμοι για τη μοντελοποίηση και σύμμειξη των πολυτροπικών ροών πληροφορίας, με απώτερο στόχο την ανίχνευση και αναγνώριση πολυτροπικών χειρονομιών.