Μέθοδοι Εξαγωγής Και Κωδικοποίησης Χαρακτηριστικών Για Την Αναγνώριση Ανθρώπινων Δράσεων Και Χειρονομιών Με Εφαρμογές Στην Επικοινωνία Ανθρώπου-μηχανής

Abstract

Η παρούσα διπλωματική εργασία πραγματεύεται το πρόβλημα της αυτόματης ταξινόμησης και αναγνώρισης ανθρώπινων δράσεων και χειρονομιών σε βίντεο καθώς την εφαρμογή τους κυρίως στην αλληλεπίδραση ανθρώπου-μηχανής. Αντιμετωπίζουμε την αναγνώριση δράσεων και χειρονομιών υπό κοινό πρίσμα, θεωρώντας τις τελευταίες ως ειδικές περιπτώσεις των πρώτων. Για την εξαγωγή χαρακτηριστικών βασιζόμαστε σε ευρέως χρησιμοποιούμενα χαρακτηριστικά: τα χωρο-χρονικά σημεία ενδιαφέροντος και τις πυκνές τροχιές. Εν συνεχεία πειραματιζόμαστε εκτενώς με μια σειρά αναπαραστάσεων βίντεο, όπως οι Bag-of-Words, χωρο-χρονικές πυραμίδες, VLAD και διάνυσμα Fisher. Για την αξιολόγηση των διαφορετικών μεθόδων πραγματοποιούμε τα πειράματά μας σε μια σειρά βάσεων δεδομένων, οι οποίες είναι διαδεδομένες στη διεθνή βιβλιογραφία. Επίσης, αξιολογούμε την επίδοση των χρησιμοποιούμενων μεθόδων στην ερευνητική βάση χειρονομιών MOBOT, η οποία περιέχει ένα ευρύ σύνολο χειρονομιών που εκτελούνται από ηλικιωμένους και ως εκ τούτου παρουσιάζει ιδιαίτερες προκλήσεις. Τέλος, περιγράφουμε την εφαρμογή των παραπάνω στη δημιουργία ενός διαδραστικού περιβάλλοντος επικοινωνίας ανθρώπου-ρομπότ μέσω οπτικής αναγνώρισης χειρονομιών. Για το σκοπό αυτό αναπτύξαμε ένα σύστημα εντοπισμού των των χειρονομιών, το οποίο μας επιτρέπει την αναγνώρισή τους σε συνεχή ροή βίντεο.