Αυτόματη Αναγνώριση Ανθρώπινων Δράσεων Χρησιμοποιώντας Βαθιά Συνελικτικά Νευρωνικά Δίκτυα

Abstract

Η παρούσα Διπλωματική Εργασία πραγματεύεται το πρόβλημα της αυτόματης αναγνώρισης ανθρώπινων δράσεων, στο πλαίσιο της αλληλεπίδρασης ανθρώπου-μηχανής. Για την εξαγωγή χαρακτηριστικών χρησιμοποιούνται τόσο hand-crafted τεχνικές όσο και τεχνικές βαθιάς μάθησης. Συγκεκριμένα, δίνεται έμφαση στην εφαρμογή των βελτιωμένων πυκνών τροχιών με Bag-of-Words κωδικοποίηση καθώς και στην χρήση Τρισδιάστατων Συνελικτικών Νευρωνικών Δικτύων (3D ConvNets) και Συνελικτικών Νευρωνικών Δικτύων Διπλής Ροής (Two-Stream ConvNets), από τα οποία εξάγουμε χαρακτηριστικά βαθιάς μάθησης. Πειραματιζόμαστε χρησιμοποιώντας τις διαθέσιμεςαναπαραστάσεις βίντεο, αξιολογώντας την επίδοση τους σε μία σειρά από δημοφιλείς βάσεις δεδομένων, καθώς και στη βάση ανθρώπινων δράσεων Cognimuse, η οποία δημιουργήθηκε στο ερευνητικό πλαίσιο της παρούσας εργασίας και παρουσιάζει ιδιαίτερες προκλήσεις. Για την ταξινόμηση των δράσεων χρησιμοποιούνται μη γραμμικές Μηχανές Διανυσμάτων Υποστήριξης με πυρήνα x^2, στο επίπεδο των οποίων εφαρμόζεται σύμμειξη των παραγόμενων αναπαράστασεων βίντεο, επιτυγχάνοντας state-of-the-art επίδοση στη βάση δεδομένων HMDB51 και πολύ υψηλή ακρίβεια αναγνώρισης στη βάση δεδομένων Hollywood2.