Αρχιτεκτονικές Βαθέων Νευρωνικών Δικτύων για την Αναγνώριση και τον Χρονικό Εντοπισμό Δράσεων σε Βίντεο

Abstract

Η αναγνώριση των ανθρώπινων δράσεων είναι ένας από τους τομείς της ΄Ορασης Υπολογιστών, που κεντρίζει όλο και περισσότερο το ενδιαφέρον των ερευνητών, καθώς η ανάλυση των ανθρώπινων δράσεων έχει πολλές εφαρμογές στην καθημερινή μας ζωή. Χαρακτηριστικά παραδείγματα αποτελούν τα assistive robots στον τομέα της ρομποτικής και οι accident predictors στον τομέα της βιομηχανίας. Η έρευνα στο αντικείμενο αυτό ξεκίνησε με την εξαγωγή χαρακτηριστικών από περιγραφητές και συνεχίζει σήμερα με την χρήση βαθέων νευρωνικών δικτύων, τα οποία εξετάζουμε και εμείς στην παρούσα διπλωματική εργασία. Συγκεκριμένα, η εργασία μας έχει δύο βασικές πτυχές πλήρως αλληλένδετες. Η πρώτη παρουσιάζει τη μελέτη της αποτελεσματικότητας των κυριότερων αρχιτεκτονικών βαθέων νευρωνικών δικτύων για την αναγνώριση ανθρώπινων χειρονομιών, σε τριμαρισμένα βίντεο. Αντίθετα η δεύτερη στοχεύει στη χρονική κατάτμηση των ανθρώπινων δράσεων σε μη τριμαρισμένα βίντεο, δίνοντας τη δυνατότητα αξιοποίησης σε online εφαρμογές. Παράλληλα με την επίδραση των βαθέων νευρωνικών δικτύων εξετάζεται και η συνεισφορά της δυναμικής της ανθρώπινης πόζας, τόσο στην αναγνώριση των ανθρώπινων δράσεων όσο και στο χρονικό εντοπισμό τους. Για την αξιολόγηση των συστημάτων που υλοποιήθηκαν χρησιμοποιήθηκαν δύο σύνολα δεδομένων. Συγκεκριμένα για το πρόβλημα της αναγνώρισης ανθρώπινων χειρονομιών χρησιμοποιήθηκε η IsoGD βάση δεδομένων, ενώ για το πρόβλημα του χρονικού εντοπισμού ανθρώπινων δράσεων χρησιμοποιήθηκε η THUMOS’14 βάση δεδομένων. Από την δουλειά μας πάνω στο αντικείμενο του χρονικού εντοπισμού και της αναγνώρισης ανθρώπινων δράσεων σε πραγματικό χρόνο προέκυψαν state-of-the-art αποτελέσματα τα οποία έχουν υποβληθεί στο 29th European Signal Processing Conference (EUSIPCO 2021) με συγγραφείς τους Βασιλική Ι. Βασιλείου, Νικόλαο Κάρδαρη και Πέτρο Μαραγκό.