Ανίχνευση Ενεργειών Σε Βίντεο Με Χρήση Σάκου Λέξεων Και Συγχώνευσης Χαρακτηριστικών

Abstract

Στη σημερινή εποχή που οι νέες τεχνολογίες της Τεχνητής Νοημοσύνης εισέρχονται με ραγδαίους ρυθμούς στην καθημερινότητα, ο κλάδος της Όρασης Υπολογιστών έχει γνωρίσει άνθιση, με την έρευνα να βελτιώνει συνεχώς τις μεθόδους που οι υπολογιστές αντιλαμβάνονται και αναλύουν τα οπτικά ερεθίσματα που δέχονται. Η ανίχνευση ενεργειών σε πολυμέσα απασχολεί ένα μεγάλο κομμάτι της έρευνας αυτής, και στοχεύει στην αναγνώριση από ένα σύστημα των ανθρωπίνων ενεργειών που εμπεριέχονται σε ένα αρχείο βίντεο, εικόνας κ.λπ. Με τον όρο ενέργεια, εννοούμε μια στοιχειώδη ανθρωποκεντρική αλληλεπίδραση με νόημα και μπορεί να αφορά από απλούστερες ενέργειες, όπως «Περπατάω», μέχρι πιο σύνθετες, όπως «Παίζω Ποδόσφαιρο».Στην εργασία μας υλοποιούμε ένα σύστημα ανίχνευσης ενεργειών, το οποίο εξάγει χαρακτηριστικά εικόνας, ήχου και κίνησης για την αναπαράσταση των βίντεο και τα κωδικοποιεί χρησιμοποιώντας τη διαδεδομένη τεχνική σάκου λέξεων (Bag of Words), που δημιουργεί ένα λεξικό από κομμάτια των δεδομένων εκπαίδευσης και εκφράζει το σύνολο των δεδομένων με βάση αυτά, δημιουργώντας μια εύρωστη αναπαράσταση με ένα διάνυσμα για κάθε βίντεο. Η τεχνική αυτή ευνοεί την εκπαίδευση ενός ταξινομητή, που στην περίπτωση μας είναι μια Μηχανή Διανυσμάτων Υποστήριξης (SVM) ο οποίος καλείται να κατηγοριοποιήσει τα βίντεο με βάση την κατηγορία ενέργειας που περιέχουν. Στη συνέχεια, πειραματιστήκαμε με διάφορες μεθόδους συγχώνευσης των εξαγμένων χαρακτηριστικών από τα δεδομένα μας, ώστε να επιτύχουμε πιο αντιπροσωπευτικές αναπαραστάσεις και να βελτιώσουμε την συνολική απόδοση του συστήματός μας. Συγκεκριμένα, υλοποιήσαμε μεθόδους πρώιμης συγχώνευσης, καθώς και μεθόδους όψιμης συγχώνευσης, με ή χωρίς επιπλέον εκπαίδευση. Ακόμη, μελετήσαμε και τις δυνατότητες συνδυασμού των δύο παραπάνω κατηγοριών μεθόδων συγχώνευσης.Τα αποτελέσματα που εξάγαμε, αναδεικνύουν τη σημασία της σωστής προεπεξεργασίας των δεδομένων μας πριν την εκπαίδευση των ταξινομητών ώστε να επιτύχουμε ένα αποδεκτό επίπεδο γενίκευσης. Ακόμη, συμπεραίνουμε ότι η συγχώνευση διαφορετικών χαρακτηριστικών, συμπληρωματικών μεταξύ τους, ακόμα και με απλές στην υλοποίησή τους μεθόδους, μπορεί να επιφέρει σημαντική βελτίωση στη συνολική απόδοση ενός τέτοιου συστήματος και μάλιστα τα πειραματικά αποτελέσματα ενθαρρύνουν περαιτέρω έρευνα σε αυτή την κατεύθυνση.