Πολυτροπική Προσέγγιση Αναγνώρισης Συναισθήματος Βασισμένη σε Δίκτυα Βαθιάς Μάθησης

Abstract

Η παρούσα διπλωματική εργασία πραγματεύεται το θέμα της αυτόματης Αναγνώρισης Συναισθήματος χρησιμοποιώντας μεθόδους Βαθιάς Μάθησης που εξάγουν πληροφορία από οπτικά και ακουστικά δεδομένα. Το αντικείμενο της ανάλυσης της συναισθηματικής συμπεριφοράς έχει εφαρμογή στην αλληλεπίδραση ανθρώπου-υπολογιστή, στην αυτόματη παρακολούθηση ασθενών, στην ασφάλεια, κ.α. Η προσέγγιση του προβλήματος αναγνώρισης συναισθημάτων από οπτικοακουστικά δεδομένα γίνεται με την χρήση σύγχρονων Συνελικτικών Νευρωνικών Δικτύων και την εκμετάλλευση της μεθόδου της μεταφοράς μάθησης από προεκπαιδευμένα μοντέλα. Συγκεκριμένα, στη παρούσα εργασία καλούμαστε να επιλύσουμε δύο είδη προβλημάτων Επιβλεπόμενης Μάθησης, ένα πρόβλημα ταξινόμησης και ένα πρόβλημα παλινδρόμησης. Τα δύο αυτά προβλήματα προκύπτουν από τα είδη ετικετών που περιέχει το σύνολο δεδομένων, το οποίο χρησιμοποιείται για την εκπαίδευση των μοντέλων. Το σύνολο αυτό ονομάζεται Aff-Wild2 και απαρτίζεται από μία συλλογή βίντεο που έχουν δημιουργηθεί σε πραγματικές συνθήκες ή όπως αναφέρεται χαρακτηριστικά "in-the-wild". Το συγκεκριμένο σύνολο έχει χαρακτηρισθεί με ετικέτες που βασίζονται σε δύο διαφορετικά μοντέλα αναπαράστασης συναισθημάτων. Το πρώτο μοντέλο είναι κατηγορικό και χωρίζει το πλήθος των συναισθημάτων σε 7 βασικές κατηγορίες, οι οποίες είναι ο Φόβος, ο Θυμός, η Αηδία, η Χαρά, η Λύπη, η Έκπληξη και η Ουδετερότητα. Συνεπώς, οι ετικέτες αυτές χρησιμοποιούνται για την ανάπτυξη μοντέλων ταξινόμησης πολλαπλών κλάσεων. Το δεύτερο μοντέλο είναι διαστατικό και εντάσσει τα συναισθήματα σε ένα δισδιάστατο χώρο με άξονες το σθένος και τη διέγερση. Οι ετικέτες του σθένους και της διέγερσης παίρνουν συνεχόμενες τιμές στο διάστημα [-1,1] και η πρόβλεψή τους από τα μοντέλα μάθησης αποτελεί πρόβλημα παλινδρόμησης. Για το κάθε πρόβλημα μάθησης αναπτύσσονται διαφορετικά μοντέλα, τα οποία δέχονται οπτικά ή ακουστικά δεδομένα ή και τον συνδυασμό τους. Τα συνελικτικά νευρωνικά δίκτυα που χρησιμοποιούνται ως βάση για τα παραπάνω μοντέλα είναι τα δίκτυα VGG, τα Διαφορικά δίκτυα (Residual Networks) και τα Πυκνά Συνδεδεμένα δίκτυα (Dense Networks). Μετά τη σχεδίαση των μοντέλων γίνεται η εκπαίδευση και η τελική αξιολόγησή τους στο συγκεκριμένο σύνολο δεδομένων.