Ανάλυση Συναισθημάτων Σε Εικόνες Με Χρήση Γεννητικών Ανταγωνιστικών Δικτύων

Abstract

Η παρούσα διπλωματική πραγματεύεται το θέμα της ανάλυσης αλλά και σύνθεσης συναισθημάτων στο ανθρώπινο πρόσωπο με τη χρήση βαθιών νευρωνικών δικτύων. Ο βασικός σκοπός είναι η μετατροπή ενός συναισθήματος που αναπαριστάται σε μία εικόνα σε ένα άλλο νέο συναίσθημα, πετυχαίνοντας όμως παράλληλα ένα ρεαλιστικό αποτέλεσμα. Για την κατηγοριοποίηση των συναισθημάτων επιλέχθηκε η δομή των επτά βασικών εκφράσεων (Seven Basic Expressions). Η διαδικασία αυτή της μετατροπής ονομάζεται Μετάφραση Εικόνας-σε-Εικόνα (Image-to-Image Translation).

Τα τελευταία χρόνια σημαντικό ρόλο σε αυτή τη διαδικασία διαδραματίζουν τα Ανταγωνιστικά Γεννητικά Δίκτυα (Generative Adversarial Networks). Τα συστήματα αυτά χρησιμοποιούνται όλο και περισσότερο σε σημαντικές εφαρμογές και διακρίνονται για την ικανότητά τους να παραγάγουν υψηλής ποιότητας εικόνες. Αποτελούνται από δύο μοντέλα, έναν γεννήτορα (generator), ο οποίος είναι υπεύθυνος για το κομμάτι της σύνθεσης των εικόνων και έναν διευκρινιστή (discriminator), ο οποίος κάνει την κατηγοριοποίηση.

Για το πειραματικό κομμάτι χρησιμοποιήθηκε το μοντέλο StarGAN, το οποίο έχει τη δυνατότητα να εκτελεί μεταφράσεις εικόνας για πολλαπλούς τομείς χρησιμοποιώντας μόνο ένα μοντέλο, καθώς και το σύνολο δεδομένων AffectNet, μία μεγάλη βάση με πολλές ταυτότητες και εύρος, γεγονός που θα βοηθήσει το GAN στην εξαγωγή όσο το δυνατόν καλύτερων αποτελεσμάτων.

Εξετάζουμε την απόδοση του διευκρινιστή τόσο για αληθινές εικόνες όσο και για εικόνες που έχουν δημιουργηθεί από τον γεννήτορα. Τα αποτελέσματα που λαμβάνουμε είναι πολύ ενθαρρυντικά καθώς οι εικόνες που συνθέτουμε φαίνεται να είναι αρκετά ρεαλιστικές ώστε να καταφέρουν να εξαπατήσουν τον διευκρινιστή στον μεγαλύτερο βαθμό. Επιπλέον και ως προς την παραγωγή των ζητούμενων συναισθημάτων έχουμε θετικά αποτελέσματα και ο διευκρινιστής αναγνωρίζει επιτυχώς το εκάστοτε συναίσθημα. Όσον αφορά τον γεννήτορα πραγματοποιήθηκε μία ανάλυση ως προς το πόσο ρεαλιστικές είναι οι εικόνες και τα συναισθήματα που παράγει αλλά και κατά πόσο αλλοιώνει την αρχική εικόνα. Τα αποτελέσματα αυτά παρουσιάζονται αναλυτικά και παραθέτονται προτάσεις για μελλοντικές επεκτάσεις.