Πρωτόκολλο για δίκαιη αναγνώριση συναισθηματικών εκφράσεων προσώπου με χρήση βαθιών νευρωνικών δικτύων

Abstract

Η εργασία της ανάλυσης και αναγνώρισης εκφράσεων προσώπου διαδραματίζει βασικό ρόλο στη μοντελοποίηση συμπεριφοράς, στην αλληλεπίδραση ανθρώπου - μηχανής και στον συναισθηματικό υπολογισμό, με ποικίλες εφαρμογές σε διάφορους τομείς. Λόγω της κοινωνικής φύσης της εργασίας αυτής πρέπει να είναι δίκαιη απέναντι σε όλους τους ανθρώπους ανεξάρτητα από τη φυλή, την ηλικία και το φύλο τους. Επομένως, τα συστήματα που αναπτύσσονται για την υλοποίηση της εργασίας αυτής θα πρέπει να είναι ηθικά και απαλλαγμένα από άδικες προκαταλήψεις. Η ανάλυση και αναγνώριση εκφράσεων προσώπου αναπτύσσεται με χρήση μηχανικής μάθησης από τρεις ετερογενείς εργασίες: την αναγνώριση βασικών κατηγορικών συναισθημάτων (π.χ. θυμός, φόβος, ευτυχία, λύπη), την εκτίμηση διαστατικών αναπαραστάσεων συναισθημάτων από τις τιμές valence (σθένος) και arousal (διέγερση) και την ανίχνευση ενεργοποιημένων κινήσεων των μυών του προσώπου οι οποίες περιγράφονται ως Action Units. Για την εκπαίδευση, αξιολόγηση και τον έλεγχο των συστημάτων χρησιμοποιούνται βάσεις δεδομένων με έγκυρες επισημάνσεις ως προς τις τρεις εργασίες συναισθηματικού υπολογισμού. Οι βάσεις αυτές παρέχουν μεγάλο αριθμό και μια ποικιλία δειγμάτων και στα δύο φύλα, εθνικότητα, και ηλικίες αλλά δεν είναι ισότιμα και δίκαια διαμορφωμένες στα τρία σύνολα εκπαίδευσης, επικύρωσης και ελέγχου. Στόχος της διπλωματικής εργασίας είναι η δίκαιη αναδιοργάνωση των βάσεων δεδομένων στα τρία σύνολα εκπαίδευσης, επικύρωσης και ελέγχου με βάση τη φυλή, την ηλικία, το φύλο και τις επισημάνσεις της εργασίας συναισθηματικού υπολογισμού που αντιμετωπίζουν. Η ανάπτυξη δηλαδή ενός πρωτοκόλλου, το οποίο θα ανακατασκευάζει τις υπάρχουσες βάσεις δεδομένων στα τρία σύνολα με ένα δίκαιο τρόπο. Για κάθε εργασία αναγνώρισης συναισθηματικών εκφράσεων προσώπου, υλοποιείται ένα μοντέλο το οποίο εκπαιδεύεται και αξιολογείται πριν και μετά την εφαρμογή του δίκαιου χωρισμού στις βάσεις δεδομένων. Καταδεικνύεται ότι η προσέγγιση αυτή επιφέρει κοντινότερα αποτελέσματα απόδοσης στις πλείστες κατηγορίες φυλής, ηλικίας και φύλου. Ταυτόχρονα προσφέρει ομοιομορφία αφού αναδιοργανώνονται οι βάσεις δεδομένων στα τρία σύνολα εκπαίδευσης με ένα συνεχή τρόπο.