Τρισδιάστατη ανακατασκευή σώματος, προσώπου και χεριών με εφαρμογές στην νοηματική γλωσσά

Abstract

Αυτή η διπλωματική εργασία μελετά τις πιο σύγχρονες τρισδιάστατες μεθόδους για την ανακατασκευή σώματος, προσώπου και χεριών από μια απλή εικόνα, ενώ παράλληλα εφαρμόζει τα εργαλεία αυτά στο πρόβλημα της αναγνώρισης νοηματικής γλώσσας. Η αναγνώριση νοηματικής γλώσσας είναι ένα σύνθετο οπτικό πρόβλημα αναγνώρισης που συνδυάζει πολλές πτυχές της όρασης υπολογιστών, λόγω της αναγκαιότητας να συνδυαστεί και να εξαχθεί πληροφορία τόσο από τα χέρια και τις εκφράσεις του προσώπου, αλλά και από ολόκληρη τη σωματοδομή. Αφού μελετηθούν αναλυτικά οι state-of-the-art μέθοδοι για την τρισδιάστατη ανακατασκευή καθώς και οι τεχνικές που χρησιμοποιούνται για την αντιμετώπιση του προβλήματος αναγνώρισης νοηματικής γλώσσας, επιστρατεύουμε το SMPL-X, ένα σύγχρονο παραμετρικό μοντέλο που επιτρέπει την εξαγωγή αρθρώσεων για το τρισδιάστατο ανθρώπινο σώμα, τα χέρια και το πρόσωπο από μια εικόνα. Χρησιμοποιούμε αυτό το ολιστικό μοντέλο για την αναγνώριση νοηματικής γλώσσας, δείχνοντας ότι οδηγεί σε υψηλότερες επιδόσεις από απλές εικόνες μαζί με την οπτική τους ροή όταν δίνονται σαν είσοδο σε state-of-the-art I3D-τύπου νευρωνικό δίκτυο, αλλά και από δισδιάστατο Openpose σκελετό όταν δίνεται σαν είσοδο σε ένα Recurrent νευρωνικό δίκτυο. Επιπλέον, ένα σύνολο από πειράματα πάνω στο σώμα, στα χέρια και στο πρόσωπο, δείχνουν ότι η παράλειψη οποιουδήποτε εκ των τριών καναλιών πληροφορίας, μειώνει σημαντικά το ποσοστό αναγνώρισης, αποδεικνύοντας έτσι την σημαντικότητα της συνολικής παραμετροποίησης του ανθρωπίνου σώματος, της έκφρασης και των χεριών στο πρόβλημα αναγνώρισης νοηματικής γλώσσας. Τέλος, μερικά πειράματα με εκτίμηση βάθους πραγματοποιούνται, ενώ γίνεται και αναλυτική σύγκριση μεταξύ των μοντέλων SMPL-X και ExPose.