3Δ Ανακατασκευή Προσώπων από Εικόνες

Abstract

Η 3Δ ανακατασκευή προσώπων από εικόνες αποσκοπεί στον ακριβή προσδιορισμό της 3Δ γεωμετρίας και των χαρακτηριστικών των εικονιζόμενων 2Δ προσώπων, έτσι ώστε να παραχθούν 3Δ μοντέλα όσο το δυνατόν πιο ρεαλιστικά και όμοια με αυτά. Παρ΄ όλη την πρόοδο που έχει σημειωθεί τα τελευταία χρόνια στην επιστήμη της Μηχανικής Μάθησης και της Όρασης Υπολογιστών και παρά τα υψηλά ποσοστά ακρίβειας και πιστότητας στην ανακατασκευή που έχουν επιτευχθεί από μεθόδους, οι οποίες βασίζονται αποκλειστικά στη χρήση βαθέων συνελικτικών νευρωνικών δικτύων, το πρόβλημα απέχει αρκετά από την οριστική επίλυσή του, κυρίως λόγω της πλούσιας δομικής ποικιλομορφίας και του υψηλού επιπέδου λεπτομερειών που παρουσιάζει το ανθρώπινο πρόσωπο. Στην παρούσα εργασία υλοποιείται ένα σύστημα ανακατασκευής 3Δ προσώπων από 2Δ έγχρωμες εικόνες χαμηλής ανάλυσης, οι οποίες έχουν ληφθεί σε μη δεσμευμένο περιβάλλον, με αποτέλεσμα να παρουσιάζουν ποικίλες διακυμάνσεις ως προς την πόζα και την έκφραση των εικονιζόμενων προσώπων καθώς και τις συνθήκες φωτισμού. Το προτεινόμενο σύστημα ανακατασκευής αποτελείται από ένα κατάλληλα σχεδιασμένο συνελικτικό νευρωνικό δίκτυο, το οποίο και εκπαιδεύεται χωρίς επίβλεψη. Για την 3Δ αναπαράσταση του ανθρώπινου προσώπου χρησιμοποιείται κατάλληλο 3D Morphable Face Model, το οποίο κωδικοποιεί την πληροφορία για το σχήμα, την έκφραση και την υφή ενός προσώπου μέσω αντίστοιχων διανυσμάτων συντελεστών. Δοθείσης μιας 2Δ εικόνας στην είσοδο, το δίκτυο προσδιορίζει τα διανύσματα συντελεστών σχήματος, έκφρασης και υφής, τα οποία χρησιμοποιούνται στη συνέχεια για το σχηματισμό του 3Δ μοντέλου του προσώπου. Η εκπαίδευση πραγματοποιείται χωρίς επίβλεψη, ελαχιστοποιώντας μια υβριδική συνάρτηση απώλειας, η οποία απαρτίζεται από κατάλληλα επιλεγμένες επιμέρους συναρτήσεις απώλειας, έτσι ώστε αυτές να εξετάζουν το μεγαλύτερο εύρος του φάσματος των χαρακτηριστικών του ανθρώπινου προσώπου. Τα ποιοτικά και ποσοτικά αποτελέσματα που προκύπτουν έπειτα από εφαρμογή του προτεινόμενου εκπαιδευμένου δικτύου σε πραγματικά δεδομένα, αποδεικνύουν την δυνατότητα σθεναρούς και λεπτομερούς ανακατασκευής 3Δ προσώπων από 2Δ εικόνες, φανερώνοντας ωστόσο την ευαισθησία της όλης διαδικασίας σε έντονες πόζες, εκφράσεις και κακές συνθήκες φωτισμού.