3Δ Ανακατασκευή Ανθρώπινου Σχήματος και Πόζας απο Τρικαναλικές Εικόνες

Abstract

΄Ενα απο τα σημαντικότερα προβλήματα της όρασης υπολογιστών αποτελεί η εκτίμηση ανθρώπινης πόζας απο τρικαναλικές εικόνες. Η συγκεκριμένη λειτουργία είναι απαραίτητη σε σύγχρονα αυτόνομα συστήματα που πρέπει να αντιλαμβάνονται το περιβάλλον γύρω τους ώστε να παίρνουν αποφάσεις αλλα και γενικότερα βρίσκει εφαρμογή σε πεδία οπως η αλληλεπίδραση ανθρώπου μηχανής και η εικονική/επαυξημένη πραγματικότητα. Στην παρούσα εργασία ασχολούμαστε με το υποπρόβλημα της τρισδιάστατης ανακατασκευής πόζας και σχήματος ανθρώπινου σώματος απο μία όψη μέσω RGB εικόνων. Το πρόβλημα παρουσιάζει ιδιαίτερη δυσκολία καθώς απαιτεί αφενώς τον εντοπισμό των βασικών αρθρώσεων στο πεδίο της εικόνας και αφετέρου την εκτίμηση του τρόπου με τον οποίο "ξεδιπλώνονται" αυτές οι αρθρώσεις στον τρισδιάστατο χώρο. Το παραπάνω πρόβλημα ανήκει στην ευρύτερη κατηγορία των αντίστροφών προβλημάτων καθώς προσπαθούμε να αντιστρέψουμε μια γνωστή διεργασία, την προβολή της γεωμετρίας ενός ανθρώπου στο επίπεδο της εικόνας. Πιο συγκεκριμένα ασχολούμαστε τόσο με την στατική εκδοχή του προβλήματος οπου λαμβάνουμε σαν είσοδο μια εικόνα όσο και με την δυναμική εκδοχή του οπου η είσοδος είναι μια ακολουθία απο εικόνες(βίντεο). Αφου παρουσιάσουμε το απαραίτητο θεωρητικο υπόβαθρο και την σχετική βιβλιογραφία, εκκινούμε την εργασία μας υλοποιώντας και εκπαιδεύοντας δημοφιλή μοντέλα και απο τις δύο κατηγορίες της βιβλιογραφίας. Στην συνέχεια προτείνουμε τροποποιήσεις στα βασικά μοντέλα με αφορμή τις εξαρτήσεις που υπάρχουν τόσο ανάμεσα στα δεδομένα πόζας και σχήματος όσο και στα δεδομένα πόζας μεταξύ των χρονικών στιγμών. Χρησι- μοποιόυμε μια πληθώρα απο διαφορετικά σύνολα δεδομένων και εκπαιδεύουμε τα μοντέλα σε διαφορετικά σενάρια ώστε να δείξουμε την επίδραση κάθε υποσυστήματος ενώ παράλληλα δείχνουμε πειραματικά οτι τα μοντέλα που προτείνουμε επιτυγχάνουν απόδοση όμοια ή και καλύτερη απο το βασικό μοντέλο. Τέλος παρουσιάζουμε τα συμπεράσματα μας και προτείνουμε τρόπους επέκτασης της εργασίας.