Ευφυής καταγραφή 3Δ ανθρώπινης κίνησης μέσω δεικτών με χρήση βαθιάς μάθησης και χαρτών βάθους πολλαπλών προβολών

Abstract

Η παρούσα διδακτορική διατριβή διερευνά την υψηλή ακρίβεια που επιτυγχάνουν τα επαγγελματικά συστήματα καταφραφής ανθρώπινης κίνησης με τη χρήση δεικτών, την αξιοσημείωτη ικανότητα των μοντέλων όρασης υπολογιστών βαθιάς μάθησης να επιλύουν προβλήματα που σχετίζονται με την εκτίμηση της ανθρώπινης πόζας, καθώς και τις πρόσφατες τεχνολογικές εξελίξεις στους αισθητήρες ανίχνευσης βάθους καταναλωτικής ποιότητας και χαμηλού κόστους για την ανάπτυξη καινοτόμων "υβριδικών" μεθόδων καταγραφής κίνησης.

Κατά τη μελέτη και έρευνα στο συγκεκριμένο πεδίο για την επίτευξη του ερευνητικού στόχου της διατριβής πραγματοποιήθηκαν μια σειρά από ερευνητικές συνεισφορές όπως, μεταξύ άλλων, η μοντελοποίηση του προβλήματος καταγραφής κίνησης με δείκτες από δεδομένα βάθους πολλαπλών χρονικά και χωρικά συσχετισμένων προβολών, η εισαγωγή κατάλληλων αναπαραστάσεων ανεξάρτητων από τον τρόπο καταγραφής των αρχικών δεδομένων ή τη θέση και λειτουργία των αισθητήρων, καθιστώντας τα μοντέλα ικανά να αντεπεξέλθουν αποτελεσματικά ακόμα και με σχετικά περιορισμένα δεδομένα εκπαίδευσης, η ανάπτυξη νέων τεχνικών αποκωδικοποίησης 3Δ συντεταγμένων από 2Δ και 2.5Δ δεδομένα εισόδου με υψηλή ακρίβεια για την αξιοποίηση των μοντέλων σε πραγματικού χρόνου τεχνολογίες καταγραφής κίνησης. Επιπρόσθετα, για την πραγματοποίηση των παραπάνω κρίθηκε απαραίτητη η δημιουργία δύο (2) μεγάλων συνόλων δεδομένων, των DMC και HUMAN4D. Η δημιουργία τους ήταν απαραίτητη λόγω της περιορισμένης δημόσιας διάθεσης δεδομένων βάθους πολλαπλών προβολών που καταγράφουν κινήσεις υποκειμένων με τοποθετημένους δείκτες στο σώμα τους.

Αρχικά, με τη δημιουργία του συνόλου δεδομένων DMC επιβεβαιώσαμε τη βασική ιδέα καταγραφής κίνησης με χρήση βαθιάς μάθησης και πολλαπλών χαρτών βάθους με οπισθοανακλαστικά υλικά χωρίς υψηλές απαιτήσεις σε ακρίβεια συγχρονισμού και ground-truth δεδομένων πόζας. Κατόπιν, δημιουργήσαμε το σύνολο δεδομένων HUMAN4D το οποίο παρέχει δεδομένα βάθους από πολλαπλές κάμερες ταυτόχρονης λήψης με συγχρονισμό υλισμικού και εξαιρετικά ακριβείς 3Δ πόζες για εποπτεία και αξιολόγηση, το οποίο κατά σειρά, μας επέτρεψε την πραγματοποίηση περαιτέρω έρευνας γύρω από σύγχρονες μεθόδους εκτίμησης πόζας/κίνησης και τεχνικών αναπαράστασης 3Δ συντεταγμένων. Τέλος, ως ακολουθία των παραπάνω πραγματοποιήθηκε η ανάπτυξη μιας νέας, state-of-the-art μεθόδου εκτίμησης 3Δ πόζας/κίνησης από δεδομένα βάθους με τη χρήση σφαιρικών οπισθοανακλαστικων δεικτών.