A study of a Hierarchical Multi-Attentive Framework for Real-Time Single Object 6-D Pose Tracking

Abstract

Στην παρούσα Διπλωματική Εργασία, παρουσιάζουμε μια καινοτόμα πολυ-επικεντρωμένη συνελικτική αρχιτεκτονική για να αντιμετωπίσουμε το πρόβλημα της παρακολούθησης της 6-διάστατης πόζας μοναδικών, γνωστών αντικειμένων, βασισμένοι σε εικόνες RGB-D, σε πραγματικό χρόνο. Τέτοια προβλήματα δημιουργούν πολλαπλές προκλήσεις ως προς την αντιμετώπισή τους, οι οποίες έξαρτούν τη φύση τους τόσο από μορφή του αντικειμένου, όσο και στις αλληλεπιδράσεις του με το περιβάλλον του, προκλήσεις που προηγούμενες προσεγγίσεις έχουν, προς ώρας, αποτύχει να αντιμετωπίσουν πλήρως. Το προτεινόμενο πλαίσιο ενθυλακώνει μεθόδους για χαώδες παρασκήνιο και διαχείριση επικαλύψεων ενσωματώνοντας πολλαπλές παράλληλες μαλακές χωρικές μονάδες επικέντρωσης της οπτικής προσοχής σε μια αρχιτεκτονική πολυστοχοθετικού Συνελικτικού Νευρωνικού Δικτύου (ΣΝΔ). Επιπλέον, λαμβάνουμε υπόψην τις ειδικές γεωμετρικές ιδιότητες τόσο του 3-διάστατου μοντέλου του αντικειμένου, όσο και του χώρου των ποζών, και χρησιμοποιούμε μια πιο εκλεπτυσμένη προσέγγιση για την επάυξηση δεδομένων εκπαίδευσης. Τα πειραματικά αποτελέσματα που παρέχονται επιβεβαιώνουν την αποτελεσματικότητα της προτεινόμενης πολυ-επικεντρωμένης αρχιτεκτονικής, καθώς αυτή βελτιώνει την, μέχρι τώρα, πλέον σύγχρονη απόδοση παρακολούθησης κατά μια μέση διαβάθμιση του 34.03% για μετατόπιση και 40.01% για περιστροφή, όταν η μέθοδος μας δοκιμάζεται στο σύνολο δεδομένων που παρουσιάζεται στη δουλεία των Garon et al. [83], το πιο πλήρως σχεδιασμένο σύνολο δεδομένων, μέχρι τώρα, που αφορά την παρακολούθηση αντικειμένων με τη χρήση RGB-D εικόνων. Ο αλγόριθμός μας εκπαιδεύεται μόνο σε συνθήκες προσομοίωσης και μεταφέρεται για να ελεγχθεί η αποδοτικότητα του σε σενάρια του πραγματικού κόσμου με ‘μηδενική’ εξειδίκευση σε αυτά. Εν συνεχεία, εξετάζουμε πολλαπλές εναλλακτικές επεκτάσεις μοντελοποιώντας με συγκεκριμένο τρόπο τόσο τις μεγάλου όσο και τις μικρού μήκους χρονικές δυναμικές στον αρχιτεκτονικό μας σχεδιασμό. Τέλος, εκθέτουμε δυνατές μελλοντικές κατευθύνσεις έρευνας και και πρακτικές εφαρμογές του προβλήματος. Η εργασία αυτή δημοσιεύτηκε [82] στα Σεμινάρια του Ευρωπαικού Συνεδρίου ΄Ορασης Υπολογιστών 2020.