Εικονικός Πράκτορας Υποβοήθησης Συναρμολόγησης Αντικειμένου

Abstract

Στη διπλωματική εργασία αυτή εξετάζουμε το πρόβλημα της υποβοήθησης συναρμολόγησης αντικειμένου αξιοποιώντας τεχνικές όρασης υπολογιστών. Προτείνουμε μια πρωτότυπη προσέγγιση, βασισμένη σε μεθόδους εκτίμησης πόζας αντικειμένων. Χρησιμοποιήσαμε μια συσκευή Kinect για την αυτόματη παρακολούθηση της διαδικασίας της συναρμολόγησης όσο αυτή εξελίσσεται. Οι πόζες των μερών της κατασκευής εκτιμώνται σε δύο στάδια: πρώτα χρησιμοποιώντας έναν αλγόριθμο παρακολούθησης βάση ανίχνευσης πάνω στις εικόνες χρώματος για την παραγωγή αδρών εκτιμήσεων 2Δ θέσεων στο επίπεδο της εικόνας, και έπειτα με χρήση Rao-Blackwellised Particle Filter για τη βελτίωση των εκτιμήσεων και τον υπολογισμό των υπόλοιπων παραμέτρων των 3Δ ποζών. Στη συνέχεια, αξιοποιείται η πληροφορία της παρακολούθησης για τον εντοπισμό των ολοκληρωμένων συνδέσεων μεταξύ των μερών και την εκτίμηση της κατάστασης της συναρμολόγησης. Με βάση την κατάσταση αυτή, εμφανίζεται σχετική πληροφορία στον χρήστη του συστήματος. Παρουσιάζουμε τρεις εφαρμογές του συστήματός μας, που αναδεικνύουν την χρησιμότητά του, τη γενικότητα ως προς τα σχήματα των αντικειμένων και τις δυνατότητες λειτουργίας του σε πραγματικό χρόνο.