Οπτική Αναγνώριση Στατικών Χειρομορφών Με Νευρωνικά Δίκτυα Τύπου Mlp: Εφαρμογή Στον Τηλεχειρισμό Ρομπότ

Abstract

Η παρούσα διπλωματική εργασία επικεντρώνεται στη μελέτη της οπτικής αναγνώρισης ενός συνόλου εικόνων στατικών μορφών χεριών, στη διερεύνηση των περιγραφητών που είναι καταλληλότεροι για το συγκεκριμένο είδος εικόνας σε συνάρτηση με την καταλληλότερη επιλογή των χειρομορφών και στην εκπαίδευση ενός νευρωνικού δικτύου με στόχο τη μέγιστη δυνατή επίδοση ως προς την αναγνώριση.Στην παρούσα εργασία, θεωρείται δεδομένο ότι η κατάτμηση της αρχικής εικόνας έχει βασισθεί σε εργασίες που προϋπάρχουν σ’ αυτόν τον τομέα. Αναπτύσσοντας, έτσι, στατιστικά μοντέλα για το χρώμα του δέρματος, και εφαρμόζοντας κατάτμηση εικόνας με βάση χρωματικές συνιστώσες, προκύπτουν οι διαθέσιμες δυαδικές εικόνες του ενός χεριού τις οποίες στη συνέχεια χρησιμοποιούμε για την πειραματική αξιολόγηση επίδοσης. Από τις εικόνες αυτές αφαιρείται με αυτοματοποιημένο τρόπο ο καρπός του χεριού που έχει μεταβαλλόμενο μέγεθος. Στη συνέχεια εξάγονται περιγραφητές σχήματος διαφόρων ειδών οι οποίοι χρησιμοποιούνται ως είσοδος σε ένα πολυστρωματικό νευρωνικό δίκτυο MLP. Το δίκτυο αυτό εκπαιδεύεται επιβλεπόμενα μέσω του αλγορίθμου ανάστροφης διάδοσης σφάλματος (back propagation) και δίνει ως έξοδο την αναγνωρισμένη χειρομορφή στην οποία αντιστοιχεί η εικόνα εισόδου. Από τα πειράματα που έγιναν η καλύτερη επίδοση επιτεύχθηκε χρησιμοποιώντας περιγραφητές σχήματος Fourier σε δύο κλίμακες σε συνδυασμό με τους περιγραφητές εκκεντρότητα και βαθμός συμπύκνωσης και αφορούσε 92% επιτυχή αναγνώριση για 8 διαφορετικές χειρομορφές. Η καλύτερη επίδοση όμως για χρήση με μακριά μανίκια ήταν 98%. Αυτό το νευρωνικό δίκτυο μπορεί να χρησιμοποιηθεί σαν βάση σε συνδυασμό με ένα RNN ή ΗΜΜ για την αναγνώριση δυναμικών χειρονομιών. Μπορεί όμως να χρησιμοποιηθεί και μόνο του για στατικές χειρομορφές. Είναι έτσι δυνατή η ανάπτυξη σεναρίων αλληλεπίδρασης ανθρώπου-μηχανής (ρομπότ ή υπολογιστή) μέσω χειρονομιών (φυσικών νοηματικών εντολών). Η εργασία αυτή εκπονήθηκε στα πλαίσια του ερευνητικού προγράμματος «ΔΙΑΝΟΗΜΑ». Στα πλαίσια αυτού του προγράμματος αναπτύχθηκε εφαρμογή αναγνώρισης στατικών χειρομορφών από κάμερα σε πραγματικό χρόνο. Το λογισμικό της εφαρμογής αναγνώρισης χειρομορφών υλοποιήθηκε σε ΜATLAB, και επικοινωνεί μέσω socket με το πρόγραμμα τηλε-ελέγχου ενός κινούμενου ρομποτικού οχήματος τύπου Pioneer P3-DX.