Αυτόματα Συστήματα Αντίληψης και Εκμάθησης Ανθρώπινων Δράσεων

Abstract

Η μελέτη της ανθρώπινης δραστηριότητας έχει απασχολήσει και συνεχίζει να απασχολεί πολυπλεύρως την επιστημονική κοινότητα. Στην παρούσα διατριβή εστιάζουμε στην ανάπτυξη καινοτόμων αυτόματων συστημάτων ικανών να αντιληφθούν και να μάθουν τις διαφορετικές εκφάνσεις των ανθρώπινων δράσεων. Η διατριβή χωρίζεται σε δύο μέρη που διαφοροποιούνται κύρια από τον τρόπο αντίληψης των δράσεων. Στο πρώτος μέρος η καταγραφή των δράσεων γίνεται με οπτικούς αισθητήρες ενώ στο δεύτερο, με μη οπτικούς αισθητήρες καταγραφής βιοσημάτων. Στο πρώτο μέρος της διατριβής ερευνούμε την ανάπτυξη ευφυών συστημάτων αναγνώρισης δράσεων παιδιών κατά τη διάρκεια αλληλεπιδράσεων τους με ρομπότ. Αρχικά μελετήσαμε την ανάπτυξη ενός διευρυμένου συστήματος αλληλεπίδρασης παιδιών με ρομπότ με πολλαπλές αντιληπτικές ικανότητες, λ.χ. αναγνώριση δράσεων, ομιλίας, εντοπισμού ομιλητών και αντικειμένων, μέσω πολλαπλών καμερών και δυνατότητα χρήσης και ενσωμάτωσης πολλαπλών ρομπότ σε ένα ενιαίο σύστημα. Συλλέξαμε και δημιουργήσαμε μια μεγάλη βάση παιδικών δραστηριοτήτων που περιλαμβάνει χειρονομίες, γενικευμένες κινήσεις του σώματος, ομιλία, έκφραση συναισθημάτων κ.α. μεμονωμένα αλλά και κατά τη διάρκεια των αλληλεπιδράσεων. Αξιολογήσαμε το σύστημα τόσο ως προς την ικανότητα των μονάδων αναγνώρισης όσο και ως προς την συνολική αλληλεπίδραση των παιδιών με τα ρομπότ. Στη συνέχεια αναπτύξαμε ένα πιο ελαφρύ σύστημα για τη σχεδίαση και εκτέλεση εκπαιδευτικών σεναρίων με βάση την οπτική πληροφορία για χρήση σε πιο ελεύθερα περιβάλλοντα, όπως η σχολική αίθουσα. Κατά την ανάπτυξη των παραπάνω συστημάτων, κάναμε εκτενή έρευνα ως προς την οπτική αναγνώριση των δράσεων και των χειρονομιών των παιδιών. Αναδείξαμε την ανάγκη ύπαρξης συστημάτων αναγνώρισης ειδικά προσαρμοσμένων σε δεδομένα παιδιών, μελετήσαμε την απόδοση των συστημάτων κατά τη χρήση πολλαπλών ή/και μεμονωμένων όψεων καταγραφής ενώ μελετήσαμε και εφαρμόσαμε μεθόδους επαυξημένης μάθησης για εύκολη επέκταση των δράσεων αναγνώρισης. Στο δεύτερο μέρος της διατριβής ασχολούμαστε με την αναγνώριση δράσεων μέσω της χρήσης βιοσημάτων από έξυπνους φορετούς αισθητήρες, η χρήση των οποίων διευρύνεται καθημερινά και παρέχει νέες δυνατότητες για ανάπτυξη καινοτόμων συστημάτων αναγνώρισης της ανθρώπινης δραστηριότητας. Έτσι, ερευνούμε την αξιοποίηση σημάτων που συλλέγονται από έξυπνα ρολόγια, λ.χ. επιτάχυνσης, γωνιακής ταχύτητας, καρδιακού ρυθμού, ώστε να μελετήσουμε τη δυνατότητα δημιουργίας ψηφιακών φαινοτύπων των χρηστών, δηλαδή ψηφιακών προφίλ που μπορούν να αποδώσουν τα χαρακτηριστικά μοτίβα της καθημερινότητάς τους αλλά και να αποκαλύψουν σημαντικές μεταβολές από αυτά. Αρχικά, μελετήσαμε τη διαφορά των ψηφιακών αναπαραστάσεων-φαινοτύπων μεταξύ ενός δείγματος ελέγχου και ενός δείγματος ασθενών με ψυχωτικές διαταραχές μέσω εκτεταμένης στατιστικής ανάλυσης και αναπτύξαμε ένα ευφυές σύστημα ταυτοποίησης-ταξινόμησης του κάθε χρήστη με βάση τον ψηφιακό του φαινότυπο ερευνώντας εκτενώς τις επιμέρους παραμέτρους του συστήματος. Στη συνέχεια προσεγγίσαμε το πρόβλημα του εντοπισμού των ψυχωτικών υποτροπών που παρουσιάζονται συχνά σε άτομα με ψυχωτικές διαταραχές. Συγκεκριμένα, αντιμετωπίσαμε το πρόβλημα ως ένα πρόβλημα λανθασμένης ταξινόμησης υποθέτοντας πως κατά τη διάρκεια μιας υποτροπής της ασθένειας είναι δυνατόν να παρατηρήσουμε σημαντικές μεταβολές στον ψηφιακό φαινότυπο και άρα να μειώνεται η πιθανότητα ταυτοποίησης του εκάστοτε χρήστη σε περιόδους υποτροπών ή λίγο πριν από αυτές. Τέλος, επεκτείναμε το σύστημα εντοπισμού υποτροπών συνδυάζοντας τεχνικές εντοπισμού ανωμαλιών με τις τεχνικές που αναπτύξαμε για την ταυτοποίηση των χρηστών ώστε να επιτύχουμε βελτιωμένη απόδοση στην εκτίμηση της φάσης διαταραχής των ασθενών.