Αναγνώριση ανθρωπίνων δράσεων και συμπεριφορών με αξιοποίηση δεδομένων φορητών αισθητήρων

Abstract

Η ανάπτυξη συστημάτων ικανών να ανιχνεύουν και να αναγνωρίζουν αυτόματα τις δραστηριότητες που εκτελεί ένα άτομο, καθώς και το πλαίσιο στο οποίο εκτελείται κάθε δραστηριότητα, είναι η επιτομή της Αναγνώρισης Ανθρωπίνων Δράσεων (HAR). Τα συστήματα αυτά μπορούν να χρησιμοποιούν δεδομένα που συλλέγονται από ένα φάσμα αισθητήρων, στο οποίο συμπεριλαμβάνονται οπτικοί αισθητήρες, π.χ. βιντεοκάμερες, και μη οπτικοί αισθητήρες, όπως οι φορητοί αισθητήρες και οι αισθητήρες περιβάλλοντος. Η αναγνώριση ανθρωπίνων δράσεων βρίσκει αναρίθμητες εφαρμογές στην καθημερινή ζωή, κυρίως στον τομέα της υγείας, στη φροντίδα ηλικιωμένων, στην υποβοηθούμενη διαβίωση, στην αλληλεπίδραση ανθρώπου-υπολογιστή και στον αθλητισμό. Σε αυτή τη διπλωματική εργασία, ασχολούμαστε με την αναγνώριση ανθρωπίνων δράσεων χρησιμοποιώντας δεδομένα φορητών αισθητήρων που συλλέγονται σε μη ελεγχόμενες συνθήκες (in-the-wild), από έξυπνα τηλέφωνα και έξυπνα ρολόγια. Η συλλογή δεδομένων in-the-wild πραγματοποιείται στην καθημερινή ζωή, ώστε να εκπαιδευθούν μετά συστήματα ικανά να αναγνωρίζουν καλύτερα τις δραστηριότητες που εκτελούνται σε πραγματικές συνθήκες, και απαιτεί να πληρούνται οι ακόλουθες προϋποθέσεις: οι συμμετέχοντες να χρησιμοποιούν συσκευές που θα χρησιμοποιούσαν ούτως ή άλλως, χωρίς περιορισμούς στην τοποθέτηση των συσκευών, και να εκτελούν δραστηριότητες που θα εκτελούσαν πραγματικά, στο πραγματικό τους περιβάλλον. Κατά τη χρήση δεδομένων που έχουν συλλεχθεί σε μη ελεγχόμενες συνθήκες σε συστήματα αναγνώρισης ανθρωπίνων δράσεων προκύπτουν πολλές προκλήσεις, που αφορούν κυρίως στην μη-ισορροπημένη επισημείωση των δεδομένων με πολλές ετικέτες, στα σφάλματα και στις παραλείψεις κατά την επισημείωση, στο θόρυβο που ενυπάρχει στις μετρήσεις των αισθητήρων, στην απώλεια μετρήσεων από επιμέρους αισθητήρες, και στη μεγάλη διαπροσωπική και ενδοπροσωπική μεταβλητότητα που χαρακτηρίζει τον τρόπο εκτέλεσης των δραστηριοτήτων. Χρησιμοποιούμε το σύνολο δεδομένων ExtraSensory που περιέχει επισημειωμένα δεδομένα από 60 χρήστες συνολικής διάρκειας άνω των 300000 λεπτών, τα οποία έχουν συλλεχθεί από αισθητήρες έξυπνου κινητού και έξυπνου ρολογιού. Κάθε δείγμα του συνόλου δεδομένων αντιστοιχεί σε ένα λεπτό για το οποίο παρέχονται μετρήσεις πολλαπλών αισθητήρων και πολλαπλές ετικέτες δραστηριότητας και πλαισίου. Το υποσύνολο του συνόλου δεδομένων που χρησιμοποιούμε περιλαμβάνει μετρήσεις αισθητήρων από το επιταχυνσιόμετρο, το γυροσκόπιο, το GPS, τον ήχο και την κατάσταση του έξυπνου τηλεφώνου και από το επιταχυνσιόμετρο του έξυπνου ρολογιού, και περιλαμβάνει συνολικά 51 ετικέτες δραστηριότητας και πλαισίου. Το σύνολο δεδομένων περιέχει τόσο τις ανεπεξέργαστες μετρήσεις από τους αισθητήρες όσο και εξαχθέντα στατιστικά χαρακτηριστικά. Αφού μελετήσουμε το σύνολο δεδομένων, αναπαράγουμε δύο baselines, λογιστική παλινδρόμηση και ένα multilayer perceptron, χρησιμοποιώντας τα εξαχθέντα χαρακτηριστικά. Έπειτα, χρησιμοποιούμε ένα αμφίδρομο LSTM (BiLSTM) για να μοντελοποιήσουμε μια ακολουθία δειγμάτων, το οποίο επαυξάνουμε με ένα μηχανισμό αυτο-προσοχής (Self-Attention) που ενισχύει την απόδοση του μοντέλου, ή ένα μηχανισμό διασταυρούμενης προσοχής (Cross-Attention) που χρησιμοποιείται για την ερμηνευσιμότητα που προσδίδει. Εκτελούμε επίσης πειράματα βασιζόμενοι στα ανεπεξέργαστα δεδομένα από τους αισθητήρες, χρησιμοποιώντας στρώματα συνελικτικών νευρωνικών δικτύων (CNN) και στρώματα Transformer Encoder για την εξαγωγή χαρακτηριστικών, για τη μοντελοποίηση ενός δείγματος, και τα συνδυάζουμε περαιτέρω με ένα BiLSTM για τη μοντελοποίηση μιας ακολουθίας δειγμάτων. Σε όλα τα πειράματα, χρησιμοποιούμε μία συνάρτηση κόστους βασισμένη στο binary cross-entropy loss, με στάθμιση δειγμάτων ανά ετικέτα και ανά batch, για να χειριστούμε την ανισορροπία των ετικετών και τις ετικέτες που λείπουν. Στο τέλος παρέχουμε χρήσιμες κατευθύνσεις για την περαιτέρω βελτίωση της απόδοσης των μοντέλων, με βάση την εμπειρία μας από το συγκεκριμένο πρόβλημα.