Αναγνώριση Δράσεων σε Οδηγικό Περιβάλλον

Abstract

Η παρακολούθηση της συμπεριφοράς του οδηγού και η αναγνώριση των ενεργειών του αποτελεί μια κρίσιμη και ζωτικής σημασίας εργασία στις σύγχρονες συνθήκες ημιαυτόνομης οδήγησης, όπου οι δευτερεύουσες δραστηριότητες, άσχετες με την οδήγηση, πρέπει να ελαχιστοποιούνται. Το ημι-αυτόνομο περιβάλλον δίνει τη δυνατότητα στον οδηγό να απασχολείται από μη σχετιζόμενες με την οδήγηση δράσεις οι οποίες όμως αποσπούν την προσοχή του και θέτουν τους επιβαίνοντες και τους υπόλοιπους χρήστες του δρόμου σε κίνδυνο. Το πρόβλημα της αναγνώρισης δραστηριότητας του οδηγού αποτελεί μια υποκατηγορία του ευρέως μελετημένου τομέα της Αναγνώρισης Ανθρώπινων Δράσεων, αλλά παρουσιάζει πρόσθετες προκλήσεις που απορρέουν από το περιβάλλον, την εμφάνιση των συμμετεχόντων και την περιορισμένη διαθεσιμότητα δεδομένων για τη συγκεκριμένη εργασία. Επιπλέον, η ομοιότητα της στάσης του σώματος εντός του οχήματος και οι ήπιες διαφοροποιήσεις των κινήσεων κατά την εκτέλεση διαφορετικών ενεργειών περιπλέκουν περαιτέρω τη διαδικασία ταξινόμησης. Στην παρούσα εργασία, διερευνούμε την αποτελεσματικότητα των Δικτύων Χρονικών Τμημάτων (Temporal Segment Networks - TSNs) για την αναγνώριση δραστηριότητας του οδηγού εντός αυτόνομων οχημάτων. Επιπλέον, προτείνουμε ένα μοντέλο για την ενίσχυση της απόδοσης των αρχικών δικτύων μέσω της ενσωμάτωσης πληροφοριών της ανθρώπινης πόζας ή και των σχετικών με τη δράση αντικειμένων, επιτρέποντας την πολυτροπική συγχώνευση είτε στα πρώιμα είτε στα όψιμα στάδια του μοντέλου, επιτυγχάνοντας πιο σίγουρες προβλέψεις για τα βίντεο εισόδου. Έτσι, η απλότητα των μοντέλων TSN και το μικρό υπολογιστικό τους κόστος ενισχύεται ως προς την απόδοσή τους από την ενσωμάτωση της προηγούμενης γνώσης, με αποτέλεσμα ένα συγχωνευμένο μοντέλο που ξεπερνά σε απόδοση τις πιο απαιτητικές σε πόρους 3D αρχιτεκτονικές. Η προτεινόμενη μέθοδος αξιολογείται στο σύνολο δεδομένων Drive&Act και επιδεικνύει κορυφαίες επιδόσεις, ξεπερνώντας τις προηγούμενες εργασίες με περιθώριο 8,01% χρησιμοποιώντας μόνο τρικαναλικά έγχρωμα βίντεο ως είσοδο. Για την επιλογή του καλύτερου μοντέλου, αφού μελετήθηκε αναλυτικά η βιβλιογραφία δοκιμάστηκαν διαφορετικές αρχιτεκτονικές, τεχνικές και μεθοδολογίες αλλά και εκτελέστηκε πληθώρα πειραμάτων. ́Ετσι βάσει αυτών καταλήξαμε σε συμπεράσματα που αφορούν τις ιδιαιτερότητες της βάσης που μελετάμε αλλά και προτείναμε μελλοντικές επεκτάσεις του προτεινόμενου συστήματος τόσο στην βάση Drive&Act όσο και σε άλλες βάσεις δεδομένων ώστε να μειωθεί περαιτέρω το υπολογιστικό κόστος τέτοιων εργασιών ενώ ταυτόχρονα να αυξηθεί η επίδοσή τους.