Σχεδιασμός συστήματος οπτικής αναγνώρισης οδηγικού περιβάλλοντος πραγματικού χρόνου για λήψη αποφάσεων αποφυγής σύγκρουσης σε αυτοματοποιημένο όχημα επιπέδου 4 και ενσωμάτωση του συστήματος στον προσομοιωτή CARLA

Abstract

Η αυτοκινητοβιομηχανία στοχεύει προς την πλήρη αυτοματοποιημένη οδήγηση, όπου οι σημερινοί οδηγοί θα είναι απλά επιβάτες, με τον υπολογιστή να αναλαμβάνει όλες τις πτυχές λειτουργίας του οχήματος. Για να ληφθεί η οδηγική απόφαση σε ένα αυτοματοποιημένο σύστημα, εκτελείται μία σειρά ενεργειών τρίων συνεργαζόμενων βαθμίδων: της Αντίληψης Οδηγικού Περιβάλλοντος, του Σχεδιασμού Πορείας και του Ελέγχου Κίνησης. H παρούσα διπλωματική μελετά το κρίσιμο πρώτο στάδιο της αντίληψης του περιβάλλοντος για ένα αυτόνομο όχημα επιπέδου 4 και αναπτύσσει ένα σύστημα οπτικής αναγνώρισης οδηγικού περιβάλλοντος για την αποφυγή συγκρούσεων. Για να εξεταστεί η απόδοση του συστήματος οδηγικής αντίληψης αξιοποιείται ο προσομοιωτής CARLA, με την ενσωμάτωση του ROS API μέσω της CARLA ROS γέφυρας. Η ύπαρξη του ROS API ως διαμεσολαβήτη δημιουργεί ένα διαλειτουργικό τρόπο επικοινωνίας του CARLA προσομοιωτή με εξωτερικά λογισμικά πακέτα που μπορούν να στηριχτούν σε ROS και διευκολύνει τις ενέργειες ελέγχου πάνω στο εξεταζόμενο αυτόνομο όχημα. Στη συνέχεια, καθορίζεται το παραμετροποιημένο περιβάλλον για την εξέταση της επίδοση του αυτόνομου συστήματος και ορίζονται οι αισθητήρες που θα χρησιμοποιηθούν για το σύστημα οπτικής αναγνώρισης, με βάση τις πληροφορίες που θέλουμε να υπολογίζει. Πιο συγκεκριμένα, επιλέγονται η RGB κάμερα και η Depth κάμερα, η οποία επιλέγεται για τον υπολογισμό των αποστάσεων των περιβάλλοντων αντικείμενων από το αυτόνομο όχημα. Για την υλοποίηση του συστήματος οπτικής αντίληψης μελετήθηκε το YOLO μοντέλο, το οποίο αποτελεί έναν αλγόριθμο βαθιάς μάθησης για εντοπισμό αντικειμένων σε συνθήκες πραγματικού χρόνου. Αρχικά, εξετάστηκε o εντοπισμός αντικειμένων με το προεκπαιδευμένο YOLOv5 μοντέλο. Στη συνέχεια, το ίδιο μοντέλο εκπαιδεύτηκε σε ένα CARLA σύνολο δεδομένων και μελετήθηκε η επίδοση του. Ακολούθως, εξετάστηκε το μοντέλο YOLOP, το οποίο διαθέτει πρόσθετες δυνατότητες για την κατάτμιση της διαθέσιμης οδηγικής περιοχής και των λωρίδων κυκλοφορίας. Με βάση το YOLOP μοντέλο, σχεδιάστηκε ένα πλήρες σύστημα οπτικής αναγνώρισης του περιβάλλοντος οδήγησης. ́Ετσι, διεξήχθησαν δύο πειραματικά σενάρια ελέγχου αποφυγής σύγκρουσης στον προσομοιωτή CARLA για να συγκριθούν και να εξεταστούν τα μοντέλα στο κομμάτι των τρίων εργασιών κατάτμισης και εντοπισμού που μας ενδιαφέρουν και εξήχθησαν συμπεράσματα για τις μελλοντικές βελτιώσεις τους.Για να εξεταστεί η απόδοση του συστήματος οδηγικής αντίληψης αξιοποιείται ο προσομοιωτής CARLA και γίνεται η ενσωμάτωση του ROS API μέσω της CARLA ROS γέφυρας. Η ύπαρξη του ROS API σαν διαμεσολαβήτη δημιουργεί ένα διαλειτουργικό τρόπο επικοινωνίας του CARLA προσομοιωτή με εξωτερικά λογισμικά πακέτα που μπορούν να στηριχτούν σε ROS και διευκολύνει τις ενέργειες ελέγχου πάνω στο εξεταζόμενο αυτόνομο όχημα. Στη συνέχεια, καθορίζεται το παραμετροποιημένο περιβάλλον στο οποίο θα εξεταστεί η επίδοση του αυτόνομου συστήματος και ορίζονται οι αισθητήρες που θα χρησιμοποιηθούν για το σύστημα οπτικής αναγνώρισης, με βάση τις πληροφορίες που θέλουμε να υπολογίζει. Πιο συγκεκριμένα, επιλέγονται η RGB κάμερα και η Depth κάμερα, με τη δεύτερη να επιλέγεται για τον υπολογισμό των αποστάσεων των περιβάλλοντων αντικείμενων από το αυτόνομο όχημα. Για την υλοποίηση του συστήματος οπτικής αντίληψης μελετήθηκε το YOLO (You Only Look Once) μοντέλο, το οποίο αποτελεί ενά αλγόριθμο βαθιάς μάθησης για εντοπισμό αντικειμένων σε συνθήκες πραγματικού χρόνου. Αρχικά, εξετάστηκε o εντοπισμός αντικειμένων με το προεκπαιδευμένο YOLOv5 μοντέλο. Στη συνέχεια, το ίδιο μοντέλο εκπαιδεύτηκε σε ένα CARLA σύνολο δεδομένων και μελετήθηκε η επίδοση του. Ακολούθως, εξετάστηκε το μοντέλο YOLOP (Panoptical), το οποίο έχει τις επιπλέον δυνατότητες κατάτμισης της διαθέσιμης οδηγικής περιοχής και των λωρίδων κυκλοφορίας. Βασιζόμενοι στο YOLOP μοντέλο, σχεδιάστηκε ένα πλήρες σύστημα οπτικής αναγνώρισης του περιβάλλοντος οδήγησης. ́Ετσι, πραγματοποιήθηκαν δύο πειραματικά σενάρια ελέγχου αποφυγής σύγκρουσης στον προσομοιωτή CARLA με σκοπό τη σύγκριση και την εξέταση των μοντέλων στο κομμάτι των τρίων εργασιών κατάτμισης και εντοπισμού που μας ενδιαφέρουν και εξήχθησαν συμπεράσματα για τις μελλοντικές βελτιώσεις τους.