Σύστημα Eντοπισμού και Tracking αντικειμένων για την καθοδήγηση UAV με τη συμβολή απομακρυσμένου server

Abstract

Ο στόχος της παρούσας διπλωματικής εργασίας είναι ο σχεδιασμός και η υλοποίηση ενός συστήματος που θα επιτρέπει την αυτόματη πλοήγηση ενός UAV και θα του δίνει τη δυνατότητα να εκτελέσει μια ανατεθειμένη αποστολή χρησιμοποιώντας οπτικές πληροφορίες. ΄Ενα απλό παράδειγμα αυτού του είδους εξετάζεται σε αυτή την περίπτωση. Συγκεκριμένα, η αποστολή που έχει ανατεθεί στο UAV είναι η ανίχνευση, tracking και ακολούθηση ενός υποδειγμένου αντικειμένου (οχήματος). Για την επίτευξη αυτού, προτείνεται μια αρχιτεκτονική 2 σταδίων, με σκοπό την υπέρβαση του περιορισμού των ανεπαρκών υπολογιστικών πόρων στο UAV. Το πρώτο στάδιο βασίζε- ται σε μια φορητή μονάδα ικανή για ελαφριές υπολογιστικές διεργασίες (ένα Raspberry Pi) που βρίσκεται στο UAV, μαζί με επιταχυντικό υλικό που μπορεί να υπολογίσει τα αποτελέσ- ματα εκτέλεσης ελαφριών νευρωνικών δικτύων (Intel NCS2). Αυτό το υποσύστημα είναι υπ- εύθυνο για την ανίχνευση αντικειμένων, την παρακολούθηση του συγκεκριμένου στόχου με έναν απλό ανιχνευτή (tracker) και τη δημιουργία εντολών πλοήγησης. Το δεύτερο στάδιο είναι ένα απομακρυσμένο σύστημα που λειτουργεί σε έναν διακομιστή υψηλών επιδόσεων, στον οποίο συνδέεται το φορητό σύστημα. Ο διακομιστής εκτελεί πιο αξιόπιστη ανίχνευση αντικειμένων και παρακολουθεί τα αντικείμενα αυτά με έναν tracker βαθιάς μάθησης. Επίσης, προβλέπει τις μελλοντικές θέσεις του στόχου και εξάγει ορισμένα χαρακτηριστικά του από τα μοντέλα ανίχνευσης. Χρησιμοποιώντας αυτά τα χαρακτηριστικά και τις προβλεπόμενες θέσεις, επαναεν- τοπίζει τον στόχο σε περίπτωση απώλειάς του και μεταδίδει τις κατάλληλες οδηγίες στο UAV. Το μοντέλο ανίχνευσης που χρησιμοποιείται στο Raspberry Pi είναι το YOLOv5n, δεδομέ- νου ότι η υποστήριξη του NCS 2 έχει διακοπεί και οι επιλογές ήταν περιορισμένες, ενώ χρησι- μοποιήθηκε ένας ελαφρύς ανιχνευτής υλοποιημένος στην OpenCV (KCF) για τη διαδικασία παρακολούθησης. Για τον διακομιστή, δοκιμάστηκαν τόσο μοντέλα βασισμένα σε συνελικτικά νευρωνικά δίκτυα όσο και σε transformers, με τα YOLOv8x και RT-DETR να επιτυγχάνουν τα καλύτερα (παρόμοια) αποτελέσματα. Τελικά, επιλέχθηκε το YOLOv8 λόγω πλεονεκτήματός του στον χρόνο συμπερασμού. Τόσο για το διακομιστή οσο και για το Raspberry Pi, τα μοντέλα ανίχνευσης εκπαιδεύτηκαν σε ένα κατάλληλο σύνολο δεδομένων, λόγω της ιδιαίτερης φύσης των δεδομένων που πρέπει να επεξεργαστούν. Η διαδικασία παρακολούθησης εκτελέστηκε χρησιμοποιώντας τον ανιχνευτή DeepSORT, ενώ ένα δίκτυο LSTM χρησιμοποιήθηκε για την πρόβλεψη της μελλοντικής τοποθεσίας του στόχου.