Ανάπτυξη Κατανεμημένου Πολυπρακτορικού Συστήματος Από Κοινού Ενισχυτικής Μάθησης Για Την Αυτόνομη Ρύθμιση Του Βηματισμού Σε Τετράποδο Ρομπότ

Abstract

Η κίνηση ρομπότ με πόδια έχει προσελκύσει το ενδιαφέρον αρκετών ερευνητών από διάφοραεπιστημονικά πεδία παγκοσμίως, για περισσότερες από δύο δεκαετίες. Η σχεδίαση βέλτιστωνπροτύπων βάδισης για ένα βαδίζον ρομπότ συνιστά ένα ιδιαίτερα πολύπλοκο πρόβλημα, κυρίωςλόγω του μεγάλου αριθμού παραμέτρων οι οποίες καθορίζουν τη συμπεριφορά κίνησης,καθιστώντας έτσι την εφαρμογή τυπικών αλγορίθμων αναζήτησης ακατάλληλη. Λύση στοπρόβλημα αυτό μπορούν να δώσουν μέθοδοι Μηχανικής Μάθησης, οι οποίες δε χρειάζονται κάποιομοντέλο του συστήματος και μπορούν να μάθουν τις παραμέτρους με καλή προσέγγιση. Η εργασίαη οποία παρουσιάζεται σε αυτή τη διπλωματική εργασία, εμπνεύστηκε από την ανάγκη ανάπτυξηςμεθοδολογιών οι οποίες μπορούν να παρέχουν ιδιότητες αναπτυξιακής μάθησης και προσαρμογήςσυμπεριφοράς σε πολύπλοκους ρομποτικούς μηχανισμούς, όπως τα ρομπότ με πόδια. Ο στόχοςείναι να προσδώσουν στους πολύπλοκους ρομποτικούς μηχανισμούς τη δυνατότητα να μαθαίνουναυτόματα τον τρόπο με τον οποίο θα φέρνουν εις πέρας νέες εργασίες, ιδιαίτερα εργασίες δύσκολεςσε μη - φιλικά και μη - δομημένα περιβάλλοντα για τα οποία τα κλασικά ρομπότ με τροχούςκρίνονται ακατάλληλα.Στην παρούσα διπλωματική εργασία, προτείνουμε δύο νέες μεθόδους μάθησης παραμέτρων ενόςτετράποδου ρομποτικού συστήματος, με σκοπό την κίνηση του με κάποια επιθυμητή ταχύτητα. Οιμέθοδοι αυτοί χρησιμοποιούν Ενισχυτική Μάθηση. Αρχικά προτείνουμε μία προσέγγιση ενόςπράκτορα και στη συνέχεια, προτείνουμε μία προσέγγιση πολλών πρακτόρων. Συγκεκριμέναπροσθέτουμε τέσσερις ακόμη πράκτορες, σε διαφορετικό επίπεδο, οι οποίοι μαθαίνουν κάποιατοπική συμπεριφορά και συγχρονίζονται από τον πράκτορα της πρώτης προσέγγισης. Το σύστημααξιολογείται στην πλατφόρμα εξομοίωσης Webots. Τα αποτελέσματα που προκύπτουναποδεικνύουν ότι ο προτεινόμενος πολυπρακτορικός μηχανισμός μάθησης καθιστά ικανό τορομπότ να κινηθεί με ένα ευσταθές πρότυπο βάδισης, επιτυγχάνοντας την επιθυμητή ταχύτητα μεπολύ μικρό σφάλμα και υψηλό βαθμό γενίκευσης.