Εκμάθηση ρομποτικής κίνησης με χρήση αλγορίθμου ενισχυτικής μάθησης και ανάδραση δύναμης

Abstract

Η ανάπτυξη επιδέξιων ρομποτικών λαβών στη γεωργία, και συγκεκριμένα στην καλλιέργεια μανιταριών, για τη συγκομιδή των προϊόντων και την προσεκτική λήψη αντικειμένων, αποτελεί σύγχρονη επιδίωξη στον τομέα της ρομποτικής. Τέτοιου είδους λαβές μπορούν να αναπτυχθούν με πλήθος μεθόδων, καθώς και με τη χρήση ποικίλων διαφορετικών ρομποτικών χειριστών, προκειμένου να προκύψουν τα επιθυμητά αποτελέσματα ως προς το είδος της λαβής, την ποιότητα του συλλεγόμενου προϊόντος και το κόστος της εργασίας, τόσο από άποψη πόρων, όσο και χρόνου. Σε αυτήν την διπλωματική εργασία παρουσιάζουμε τη χρήση μιας μεθόδου Actor-Critic, με εφαρμογή σε συνεχείς χώρους δράσεων και καταστάσεων, με στόχο την model-free εκπαίδευση ενός πράκτορα. Ο στόχος του πράκτορα είναι να καταφέρνει να εξέρχεται ενός διαδρόμου πεπερασμένου μήκους. Η γνώση του για τη δυναμική του περιβάλλοντος περιορίζεται αποκλειστικά στο πεδίο δυνάμεων-επαναφοράς που δέχεται από τα τοιχώματα του διαδρόμου. Η συγκεκριμένη εφαρμογή, αποτελεί απλούστευση του προβλήματος της επίτευξης ενός επιδέξιου εσωτερικού ρομποτικού χειρισμού (in-hand grasp), δεδομένου ότι η κίνηση του αντικειμένου μέσα στο διάδρομο, προσομοιάζει τις κινήσεις στροφής και μετατόπισης που καλείται να πραγματοποιήσει η ρομποτική λαβή κατά τη συγκομιδή των μανιταριών. Η εκπαίδευση των Actor-Critic, οι οποίοι αναπαρίστανται μέσω νευρωνικών δικτύων, γίνεται με τη χρήση Ενισχυτικής Μάθησης και πιο συγκεκριμένα, με χρήση Temporal Difference μάθησης, σε περιβάλλον αγνώστου μοντέλου.