Ενισχυτική Μάθηση και Αλγοριθμικές Συναλλαγές στο Χρηματιστήριο με την Τεχνική του Q-Learning

Abstract

Στη σημερινή εποχή, η Τεχνητή Νοημοσύνη χρησιμοποιείται ευρέως στον Χρηματοοικονομικό τομέα και ιδιαίτερα στις Συναλλαγές. Πολλές επενδυτικές Εταιρίες στην προσπάθειά τους να αξιοποιήσουν καλύτερα την πληθώρα δεδομένων της αγοράς, αλλά και να βελτιώσουν τα αποτελέσματά τους στο Χρηματιστήριο, κατασκευάζουν μοντέλα Τεχνητής Νοημοσύνης και τα εντάσσουν στην ροή εργασίας τους.

Η Ενισχυτική Μάθηση, είναι ένας τύπος μηχανικής μάθησης, στο οποίο ένα τεχνητό σύστημα δρα σαν υπεύθυνος λήψης αποφάσεων μέσα σε ένα Περιβάλλον. Το σύστημα αυτό, ονομάζεται Πράκτορας και αποφασίζει για τις δράσεις του, βλέποντας τα αποτελέσματα των προηγούμενων δράσεών του και αποκομίζοντας ανταμοιβές για αυτές. Αρκετή έρευνα γίνεται στον συγκεκριμένο τομέα και πολλά επιτυχή συστήματα έχουν δημιουργηθεί, όπως τα AlphaGo και AlphaZero της DeepMind που διαγωνίστηκαν κερδίζοντας πρωταθλητές στο παιχνίδι Go ή πιο πρόσφατα το ALphaStar που πέτυχε εξαιρετικά αποτελέσματα στο StarCraft 2.

Στην παρούσα εργασία, γίνεται μία μελέτη για την Εφαρμογή της Ενισχυτικής Μάθησης στις Συναλλαγές στο Χρηματιστήριο. Συγκεκριμένα, πρώτα υλοποιήθηκαν διαφορετικοί Πράκτορες, οι οποίοι κάνουν χρήση των αλγορίθμων Q Network, Deep Q Network, Double και Dueling Q Network, αλγόριθμοι Ενισχυτικής Μάθησης που βασίζονται στην τεχνική του Q-Learning. Στην συνέχεια, σχεδιάστηκε και υλοποιήθηκε το Περιβάλλον, το οποίο θα προσομοιώσει την αγορά του Χρηματιστηρίου. Ένα από τα πιο σημαντικά μέρη της εργασίας αποτελούν επίσης, οι συναρτήσεις επιβράβευσης, οι οποίες κατέχουν μείζονα ρόλο, στον τρόπο με τον οποίο συμπεριφέρεται ένα Πράκτορας. Στα πλαίσια της εργασίας δημιουργήθηκαν τρεις διαφορετικές συναρτήσεις επιβράβευσης με βάση τις οποίες οι παραπάνω Πράκτορες διαμόρφωσαν την στρατηγική τους, για την πραγματοποίηση επενδύσεων στο Περιβάλλον. Τέλος, οι Πράκτορες καθώς και οι στρατηγικές που δημιούργησαν, αξιολογήθηκαν ως προς τα κέρδη που κατάφεραν να αποκομίσουν.