Καθορισμός επενδύσεων με χρήση αλγορίθμων μηχανικής και ενισχυτικής μάθησης

Abstract

Η παρούσα διπλωματική εργασία έχει σαν στόχο την ανάπτυξη μεθοδολογίας για τον σχεδιασμό και την υλοποίηση ενός πράκτορα Ενισχυτικής Μάθησης ο οποίος είναι ικανός να διαχειρίζεται και να βελτιστοποιεί χαρτοφυλάκια μετοχών αυτοματοποιημένα. Η βελτιστοποίηση χαρτοφυλακίου είναι ένας κλάδος που απασχολεί ερευνητές εδώ και δεκαετίες με τη δημιουργία ενός μοντέλου ή αλγορίθμου που μεγιστοποιεί το κέρδος και ελαχιστοποιεί το ρίσκο να είναι στο κέντρο του ενδιαφέροντος. Με την άνθηση της επιστήμης των υπολογιστών και συγκεκριμένα της Μηχανικής Μάθησης, δημιουργήθηκαν νέοι μέθοδοι ανάλυσης δεδομένων ικανοί να επεξεργαστούν και να αξιοποιήσουν τεράστιους όγκους δεδομενων για πρώτη φορά αποδοτικά. Η επανάσταση αυτή οδήγησε στην μελέτη τρόπων που θα μπορούσαν αυτοί οι μέθοδοι να ενταχθούν στον τομέας της βελτιστοποίησης χαρτοφυλακίου. Η Ενισχυτική Μάθηση, δηλαδή η εκπαίδευση ενός πράκτορα με σκοπό τη λήψη βέλτιστων αποφάσεων, αποτελεί μία από τις πιο σημαντικές εξελίξεις στον χώρο της Μηχανικής Μάθησης και είναι ένα από τα πιο υποσχόμενα εργαλεία στο πεδίο αυτό. Μέσα στην εργασία γίνεται μια ανασκόπηση των παραδοσιακών μεθόδων διαχείρισης χαρτοφυλακίου και των μετρικών αξιολόγησης αυτών. Κατόπιν, η εργασία εστιάζει στις βασικές τεχνικές Μηχανικής Μάθησης και ειδικότερα στην Ενισχυτική Μάθηση. Μέσα από μια σειρά πειραμάτων, αναπτύσσεται και δοκιμάζεται η μεθοδολογία που επιτρέπει την ανάπτυξη ενός πράκτορα Ενισχυτικής Μάθησης, ικανό να παίρνει αποφάσεις με σκοπό τη μεγιστοποίηση του κέρδους. Αρχικά, παρουσιάζονται αναλυτικά οι σχεδιαστικές επιλογές όπως ο αλγόριθμος Διπλών Βαθιών Q-Δικτύων (DDQN) και η επιλογή του χαρτοφυλακίου τεχνολογικών μετοχών που θα μελετηθεί. Στη συνέχεια, εκτελείται πληθώρα πειραμάτων τα οποία έχουν ως σκοπό την μελέτη των διαφορετικών παραμέτρων του πράκτορα και την βελτιστοποίηση τους. Συγκεκριμένα, στα πρώτα πειράματα γίνεται μελέτη της επίδρασης των υπερ-παραμέτρων εκπαίδευσης και επιλέγονται οι βέλτιστες, αξιολογώντας διαφορετικές μετρικές. Τα επόμενα πειράματα έχουν ως σκοπό την εύρεση της βέλτιστης κατάστασης-εισόδου του συστήματος χρησιμοποιώντας τις βέλτιστες υπερ-παραμέτρους εκπαίδευσης που βρέθηκαν προηγουμένως. Στη συνέχεια, μελετάται η επίδραση της αρχιτεκτονικής του δικτύου και συγκεκριμένα, γίνεται σύγκριση της προβλεπτικής ικανότητας των Συνελικτικών Νευρωνικών Δικτύων (CNN) και των Δικτύων Προς τα Εμπρός (FFN). Τέλος, για την επαλήθευση των αποτελεσμάτων δοκιμάζεται ο βελτιστοποιημένος πράκτορας έναντι νέων χαρτοφυλακίων με διαφορετικά χαρακτηριστικά και τα αποτελέσματα συγκρίνονται με τα αρχικά.