Mariana Trench. Χρησιμοποιώντας Βαθειά Ενισχυτική Μάθηση Για Την Αντιμετώπιση Του Προβλήματος Της Ελαστικότητας Σε Υπολογιστικά Νέφη

Abstract

Τα τελευταία χρόνια βρισκόμαστε μπροστά σε δύο μεγάλες αναταράξεις πάνω στον τομέα της επι-στήμης υπολογιστών.Από τη μία η ανάγκη για επεξεργασία μεγάλου όγκου δεδομένων σε συνδυασμό με τις τεχνολογίεςπου αναπτύχθηκαν σχετικά πρόσφατα, έφεραν στο πεδίο τις μη σχεσιακές βάσεις δεδομένων .Πλέον μπορούμε να αποθηκεύουμε και να επεξεργαζόμαστε μεγάλους όγκους δεδομένων, διαμοιρα-σμένων σε υπολογιστικά νέφη, χωρίς τις παραδοσιακές σχεσιακές βάσεις που θα αποτύγχαναν στοσκοπό.Η δυναμική κατανομή πόρων σε αυτά τα υπολογιστικά νέφη ονομάζεται ελαστικότητα.Από την άλλη η τεχνολογική εξέλιξη μας επέτρεψε τη δημιουργία των βαθειών νευρωνικών δικτύων.Το 2013 συνδυάστηκαν τα βαθειά νευρωνικά δίκτυα με την ιδέα της ενισχυτικής μάθησης.Ένα πάντρεμα γνωστό και ως Deep Reinforcement Learning που έμελε να ταράξει τα νερά στο πεδίοτης μάθησης παγκοσμίως.Σε αυτή την εργασία προσπαθούμε να συνδυάσουμε αυτούς τους δύο σχετικά νεοσύστατους και ρα-γδαία αναπτυσσόμενους κλάδους, της ελαστικότητας στα υπολογιστικά νέφη και του Deep reinforcementlearning.Αποτέλεσμα αυτού του παντρέματος είναι η Mariana Trench, ένα σύστημα που "μαθαίνει" τις ανάγκεςτου χρήστη ενός υπολογιστικού νέφους, ύστερα από άμεση διάδραση με το περιβάλλον, προσαρμό-ζεται ταχύτατα και πετυχαίνει να διαμοιράζει τους πόρους του χρήστη ανάλογα με τις συγκεκριμένεςανάγκες του, χρησιμοποιώντας το Deep RL αλλά και δύο εξαιρετικά αποδοτικές επεκτάσεις του.Το Full Deep RL και το Double Deep RL.Τεστάρουμε την υλοποίησή μας πάνω σε απαιτητικές προσομοιώσεις με ευρύ όγκο εισερχόμενωνδεδομένων και παραμέτρων για το δίκτυο μας, όπως και με πειράματα πάνω σε πραγματικά υπολογι-στικά νέφη (υπηρεσία Okeanos), τα εξαιρετικά αποτελέσματα των οποίων σας παρουσιάζουμε.Βλέπουμε πως πετυχαίνουμε σημαντική βελτίωση της τάξεως του 60 % στο κέρδος που συλλέγουμεκαι ταχύτερη σύγκλιση στη βέλτιστη συμπεριφορά από προηγούμενες υλοποιήσεις. Επίσης πετυχαί-νουμε να μετατρέψουμε το μεγάλο όγκο εισερχόμενων δεδομένων από μειονέκτημα σε πλεονέκτηματου πράκτορά μας, καθώς όσο μεγαλύτερος χώρος καταστάσεων τόσο αποτελεσματικότερη η λει-τουργία του.Στη συνέχεια δείχνουμε τις προεκτάσεις μιας τέτοιας υλοποίησης, που φέρνει το Deep RL έξω απότα στενά όρια της επεξεργασίας δεδομένων εικόνων ή ήχων και αναζητούμε τα όρια που τίθονται σταπεριβάλλοντα στα οποία μπορεί να λειτουργήσει και να ξεπεράσει τον άνθρωπο ένας πράκτορας τουDeep RL, εάν αυτά υπάρχουν.