Προανάκτηση Δεδομένων στην Κρυφή Μνήμη με Χρήση Μοντέλων Μηχανικής Μάθησης

Abstract

Πολλοί είναι οι μηχανισμοί που χρησιμοποιούνται για τη βελτίωση της απόδοσης των εφαρμογών. Η προανάκτηση (\en{prefetching}) αφορά τη μετακίνηση δεδομένων σε ταχύτερες, ως προς το χρόνο πρόσβασης, μνήμες και έχει προταθεί ως λύση για την μείωση του άεργου χρόνου του επεξεργαστή, εν αναμονή δεδομένων από την κύρια μνήμη. Οι πλέον γνωστοί \en{prefetchers} χρησιμοποιούν πρόσφατες προσβάσεις στη μνήμη για να προβλέψουν τις μελλοντικές, ακολουθώντας απλούς ευριστικούς κανόνες ή πολύπλοκους αλγορίθμους. Στις προσεγγίσεις αυτές, δεδομένων των πόρων που έχουν δοθεί, καθορίζεται ένα όριο που αφορά την πολυπλοκότητα των μοντέλων πρόσβασης στη μνήμη, ενώ πιο εξειδικευμένοι \en{prefetchers} δύναται να συλλάβουν πιο πολύπλοκα μοτίβα. Τα νευρωνικά δίκτυα, και γενικότερα η μηχανική μάθηση, φαίνεται να μπορούν να συνδράμουν σε αυτό το σημείο και να αποτελέσουν μία καθολική μέθοδο που να ανταποκρίνεται σε όλο το εύρος των εφαρμογών. Μέσω της εκπαίδευσης και της προσαρμογής των βαρών τους, τα νευρωνικά δίκτυα μπορούν να προσεγγίσουν διαφορετικά μοντέλα πρόσβασης, εστιάζοντας στην τρέχουσα εφαρμογή. Σε αυτή την διπλωματική εργασία υλοποιούμε και αξιολογούμε δύο μοντέλα επαναλαμβανόμενων νευρωνικών δικτύων (\en{recurrent neural networks}), το πρώτο βασισμένο στα κύτταρα μακράς βραχέας μνήμης (\en{long short-term memory}) και το δεύτερο στο μηχανισμό προσοχής \en{Transformer}. Αντιμετωπίζουμε το πρόβλημα της προανάκτησης ως πρόβλημα ταξινόμησης και διαχωρίζουμε τη ροή δεδομένων για κάθε δείκτη προγράμματος. Εφαρμόζουμε τον μηχανισμό στην κρυφή μνήμη τρίτου (τελευταίου) επιπέδου. Τα πειραματικά αποτελέσματα μας ενισχύουν την ιδέα πως τα νευρωνικά δίκτυα αποτελούν πρόσφορο έδαφος για την υλοποίηση ενός καθολικού μηχανισμού προανάκτησης, ενώ μεταξύ των δύο υλοποιούμενων τύπων δεν διαφαίνεται υπεροχή του ενός έναντι του άλλου. Τέλος, ιδιαίτερη σημασία έχει η αξιολόγηση των παραμέτρων καθώς και των σχεδιαστικών επιλογών που απαιτήθηκαν για την υλοποίηση.