Πρόβλεψη εντολών διακλάδωσης με τεχνητά νευρωνικά δίκτυα

Abstract

Η μηχανική μάθηση και συγκεκριμένα τα νευρωνικά δίκτυα έχουν κάνει μεγάλη πρόοδο σε διάφορους τομείς τα τελευταία χρόνια και έχουν επιτρέψει την αξιοποίηση των ηλεκτρονικών υπολογιστών σε πολλά πεδία. Ωστόσο έχουν γίνει λίγα βήματα στην χρήση τους με σκοπό την βελτίωση της αρχιτεκτονικής των υπολογιστών. Οι σύγχρονοι επεξεργαστές αποτελούνται από πολλά ξεχωριστά, πολύπλοκα στοιχεία τα οποία θα μπορούσαν να αντικατασταθούν με νευρωνικά δίκτυα, τα οποία στη συνέχεια είτε να υλοποιηθούν σε επίπεδο υλικού (hardware), είτε να χρησιμοποιηθούν παρατηρήσεις με σκοπό τον σχεδιασμό νέων και αποτελεσματικότερων τμημάτων. Στόχος της διπλωματικής εργασίας είναι η μελέτη υπαρχόντων, αλλά και η ανάπτυξη νέων, νευρωνικών δικτύων, με σκοπό την χρήση τους ως μονάδων προβλεπτών διακλαδώσεων (branch prediction units). Πρόσφατες εργασίες εντόπισαν κάποιες λίγες εντολές διακλάδωσης οι οποίες προκαλούν συστηματικά λάθος προβλέψεις και είναι ανεξάρτητες των δεδομένων εισόδου μιας εφαρμογής· τις χαρακτήρισαν ως Δύσκολες-να-Προβλεφθούν διακλαδώσεις και έδειξαν ότι η σωστή πρόβλεψη τους προσφέρει σημαντική αύξηση της απόδοσης του επεξεργαστή. Συνεπώς οι συγκεκριμένες διακλαδώσεις αποτελούν ευκαιρία για βελτίωση μέσω τεχνητών νευρωνικών δικτύων, ενώ η μη εξάρτηση από την είσοδο επιτρέπει την προγενέστερη εκπαίδευση τους (offline) και την χρήση τους σε μελλοντικές εκτελέσεις. Το πρώτο τεχνητό νευρωνικό δίκτυο που προτάθηκε για το σκοπό αυτό, χρησιμοποιεί ένα σχετικά βαθύ ιστορικό, το οποίο κωδικοποιείται και στη συνέχεια αναλύεται από ένα συνελικτικό δίκτυο το οποίο εντοπίζει διακλαδώσεις σχετικές με την διακλάδωση προς πρόβλεψη. Πάνω εκεί βασίστηκε και το BranchNet, το οποίο χρησιμοποιεί ένα μεγαλύτερο (βαθύτερο) ιστορικό εντολών διακλάδωσης για να κάνει μία πρόβλεψη παρουσιάζοντας δύο βελτιώσεις· μία καλύτερη κωδικοποίηση των δεδομένων και κάποια επιπλέον στρώματα τα οποία ευνοούν την επεξεργασία των περισσότερων δεδομένων. Αν αυτά τα μοντέλα χρησιμοποιηθούν για πρόβλεψη Hard-to-Predict εντολών διακλάδωσης και συνδυαστούν με κάποιον καλό προβλεπτή για τις υπόλοιπες εντολές, το αποτέλεσμα είναι υψηλή επίδοση σε συγκεκριμένες εφαρμογές. Εμείς μελετάμε αυτά τα τεχνητά νευρωνικά δίκτυα και προτείνουμε ένα δικό μας μοντέλο, το οποίο χρησιμοποιεί δίκτυα μακράς-βραχυπρόθεσμης μνήμης (Long Short-Term Memory). ΄Οπως στο BranchNet· κωδικοποιούμε το ιστορικό διακλαδώσεων και το επεξεργαζόμαστε με συνελικτικά στρώματα. Ωστόσο, ενσωματώνουμε και ένα αναδρομικό δίκτυο (το LSTM) το οποίο διαβάζει το επεξεργασμένο ιστορικό και μας δίνει την πρόβλεψη. Επιπλέον, ενσωματώνουμε τα τεχνητά νευρωνικά δίκτυα στον προσομοιωτή αρχιτεκτονικής ChampSim, ώστε να τα αξιολογήσουμε. Παρατηρούμε ότι τα τεχνητά νευρωνικά δίκτυα αποτελούν ελκυστική επιλογή στον τομέα πρόβλεψης διακλαδώσεων· συγκεκριμένα επιτυγχάνουν αύξηση μεγαλύτερη του 10% στις εντολές ανά κύκλο στην εφαρμογή 541.leela. Μελλοντικά θα μπορούσαμε να υλοποιήσουμε πιο περίπλοκα μοντέλα, ικανά να επιτύχουν καλύτερη πρόβλεψη, ή να σχεδιάσουμε τεχνητά νευρωνικά δίκτυα σε επίπεδο υλικού.