Βελτιστοποίηση Διαχείρισης Μνήμης στις GPUs

Abstract

Η κατασκευή προγραμμάτων που εκτελούνται με καλή απόδοση στις μονάδες επεξεργασίας γραφικών (GPUs) είναι μια διαδικασία που απαιτεί αρκετό χρόνο και προσπάθεια από τον προγραμματιστή. Ο πολλαπλασιασμός πινάκων είναι ένα συνηθισμένο κομμάτι προγραμμάτων που μπορεί να επιταχυνθεί πολύ αν εκτελεστεί σε GPU. Στα επιστημονικά προγράμματα οι πίνακες που πολλαπλασιάζονται είναι συχνά μεγάλων διαστάσεων δυσχεραίνοντας περισσότερο τον υπολογισμό τους, καθώς απαιτείται καλή διαχείρηση της μνήμης των GPUs και κατάλληλη χρονοδρομολόγηση των παράλληλων διεργασιών. Για την βελτίωση της απόδοσης των επιστημονικών προγραμμάτων δημιουργήθηκε η BLAS και στη συνέχεια αναπτύχθηκαν διάφορες βιβλιοθήκες για παραλληλοποίηση των BLAS με πολλές GPUs. Οι περισσότερες από αυτές μελετούν την βελτιστοποίηση αυτών των προγραμμάτων εστιάζοντας κυρίως στην αποδοτική χρονοδρομολόγηση. Στα πλαίσια της συγκεκριμένης διπλωματικής εργασίας αναπτύχθηκε ένα εργαλείο που στοχεύει να βοηθήσει στη διαχείρηση της μνήμης κατά τον πολλαπλασιασμό πινάκων σε συστήματα με περισσότερες από μία GPUs, μειώνοντας την μνήμη που απαιτείται για αποδοτική εκτέλεση. Το εργαλείο αυτό ονομάζεται Software-assisted Memory Buffer και παρέχει δυο αντικείμενα στον προγραμματιστή, με τη χρήση των οποίων παύει να χρειάζεται να ελευθερώνει μνήμη ο προγραμματιστής και μπορεί να εστιάσει σε καλύτερη χρονοδρομολόγηση των διεργασιών. Επίσης, κατασκευάστηκε μια συνάρτηση με σκοπό την πρόβλεψη των μεταβλητών του Software-assisted Memory Buffer που μειώνουν την απαραίτητη μνήμη κρατώντας σταθερή την απόδοση του προγράμματος. Στο τέλος έγινε αξιολόγηση του Software-assisted Memory Buffer μέσω μιας σειράς από μετρήσεις. Επιβεβαιώθηκε ότι με τη χρήση του μπορεί να μειωθεί η μνήμη που χρησιμοποιείται διατηρώντας σταθερή την απόδοση. Οι διαφορετικές πολιτικές αντικατάστασης μπλοκ που υλοποιήθηκαν στον Software-assisted Memory Buffer παρουσίασαν καλύτερη απόδοση σε περιπτώσεις που χρησιμοποιείται περιορισμένη μνήμη.