Υλοποίηση εικονικού διαχειριστή πόρων για MPI εφαρμογές σε υπερυπολογιστικά συστήματα

Abstract

Οι σύγχρονοι υπερυπολογιστές (high performance computers) εμφανίζονται με τη μορφή συστάδων (clusters) μηχανημάτων. Συνδυάζουν τα επιμέρους resources τους, ώστε να σχηματίσουν μια οντότητα αυξημένων δυνατοτήτων ικανή να επιλύσει σύνθετα προβλήματα. Η αποδοτική τους χρήση στηρίζεται στην προσεκτική δρομολόγηση των εργασιών που υποβάλλονται, ώστε διασφαλιστεί η βελτίωση της επίδοσης τους, χωρίς να καταναλωθούν αλόγιστα ποσά ενέργειας. Το σύστημα διαχείρισης πόρων είναι υπεύθυνο για τη χρονοδρομολόγηση των εφαρμογών και την κατανομή των αναγκαίων πόρων σε αυτές. Και οι δύο διαδικασίες γίνονται με κριτήρια καθορισμένα, που αφορούν τον αλγόριθμο χρονοδρομολόγησης και την πολιτική διαμοιρασμού πόρων αντίστοιχα. Στις μέρες μας, υπάρχει ποικιλία εργαλείων διαχείρισης πόρων που μπορούν να ενσωματωθούν σε υπάρχοντα clusters. Η επιλογή τους είναι στην ευχέρεια των ιδιοκτητών των συστημάτων αυτών. Αν και πολύτιμοι, οι διαχειριστές πόρων είναι δύσκολα τροποποιήσιμοι. Οι παράμετροι λειτουργίας τους μπορούν να αλλάξουν μόνο με παρέμβαση των administrators του συστήματος. Το γεγονός αυτό δυσχεραίνει τους χρήστες που θέλουν να εκτελέσουν τις εφαρμογές τους με τρόπο διαφορετικό από τον προκαθορισμένο. Στόχος της παρούσας εργασίας είναι η παράκαμψη αυτού του προβλήματος μέσα από τη δημιουργία ενός εικονικού διαχειριστή πόρων. Πρόκειται για ένα Python πρόγραμμα που, ρυθμιζόμενο από το χρήστη, αναθέτει MPI εργασίες στα μηχανήματα που δεσμεύει. Μέσα από το εργαλείο αυτό, δοκιμάζουμε διαφορετικά σενάρια δρομολόγησης, χρησιμοποιώντας ουρές εργασιών, που απαρτίζονται από εφαρμογές των Nas Parallel Benchmarks (NPB).