Predictive inference serving for multi-tenant GPU clusters

Abstract

Καθώς η μηχανική μάθηση (ML) συνεχίζει να φέρνει επανάσταση στον τρόπο με τον οποίο οι οργανισμοί επεξεργάζονται και αναλύουν δεδομένα, η ανάγκη για εξειδικευμένους υπολογιστικούς πόρους γίνεται όλο και πιο σημαντική. Οι GPU έχουν αναδειχθεί ως μια δημοφιλής λύση για την επιτάχυνση εφαρμογών ML, προσφέροντας σημαντικά πλεονεκτήματα απόδοσης σε σχέση με τα παραδοσιακά συστήματα που βασίζονται σε CPU. Το νέφος έχει γίνει μια δημοφιλής επιλογή ανάπτυξης εφαρμογών ML, προσφέροντας διάφορα πλεονεκτήματα, όπως η επεκ- τασιμότητα, η ευελιξία και η οικονομική αποδοτικότητα. Το Kubernetes, μια πλατφόρμα ενορχήστρωσης containers ανοικτού κώδικα, έχει γίνει μια δημοφιλής λύση για τη διαχείριση τέτοιων εφαρμογών. Ωστόσο, η ανάπτυξη και η διαχείρ- ιση των φορτίων εργασίας που βασίζονται σε GPU στο Kubernetes μπορεί να αποτελέσει πρόκληση λόγω της εξειδικευμένης φύσης αυτών των πόρων. Αυτό μπορεί να περιλαμβάνει την εφαρμογή πολιτικών και διαδικασιών για την ιεράρχηση της πρόσβασης στους πόρους με βάση τις απαιτήσεις της εφαρμογής, όπως ο τύπος αυτής, η χρήση των πόρων και οι απαιτήσεις απόδοσης. Επιπλέον, η διασφάλιση της συμβατότητας και της διαλειτουργικότητας μεταξύ διαφορετικών στοιχείων υλικού και λογισμικού είναι κρίσιμη κατά την ανάπτυξη εφαρμογών που βασίζον- ται σε GPU στο Kubernetes. Το Kubernetes υποστηρίζει διάφορους τύπους GPU, ο καθένας με τις δικές του προδιαγραφές και απαιτήσεις, και η ενσωμάτωση στοιχείων λογισμικού και υλικού τρίτων μπορεί να αποτελέσει πρόκληση. Σε αυτή τη διατριβή, σχεδιάζουμε ένα σύστημα χρονοπρογραμματισμού GPU με επίγνωση πόρων και παρεμβολών με στόχο τον αποτελεσματικό χρονοπρο- γραμματισμό και/ή την παράλληλη τοποθέτηση εισερχόμενων εφαρμογών σε διά- φορα ετερογενή τμήματα των GPU κέντρων δεδομένων. Ενσωματώνουμε τη λύση στο Kubernetes, ένα από τα πιο ευρέως χρησιμοποιούμενα πλαίσια ενορχήστρω- σης νέφους. Δείχνουμε ότι ο χρονοπρογραμματιστής μας μπορεί να καλύψει πιο αποτελεσματικά τους περιορισμούς ποιότητας υπηρεσιών (QoS) των χρηστών, με υψηλότερη αξιοποίηση των πόρων σε σύγκριση με τους σύγχρονους χρονοπρο- γραμματιστές, για μια ποικιλία φόρτων εργασίας ML στο νέφος, διατηρώντας παράλληλα χαμηλά τις καθυστερήσεις και την κατανάλωση ενέργειας.