Δυναμική Διαχείριση Πόρων σε Συνθήκες Παρεμβολών με τεχνικές Μηχανικής Μάθησης σε Kubernetes

Abstract

Η ραγδαία ανάπτυξη εφαρμογών υπολογιστικού νέφους έχει οδηγήσει σε εκρηκτική αύξηση των μικροϋπηρεσιών, οι οποίες χρησιμοποιούνται ευρέως τόσο από οργανισμούς όσο και από ιδιώτες και βασίζονται σε τεχνολογίες container. Πολλές από αυτές είναι εφαρμογές με αυστηρές απαιτήσεις καθυστέρησης (Latency Critical), όπως web servers και συστήματα ηλεκτρονικών συναλλαγών, όπου ακόμη και μικρές καθυστερήσεις επηρεάζουν άμεσα την εμπειρία του τελικού χρήστη. Για τη διαχείριση του μεγάλου όγκου container, τα σύγχρονα κέντρα δεδομένων αξιοποιούν μηχανσιμούς ορχήστρωσης όπως το Kubernetes, σε συνδυασμό με πρακτικές συντοποθέτησης. Οι πρακτικές αυτές, αν και απαραίτητες για την κλιμάκωση, οδηγούν σε ανταγωνισμό για κοινόχρηστους πόρους του υλικού, όπως CPU και κρυφή μνήμη, με αποτέλεσμα την εμφάνιση του φαινομένου της παρεμβολής και την μείωση της απόδοσης. Ο προεπιλεγμένος scheduler του Kubernetes δεν λαμβάνει υπόψη αυτό το φαινόμενο, και στηρίζει τις αποφάσεις του αποκλειστικά στη χρήση CPU και μνήμης. Στη συγκεκριμένη εργασία προτείνεται μία interference aware αρχιτεκτονική ελέγχου, η οποία ανακατανέμει δυναμικά τα αντίγραφα εφαρμογών στους κόμβους του cluster σε πραγματικό χρόνο. Αρχικά πραγματοποιείται ανάλυση του φαινομένου της παρεμβολής μέσω πειραμάτων, αναδεικνύοντας τη μη γραμμική και πολύπλοκη φύση του. Στη συνέχεια, με αξιοποίηση μετρικών υλικού από το εργαλείο παρακολούθησης Intel PCM, εκπαιδεύεται ένα μοντέλο XGBoost που επιτυγχάνει διασταυρωμένη μέση απόλυτη απόκλιση CV_MAE=0.117 στην πρόβλεψη της κανονικοποιημένης απόδοσης υπό διαφορετικά σενάρια παρεμβολής και εισερχόμενου ρυθμού αιτημάτων, ενώ πετυχαίνει επίσης R2 = 0.90. Η πειραματική αξιολόγηση σε σενάρια δυναμικής παρεμβολής καταδεικνύει ότι η υλοποίηση μας, με όνομα Marla, υπερτερεί έναντι του προκαθορισμένου scheduler του Kubernetes, μειώνοντας τη μέση καθυστέρηση p99 κατά 17.8% κατά μέσο όρο σε ρεαλιστικά μικτά σενάρια παρεμβολής και έως 34.9%, ανάλογα με το είδος της παρεμβολής, ενώ παραλληλα οδηγεί το σύστημα σε καλύτερη αξιοποίηση των διαθέσιμων πόρων. Τα αποτελέσματα αποδεικνύουν ότι η ενσωμάτωση μοντέλων πρόβλεψης στο επίπεδο ελέγχου αποτελεί μια ρεαλιστική λύση για την διατήρηση της ποιότητας υπηρεσίας (QoS) χωρίς την δέσμευση περισσότερων πόρων από ότι είναι απαραίτητο.