Αυτοματοποίηση δέσμευσης πόρων για εκτέλεση εφαρμογών μεγάλης κλίμακας σε περιβάλλοντα υπολογιστικών νεφών

Abstract

Η ανάγκη για επεξεργασία μεγάλου όγκου δεδομένων (Big Data) γίνεται ολοένα και πιο μεγάλη τα τελευταία χρόνια. Λόγω της ανάγκης αυτής, αναπτύχθηκαν νέες τεχνολογίες οι οποίες στις περισσότερες περιπτώσεις φιλοξενούνται σε διαμοιραζόμενους υπολογιστικούς πόρους, στα λεγόμενα υπολογιστικά νέφη.

Η πλειοψηφία των οργανισμών που διαχειρίζονται μεγάλο όγκο δεδομένων επιλέγουν τη μεταφορά των εγκαταστάσεών τους από τοπικούς υπολογιστές και servers του οργανισμού, σε υπολογιστικά νέφη. Τα πλεονεκτήματα από αυτήν την μεταφορά είναι η εξοικονόμηση κερδών, η δυνατότητα κλιμάκωσης, η ασφάλεια των δεδομένων τους και η απαραίτητη τεχνική υποστήριξη η οποία διατίθεται από τον πάροχο ανά πάσα στιγμή.

Μία από τις υπηρεσίες που παρουσίασαν ραγδαία άνοδο τα τελευταία χρόνια είναι τα Spot Instances της Amazon. Με την υπηρεσία αυτή η Amazon διαθέτει σε χαμηλές τιμές αχρησιμοποίητες εικονικές μηχανές της. Οι χρήστες λαμβάνουν τις μηχανές πραγματοποιώντας προσφορές. Σε περίπτωση που η προσφορά κάποιου νέου χρήστη είναι υψηλότερη από την τρέχουσα για τον ίδιο υπολογιστικό πόρο, τότε ο παλιός χρήστης ειδοποιείται και χάνει την εικονική μηχανή του. Μερικές εταιρείες που χρησιμοποιούν τη συγκεκριμένη υπηρεσία είναι: ΑOL, BloomReach, Mapbox, Moovit, Zillow, Novartis κ.α.

Στα πλαίσια της παρούσας διπλωματικής εργασίας περιγράφουμε και αναλύουμε μια μέθοδο η οποία έχει ως στόχο την ελαχιστοποίηση του οικονομικού κόστους χρήσης της υπηρεσίας των Spot Instances για χρήστες οι οποίοι δεν γνωρίζουν εκ των προτέρων το μέγεθος του υπολογιστικού φόρτου των εργασιών που επιθυμούν να εκτελέσουν.

Για την επίλυση του προβλήματος βασιζόμαστε σε κάποιες βασικές αλγοριθμικές τεχνικές για την ανάπτυξη αλγορίθμων που ειδικεύονται σε προβλήματα βελτιστοποίησης, ενώ για τις προβλέψεις των αγνώστων παραμέτρων, οι οποίες στο πρόβλημα μας είναι ο φόρτος εργασιών και η αγοραία τιμή των υπολογιστικών πόρων, χρησιμοποιούμε τεχνικές μηχανικής μάθησης, και συγκεκριμένα τα νευρωνικά δίκτυα.

Οι προσεγγίσεις και οι προσομοιώσεις που πραγματοποιήσαμε βασίζονται εξ ολοκλήρου σε πραγματικά δεδομένα. Παρουσιάζουμε τα αποτελέσματα των πειραμάτων μας, αναλύουμε ποιοτικά τα αποτελέσματα αυτά και ολοκληρώνουμε με μία σύνοψη των πεπραγμένων μας και την αναφορά σε πιθανές μελλοντικές επεκτάσεις της δουλειάς μας.