Σχεδιασμός Και Υλοποίηση Πλατφόρμας Ελαστικής Διαχείρισης Εργαλείων Επεξεργασίας Μεγάλων Δεδομένων Σε Υπολογιστικά Νέφη

Abstract

Οι εφαρμογές Μεγάλων Δεδομένων απαιτούν την ύπαρξη σημαντικών σε όγκο υποδομών προκειμένου να πραγματοποιήσουν αποδοτική επεξεργασία σε ένα εύλογο χρονικό διάστημα. Ωστόσο, η ποσότητα των υπολογιστικών πόρων που απαιτούνται δεν είναι πάντα γνωστή εκ των προτέρων και εξαρτάται τόσο από τον όγκο των δεδομένων που υποβάλλονται σε επεξεργασία όσο και από το είδος της επεξεργασίας αυτής. Τα υπολογιστικά νέφη προσφέρουν την ευελιξία της απόκτησης πόρων κατά παραγγελία, με άμεσο τρόπο καθώς και της χρησιμοποίησης τους για όσο χρόνο αυτό είναι απαραίτητο με το ανάλογο κόστος. Ως εκ τούτου, συχνά οι εφαρμογές επεξεργασίας Μεγάλων Δεδομένων χρησιμοποιούν υποδομές υπολογιστικού νέφους. Σε αυτή την εργασία παρουσιάζουμε το BARBECUE (a joB AwaRe Big-data Elasticity CloUd managEment system) - μια πλατφόρμα ελαστικής διαχείρισης πόρων σε υπολογιστικά νέφη για εφαρμογές Μεγάλων Δεδομένων. Επεκτείνουμε τις υπάρχουσες τεχνολογίες, Apache Hadoop και YARN ώστε να έχουν επίγνωση των εργασιών που τους υποβάλλονται προς εκτέλεση, υλοποιώντας μια μορφή αυτόματης, ελαστικής και άμεσης απόδοσης πόρων βασισμένη στη λειτουργία του TIRAMOLA, ένα εργαλείο ελαστικής διαχείρισης πόρων υπολογιστικών νεφών. Το σύστημα BBQ χρησιμοποιεί μια μέθοδο δημιουργίας προφίλ για κάθε πρόγραμμα επεξεργασίας Μεγάλων Δεδομένων. Χρησιμοποιώντας τα συγκεκριμένα προφίλ, μπορεί να προβλέπει πόσοι πόροι απαιτούνται για την εκτέλεση μιας συγκεκριμένης εργασίας (σε συγκεκριμένο χρόνο), ‘παγώνει’ την εκτέλεση της τελευταίας ώστε να αποκτήσει πρόσβαση σε αυτούς ζητώντας τους από τον εκάστοτε πάροχο της υπηρεσίας του νέφους μέσω του TIRAMOLA, τους μορφοποιεί ώστε να είναι έτοιμοι για χρήση και στη συνέχεια εκτελεί την υποβληθείσα εργασία. Μετά το πέρας αυτής οι επιπλέον πόροι επιστρέφονται στο υπολογιστικό νέφος. Στην παρούσα δουλειά παρουσιάζουμε τις εσωτερικές λειτουργίες των Hadoop και YARN και περιγράφουμε τις τροποποιήσεις στη διαδικασία εκτέλεσης που μας επέτρεψαν την απρόσκοπτη απόκτηση και ενσωμάτωση των επιπλέον υπολογιστικών πόρων. Επιπροσθέτως, τροποποιούμε τον TIRAMOLA ώστε να είναι σε θέση με τη χρήση των προφίλ διάφορων προγραμμάτων ανάλυσης Μεγάλων Δεδομένων να υπολογίζει τους απαιτούμενους πόρους. Τέλος, διενεργούμε μια πειραματική αξιολόγηση του συστήματος και αποδεικνύουμε τη λειτουργικότητά του. Προσφέρουμε το σύστημα ως λογισμικό ανοιχτού κώδικα.