Σχεδιασμός Middleware Για Data-intensive Εφαρμογές

Abstract

Πλατφόρμες υπολογιστικής υψηλής απόδοσης, όπως οι "supercomputers", έχουνπαραδοσιακά σχεδιαστεί για να ικανοποιούν τις απαιτήσεις υπολογισμών τωνεπιστημονικών εφαρμογών. Κατά συνέπεια, έχουν σχεδιαστεί ως καθαροί παραγωγοί και όχιως καταναλωτές δεδομένων. Το οικοσύστημα της Apache εξελίχθηκε για να ικανοποιήσει τιςαπαιτήσεις των εφαρμογών επεξεργασίας πολλών δεδομένων και έχει αντιμετωπίσειπολλούς από τους παραδοσιακούς περιορισμούς των πλατφορμών H.P.C. Υπάρχει όμωςμια κατηγορία επιστημονικών εφαρμογών που χρειάζονται τις συλλογικές δυνατότητες τωνπαραδοσιακών υπολογιστικών περιβαλλόντων υψηλής απόδοσης και του οικοσυστήματοςτης Apache. Για παράδειγμα, οι επιστημονικοί τομείς της μοριακής δυναμικής, τηςγονιδιωματικής και της επιστήμης δικτύων πρέπει να ενώσουν τους παραδοσιακούςυπολογιστές με την ανάλυση Hadoop / Spark. Εξετάζουμε το κρίσιμο ερώτημα σχετικά μετον τρόπο παρουσίασης των δυνατοτήτων και των δύο υπολογιστικών περιβαλλόντων σετέτοιες επιστημονικές εφαρμογές. Ενώ αυτά τα ερωτήματα χρειάζονται απαντήσεις σεπολλαπλά επίπεδα, σχεδιάσαμε ένα middleware διαχείρισης πόρων που θα μπορούσε ναυποστηρίξει τις ανάγκες και των δύο. Προτείνουμε την επέκταση στο Pilot-Abstraction τουradical pilot έτσι ώστε να παρέχουμε ένα ενοποιημένο επίπεδο διαχείρισης πόρων.Πρόκειται για ένα σημαντικό βήμα προς τη διαλειτουργική χρήση των οικοσυστημάτων HPCκαι Apache Spark. Επιτρέπει επίσης στις εφαρμογές να ενσωματώνουν στάδια HPC (π.χ.προσομοιώσεις) στην ανάλυση δεδομένων. Πολλά κέντρα υπερυπολογιστών έχουν αρχίσεινα υποστηρίζουν επίσημα τα περιβάλλοντα Hadoop, είτε σε ένα αποκλειστικό περιβάλλονείτε σε υβριδικές αναπτύξεις χρησιμοποιώντας εργαλεία όπως το myHadoop. Αυτό συνήθωςπεριλαμβάνει πολλές εγγενείς λεπτομέρειες για το περιβάλλον που πρόκειται ναχρησιμοποιηθεί και συχνά έχουμε ζητήματα όπως: Πώς να διερευνηθούν οι επιλογές όπωςdata locality έναντι data movement ; Για το σκοπό αυτό, η πειραματική ανάλυση της απόδοσης είναι απαραίτητη μέσω μιαςδιαδικασίας παρακολούθησης του συνολικού χρόνου ολοκλήρωσης δύο επιλεγμένωναλγορίθμων και προσεκτικά επιλεγμένου συνόλου δεδομένων. Με αυτά τα αποτελέσματαμπορούμε να κατανοήσουμε την συμπεριφορά του στρώματος πόρων για αλλαγή σεδιαφορετικές παραμέτρους απόδοσης των εφαρμογών μας.Στην παρούσα εργασία αποφασίσαμε να μελετήσουμε τον αλγόριθμο k-means πουχρησιμοποιείται για την ομαδοποίηση των λειτουργιών δεδομένων και τη μελέτη ενόςαλγορίθμου μοριακής δυναμικής, του οποίου το όνομα είναι leaflet finder, χρησιμοποιώνταςτο radical-pilot και το pilot-Spark.Εφαρμόζουμε και τους δύο αλγορίθμους και τρέχουμε πειράματα για να ανακτήσουμε τημέτρηση που σχετίζεται με τη χρήση υπολογιστικών πόρων και τον συνολικό χρόνοεκτέλεσης για κάθε δοκιμή. Αναλύουμε τα αποτελέσματα των συμπεριφορών των μετρήσεωνπου εκτελούνται σε τρεις διαφορετικούς υπέρ-υπολογιστές υψηλής απόδοσης, Stampede,Wrangler και Comet. Χρησιμοποιούμε τα δεδομένα που συλλέγουμε για κάθε μέτρηση καιεκτέλεση για να αποδείξουμε την ακρίβεια και τη χρησιμότητα του νέου υπολογιστικούστρώματος. Ελέγξτε την επεκτασιμότητα των αλγορίθμων στην κατανεμημένη έκδοση του aκαι παρατηρήστε την πιθανή βελτίωση του χρόνου. Τέλος προσπαθούμε να συγκρίνουμε και τα δύο middleware και να σχολιάσουμε την υπεροχή ή όχι της αρχιτεκτονικής του ApacheSpark.