Αυτόματη Παροχή Πόρων Στο Περιβάλλον Κατανεμημένης Επεξεργασίας Storm

Abstract

Στη σύγχρονη εποχή παράγονται συνεχώς δεδομένα σε μεγάλο όγκο και οι ρυθμοί παραγωγής αυξάνονται καθημερινά. Είναι λογικό, λοιπόν, να δημιουργείται η ανάγκη της άμεσης εξαγωγής χρήσιμης πληροφορίας και συμπερασμάτων από το σύνολο των παραγόμενων δεδομένων.Η επεξεργασία ροών δεδομένων είναι ένα μοντέλο επεξεργασίας που καλύπτει την παραπάνω ανάγκη. Τα δεδομένα μοντελοποιούνται ως συνεχόμενες ροές και η επεξεργασία τους διαιρείται σε επεξεργαστικά στάδια. Έχουν δημιουργηθεί αρκετά συστήματα επεξεργασίας ροών δεδομένων. Στην παρούσα διπλωματική θα χρησιμοποιήσουμε το Apache Storm.Ανεξάρτητα από το σύστημα που χρησιμοποιείται, η βελτιστοποίηση των επιδόσεων των εφαρμογών είναι ο πιο σημαντικός στόχος. Αυτός θα είναι και ο στόχος της διπλωματικής, η ανάπτυξη συστήματος που θα βελτιστοποιεί τις επιδόσεις μιας εφαρμογής στο σύστημα κατανεμημένης επεξεργασίας ροών δεδομένων Storm. Πιο συγκεκριμένα, θα δέχεται μια εφαρμογή και θα παρέχει τις κατάλληλες παραμέτρους παραλληλίας.Στα πλαίσια της διπλωματικής θα αναπτύξουμε δύο μηχανισμούς που θα έχουν τον ίδιο στόχο όπως τον παρουσιάσαμε παραπάνω, αλλά θα είναι διαφορετικοί δομικά και θα προσφέρουν διαφορετικού είδους πλεονεκτήματα ο καθένας. Ο πρώτος θα είναι ένας "dynamic" μηχανισμός, θα τρέχει παράλληλα(online) με την εφαρμογή για να βελτιστοποιήσει τις επιδόσεις της και θα παρέχει elasticity. Ο δεύτερος θα είναι ένας "static" μηχανισμός που θα περνάει από ένα machine learning στάδιο και θα μπορεί να παρέχει άμεσα και σε ένα βήμα τη βέλτιστη λύση.