Σχεδιασμός και Υλοποίηση Εργαλείου Προσομοίωσης Κατανεμημένων Συστημάτων Επεξεργασίας Συνεχών Ροών Δεδομένων Σε Πραγματικό Χρόνο

Abstract

Η επεξεργασία συνεχών ροών δεδομένων σε πραγματικό χρόνο (Stream Processing - SP) είναι μια εφαρμογή που τα τελευταία χρόνια έχει γίνει ιδιαίτερα δημοφιλής, χάρη στην α- νάπτυξη των τεχνολογιών επεξεργασίας και αποθήκευσης δεδομένων μεγάλου όγκου (Big Data). Τεχνολογίες όπως τα Apache Storm, Flink, Spark Streaming και Kafka Streams παρέχουν την υποδομή για την κατανεμημένη επεξεργασία δεδομένων, προσφέροντας τη δυνατότητα παράλληλης εκτέλεσης και διαχείρισης μεγάλων ροών δεδομένων, που κατα- νέμονται σε υπολογιστικούς κόμβους σε διάφορα φυσικά ή εικονικά περιβάλλοντα. Η απόδοση αυτών των συστημάτων επηρεάζεται από ποικίλους παράγοντες, οι οποίοι περιλαμβάνουν την κατανομή των δεδομένων στους διαθέσιμους υπολογιστικούς πόρους, την αρχιτεκτονική και τον τρόπο λειτουργίας αυτών των συστημάτων (true streaming vs micro-batching), το είδος των τελεστών (stateful vs stateless), τις τεχνικές παραθύρου (windowing techniques) και τις στρατηγικές κατανομής των κλειδιών, με στόχο τον καλύτερο διαμοιρασμό του φόρτου μεταξύ των κόμβων. Αυτοί οι παράγοντες μπορούν να οδηγήσουν σε σημαντικές διακυμάνσεις στην απόδοση του συστήματος, επηρεάζοντας την καθυστέρηση επεξεργασίας (latency), τον συνολικό χρόνο εκτέλεσης και τη δυνατότητα κλιμάκωσης. ΄Ενα από τα κύρια ερευνητικά ερωτήματα αφορά την επίδραση που έχουν διαφορετικές παραμετροποιήσεις αυτών των συστημάτων στην απόδοσή τους καθώς και το πώς μπορούν να εξεταστούν νέες υλοποιήσεις και τεχνικές στα εκάστοτε συστήματα. Ωστόσο, η προσομοίωση και η αξιολόγηση αυτών των συστημάτων με ταχύτητα, χαμηλό κόστος και χωρίς την ανάγκη φυσικής ανάπτυξης αποτελεί μια πρόκληση, καθιστώντας δύσκολη την έρευνα και τη δοκιμή διαφορετικών παραμετροποιήσεων. Ο στόχος αυτής της διπλωματικής εργασίας είναι ο σχεδιασμός και η υλοποίηση ενός παραμετροποιήσιμου εργαλείου προσομοίωσης κατανεμημένων συστημάτων επεξεργασίας συνεχών ροών δεδομένων (Distributed Stream Processing Systems - DSPS). Το εργαλείο αυτό επιτρέπει τη διερεύνηση της επίδρασης διαφόρων παραμέτρων, εύκολα και γρήγορα. Μέσα από τη μελέτη διαφορετικών σεναρίων και τοπολογιών, η προσομοίωση προσφέρει μια εις βάθος κατανόηση του τρόπου λειτουργίας και βελτιστοποίησης των κατανεμημένων συστημάτων SP, επιτρέποντας τη λήψη αποφάσεων για τη βελτίωση της απόδοσης και της αποδοτικότητάς τους σε πραγματικές συνθήκες λειτουργίας.