Συγκριτική Αξιολόγηση Κατανεμημένων Συστημάτων Παράλληλης Επεξεργασίας Ροών Δεδομένων

Abstract

Η επεξεργασία ροών δεδομένων σε πραγματικό χρόνο αποτελεί κρίσιμη τεχνολογική απαίτη- ση για σύγχρονες εφαρμογές σε τομείς όπως τα χρηματοοικονομικά, τα τηλεπικοινωνιακά συστήματα και το Διαδίκτυο των Πραγμάτων (Internet of Things). Στο πλαίσιο αυτό, η ανάγκη για κατανεμημένα συστήματα ικανά να διαχειρίζονται μεγάλο όγκο και ταχύτητα δε- δομένων με συνέπεια, επεκτασιμότητα και ανθεκτικότητα έχει καταστήσει πλατφόρμες όπως το Apache Flink και το Spark Structured Streaming βασικά εργαλεία της σύγχρονης μηχα- νικής δεδομένων. Η παρούσα διπλωματική εργασία αποσκοπεί στη συγκριτική αξιολόγηση των δύο αυτών συ- στημάτων στο πεδίο της κατανεμημένης επεξεργασίας ροών. Αρχικά, παρουσιάζεται η εννοιο- λογική και αρχιτεκτονική θεμελίωση των συστημάτων, καθώς και τα βασικά χαρακτηριστικά τους σε επίπεδο υλοποίησης. Στη συνέχεια, εξετάζονται πέντε διαστάσεις σύγκρισης: η δια- χείριση κατάστασης, η καθυστέρηση και η διαμέτρηση, η ανοχή σε σφάλματα, η αξιοποίηση πόρων και το κόστος επεξεργασίας, καθώς και ο χειρισμός καθυστερημένων δεδομένων. Η αξιολόγηση βασίζεται σε θεωρητική ανάλυση και πρακτική ανάλυση, αντλώντας πληρο- φορίες από την επίσημη τεκμηρίωση και τη σχετική επιστημονική βιβλιογραφία. Μέσω της συστηματικής συγκριτικής προσέγγισης, αναδεικνύονται τα πλεονεκτήματα και οι περιορισμοί κάθε πλατφόρμας, με στόχο την τεκμηριωμένη υποστήριξη επιλογών για τη σχεδίαση και υλοποίηση συστημάτων ροής σε πραγματικό χρόνο.