Κατανεμημένη Επιβεβαιώσιμη Επεξεργασία στο Apache Spark

Abstract

Σκοπός της εργασίας αυτής είναι η μελέτη και η υλοποίηση ενός συστήματος κατανεμη- μένης επεξεργασίας δεδομένων το οποίο θα παρέχει στον ενδιαφερόμενο χρήστη πιστοποίηση ότι τα αποτελέσματα που έλαβε από την συστάδα των υπολογιστών-κόμβων είναι σωστά. ΄Ενα τέτοιο πρωτόκολλο βρίσκει εφαρμογή σε σενάρια όπως αυτό ενός αποκεντρωμένου cluster ο ο- ποίος συντηρείται από κάποιο ίδρυμα ή πανεπιστήμιο και επιτρέπει στον καθένα να συνεισφέρει πόρους προς εξυπηρέτηση εργασιών τρίτων- προκειμένου να πετύχει καλύτερη κλιμάκωση- παρέχοντας κάποιο κίνητρο για την συμμετοχή. ΄Οπως είναι φυσικό, εφόσον ο καθένας μπορεί να συμμετέχει, κανείς δεν μπορεί να εγγυηθεί για το πώς θα ενεργήσει ο εκάστοτε κόμβος. Για το λόγο αυτό είναι απαραίτητο να υπάρχει μιας μορφής επαλήθευση όσων υπολογίζονται εντός της συστάδας. Η προσέγγιση που παρουσιάζεται σε αυτή την εργασία είναι η ενσω- μάτωση ενός μηχανισμού consensus στο Apache Spark, ένα από τα γνωστότερα εργαλεία κατανεμημένης εργασίας ανοιχτού κώδικα.