Επιβεβαιώσιμη Κατανεμημένη Επεξεργασία στο Apache Spark με την βοήθεια Smart Contract

Abstract

Η συνεχής αύξηση τους όγκου δεδομένων προς επεξεργασία έχει οδηγήσει στην δημιουργία ανοιχτών clusters, στους οποίους μπορεί να συμμετέχει όποιος το επιθυμεί είτε εθελοντικά είτε για κάποια αμοιβή, με σκοπό την αύξηση της κλιμακωσιμότητας και της υπολογιστικής ισχύος. Σε αυτούς τους clusters, οι κόμβοι που συμμετέχουν δεν είναι έμπιστοι και δεν υπάρχει εγγύηση ότι θα εκτελέσουν σωστά τις εργασίες που τους ανατίθενται. Επομένως, σκοπός της παρούσας εργασίας είναι η μελέτη και η υλοποίηση ενός συστήματος επιβεβαιώσιμης κατανεμημένης επεξεργασίας δεδομένων το οποίο με την βοήθεια ενός έξυπνου συμβολαίου παρέχει πιστοποίηση τόσο στον χρήστη όσο και στην συστάδα των υπολογιστών-κόμβων ότι τα αποτελέσματα των εργασιών είναι σωστά και κανένα εμπλεκόμενο μέλος δεν προσπαθεί να εκμεταλλευτεί το σύστημα προς όφελός του. Σε αυτό το σύστημα, το έξυπνο συμβόλαιο λειτουργεί ως έμπιστη αρχή που πραγματοποιεί τους απαραίτητους ελέγχους για να επιβεβαιώσει την επεξεργασία. Για την συγκεκριμένη πτυχιακή εργασία θα επεκταθεί το framework Apache Spark, το οποίο είναι ένα από τα γνωστότερα εργαλεία κατανεμημένης εργασίας ανοιχτού κώδικα.