Ασφαλές Spark

Abstract

Η διπλωματική εργασία με τίτλο "Safe Spark" παρουσιάζει μια καινοτόμα επέκταση του Apache Spark που στοχεύει στην αξιολόγηση της νομιμότητας κάθε κόμβου, εργαζόμενου σε ένα δημόσιο Spark cluster. Αυτή η εργασία σχεδιάζει και υλοποιεί ένα σύστημα ελέγχου και επαλήθευσης της αξιοπιστίας των executor nodes στην εκτέλεση των εργασιών. Η αρχι- κή διερεύνηση της δυνατότητας speculative execution του Spark για συγκρίσεις εργασιών μεταξύ κόμβων δεν απέδωσε τα αναμενόμενα αποτελέσματα, οδηγώντας στην ανάπτυξη μιας προσαρμοσμένης διαδικασίας ελέγχου. Η διαδικασία ελέγχου περιλαμβάνει τρία στάδια: επιλογή ελεγχόμενης εργασίας, δη- μιουργία ελεγκτικών εργασιών και τη φάση ελέγχου. Η εστίαση στις εργασίες ως αντικείμενο ελέγχου επιλέγεται αντί του ελέγχου μεμονωμένων executor nodes λόγω της έλλειψης οριστι- κών κριτηρίων για την επιλογή κόμβων. Κατά τον προγραμματισμό, κάθε εργασία συνδέεται με τον executor node που την εκτελεί, ευθυγραμμιζόμενη με τη διαδικασία εκτέλεσης του Σπαρκ. Επιπλέον, με τη σύγκριση των αποτελεσμάτων των ελεγχόμενων και ελεγκτικών εργασιών, η νομιμότητα του executor node τίθεται υπό αμφισβήτηση. Η ελεγχόμενη εργασία επιλέγεται τυχαία, εξασφαλίζοντας αμερόληπτη επιλογή. Οι ε- λεγκτικές εργασίες δημιουργούνται με βάση μια καθορισμένη ποσότητα ώστε να επιτευχθεί πλειοψηφία για την ορθότητα του αποτελέσματος, ισορροπώντας την ανθεκτικότητα και τους χρόνους εκτέλεσης. Η φάση ελέγχου εξετάζει τα αποτελέσματα των executor nodes, τα οπο- ία επικυρώνονται έναντι της πλειοψηφίας. Σε περίπτωση ισοπαλίας, εκδίδονται διαδοχικές εργασίες μέχρι να επιτευχθεί πλειοψηφία, περιοριζόμενες από τους διαθέσιμους executor nodes. Αυτός ο καινοτόμος μηχανισμός ελέγχου υποθέτει ότι η πλειοψηφία των κόμβων στο cluster παράγει νόμιμα αποτελέσματα. Αδυναμία επίτευξης συναίνεσης πριν εξαντληθούν οι επιλέξιμοι executor nodes οδηγεί σε ακύρωση του cluster, διασφαλίζοντας την τήρηση της αρχής της πλειοψηφίας των καλοπροαίρετων executor nodes στο ςλυστερ. Αυτή η διπλωματική εργασία προσφέρει λεπτομερή ανάλυση του σχεδιασμού, της υλο- ποίησης και της λειτουργικότητας του προτεινόμενου συστήματος ελέγχου, αντιμετωπίζοντας την ανάγκη για έναν αξιόπιστο μηχανισμό αξιολόγησης της νομιμότητας των executor nodes σε ένα δημόσιο Spark cluster.