Αυτοματοποίηση κύκλου ζωής Συστημάτων Κατανεμημένης Επεξεργασίας Δεδομένων σε Ροές Εργασίας Υπολογιστικών Νεφών

Abstract

Ο πολλαπλασιασμός των εστιών παραγωγής δεδομένων τα τελευταία χρόνια, έχει ως αποτέλεσμα την εντατικοποίηση των προσπαθειών για εξαγωγή αξίας και πρόσδωση νοήματος σε αυτά. Οι προσπάθειες αυτές συνδυάζουν οντότητες τόσο από τον χώρο της αναλυτικής επεξεργασίας, όσο και της μηχανικής μάθησης. Παράλληλα, έντονη είναι και η τάση για μετακίνηση των παραγωγικών υποδομών σε υπολογιστικά νέφη που βασίζονται σε ελαφριές μορφές εικονοποίησης.

Ο συγκερασμός των δύο αυτών ρευμάτων οδήγησε στην δημιουργία του Kubeflow, το οποίο ζει πάνω στον ενορχηστρωτή containers Kubernetes και μεταξύ άλλων επιτρέπει την εκτέλεση ροών εργασίας. Οι ροές εργασίας αποτελούνται από έναν πεπερασμένο αριθμό βημάτων, που εκτελούνται σε κάποιο υπολογιστικό σύστημα (όπως την εκτέλεση ενός ερωτήματος SQL σε μια συστοιχια Apache Spark). Η παρατήρηση ότι το Kubeflow Pipelines εστιάζει στη χρήση απομακρυσμένων υπολογιστικών συστημάτων, οδήγησε στην ιδέα της ανάπτυξης ροών στα πλαίσια των οποίων θα εκκινούνται, διαχειρίζονται και παύονται επιτόπια υπολογιστικά συστήματα.

Στην πράξη, επιλέχθηκε η αυτοματοποίηση του κύκλου ζωής των κατανεμημένων συστοιχιών αναλυτικής επεξεργασίας Apache Spark. Προς την κατεύθυνση αυτή, υλοποιήθηκε μια σειρά από Kubeflow Pipelines components γενικού σκοπού, τα οποία δένονται μεταξύ τους σε μια ακολουθία βημάτων. Έπειτα, η ακολουθία αυτή μπορεί να εμπλουτιστεί εύκολα για την εκτέλεση οποιασδήποτε ροής μηχανικής μάθησης / αναλυτικής επεξεργασίας που απαιτεί τη χρήση του Apache Spark. Για την πρακτική επίδειξη του συγκεκριμένου, αναπτύχθηκε μια ενδεικτική διοχέτευση μηχανικής μάθησης που αξιοποιεί ένα Data Lake. Επιπλέον, μέρος των components που δημιουργήθηκαν τέθηκαν στη διάθεση όλων των χρηστών του Kubeflow Pipelines.