Please use this identifier to cite or link to this item:
http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/18266
Title: | Αυτοματοποίηση κύκλου ζωής Συστημάτων Κατανεμημένης Επεξεργασίας Δεδομένων σε Ροές Εργασίας Υπολογιστικών Νεφών |
Authors: | Μαλανδράκης, Φίλιππος Κοζύρης Νεκτάριος |
Keywords: | Cloud Machine Learning Kubernetes Apache Spark Kubeflow HDFS |
Issue Date: | 9-Mar-2022 |
Abstract: | Ο πολλαπλασιασμός των εστιών παραγωγής δεδομένων τα τελευταία χρόνια, έχει ως αποτέλεσμα την εντατικοποίηση των προσπαθειών για εξαγωγή αξίας και πρόσδωση νοήματος σε αυτά. Οι προσπάθειες αυτές συνδυάζουν οντότητες τόσο από τον χώρο της αναλυτικής επεξεργασίας, όσο και της μηχανικής μάθησης. Παράλληλα, έντονη είναι και η τάση για μετακίνηση των παραγωγικών υποδομών σε υπολογιστικά νέφη που βασίζονται σε ελαφριές μορφές εικονοποίησης. Ο συγκερασμός των δύο αυτών ρευμάτων οδήγησε στην δημιουργία του Kubeflow, το οποίο ζει πάνω στον ενορχηστρωτή containers Kubernetes και μεταξύ άλλων επιτρέπει την εκτέλεση ροών εργασίας. Οι ροές εργασίας αποτελούνται από έναν πεπερασμένο αριθμό βημάτων, που εκτελούνται σε κάποιο υπολογιστικό σύστημα (όπως την εκτέλεση ενός ερωτήματος SQL σε μια συστοιχια Apache Spark). Η παρατήρηση ότι το Kubeflow Pipelines εστιάζει στη χρήση απομακρυσμένων υπολογιστικών συστημάτων, οδήγησε στην ιδέα της ανάπτυξης ροών στα πλαίσια των οποίων θα εκκινούνται, διαχειρίζονται και παύονται επιτόπια υπολογιστικά συστήματα. Στην πράξη, επιλέχθηκε η αυτοματοποίηση του κύκλου ζωής των κατανεμημένων συστοιχιών αναλυτικής επεξεργασίας Apache Spark. Προς την κατεύθυνση αυτή, υλοποιήθηκε μια σειρά από Kubeflow Pipelines components γενικού σκοπού, τα οποία δένονται μεταξύ τους σε μια ακολουθία βημάτων. Έπειτα, η ακολουθία αυτή μπορεί να εμπλουτιστεί εύκολα για την εκτέλεση οποιασδήποτε ροής μηχανικής μάθησης / αναλυτικής επεξεργασίας που απαιτεί τη χρήση του Apache Spark. Για την πρακτική επίδειξη του συγκεκριμένου, αναπτύχθηκε μια ενδεικτική διοχέτευση μηχανικής μάθησης που αξιοποιεί ένα Data Lake. Επιπλέον, μέρος των components που δημιουργήθηκαν τέθηκαν στη διάθεση όλων των χρηστών του Kubeflow Pipelines. |
URI: | http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/18266 |
Appears in Collections: | Διπλωματικές Εργασίες - Theses |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Thesis(1).pdf | Διπλωματική εργασία | 1.35 MB | Adobe PDF | View/Open |
Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.