Please use this identifier to cite or link to this item: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17312
Title: Σχεδίαση και Υλοποίηση Μηχανισμού Διαχείρισης Δεδομένων για Ροές Εργασίας Μηχανικής Μάθησης στον Κυβερνήτη
Authors: Κατσακιώρης, Ηλίας
Κοζύρης Νεκτάριος
Keywords: advanced data management
data-intensive computing
machine learning
workflows
pipelines
compiler
Kubernetes
Kubeflow
Pipelines
Argo
Issue Date: 12-Jul-2019
Abstract: Η μηχανική μάθηση κερδίζει μέρα με τη μέρα όλο και περισσότερο έδαφος, αφού λύνει περίπλοκα και κρίσιμα προβλήματα της καθημερινής ζωής μας εκμεταλλευόμενη σχετικά δεδομένα. Το Kubernetes είναι ένας ενορχηστρωτής κατανεμημένου φόρτου εργασίας που τρέχει σε συστοιχίες υπολογιστών και κέντρα δεδομένων. Το Kubeflow έρχεται και συγχωνεύει αυτές τις δύο έννοιες ως η καθιερωμένη πλατφόρμα για πραγματοποίηση μηχανικής μάθησης στο Kubernetes. Μια ροή εργασίας μηχανικής μάθησης είναι μια αυτοματοποιημένη και επαναληπτική ροή εργασίας πολλαπλών βημάτων που κάνει τη μηχανική μάθηση δυνατή. Το Kubeflow διαχειρίζεται τέτοιες ροές εργασίας μέσω του Kubeflow Pipelines. Κατά τη διάρκεια αυτής της διπλωματικής εργασίας γίναμε μέλη της κοινότητας του Kubeflow και ήρθαμε σε επαφή με ερευνητές, που αξιοποιούν το πεδίο της μηχανικής μάθησης, μέσω του Slack του Kubeflow και των συναντήσεων της κοινότητας. Διερευνώντας τις απαιτήσεις του πεδίου ανακαλύψαμε πως η προηγμένη διαχείριση δεδομένων εκλείπει από το Kubeflow Pipelines. Η εκτέλεση κάποιου Kubeflow Pipelines τοπικά ήταν δύσκολη ενώ η αναπαραγωγιμότητα ήταν απλώς μια χίμαιρα. Έτσι, σχεδιάσαμε μια επέκταση για να αντιμετωπίσουμε αυτό το εμπόδιο. Αρχικά, δημοσιεύσαμε ένα κείμενο τεχνικών προδιαγραφών και συλλέξαμε τις απόψεις των προγραμματιστών αλλά και της υπόλοιπης κοινότητας. Εν συνεχεία, υλοποιήσαμε τον προκύπτον σχεδιασμό και κάναμε μια σχετική επίδειξη στη συνάντηση της κοινότητας την 26η Φεβρουαρίου, 2019. Έπειτα, υποβάλαμε μια αίτηση προσθήκης της επέκτασης στο επίσημο πρότζεκτ του Kubeflow Pipelines. Ως εκ τούτου, διευκολύνθηκε η κατανόηση του σχεδιασμού και της υλοποίησής μας, ενώ η κοινότητα είχε τη δυνατότητα να τη δοκιμάσει. Τελικά, μετά από ένα σύνολο αναθεωρήσεων, επανασχεδιασμών και βελτιώσεων η υλοποίηση του τελικού σχεδιασμού μας ενσωματώθηκε και είναι πλέον μέρος του επίσημου πρότζεκτ. Συνολικά, η επέκτασή μας χρησιμοποιείται ευρέως από οργανισμούς, όπως IBM και Seldon, αλλά και από ιδιωτικούς χρήστες, και λαμβάνει όλο και περισσότερη προσοχή καθημερινά. Ο στόχος που πετύχαμε σε αυτήν την εργασία δεν ήταν μόνο να λύσουμε ένα πρόβλημα, αλλά να το κάνουμε με τέτοιο τρόπο ώστε οι τελικοί χρήστες να μπορούν να ωφεληθούν από αυτό.
URI: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17312
Appears in Collections:Διπλωματικές Εργασίες - Theses

Files in This Item:
File Description SizeFormat 
thesis.pdf1.34 MBAdobe PDFView/Open


Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.