Please use this identifier to cite or link to this item: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17460
Title: Επεκτάσεις στο Kubeflow για Συνεργατικές Ροές Εργασίας Μηχανικής Μάθησης Καθοδηγούμενες από τα Δεδομένα στον Κυβερνήτη
Authors: Σωτήρχος, Κίμωνας
Κοζύρης Νεκτάριος
Keywords: Κυβερνήτης
Kubernetes
Kubeflow
Δεδομένα
Διαχείριση Δεδομένων
Data Management
Μηχανική Μάθηση
Machine Learning
Ροές Εργασίας
Workflows
PVCs
PVCViewers
Tensorboard
Jupyter Notebooks
Issue Date: 11-Nov-2019
Abstract: Η δημιουργία ενός προϊόντος που χρησιμοποιεί Μηχανική Μάθηση καθιστά αναγκαία την αποτελεσματική συνεργασία και συντονισμό μίας ομάδας ανθρώπων η οποία θα εκτελέσει πολύπλοκες και συνεργατικές ροές εργασίας. Προκειμένου να εκτελεστούν τέτοιες ροές εργασίας θα χρειαστεί μηχανικοί από διαφορετικές ειδικότητες να μπορούν να επικοινωνούν αποδοτικά, καθώς και μία πλατφόρμα πάνω στην οποία θα μπορέσουν να τις εκτελέσουν και θα τους παρέχει τα εργαλεία τους. Το Kubeflow είναι η πιο διαδεδομένη πλατφόρμα Μηχανικής Μάθησης στο cloud με σκοπό να επιτρέπει την εκτέλεση τέτοιων ροών εργασίας πάνω από τον Κυβερνήτη. Κατά τη διάρκεια αυτής της διπλωματικής γίναμε ένα μέλος της κοινότητας του Kubeflow και ήρθαμε σε επαφή με Data Scientists μέσω του Slack του Kubeflow και συμμετείχαμε στα Community Meetings. Από την επικοινωνία που είχαμε τόσο με τους χρήστες του Kubeflow όσο και με τους μηχανικούς του συνειδητοποιήσαμε πως το Kubeflow υστερούσε στο κομμάτι της διαχείρισης των δεδομένων. Συγκεκριμένα, οι ροές εργασίας που περιλάμβαναν Jupyter Notebooks, αλλά και η χρήση εργαλείων οπτικοποίησης, όπως το Tensorboard, δεν είχαν εύκολους και απλούς μηχανισμούς ώστε να αξιοποιούν τον τοπικό αποθηκευτικό χώρο της συστοιχίας. Ως αφορμή αυτήν την προβληματική συμπεριφορά πρώτον ξανά σχεδιάσαμε τις ροές εργασίας που περιλαμβάνουν αυτά τα εργαλεία προκειμένου να χρησιμοποιούν και τον τοπικό αποθηκευτικό χώρο και δεύτερον υλοποιήσαμε μια καινούργια ροή εργασίας που τους επιτρέπει να διαχειρίζονται αυτά τα τοπικά δεδομένα. Οι υλοποίηση των Jupyter Notebooks είναι μέρος της τελευταίας έκδοσης του Kubeflow και οι άλλες δύο θα εισαχθούν σε αυτό στις μελλοντικές εκδόσεις. Συνολικά, οι ροές εργασίας που υλοποιήσαμε χρησιμοποιούνται καθημερινά από μεγάλες εταιρίες και οργανισμούς όπως IBM, Cisco και Google, καθώς και από άλλους χρήστες, και λαμβάνουν όλο και περισσότερη προσοχή μέρα με τη μέρα. Ο σκοπός αυτής της διπλωματικής ήταν όχι μόνο να λύσουμε ένα υπάρχον πρόβλημα, αλλά ταυτόχρονα η λύση μας να είναι αποδεκτή και εύχρηστη από τους τελικούς χρήστες που θα την αξιοποιήσουν.
URI: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17460
Appears in Collections:Διπλωματικές Εργασίες - Theses

Files in This Item:
File Description SizeFormat 
thesis.pdf1.54 MBAdobe PDFView/Open


Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.