Μηχανισμός Δημιουργίας Επαναχρησιμοποιήσιμων Δομικών Στοιχείων σε Ροές Εργασίας Μηχανικής Μάθησης με Docker στην Πλατφόρμα Kubeflow

Abstract

Η Μηχανική Μάθηση (ΜΜ) αποτελεί σήμερα την βάση για την επίλυση σύνθετων προ- βλημάτων του πραγματικού κόσμου, παρέχοντας αξία σε όλους τους τομείς. Οι επιστή- μονες δεδομένων μπορούν να αναπτύξουν και να εκπαιδεύσουν ένα μοντέλο Μηχανι- κής Μάθησης με αναμενόμενη απόδοση σε ένα γνωστό σύνολο δεδομένων. Ωστόσο, αποτελεί αληθινή πρόκληση η κατασκευή ενός ολοκληρωμένου συστήματος ΜΜ και η συνεχής λειτουργία του σε πραγματικό χρόνο. Το Kubeflow έρχεται να κάνει την ανά- πτυξη μοντέλων Μηχανικής Μάθησης στον Κυβερνήτη απλή, άμεση και επεκτάσιμη. Όμως η εκτέλεση ροών εργασίας ΜΜ στο Kubeflow είναι ακόμη μία επίπονη διαδικα- σία και η αναπαραγωγιμότητα φαντάζει ουτοπία. Ένα από τα σημαντικότερα εμπόδια στην υιοθέτηση των σωληνώσεων Kubeflow εκτενώς και στην παραγωγή είναι οι γνώ- σεις που απαιτούνται για την εσωτερική λειτουργία του Kubeflow Pipelines DSL, του Κυβερνήτη και του Docker. Τελικά, η ανάπτυξη ενός Kubeflow Pipeline απαιτεί επανα- λαμβανόμενες, επαχθείς και άγνωστες στους επιστήμονες δεδομένων λειτουργίες. Στην παρούσα διπλωματική εργασία, αναπτύσσουμε μια αποτελεσματική προσέγγιση για την αυτόματη κατασκευή επαναχρησιμοποιήσιμων και αναπαραγώγιμων δομικών στοιχείων του Kubeflow Pipeline. Για να το πετύχουμε, εισάγουμε μια νέα βιβλιοθήκη για τη διαφανή αναπαραγωγή του περιβάλλοντος εργασίας του επιστήμονα δεδομένων μέσω της δημιουργίας εικόνων Docker σε μη προνομιούχα συστήματα. Έτσι, είμαστε σε θέση να μετατρέψουμε ένα δομικό στοιχείο του Kubeflow Pipeline, το οποίο είναι ένα αυτοτελές σύνολο κώδικα που εκτελεί ένα βήμα σε μια ροή εργασίας ML, σε μια συ- σκευασμένη και έτοιμη προς χρήση εικόνα Docker. Αξιοποιώντας την ικανότητα του μηχανισμού μας, οι επιστήμονες δεδομένων θα μπορούν να μοιράζονται, να ανακαλύ- πτουν, να αποθηκεύουν και να επαναχρησιμοποιούν συστατικά KFP σε μια πληθώρα από συνδυασμούς εξοικονομώντας πολύτιμο χρόνο για την εύρεση της καλύτερης ροής εργασίας MM για τις ανάγκες τους. Τέλος, θα κάνει την εξυπηρέτηση των μοντέλων τους εύκολη υπόθεση ακόμα και στα πιο απαιτητικά περιβάλλοντα.