Σχεδίαση και Υλοποίηση Ροών Εργασίας για Αυτοµατοποιηµένη Μηχανική Μάθηση στον Κυβερνήτη, µε το Kubeflow

Abstract

Η επίλυση ενός πλήθους από απαιτητικά προβλήµατα στις µέρες µας γίνεται µε χρήση µηχανικής µάθησης. Μία τέτοια διαδικασία έχει µια ϐασική δυσκολία, την επιλογή του κατάλληλου αλγορίθµου µηχανικής µάθησης για ένα δεδοµένο σύνολο δεδοµένων (dataset). ∆ιαφορετικοί αλγόριθµοι µπορεί να έχουν διαφορετικά αποτελέσµατα πάνω στο ίδιο dataset, και η διαφορά µπορεί να είναι χαώδης. Για να λύσει αυτό το πρόβληµα έρχεται η έννοια της Αυτοµατοποιηµένης Μηχανικής Μάθησης, ή ΑutoML, που είναι ένα γενικότερο πλαίσιο διαδικασιών και µεθόδων το οποίο παράγει έτοιµα, εκπαιδευµένα µοντέλα µε είσοδο κυρίως το σύνολο δεδοµένων του χρήστη. Το AutoML αυτοµατοποιεί δύσκολες διαδικασίες της µηχανικής µάθησης, όπως την επεξεργασία του συνόλου δεδοµένων, την επιλογή του αλγορίθµου αλλά και την εκπαίδευση του αντίστοιχου µοντέλου, διευκολύνοντας µε αυτό τον τρόπο την χρήση µηχανικής µάθησης ακόµα και για αυτούς που δεν είναι ειδικοί σε αυτόν τον τοµέα. Υπάρχουν αρκετές ϐιβλιοθήκες ανοιχτού κώδικα που προσφέρουν λύσεις αυτοµατοποιηµένης µηχανικής µάθησης εκεί έξω. Μία από αυτές είναι το auto-sklearn, το οποίο χρησιµοποιήσαµε στην εργασία µας. Το ϐασικό πρόβληµα µε τέτοιες ϐιβλιοθήκες είναι ότι, µολονότι µια διαδικασία AutoML συνήθως περιέχει πολλά ϐήµατα που µπορούν να τρέξουν παράλληλα και ανεξάρτητα, αυτές είναι σχεδιασµένες να τρέχουν σε έναν µόνο κόµβο. Σε αυτήν την εργασία, χρησιµοποιώντας τον πυρήνα του auto-sklearn ως ϐάση, σχεδιάσαµε και υλοποιήσαµε µια διαδικασία αυτοµατοποιηµένης µηχανικής µάθησης στο Kubeflow, το οποίο τρέχει πάνω στον Κυβερνήτη, και είναι µια τελευταίας τεχνολογίας πλατφόρµα για ενορχήστρωση ϱοών εργασίας µηχανικής µάθησης. Εκεί, εκµεταλλευτήκαµε τα οφέλη της κατανεµηµένης ϕύσης του Κυβερνήτη, κατανέµοντας στο ¨νέφος¨ τα ϐήµατα της διαδικασίας AutoML που µπορούσαν να τρέξουν παράλληλα.