Βελτιστοποίηση Ροών Εργασίας Μηχανικής Μάθησης με την Ενσωμάτωση ενός Αποθετηρίου Χαρακτηριστικών στην Πλατφόρμα Kubeflow

Abstract

Η μηχανική μάθηση (ΜΜ) είναι σημαντική για τις επιχειρήσεις, γιατί βοηθάει στην επίλυση ποικίλων προβλημάτων, ενώ η ποιότητα των λύσεων που προσφέρει συμβαδίζει με αυτή των χαρακτηριστικών που χρησιμοποιούν τα μοντέλα ΜΜ. Οι επιστήμονες δεδομένων καταπιάνονται με την υλοποίηση ροών εργασίας που υποστηρίζουν ολόκληρο τον κύκλο ζωής της ΜΜ, μέρος του οποίου αφορά τη δημιουργία και τη διάθεση χαρακτηριστικών κατά την εκπαίδευση μοντέλων και την εξαγωγή συμπερασμάτων. Τα χαρακτηριστικά είναι μεταβλητές εισόδου σε ένα μοντέλο και είναι συνήθως ακατέργαστα δεδομένα που αναπαρίστανται ή κωδικοποιούνται σε διαφορετικές μορφές. Η διαδικασία αυτή απαιτεί πολύ χρόνο και προσπάθεια και συνεπάγεται διάφορες προκλήσεις. Οι πηγές δεδομένων έχουν διαφορετικά χαρακτηριστικά και απαιτούν διαφορετικές προσεγγίσεις στην κατανάλωση και τη διαχείρισή τους. Επιπλέον, η διάθεση χαρακτηριστικών με συνεπή τρόπο στη χρονοβόρα εκπαίδευση μοντέλων και την αστραπιαία εξαγωγή συμπερασμάτων είναι δύσκολη και οδηγεί συχνά στο πρόβλημα της στρέβλωσης μεταξύ εκπαίδευσης και διάθεσης ενός μοντέλου. Ένα αποθετήριο χαρακτηριστικών, όπως το Feast, λύνει αυτές τις προκλήσεις τυποποιώντας τους ορισμούς των χαρακτηριστικών, καταχωρώντας τα σε ένα κεντρικό αποθετήριο και κάνοντάς τα διαθέσιμα με συνέπεια κατά την εκπαίδευση μοντέλων και την εξαγωγή συμπερασμάτων. Η ενσωμάτωση του στο Kubeflow επιτρέπει την κοινή χρήση και επαναχρησιμοποίηση αυτών από πολλούς χρήστες και ομάδες. Η λύση μας μετατρέπει το Feast σε ένα νεφο-εγγενές σύστημα πελάτη-εξυπηρετητή. Δημιουργούμε έναν διακομιστή REST API που διαχειρίζεται και αποθηκεύει τους ορισμούς χαρακτηριστικών και τα μεταδεδομένα τους σε ποικίλες βάσεις δεδομένων SQL οι οποίες υποστηρίζονται μέσω του μηχανισμού Object-Relational Mapping (ORM). Επιπλέον, επιβάλλουμε έλεγχο πρόσβασης με τον μηχανισμό RBAC του Κυβερνήτη και επεκτείνουμε τον πελάτη του Feast ώστε να χρησιμοποιεί το νέο API.