Αυτοματοποιημένη Αναλυτική Προεπεξεργασίας Δεδομένων

Abstract

Η παρούσα διπλωματική εστιάζει στο κρίσιμο πρόβλημα της αυτοματοποίησης της επεξεργασίας δεδομένων, σε προβλήματα που αφορούν την επιβλεπόμενη μηχανική μάθηση. Στόχος της έρευνας αποτελεί η εις βάθος μελέτη και εξερεύνηση των προκλήσεων του πεδίου της αυτοματοποίησης των διαδικασιών προεπεξεργασίας δεδομένων και η ανάδειξη μεθόδων και τεχνικών που θα συνεισφέρουν στο έργο των ερευνητών δεδομένων. Για την επίτευξη αυτού του στόχου, προτείνεται μία γενικευμένη διάταξη προεπεξεργασίας δεδομένων, η οποία περιλαμβάνει μία προκαθορισμένη σειρά μετασχηματισμών προεπεξεργασίας. Παράλληλα, αναπτύσσεται ένα εργαλείο με την ονομασία Auto Analysis, το οποίο παρέχει τη δυνατότητα στους χρήστες να αξιοποιούν επαληθευμένες λειτουργίες μετασχηματισμού, με σκοπό να εκτελούν τις αναλύσεις τους ταχύτερα και αποδοτικότερα για τα σύνολα δεδομένων που διαθέτουν. Η μεθοδολογία περιλαμβάνει τη χρήση τεχνικών βελτιστοποίησης, όπως η μπεϋζιανή αναζήτηση, για την αναζήτηση των βέλτιστων λειτουργιών μετασχηματισμού. Πραγματοποιήθηκαν πειράματα με δέκα διαφορετικά σύνολα δεδομένων, τα οποία κάλυψαν μία ευρεία γκάμα περιπτώσεων και προκλήσεων, αποδεικνύοντας την αξιοπιστία και αποδοτικότητα της αρχιτεκτονικής. Τα αποτελέσματα της έρευνας υποδεικνύουν ότι η εφαρμογή της γενικευμένης διάταξης προεπεξεργασίας σε συνδυασμό με τις προτεινόμενες λειτουργίες μετασχηματισμού, οδηγεί σε βελτίωση της απόδοσης των μοντέλων μηχανικής μάθησης και βοηθά το χρήστη να ενσωματώσει τις βέλτιστες λειτουργίες μετασχηματισμού για τη προεπεξεργασία των δεδομένων του.