Χώροι Wasserstein, Βέλτιστη Μεταφορά και Εφαρμογές στη Μηχανική Μάθηση

Abstract

Στην διπλωµατική αυτή εργασία ασχολούµαστε µε τη ϑεωρία και τις εφαρµογές του Optimal Transport (OT), µε ιδιαίτερη έµφαση στον ϱόλο της στην ανάλυση και την ποσοτικοποίηση της συµπεριφοράς γενίκευσης των ϐαθιών νευρωνικών δικτύων (DNN). Παρουσιάζουµε µια διπλή προσέγγιση: αρχίζουµε µε µια αυστηρή ϑεωρητική ανάπτυξη του optimal transport που ϐασίζεται σε ϑεµελιώδεις µαθηµατικές έννοιες (µετρικοί χώροι, ϑεωρία µέτρου και συναρτησιακή ανάλυση) και στη συνέχεια, διερευνούµε εµπειρικά τις αποστάσεις Wasserstein στο πλαίσιο της µηχανικής µάθησης. Το ϑεωρητικό µέρος καλύπτει τις διατυπώσεις του προβλήµατος από τους Monge και Kantorovich, τη ϑεωρία δυϊκότητας και τη γεωµετρία του χώρου Wasserstein. Στο υπολογιστικό κοµµάτι, µελετάµε τη σύγκλιση των εµπειρικών αποστάσεων Wasserstein για διάφορες περιπτώσεις δειγµατοληψίας και συναρτήσεων κόστους, επιβεβαιώνοντας τα ϑεωρητικά αποτελέσµατα και εξετάζοντας την εξάρτησή τους από τη διάσταση. Εξερευνούµε τη χρήση των pushforward αποστάσεων Wasserstein από τους Λουλάκη και Μακριδάκη για τη µελέτη του σφάλµατος γενίκευσης στη ϐαθιά µάθηση και ϐλέπουµε ότι αυτές οι αποστάσεις προσφέρουν µια καλύτερη ποσοτικοποίηση του σφάλµατος γενίκευσης από τα παραδοσιακά όρια. Είναι ενδιαφέρον ότι τα αποτελέσµατά µας αποκαλύπτουν ότι η συµπεριφορά σύγκλισης των αποστάσεων pushforward συχνά αποκλίνει από την κλασική ϑεωρία ΟΤ, υποδηλώνοντας µια ϐαθύτερη αλληλεπίδραση µεταξύ της γεωµετρίας των δεδοµένων και της δυναµικής µάθησης των νευρωνικών δικτύων. Τα ευρήµατά µας αναδεικνύουν τις δυνατότητες του optimal transport στη σύγχρονη µελέτη της µηχανικής µάθησης και αναδεικνύουν νέες πολλά υποσχόµενες κατευθύνσεις στην κατανόηση του σφάλµατος γενίκευσης.