Τροπική Γεωμετρία και Εφαρμογές στην Μηχανική Μάθηση

Abstract

Η παρούσα εργασία εξετάζει την τροπική άλγεβρα και γεωμετρία, με έμφαση στις εφαρμογές τους στη μηχανική μάθηση. Η τροπική άλγεβρα αποτελεί έναν ταχέως αναπτυσσόμενο κλάδο των μαθηματικών με εφαρμογές σε τομείς όπως η συνδυαστική βελτιστοποίηση, η γεωμετρία, η επιχειρησιακή έρευνα και, πιο πρόσφατα, η μηχανική μάθηση. Η πρόσφατη επιτυχία της βαθιάς μάθησης σε τομείς όπως η αναγνώριση προτύπων, η υπολογιστική όραση και η επεξεργασία φυσικής γλώσσας έχει εντείνει το ενδιαφέρον για τα μαθηματικά θεμέλια των νευρωνικών δικτύων. Προηγούμενες εργασίες έχουν χρησιμοποιήσει τα τροπικά μαθηματικά για να κατανοήσουν καλύτερα τις ιδιότητες των νευρωνικών δικτύων [54, 36, 46]. Βασιζόμενη σε αυτό το υπόβαθρο, η παρούσα εργασία εισάγει τόσο νέες συνεισφορές στον τομέα της μετατροπής αρχιτεκτονικών νευρωνικών δικτύων όσο και, κυριότερα, στη συμπίεση δικτύων. Για τη συμπίεση νευρωνικών δικτύων, προτείνουμε μια μέθοδο που βελτιώνει τις προηγούμενες τεχνικές χρησιμοποιώντας την απόσταση Hausdorff στην κανονική της συνεχή μορφή, ώστε να προκύψουν αυστηρότερα όρια για την προσέγγιση των τροπικών πολυωνύμων. Αυτή η βελτίωση οδηγεί στην ανάπτυξη ενός νέου αλγορίθμου που προσεγγίζει αποδοτικά τα ζονοτόπα που σχετίζονται με τις τροπικές αναπαραστάσεις των νευρωνικών δικτύων. Ο αλγόριθμός μας έχει σχεδιαστεί ώστε να υπερέχει σε σχέση με υπάρχουσες μεθόδους ως προς την ακρίβεια συμπίεσης και αξιολογείται σε ένα εύρος σύγχρονων αρχιτεκτονικών νευρωνικών δικτύων και συνόλων δεδομένων. Διεξάγουμε εκτεταμένα πειράματα σε γνωστά σύνολα δεδομένων, όπως τα MNIST, Fashion-MNIST, CIFAR10/100, και ImageNet, χρησιμοποιώντας αρχιτεκτονικές όπως LeNet5, AlexNet, CIFAR-VGG, και ResNet. Τα αποτελέσματα δείχνουν ότι η μέθοδός μας βελτιώνει σημαντικά το υπάρχον έργο των Misiakos et al. [37], υπερέχει έναντι βασικών προσεγγίσεων συμπίεσης, όπως οι Random και L1, και επιδεικνύει ανταγωνιστική ή ανώτερη απόδοση σε σύγκριση με αλγορίθμους αιχμής, όπως οι ThiNet και CUP.