Τροπική Γεωμετρική Προσέγγιση Ζωνοτόπων με εφαρμογές στην Συμπίεση Νευρωνικών Δικτύων

Abstract

Πρόσφατα, τα νευρωνικά δίκτυα είχαν σπουδαία ανάκαμψη στην Αναγνώριση Προτύπων και την Μηχανική Μάθηση με την προσέλευση των αρχιτεκτονικών βαθιάς μάθησης. Η πρωτοπορία αυτή έχει βελτιώσει τις state-of-the-art επιδόσεις σε ένα ευρύ φάσμα περιοχών εφαρμογής που περιλαμβάνει την Όραση Υπολογιστών και την Επεξεργασία Φυσικής Γλώσσας. Αυτό έχει δώσει κίνητρο στην περαιτέρω κατανόηση της θεωρίας των νευρωνικών δικτύων. Προς αυτή την κατεύθυνση, η παρούσα Διπλωματική εργασία συμβάλλει στην ενίσχυση του θεωρητικού πλαισίου μελέτης των νευρωνικών δικτύων μέσω τροπικής γεωμετρίας. Συγκεκριμένα, αποδεικνύουμε ένα άνω φράγμα στην προσέγγιση τροπικών πολυωνύμων που σχετίζεται με την απόσταση Hausdorff των εν λόγω επεκτεταμένων Newton πολυτόπων τους. Με αυτόν τον τρόπο γενικεύουμε την αμφιμονοσήμαντη αντιστοιχία των γραμμικών περιοχών ενός τροπικού πολυωνύμου με τις κορυφές του άνω φλοιού του επεκτεταμένου Newton πολυτόπου του. Το θεώρημα αυτό επιτυγχάνει την θεμελίωση ενός θεωρητικού πλαισίου κατασκευής αλγορίθμων ελαχιστοποίησης νευρωνικών δικτύων μέσω της γεωμετρικής ελαχιστοποίησης των ζωνοτόπων τους. Υπό αυτό το πρίσμα προτείνουμε $3$ γεωμετρικούς αλγορίθμους συμπίεσης Zonotope K-means, Neural Path K-means και Convolutional Neural Path K-means που εφαρμόζουν τον αλγόριθμο συμπίεσης διανυσμάτων K-means. Ο Zonotope K-means περιορίζεται σε νευρωνικά μίας εξόδου, ο Neural Path K-means δεν έχει περιορισμό ως προς τον αριθμό εξόδων και προορίζεται για συμπίεση γραμμικών επιπέδων, ενώ ο Convolutional Neural Path K-means αφορά την συμπίεση συνελικτικών επιπέδων και αποτελεί τον πρώτο αλγόριθμο τροπικής γεωμετρίας που το επιτυγχάνει αυτό. Επίσης, στο πλαίσιο της συμπίεσης γραμμικών επιπέδων νευρωνικών δικτύων προτείνουμε και δύο ακόμη αλγορίθμους τους, AMM και semi-NMF, οι οποίοι εφαρμόζουν αριθμητικές μεθόδους. Ο ΑΜΜ είναι πιθανοτικός και συμπίεζει το δίκτυο προσεγγίζοντας το γίνομενο των πινάκων δύο γραμμικών επιπέδων, ενώ ο semi-NMF πραγματοποιεί μη αρνητική παραγοντοποίηση πίνακα. Για την θεωρητική ανάλυση των αλγορίθμων μας χρησιμοποιούμε το θεώρημα προσέγγισης τροπικών πολυωνύμων. Επιπλέον, όλοι οι αλγόριθμοι εξετάζονται συγκριτικά με γνωστές τεχνικές συμπίεσης σε πειράματα που αφορούν σύγχρονες αρχιτεκτονικές συνελικτικών δικτύων. Για την εκτέλεση των πειραμάτων κάνουμε χρήση των συνόλων δεδομένων MNIST, Fashion-MNIST και CIFAR στα οποία εκπαιδεύουμε κάποια μικρά συνελικτικά δίκτυα, όπως το LeNet5, αλλά και μεγαλύτερα όπως τα CIFAR-VGG και AlexNet. Τα πειράματα αναδεικνύουν ότι οι μέθοδοι μας παρουσιάζουν βελτίωση έναντι άλλων τροπικών μεθόδων και βασικών μεθόδων συμπίεσης Random και L1 και επιπλέον παρουσιάζουν ανταγωνιστική επίδοση σε σχέση με την πιο σύγχρονης τεχνική συμπίεσης ThiNet.