Διαίρεση Τροπικών Πολυωνύμων και Ελαχιστοποίηση Νευρωνικών Δικτύων

Abstract

Η τροπική άλγεβρα και γεωμετρία αποτελούν μια σκοπιά των μαθηματικών διαφορετική από την κλασική άλγεβρα, της οποίας κύριο χαρακτηριστικό είναι η αντικατάσταση των πράξεων της πρόσθεσης και του πολλαπλασιασμού με τις πράξεις του μεγίστου και της πρόσθεσης, αντίστοιχα. Οι εφαρμογές τους ποικίλουν, και πρόσφατα υπάρχει προσπάθεια σύνδεσής τους με τον τομέα της μηχανικής μάθησης. Έχει αποδειχθεί ότι ένα από τα σημαντικότερα και πιο επιτυχημένα εργαλεία αυτού του κλάδου, δηλαδή τα νευρωνικά δίκτυα με τμηματικά γραμμικές ενεργοποιήσεις, μπορεί να μοντελοποιηθεί και να μελετηθεί με τη χρήση πολυωνύμων τα οποία κατασκευάζονται μέσω αυτής της μορφής άλγεβρας. Στην παρούσα εργασία, με απώτερο σκοπό την περαιτέρω σύνδεση μεταξύ των δύο αυτών κλάδων, εισάγουμε μία μορφή προσεγγιστικής διαίρεσης τροπικών πολυωνύμων, η οποία μας επιτρέπει να προσομοιώσουμε την κλασική Ευκλείδεια διαίρεση πολυωνύμων. Μέσω αυτής, λαμβάνουμε ένα πηλίκο και ένα υπόλοιπο, τα οποία είναι τέτοια ώστε το αποτέλεσμα της διαίρεσης αφενός να είναι μικρότερο από το διαιρετέο, αφετέρου να είναι το μεγαλύτερο δυνατό που να ικανοποιεί αυτήν την ιδιότητα. Χρησιμοποιώντας ιδέες από τη διαδικασία διαίρεσης αυτή, παρουσιάζουμε ορισμένες μεθόδους για την μείωση του μεγέθους του κρυφού επιπέδου νευρωνικών δικτύων, τα οποία είναι ήδη εκπαιδευμένα για την επίλυση ενός προβλήματος ταξινόμησης, είτε δυαδικής είτε πολλαπλών κλάσεων. Οι μέθοδοι αυτοί αποσκοπούν στην προσέγγιση των τροπικών πολυωνύμων, μέσω των οποίων εκφράζονται τα νευρωνικά δίκτυα αυτά. Για την μελέτη των αποτελεσμάτων των μεθόδων μας, εκτελούμε πειράματα σε μερικές απλές βάσεις δεδομένων, και συγκεκριμένα τις IMDB Movie Review, MNIST και Fashion-MNIST. Τα αποτελέσματα που λαμβάνουμε δείχνουν ότι οι μέθοδοί μας, οι οποίες στηρίζονται στην προσέγγιση της θεωρητικής δομής του δικτύου, έχουν την ικανότητα να διατηρούν σημαντικό κομμάτι της πληροφορίας που έχει ληφθεί κατά την εκπαίδευση, παρά τη μείωση του μεγέθους του