Τροπική Γεωμετρία και Εφαρμογές σε Μηχανική Μάθηση και Βελτιστοποίηση

Abstract

Η μηχανική μάθηση έχει γνωρίσει ιδιαίτερη άνθηση την τελευταία δεκαετία με το ερευνητικό ενδιαφέρον να επικεντρώνεται στις βαθιές αρχιτεκτονικές. Στο πλαίσιο αυτό, το υποκείμενο μαθηματικό υπόβαθρο δεν είναι σαφώς θεμελιωμένο, με αποτέλεσμα οι διάφοροι μέθοδοι να χρησιμοποιούνται ως μαύρα κουτιά με ελλιπή κατανόηση των εσωτερικών τους διεργασιών. Τα τελευταία χρόνια, λοιπόν, ένθερμες προσπάθειες και σημαντικός ερευνητικός ζήλος κατευθύνονται στην εισαγωγή και μελέτη μαθηματικών εργαλείων που προσφέρουν εξηγήσεις και διαίθηση στα εργαλεία της μηχανικής μάθησης. Μία από αυτές τις προσεγγίσεις εντοπίζεται στον κλάδο της τροπικής γεωμετρίας καθώς και των μορφολογικών μαθηματικών.

Με αφετηρία την τομή μεταξύ μαθηματικής βελτιστοποίησης και τροπικής γεωμετρίας, εξερευνούμε προβλήματα με τροπικούς περιορισμούς. Αναδεικνύεται η μη-κυρτή φύση τους και σκιαγραφείται μία μέθοδος διάβασης από την τροπική και μη-κυρτή βελτιστοποίηση σε μία συλλογή προβλημάτων με κυρτούς περιορισμούς.

Στη συνέχεια, στρέφουμε την προσοχή μας στα μορφολογικά νευρωνικά δίκτυα, τα οποία θεμελιώνονται σε μη-γραμμικούς νευρώνες διαστολής και συστολής. Εμπλουτίζουμε την εκφραστικότητά τους συνδυάζοντας πολυάριθμους νευρώνες τόσο διαστολής και συστολής στο κρυφό επίπεδο και συνδέουμε το σύνορο απόφασης τους με την τροπική γεωμετρία. Μελετώνται δύο παραλλαγές των Πυκνών Μορφολογικών Δικτύων. Η πρώτη αφορά την επέκταση σε βαθιές αρχιτεκτονικές, όπου σχηματίζονται ενεργοποιήσεις εφάμιλλες του μορφολογικού ανοίγματος και κλεισίματος. Η δεύτερη εντοπίζεται στη χρήση της αποκβαντοποίησης κατά Maslov για την ομαλοποίηση των επιφανειών και την αντιμετώπιση του προβλήματος διάδοσης κλίσης που χαρακτηρίζει η μη-παραγωγισμότητα των μορφολογικών τελεστών.

Επιπρόσθετα, διατυπώνεται τρόπος έκφρασης ενός προβλήματος ταξινόμησης δυαδικών προτύπων από ένα perceptron διαστολής-συστολής στη γλώσσα της μη-κυρτής βελτιστοποίησης. Βασιμένη στη θεωρία πλεγμάτων, η προσέγγιση αυτή υποθέτει μερική διάταξη των δεδομένων, ζήτημα που ανταπεξέρχεται με χρήση μειωμένης διάταξης. Στη συνέχεια, επεκτείνεται η δυαδική φύση του ταξινομητή σε διεργασίες πολλών κλάσεων.

Παράλληλα, εξερευνούνται οι δυνατότητες των Μορφολογικών Δικτύων με μεθόδους εκπαίδευσης βασισμένες στην Κατάβαση Κλίσεων. Παρουσιάζονται αριθμητικά πειράματα σε γνωστά benchmarks για διάφορες επιλογές αρχιτεκτονικών, ακόμα και για τις ομαλοποιημένες εκδόσεις των μορφολογικών τελεστών ως νευρώνες. Οι προσπάθειες επικεντρώνονται στην αραιότητα των μοντέλων αξιολογώντας την απόδοσή τους κατόπιν pruning. Εξετάζονται δύο μέθοδοι αφαίρεσης παραμέτρων και συγκρίνεται η διατήρηση πληροφορίας των μορφολογικών δικτύων με τα αντίστοιχα πλήρως συνδεδεμένα νευρωνικά δίκτυα, καταλήγοντας στο συμπέρασμα ότι τα μορφολογικά δίκτυα κωδικοποιούν πολύ οικονομικά τις υποκείμενες αναπαραστάσεις των δεδομένων.

Τέλος, τα τελευταία χρόνια αναπτύσσεται η τάση της ερμηνευσιμότητας, όπου οι μελετητές επιθυμούν εγγυήσεις για τη μορφή της εξόδου των μοντέλων. Υπό το πρίσμα αυτό, μελετάται η ιδιότητα της μονοτονίας. Προτείνεται μία αμιγώς τροπικά αλγεβρική επίλυση του προβλήματος μέσω εναλλάξ min-plus και max-plus παλινδρόμησης. Ακόμη, εξερευνούμε την ικανοποίηση του περιορισμού μέσω συγκεκριμένων αρχιτεκτονικών επιλογών σε μορφολογικά δίκτυα, εξετάζοντας και ομαλοποιημένους τελεστές.