Τροπική Γεωμετρία Και Βελτιστοποίηση Με Εφαρμογές Στη Μηχανική Μάθηση

Abstract

Την τελευταία δεκαετία, το επιστημονικό πεδίο της Τεχνητής Νοημοσύνης έχει σημαδευθεί από την ολοένα και εντονότερη χρήση του υπολογιστικού μοντέλου των Νευρωνικών Δικτύων.Τα Νευρωνικά Δίκτυα παραδοσιακά στηρίζονταν σε κυρίως γραμμικά μοντέλα, όπως η πολλαπλασιαστική-αθροιστική αρχιτεκτονική του γραμμικού Perceptron η οποία παραμένει το κυρίαρχο παράδειγμα νευρωνικών υπολογισμών. Ωστόσο, από την οπτική γωνία της Βιολογίας, η δραστηριότητα ενός νευρώνα θα μπορούσε εξίσου να στηρίζεται σε εγγενώς μη-γραμμικές και ανταγωνιστικές διαδικασίες και πράξεις. Η Μαθηματική Μορφολογία και η Minimax Άλγεβρα παρέχουν το κατάλληλο υπόβαθρο για τη μελέτη των Νευρωνικών Δικτύων που αποτελούνται από τέτοιες μη γραμμικές μονάδες.Η αποτελεσματική χρήση των Νευρωνικών Δικτύων σχεδόν πάντα προϋποθέτει την επίλυση ``δύσκολων'' προβλημάτων βελτιστοποίησης. Για το σκοπό αυτό, στην παρούσα εργασία αρχικά εξετάζουμε μια πρόσφατα προτεινόμενη μέθοδο εξομάλυνσης μη-κυρτών προβλημάτων στην περίπτωση που οι υπολογισμοί που περιλαμβάνει δεν είναι δυνατόν να υπολογιστούν αναλυτικά. Δείχνουμε ότι μπορούμε να προσεγγίσουμε τη μέθοδο αυτή με τη χρήση δειγματοληπτικών μεθόδων και αποδεικνύουμε κάποιες σχετικές ιδιότητες, μεταξύ των οποίων ένα πιθανοτικό φράγμα στο απαιτούμενο πλήθος δειγμάτων όταν η συνάρτηση προς προσέγγιση ικανοποιεί ορισμένες συνήθεις συνθήκες. Ακόμα, μελετούμε πρόσφατες μεθόδους αποδοτικής βελτιστοποίησης για μια κλάση δομημένων μη-κυρτών προβλημάτων, τα οποία περιλαμβάνουν περιορισμούς και κόστη που μπορούν να γραφούν ως συνδυασμός κυρτών συναρτήσεων, γνωστά ως DC προγράμματα.Έπειτα, προχωρούμε στη μελέτη ενός μη-γραμμικού μοντέλου νευρώνα, το οποίο ονομάζεται Τροπικό ή Μορφολογικό Perceptron. Αρχικά, επιχειρείται η διερεύνηση βασικών γεωμετρικών ιδιοτήτων του υπό το πρίσμα της δυαδικής ταξινόμησης. Σε επόμενο βήμα, προτείνεται ένας αλγόριθμος ο οποίος συνδέει την εκπαίδευση του Τροπικού Perceptron με την επίλυση ενός κατάλληλου στιγμιοτύπου της προαναφερθείσας κλάσης μη-κυρτών προβλημάτων. Ο αλγόριθμος εκμεταλλεύεται μια τεχνική χαρακτηρισμού ``ασυνήθιστων'' δεδομένων για την κατάλληλη στάθμιση της συμβολής τους στην εκπαίδευση, σε μια προσπάθεια να επιτύχουμε ευρωστία. Ακόμη, σχολιάζεται η καταλληλότητα της επιλογής της προαναφερθείσας κλάσης προβλημάτων και οι αναλλοίωτες της μεθόδου.Σε όλη σχεδόν την έκταση της εργασίας, αναδεικνύεται η συσχέτιση μεταξύ των μορφολογικών υπολογιστικών μοντέλων και του αναπτυσσόμενου πεδίου της Τροπικής Γεωμετρίας, η οποία μας προσφέρει διαίσθηση αλλά και αναλυτικά εργαλεία για την μελέτη βασικών χαρακτηριστικών των μοντέλων αυτών. Καταφέρνουμε να συσχετίσουμε το πλήθος των γραμμικών περιοχών μιας δημοφιλούς δομικής μονάδας βαθιών νευρωνικών δικτύων με ένα καλά μελετημένο γεωμετρικό αντικείμενο, το Πολύτοπο Newton ενός τροπικού πολυωνύμου. Η διερεύνηση αυτή μας επιτρέπει ταυτόχρονα να διατυπώσουμε μια διαδικασία για την απομάκρυνση των περιττών όρων από τροπικά πολυώνυμα πολλών μεταβλητών.Τέλος, παρουσιάζουμε τα αποτελέσματα αριθμητικών πειραμάτων, στα οποία σχολιάζεται η καταλληλότητα και η συμπεριφορά των Μορφολογικών Νευρωνικών Δικτύων για προβλήματα μηχανικής μάθησης έπειτα από εκπαίδευση σε διάφορα σύνολα δεδομένων που έχουν χρησιμοποιηθεί ως benchmarks στη βιβλιογραφία.