Δίκτυα Αραιής Ενεργοποίησης: Μια νέα μέθοδος αποσύνθεσης και συμπίεσης δεδομένων

Abstract

Η πρόσφατη βιβλιογραφία σχετικά με τη μη-επιβλεπώμενη μάθηση επικεντρώθηκε στο σχεδιασμό δομών με στόχο την μάθηση χαρακτηριστικών. Αυτό όμως γινόταν χωρίς να ληφθεί υπόψη το μήκος περιγραφής των αναπαραστάσεων, το οποίο είναι ένα άμεσο και αμερόληπτο μέτρο της πολυπλοκότητας του μοντέλου. Στο πλαίσιο της διδακτορικής διατριβής προτείνουμε ένα μέτρο φ το οποίο αξιολογεί μη-επιβλεπώμενα μοντέλα με βάση την ακρίβεια ανακατασκευής και το βαθμό συμπίεσης των εσωτερικών αναπαραστάσεων. Έπειτα παρουσιάζουμε και ορίζουμε δύο συναρτήσεις ενεργοποίησης (Ταυτότητα, ReLU) ως βάσεις αναφοράς και τρεις αραιές συναρτήσεις ενεργοποίησης (Απόλυτα κ-μέγιστα, Δείκτες συγκέντρωσης ακρότατων, Ακρότατα) ως υποψήφιες δομές για την ελαχιστοποίηση του προηγουμένως ορισμένου μέτρου φ. Τέλος προτείνουμε μια νέα αρχιτεκτονική Νευρωνικών Δικτύων, τα Δίκτυα Αραιής Ενεργοποίησης (SANs), τα οποία αποτελούνται από πυρήνες με κοινά βάρη που κατά την κωδικοποίηση συνελλίσονται με την είσοδο και στη συνέχεια διέρχονται μέσω μιας συνάρτησης αραιής ενεργοποίησης. Κατά τη διάρκεια της αποκωδικοποίησης, τα ίδια βάρη συνελλίσονται με τον χάρτη αραιής ενεργοποίησης και έπειτα οι μερικές ανακατασκευές από κάθε βάρος αθροίζονται για να ανακατασκευάσουν την είσοδο. Συγκρίνουμε τα SANs χρησιμοποιώντας τις προηγουμένως ορισμένες συναρτήσεις ενεργοποίησης σε ένα σύνολο από βάσεις δεδομένων (15 βάσεις δεδομένων από την Physionet και EEG από την UCI για ταξινόμηση επιληπτικών κρίσεων) και δείχνουμε ότι τα SANs που επιλέγονται με χρήση του φ έχουν αναπαραστάσεις με μικρό μήκος περιγραφής και περιέχουν ερμηνεύσιμους πυρήνες.