Αυτόματη αναζήτηση αρχιτεκτονικής νευρωνικού δικτύου με χρήση γενετικών μοντέλων για γραφήματα

Abstract

Η αναζήτηση αρχιτεκτονικής νευρωνικού δικτύου (Neural Architecture Search) έχει α- ποκτήσει μεγάλη προσοχή πρόσφατα, καθώς προσπαθεί να αυτοματοποιήσει την εύρεση της αρχιτεκτονικής του νευρωνικού δικτύου για διάφορα προβλήματα. Ωστόσο, η αναπαράσταση της αρχιτεκτονικής είναι μια σύνθετη διαδικασία. Οι υπάρχουσες μέθοδοι αντιπροσωπεύουν την αρχιτεκτονική του νευρωνικού δικτύου είτε ως μια ακολουθία από συμβολοσειρές, η οποία δεν συλλαμβάνει τις δομικές ιδιότητες της αρχιτεκτονικής, είτε χρησιμοποιούν έναν γράφημα ώστε να καθορίσουν τις συνδέσεις μεταξύ των επιπέδων, σε συνδυασμό με πίνακες ονε-ηοτ κωδικοποίησης, οι οποίοι αναπαριστούν την λειτουργία που εκτελείται σε κάθε επίπεδο. Σε αυ- τή τη διπλωματική, προτείνουμε έναν εναλλασσόμενο αυτόματο κωδικοποιητή για γραφήματα (Graph Variational Autoencoder), που κωδικοποιεί τις αρχιτεκτονικές σε έναν λανθάνοντα χώρο (latent space), χρησιμοποιώντας πυκνές αναπαραστάσεις πινάκων για τις λειτουργίες κάθε επιπέδου της αρχιτεκτονικής (operation embeddings). Με αυτόν τον τρόπο, μπορούμε να συλλάβουμε τις συσχετίσεις μεταξύ των διαφορετικών λειτουργιών πιο αποτελεσματικά, και ως εκ τούτου το μοντέλο μας παράγει με ακρίβεια έναν ομαλό λανθάνοντα χώρο, χαρτογρα- φώντας αρχιτεκτονικές παρόμοιων επιδόσεων κοντά την μια στην άλλη. Η πραγματοποίηση βελτιστοποίησης σε έναν τόσο ομαλό λανθάνοντα χώρο, είναι πολύ αποτελεσματική για το πρόβλημα της αναζήτησης αρχιτεκτονικής νευρικού δικτύου. Η προσέγγιση μας αξιολογήθη- κε με πολλαπλά πειράματα, τα αποτελέσματα των οποίων έδειξαν πολύτιμα πλεονεκτήματα της μεθόδου μας σε σχέση με άλλες υπάρχοντες τεχνικές που στοχεύουν στη δημιουργία αρχιτεκτονικών νευρωνικών δικτύων υψηλής απόδοσης.