Please use this identifier to cite or link to this item: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17819
Title: Αυτόματη αναζήτηση αρχιτεκτονικής νευρωνικού δικτύου με χρήση γενετικών μοντέλων για γραφήματα
Authors: Χατζηαναστάσης, Μιχάλης
Στάμου Γιώργος
Keywords: μηχανική μάθηση
βαθιά μάθηση
αναζήτηση αρχιτεκτονικής νευρωνικού δικτύου
γενετικά μοντέλα
machine learning
deep learning
neural architecture search
graph generative models
variational autoencoders
operation embeddings
Issue Date: 22-Nov-2020
Abstract: Η αναζήτηση αρχιτεκτονικής νευρωνικού δικτύου (Neural Architecture Search) έχει α- ποκτήσει μεγάλη προσοχή πρόσφατα, καθώς προσπαθεί να αυτοματοποιήσει την εύρεση της αρχιτεκτονικής του νευρωνικού δικτύου για διάφορα προβλήματα. Ωστόσο, η αναπαράσταση της αρχιτεκτονικής είναι μια σύνθετη διαδικασία. Οι υπάρχουσες μέθοδοι αντιπροσωπεύουν την αρχιτεκτονική του νευρωνικού δικτύου είτε ως μια ακολουθία από συμβολοσειρές, η οποία δεν συλλαμβάνει τις δομικές ιδιότητες της αρχιτεκτονικής, είτε χρησιμοποιούν έναν γράφημα ώστε να καθορίσουν τις συνδέσεις μεταξύ των επιπέδων, σε συνδυασμό με πίνακες ονε-ηοτ κωδικοποίησης, οι οποίοι αναπαριστούν την λειτουργία που εκτελείται σε κάθε επίπεδο. Σε αυ- τή τη διπλωματική, προτείνουμε έναν εναλλασσόμενο αυτόματο κωδικοποιητή για γραφήματα (Graph Variational Autoencoder), που κωδικοποιεί τις αρχιτεκτονικές σε έναν λανθάνοντα χώρο (latent space), χρησιμοποιώντας πυκνές αναπαραστάσεις πινάκων για τις λειτουργίες κάθε επιπέδου της αρχιτεκτονικής (operation embeddings). Με αυτόν τον τρόπο, μπορούμε να συλλάβουμε τις συσχετίσεις μεταξύ των διαφορετικών λειτουργιών πιο αποτελεσματικά, και ως εκ τούτου το μοντέλο μας παράγει με ακρίβεια έναν ομαλό λανθάνοντα χώρο, χαρτογρα- φώντας αρχιτεκτονικές παρόμοιων επιδόσεων κοντά την μια στην άλλη. Η πραγματοποίηση βελτιστοποίησης σε έναν τόσο ομαλό λανθάνοντα χώρο, είναι πολύ αποτελεσματική για το πρόβλημα της αναζήτησης αρχιτεκτονικής νευρικού δικτύου. Η προσέγγιση μας αξιολογήθη- κε με πολλαπλά πειράματα, τα αποτελέσματα των οποίων έδειξαν πολύτιμα πλεονεκτήματα της μεθόδου μας σε σχέση με άλλες υπάρχοντες τεχνικές που στοχεύουν στη δημιουργία αρχιτεκτονικών νευρωνικών δικτύων υψηλής απόδοσης.
URI: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17819
Appears in Collections:Διπλωματικές Εργασίες - Theses

Files in This Item:
File Description SizeFormat 
main.pdf3.92 MBAdobe PDFView/Open


Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.