Βελτιστοποίηση κατανεμημένης εκπαίδευσης νευρωνικών δικτύων μέσω υβριδικής αρχιτεκτονικής κατανεμημένης εκπαίδευσης σε περιβάλλον νέφους

Abstract

Η βαθιά μηχανική μάθηση τα τελευταία χρόνια έχει αποτελέσει έναν πολύ σημαντικό παράγοντα στην δημιουργία μιας πληθώρας εφαρμογών με αποτέλεσμα να έχει συγκεντρώσει μεγάλο ερευνητικό ενδιαφέρον. Η αύξηση των δεδομένων καθώς και η δημιουργία μεγαλύτερων και πιο εκλεπτυσμένης αρχιτεκτονικής νευρωνικών δικτύων έχουν συντελέση στην αναγκαιότητα της εκπαίδευσης των δικτύων αυτών σε κατανεμημένο περιβάλλον. Υπάρχουν διάφορες προκλήσεις τόσο στην αρχιτεκτονική όσο και στον συγχρονισμό της κατανεμημένης εκπαίδευσης παραλληλοποίησης δεδομένων. Το TensorFlow της Google αποτελεί ένα σύστημα που προσφέρει την δυνατότητα κατανεμημένης εκπαίδευσης το οποίο χρησιμοποιήσαμε για να αξιολογήσουμε στρατηγικές κατανεμημένης εκπαίδευσης παραλληλισμού δεδομένων πάνω σε ένα cluster CPU. Στην εργασία αυτή αξιολογήθηκαν η all-reduce αρχιτεκτονική Multi Worker Mirrored Strategy και η Parameter Server Strategy και προτάθηκε μία υβριδική στρατηγική η Strategy Switch. Η Strategy Switch αποδείχθηκε η καλύτερη επιλογή στο trade-off ακρίβεια πρόβλεψης του μοντέλου και χρόνου εκπαίδευσης, προσεγγίζοντας την βέλτιστη απόδοση σε μικρό συγκριτικά χρόνο εκτέλεσης.