Παραλληλοποίηση αλγορίθμων εκπαίδευσης νευρωνικών δικτύων σε μαζικά πολυπύρηνες αρχιτεκτονικές.

Abstract

Αντικείμενο της παρούσας διπλωματικής εργασίας είναι η παραλληλοποίηση της εκπαίδευσης ενός αναδρομικού νευρωνικού δικτύου. Ειδικότερα, επιχειρείται η επιτάχυνση της εκπαίδευσης ενός long short-term memory (LSTM) δικτύου που χρησιμοποείται για την οπτική αναγνώριση χαρακτήρων. Η δυσκολία της παραλληλοποίησης τέτοιου είδους νευρωνικών δικτύων εντοπίζεται στη σειριακή φύση της εκπαίδευσης και της λειτουργίας τους καθώς αντιμετωπίζουν το εκάστοτε δείγμα και είσοδο αντίστοιχα ως μία ακολουθία δεδομένων. Στα πλαίσια της εργασίας παρουσιάζεται η διαδικασία της εκπαίδευσης, υλοποιούνται τρία στάδια παραλληλοποίησης του αλγορίθμου εκπαίδευσης του νευρωνικού δικτύου και αξιολογείται η επίδοσή τους από τα πειραματικά αποτελέσματα που τους αντιστοιχούν.