Πρόβλεψη χρόνου εκπαίδευσης νευρωνικών δικτύων μέσω πειραματικής αποτίμησης επίδοσης τελεστών σε κατανεμημένο περιβάλλον

Abstract

Τα τεχνητά νευρωνικά δίκτυα αποτελούν δημοφιλή τεχνική του τομέα της Μηχανικής Μάθησης, η οποία προσομοιώνει, ως ένα βαθμό, τον μηχανισμό μάθησης των βιολογικών οργανισμών. Τροφοδοτούνται με πληθώρα δεδομένων ώστε να εκπαιδευτούν, και, ύστερα, να πραγματοποιούν ποικίλες εργασίες, όπως είναι η αναγνώριση αντικειμένων σε μία φωτογραφία, ή ακόμα και η διάγνωση κάποιας ασθένειας. Παράλληλα, ο όγκος των δεδομένων, που συνεχώς αυξάνεται, έχει οδηγήσει στην στην ανάπτυξη πληθώρας κατανεμημένων συστημάτων εκπαίδευσης νευρωνικών δικτύων, με πιο δημοφιλή το TensorFlow και το PyTorch. Ωστόσο, οι ποικίλες διαθέσιμες επιλογές θέτουν ένα σημαντικό ερώτημα ως προς το ποια είναι η κατάλληλη επιλογή συστήματος για την εκπαίδευση του εκάστοτε δικτύου. Τέτοιου είδους ερωτήματα μπορούν να απαντηθούν με την υλοποίηση και χρήση κατάλληλων χρονοδρομολογητών, οι οποίοι παρέχουν πληροφορίες για την εκπαίδευσή τους, όπως, για παράδειγμα, ο εκτιμώμενος χρόνος εκτέλεσης.

Στην παρούσα διπλωματική γίνεται υλοποίηση ενός συστήματος πρόβλεψης του χρόνου εκπαίδευσης νευρωνικών δικτύων σε κατανεμημένο περιβάλλον μέσω πειραματικών δεδομένων που αφορούν την επίδοση των επιμέρους τελεστών που το απαρτίζουν. Η πειραματική αξιολόγηση του συστήματος μας στο TensorFlow και το PyTorch έδειξε ότι μπορεί να εκτιμήσει με ικανοποιητική ακρίβεια, στις περισσότερες περιπτώσεις, τους χρόνους εκτέλεσης της κατανεμημένης εκπαίδευσης των νευρωνικών δικτύων. Συγκεκριμένα, η διάμεση τιμή του σφάλματος πρόβλεψης διαμορφώθηκε περίπου στο 19%, ενώ, σε μεγάλο ποσοστό των πειραμάτων, το σφάλμα κυμάνθηκε σε επίπεδα χαμηλότερα του 10%.