Συγκριτική Αξιολόγηση Κατανεμημένων Συστημάτων Βαθιάς Μηχανικής Μάθησης σε Περιβάλλον Υπολογιστικού Νέφους

Abstract

Η δημοτικότητα της βαθιάς μηχανικής μάθησης έχει εκτοξευτεί την τελευταία δεκαετία κυρίως σε εφαρμογές επεξεργασίας ήχου, εικόνας ή φυσικής γλώσσας. Σε συνδυασμό με τον ολοένα αυξανόμενο όγκο των δεδομένων έχει γίνει επιτακτική ανάγκη η εκπαίδευση νευρωνικών δικτύων με κατανεμημένο τρόπο από ομάδες (clusters) υπολογιστικών πόρων. Παράλληλα, έχουν εκδοθεί πολλαπλές βιβλιοθήκες/συστήματα για την διευκόλυνση υλοποίησης και εκπαίδευσης βαθιών νευρωνικών δικτύων. Θα ήταν χρήσιμο, συνεπώς, για τον χρήστη να μπορεί να διακρίνει τις διαφορές μεταξύ των διαφορετικών συστημάτων τόσο σε απόδοση όσο και σε ευχρηστία, ώστε να μπορεί να διαλέξει το κατάλληλο σύμφωνα με τις δικές του ανάγκες.

Στην παρούσα εργασία εξετάζονται τρία από τα πιο διάσημα συστήματα βαθιάς μηχανικής μάθησης που υποστηρίζουν εκπαίδευση σε κατανεμημένο περιβάλλον, τα TensorFlow, PyTorch και MXNet. Αξιολογούνται συγκριτικά πάνω σε cluster τριών μηχανημάτων αποτελούμενα από επεξεργαστές Intel. Τα πειράματα απαρτίζονται από έξι συνδυασμούς μεταξύ τεσσάρων διαφορετικών νευρωνικών δικτύων και δύο συνόλων δεδομένων. Από τα αποτελέσματα φαίνεται ότι τα PyTorch και MXNet είναι πολύ πιο αποδοτικά όταν τρέχουν σε επεξεργαστές Intel λόγω των ειδικά βελτιστοποιημένων τελεστών που χρησιμοποιούν, ενώ το TensorFlow μπορεί να μειώσει το χρόνο φόρτωσης δεδομένων ιδίως σε μικρά δίκτυα κάνοντας χρήση της cache. Ακόμα, γίνεται εντοπισμός αργών υλοποιήσεων μεμονωμένων τελεστών σε όλα τα συστήματα. Το MXNet φαίνεται να υπερέχει ελαφρώς στην ταχύτητα κατανεμημένης επικοινωνίας, παρότι αυτό δεν επηρεάζει ιδιαίτερα το τελικό αποτέλεσμα.