Μελέτη επίδρασης της χρήσης κατανεμημένων συστημάτων γενικού σκοπού στην εκπαίδευση νευρωνικών δικτύων σε υπολογιστικό νέφος

Abstract

Ο τομέας της βαθιάς μηχανικής μάθησης επεκτείνεται συνεχώς και ολοένα και αυξάνει τις εφαρμογές του, συμπεριλαμβανομένης και της κατηγοριοποίησης εικόνων. Για τον σκοπό αυτό αναπτύσσονται διαρκώς όλο και πιο πολύπλοκα νευρωνικά δίκτυα και αξιοποιούνται διάφορες τεχνικές προκειμένου να επιτευχθεί η επιθυμητή ακρίβεια στο μοντέλο. Όσο, όμως, αυξάνεται η πολυπλοκότητα των νευρωνικών δικτύων αλλά και ο όγκος των δεδομένων εκπαίδευσης, μεγαλώνει και η ανάγκη προς την κατανεμημένη εκπαίδευση νευρωνικών δικτύων προκειμένου να διαμοιραστεί ο φόρτος υπολογισμών και να επιτευχθεί υψηλότερη απόδοση και ταχύτητα. Στην παρούσα διπλωματική εργασία μελετώνται δύο δομές που υλοποιούν κατανεμημένη εκπαίδευση σε σύμπλεγμα (cluster) μηχανημάτων και αναλύονται εις βάθος προκειμένου να βρεθούν πλεονεκτήματα και μειονεκτήματα. Δίνεται βάση στο κατά πόσο ωφελεί ο συνδυασμός ενός κατανεμημένου συστήματος γενικού σκοπού με ένα ειδικό σύστημα βαθιάς μηχανικής μάθησης. Συνολικά γίνονται δύο πειράματα πάνω σε δύο διαφορετικά σύνολα εκπαίδευσης και νευρωνικά δίκτυα. Τα αποτελέσματα έδειξαν ότι συνολικά το κατανεμημένο TensorFlow είναι από μόνο του αποδοτικότερο και ταχύτερο απ’ ότι το Spark σε συνδυασμό με την βιβλιοθήκη Keras του TensorFlow, χάρη στην ικανότητα ταχύτερης διαχείρισης και προετοιμασίας των επιμέρους μικρό-ομάδων σε κάθε βήμα εκπαίδευσης, κομμάτι στο οποίο το TensorFlow αποδείχθηκε ακόμα και 164Χ ταχύτερο. Παρ’ όλα αυτά φάνηκε ότι η χρήση του Horovod για αυτήν την σύνδεση, προσέφερε σημαντική βελτίωση στην συλλογή και υπολογισμό των επιμέρους δεδομένων του κάθε μηχανήματος πάνω στην διαδικασία της εκπαίδευσης και αποδείχθηκε έως και 23Χ ταχύτερο.