Please use this identifier to cite or link to this item: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17992
Title: Συγκριτική Αξιολόγηση Κατανεμημένων Συστημάτων Βαθιάς Μηχανικής Μάθησης σε Περιβάλλον Υπολογιστικού Νέφους
Authors: Κρίσιλιας, Ανδρέας
Κοζύρης Νεκτάριος
Keywords: TensorFlow
PyTorch
MXNet
βαθιά μηχανική μάθηση
κατανεμημένα συστήματα
συνελικτικά νευρωνικά δίκτυα
Issue Date: 8-Jul-2021
Abstract: Η δημοτικότητα της βαθιάς μηχανικής μάθησης έχει εκτοξευτεί την τελευταία δεκαετία κυρίως σε εφαρμογές επεξεργασίας ήχου, εικόνας ή φυσικής γλώσσας. Σε συνδυασμό με τον ολοένα αυξανόμενο όγκο των δεδομένων έχει γίνει επιτακτική ανάγκη η εκπαίδευση νευρωνικών δικτύων με κατανεμημένο τρόπο από ομάδες (clusters) υπολογιστικών πόρων. Παράλληλα, έχουν εκδοθεί πολλαπλές βιβλιοθήκες/συστήματα για την διευκόλυνση υλοποίησης και εκπαίδευσης βαθιών νευρωνικών δικτύων. Θα ήταν χρήσιμο, συνεπώς, για τον χρήστη να μπορεί να διακρίνει τις διαφορές μεταξύ των διαφορετικών συστημάτων τόσο σε απόδοση όσο και σε ευχρηστία, ώστε να μπορεί να διαλέξει το κατάλληλο σύμφωνα με τις δικές του ανάγκες. Στην παρούσα εργασία εξετάζονται τρία από τα πιο διάσημα συστήματα βαθιάς μηχανικής μάθησης που υποστηρίζουν εκπαίδευση σε κατανεμημένο περιβάλλον, τα TensorFlow, PyTorch και MXNet. Αξιολογούνται συγκριτικά πάνω σε cluster τριών μηχανημάτων αποτελούμενα από επεξεργαστές Intel. Τα πειράματα απαρτίζονται από έξι συνδυασμούς μεταξύ τεσσάρων διαφορετικών νευρωνικών δικτύων και δύο συνόλων δεδομένων. Από τα αποτελέσματα φαίνεται ότι τα PyTorch και MXNet είναι πολύ πιο αποδοτικά όταν τρέχουν σε επεξεργαστές Intel λόγω των ειδικά βελτιστοποιημένων τελεστών που χρησιμοποιούν, ενώ το TensorFlow μπορεί να μειώσει το χρόνο φόρτωσης δεδομένων ιδίως σε μικρά δίκτυα κάνοντας χρήση της cache. Ακόμα, γίνεται εντοπισμός αργών υλοποιήσεων μεμονωμένων τελεστών σε όλα τα συστήματα. Το MXNet φαίνεται να υπερέχει ελαφρώς στην ταχύτητα κατανεμημένης επικοινωνίας, παρότι αυτό δεν επηρεάζει ιδιαίτερα το τελικό αποτέλεσμα.
URI: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17992
Appears in Collections:Διπλωματικές Εργασίες - Theses

Files in This Item:
File Description SizeFormat 
thesis_akrisilias.pdf15.21 MBAdobe PDFView/Open


Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.