Μελέτη Μεθόδων Βελτιστοποίησης και Αξιολόγηση Συμβατότητας Μοντέλων Μετασχηματιστών σε Κινητές Συσκευές

Abstract

Τα μοντέλα Βαθιάς Μάθησης χρησιμοποιούνται πλέον σε πληθώρα εφαρμογών σε κάθε τομέα και γίνονται όλο και πιο διαδεδομένα με την πάροδο του χρόνου. Έτσι έχει δημιουργηθεί η ανάγκη να μπορούν τα μοντέλα αυτά να εκτελεστούν τοπικά σε φορητές κινητές συσκευές, ώστε να αποφεύγεται η μεταφορά των δεδομένων σε απομακρυσμένους εξυπηρετητές, γεγονός που αυξάνει την καθυστέρηση και εγείρει κινδύνους ασφαλείας. Τα σύγχρονα μοντέλα όμως χαρακτηρίζονται από μεγάλο μέγεθος και από υπολογιστική περιπλοκότητα, επομένως αποτελεί πρόκληση το να μπορούν να ενσωματωθούν αποτελεσματικά σε κινητές συσκευές, των οποίων οι δυνατότητες είναι περιορισμένες. Σκοπός της παρούσας διπλωματικής εργασίας είναι η μελέτη της τρέχουσας κατάστασης γύρω από την εκτέλεση μοντέλων Μετασχηματιστών σε κινητές συσκευές και η αξιολόγηση μεθόδων βελτιστοποίησης, για την μείωση του χώρου που απαιτείται για την αποθήκευση, του χρόνου εκτέλεσης και για τη συμβατότητα με τους διαθέσιμους επιταχυντές. Για τις ανάγκες των πειραμάτων που πραγματοποιήθηκαν, εκπαιδεύτηκε ένας αριθμός από μοντέλα Μετασχηματιστών, ειδικευμένων στην Επεξεργασία Φυσικής Γλώσσας για να επιλύσουν το πρόβλημα της Ανάλυσης Συναισθήματος. Εφαρμόστηκαν αντικαταστάσεις και μέθοδοι βελτιστοποίησης, και ελήφθησαν μετρήσεις σχετικά με τον χρόνο και την ακρίβεια για τα αρχικά και τα τροποποιημένα μοντέλα. Από τις μετρήσεις αυτές, προέκυψε το συμπέρασμα ότι με την αντικατάσταση της συνάρτησης ενεργοποίησης και της μεθόδου Κανονικοποίησης των μοντέλων με απλούστερες, επιτυγχάνεται σημαντική επιτάχυνση του χρόνου εκτέλεσης διατηρώντας ή και βελτιώνοντας την ακρίβεια των αρχικών μοντέλων για τη CPU και τη GPU, ενώ δοκιμάστηκε η διατήρηση του Πολλαπλασιασμού Πινάκων ανά Παρτίδα με ανάμεικτα αποτελέσματα. Οι παρατηρήσεις αυτές θέτουν ένα πλαίσιο για εύκολη βελτιστοποίηση μοντέλων Βαθιάς Μάθησης που μπορεί να επεκταθεί με περαιτέρω έρευνα σε επίπεδο υλικού και μοντέλων.