Τεχνικές Μεταφοράς Μάθησης σε Βαθιά Νευρωνικά Δίκτυα για Ανάλυση Συναισθήματος και Σημασιολογική Μοντελοποίηση

Abstract

Στα πλαίσια αυτής της διατριβής εξετάζουμε το ζήτημα της μη ικανοποιητικής απόδοσης σε προβλήματα ταξινόμησης λόγω της έλλειψης δεδομένων με ετικέτες. Για να επιτύχουμε σημαντικές βελτιώσεις στα συγκεκριμένα προβλήματα ταξινόμησης, αξιοποιούμε προεκπαιδευμένες αναπαραστάσεις και εξερευνούμε μεθόδους μεταφοράς μάθησης, τόσο στη μορφή προεκπαιδευμένων ταξινομητών όσο και προεκπαιδευμένων γλωσσικών μοντέλων. Έπειτα, παρουσιάζουμε μια πιο αποτελεσματική και εξειδικευμένη μορφή μεταφοράς μάθησης, η οποία περιέχει μια βοηθητική συνάρτηση κόστους για το γλωσσικό μοντέλο, ταυτόχρονα με την συνάρτηση κόστους του ταξινομητή. Το ζήτημα αυτό είναι καίριο στην βαθιά μάθηση (deep learning) και έχει ως ένα βαθμό αντιμετωπιστεί πρόσφατα στο πεδίο της Επεξεργασίας Φυσικής Γλώσσας, καθώς τα βαθιά νευρωνικά δίκτυα συνήθως απαιτούν έναν εκτεταμένο αριθμό παραδειγμάτων κατά τη διάρκεια της εκπαίδευσης. Ωστόσο, το να αποκτήσει κανείς πληθώρα δεδομένων για να εκπαιδεύσει ένα τέτοιο νευρωνικό δίκτυο είναι συχνά δαπανηρό και δύσκολο να επιτευχθεί. Αρχικά παρουσιάζουμε μια μέθοδο, κατά την οποία χρησιμοποιούμε ένα προεκπαιδευμένο μοντέλο σε ανάλυση συναισθήματος για να μειώσουμε το σφάλμα πάνω στο σύνολο δεδομένων σε ένα σημασιολογικά παρεμφερές πρόβλημα ταξινόμησης. Η μεταφορά μάθησης από προεκπαιδευμένους ταξινομητές αξιοποιεί την αναπαράσταση που έχει μάθει ένα μοντέλο υπό συνθήκες επιβλεπόμενης μάθησης, σε ένα συγκεκριμένο πρόβλημα με πληθώρα δεδομένων για εκπαίδευση, για να επιτύχει ανταγωνιστικά αποτελέσματα σε ένα παρόμοιο πρόβλημα, όπου μόνο λίγα δεδομένα είναι διαθέσιμα. Έπειτα χρησιμοποιούμε προεκπαιδευμένες αναπαραστάσεις λέξεων από γλωσσικά μοντέλα, για να αντιμετωπίσουμε ένα πρόβλημα κατηγοριοποίησης κειμένου στα βασικά συναισθήματα. Ένας αλγόριθμος μάθησης μπορεί να χρησιμοποιήσει πληροφορίες που απέκτησε επιλύοντας ένα πρόβλημα μη επιβλεπόμενης μάθησης για να έχει καλύτερη απόδοσης στο στάδιο επιβλεπόμενης μάθησης. Συγκεκριμένα, οι προεκπαιδευμένες αναπαραστάσεις λέξεων που μας προσφέρουν τα γλωσσικά μοντέλα είναι χρήσιμες, διότι κωδικοποιούν πληροφορίες σχετικές με το περιεχόμενο και μοντελοποιούν τη σύνταξη αλλά και τη σημασιολογία. Προτείνουμε μια μέθοδο μεταφοράς μάθησης που αποτελείται από τρία βήματα: αρχικά εκπαίδευση ενός γλωσσικού μοντέλου, έπειτα προσαρμογή του μοντέλου στο πρόβλημα (task) που αντιμετωπίζουμε και τέλος μεταφορά του μοντέλου αυτού σε έναν ταξινομητή για να αξιοποιήσουμε αυτές τις αναπαραστάσεις. Αναφέρουμε ότι η μέθοδος μας επιτυγχάνει 10% βελτίωση σχετικά με το βασικό μοντέλο του WASSA 2018. Επιτυγχάνουμε επίσης F1-score ίσο με 70.3%, γεγονός που μας τοποθετεί στην πρώτη τριάδα της κατάταξης του σχετικού διαγωνισμού. Τελικά παρουσιάζουμε ένα εννοιολογικά απλό και αποτελεσματικό μοντέλο μεταφοράς μάθησης, το οποίο αντιμετωπίζει το πρόβλημα του catastrophic forgetting. Συγκεκριμένα, συνδυάζουμε την συνάρτηση βελτιστοποίησης για ένα συγκεκριμένο πρόβλημα με τη βοηθητική συνάρτηση βελτιστοποίησης του γλωσσικού μοντέλου, η οποία προσαρμόζεται κατά τη διαδικασία εκπαίδευσης. Αυτό διαφυλάσσει τη μοντελοποίηση της γλώσσας που έχει μάθει το γλωσσικό μοντέλο, ενώ επιτρέπει ταυτόχρονα αρκετές αλλαγές για να επιλυθεί το εκάστοτε πρόβλημα ταξινόμησης. Η εισαγωγή της βοηθητικής συνάρτησης του γλωσσικού μοντέλου μας επιτρέπει να ελέγχουμε απολύτως τη συνεισφορά του προεκπαιδευμένου μέρους του μοντέλου και να διασφαλίσουμε ότι η γνώση που έχει κωδικοποιήσει θα διατηρηθεί. Η προσέγγισή μας παρουσιάζει εύρωστα αποτελέσματα σε 5 διαφορετικά προβλήματα ταξινόμησης, όπου αναφέρουμε σημαντικές βελτιώσεις σε σχέση με τα βασικά μοντέλα (baselines). Η βελτίωση της απόδοσης είναι πιο φανερή όταν το σετ δεδομένων που έχει χρησιμοποιηθεί στην προεκπαίδευση ανήκει σε διαφορετικό τομέα (domain) απ' ότι το σετ δεδομένων που έχει χρησιμοποιηθεί στην προσαρμογή (fine-tuning). Χαρακτηριστικό παράδειγμα αποτελεί το Sarcasm corpus σετ δεδομένων, μεταξύ άλλων, όπου επιτυγχάνουμε F1-σκορ 75%, μόλις 1% κάτω από το state of the art. Αξιολογούμε το μοντέλο μας σε πληθώρα διαφορετικών προβλημάτων και δείχνουμε ότι η προσέγγισή μας μπορεί να επιτύχει εντυπωσιακά αποτελέσματα ακόμα και με ελάχιστα δεδομένα εκπαίδευσης.