Βαθιά Μηχανική Μάθηση Για Κατηγοριοποίηση Προτάσεων

Abstract

Καθώς το πλήθος των αδόμητων δεδομένων στο διαδίκτυο μεγαλώνει, γίνεται πλέον επιτακτική ανάγκη η εύρεση τρόπων για συστηματική επεξεργασία τους και η εξαγωγή πολύτιμης γνώσης από αυτά. Το αντικείμενο της διπλωματικής εργασίας είναι η ανάπτυξη μοντέλων που μπορούν να εξαγάγουν αναπαραστάσεις από τη φυσική γλώσσα και συγκεκριμένα από τη συντακτική δομή και τη σημασία με σκοπό την επίλυση άλλων υψηλότερων προβλγημάτων όπως είναι η ανάλυση συναισθήματος. Ο σκοπός είναι η ανάπτυξη μια τεχνολογία για επεξεργασία φυσικής γλώσσας που μπορεί να δημιουργήσει αναπαραστάσεις φράσεις και προτάσεις. Επιπλέον, για τη δημιουργία των αναπαραστάσεων το αρχικό κομμάτι κειμένου δεν υπόκειται καμία επεξεργασία και δεν γίνεται κάποια υπόθεση απλοποίησης όπως για παράδειγμα ανεξαρτησία των λέξεων μεταξύ τους, σύνηθες τεχνική για αλγορίθμους επεξεργασίας λέξεων. Συγκεκριμένα, τα αναδρομικά νευρωνικά δίκτυα που αναπτύχθηκαν είναι μια κατηγορία νευρωνικών δικτύων που εφαρμόζονται σε δεδομένα με ιεραρχική δομή, πχ δυαδικά δέντρα. Η προσθήκη πληροφορίας για δομή έχει αποτελέσει καθοριστικό στοιχείο για την καλή απόδοση αυτών των δικτύων ειδικά όταν αυτά εφαρμόζονται πάνω σε προβλήματα φυσικής γλώσσας όπως είναι η ανάλυση συναισθήματος, η συντακτική ανάλυση και η μοντελοποίηση γλώσσας. Η δύναμη τους βρίσκεται στο γεγονός οτι μπορούν να δημιουργήσουν αναπαραστάσεις προτάσεων μέσω της σύνθεσης λεκτικών αναπαραστάσεων, επιτυγχάνοντας με αυτό τον τρόπο τη δημιουργία ενός πολυδιάστατου χώρου που μπορεί να ταξινομηθεί. Στα κεφάλαια παρουσιάζεται η θεωρία και αναπτύσσουμε αρχιτεκτονικές αναδρομικών δικτύων με μνήμες που υπολογίζουν σε μονή (TreeGRU) και διπλή κατεύθυνση (TreeBiGRU) και η εφαρμογή τους πάνω στο πρόβλημα της ανάλυσης συναισθήματος. Επομένω, χρησιμοποιώντας τη συντακτική δομή μιας πρότασης, δημιουργούνται αναπαραστάσεις για τη πρόταση και τις επιμέρους υπο-προτάσεις οι οποίες μετά ταξινο μούνται με βάση το συναίσθημα. Στη σύνεχεια, προτάσσεται ο μηχανισμός προσοχής σε δομή (structural attention mechanism) και εφαρμόζεται πάνω στα δίκτυα που αναπτύχθηκαν. Ο μηχανισμός προσοχής πάνω σε δομή λειτουργεί στο πλαίσιο οτι οι αναπαραστάσεις υπο-προτάσεων δεν έχουν την ίδια βαρύτητα για τη σωστή αναπαράσταση μιας πρότασης. Τέλος, γίνεται ανάλυση διαφόρων παραλλαγών των δικτύων που αναπτύχθηκαν στη διπλωματική καθώς και δικτύων που παρουσιάζονται στη βιβλιογραφία.