Πολυτροπικές Σημασιολογικές Αναπαραστάσεις Λέξεων Με Βάση Την Ανθρώπινη Αντίληψη

Abstract

Τα Κατανεμημένα Σημασιολογικά Μοντέλα είναι από τις πιο γνωστές υπολογιστικές μεθόδους για την αναπαράσταση της έννοιας των λέξεων, μοντελοποιώντας τα πρότυπα συνεμφάνισης λέξεων σε πηγές κειμένου. Λόγω της δυνατότητας υπολογισμού της σημασιολογικής ομοιότητας μεταξύ λέξεων, εφαρμόζονται με επιτυχία σε πολλά προβλήματα σχετικά με την Επεξεργασία Φυσικής Γλώσσας και την Εξαγωγή και Ανάκτηση Πληροφορίας.Ωστόσο, τα μοντέλα αυτά αδυνατούν να αναπαραστήσουν την έννοια των λέξεων σύμφωνα με την ανθρώπινη αντίληψη, καθώς ο άνθρωπος συνδυάζει την έννοια των λέξεων με τα ερεθίσματα που δέχεται μέσω των αισθήσεών του, όπως για παράδειγμα μέσω της όρασης ή της ακοής. Στόχος αυτής της Διπλωματικής εργασίας είναι η αντιμετώπιση του παραπάνω προβλήματος μέσω της δημιουργίας Πολυτροπικών Κατανεμημένων Σημασιολογικών Μοντέλων.Αρχικά, γίνεται περιγραφή της διαδικασίας για τη δημιουργία Κατανεμημένων Σημασιολογικών Μοντέλων και στη συνέχεια παρουσιάζεται η επέκτασή τους σε πολυτροπικά μοντέλα. Δίνεται έμφαση σε πολυτροπικά μοντέλα ήχου για την αναπαράσταση των λέξεων με βάση τις ακουστικές τους ιδιότητες, ωστόσο πραγματοποιείται συνοπτική περιγραφή και των πολυτροπικών μοντέλων εικόνας. Έπειτα, γίνεται αναφορά σε μεθόδους για την Πολυτροπική Σύμπτυξη, δηλαδή τη σύμπτυξη των μοντέλων που βασίζονται σε χαρακτηριστικά κειμένων, ήχων και εικόνων με σκοπό τη δημιουργία μίας ενιαίας πολυτροπικής αναπαράστασης λέξεων.Σύμφωνα με όσα γνωρίζουμε, η παρούσα εργασία αποτελεί την πρώτη προσπάθεια για τη δημιουργία αναπαραστάσεων λέξεων χρησιμοποιώντας ταυτόχρονα τα κειμενικά, ακουστικά και οπτικά τους χαρακτηριστικά. Μάλιστα, διαπιστώνεται ότι η απόδοση των πολυτροπικών μοντέλων ξεπερνά την απόδοση των παραδοσιακών κατανεμημένων μοντέλων στο πρόβλημα αξιολόγησης της σημασιολογικής ομοιότητας των λέξεων. Επίσης, προτείνονται δύο επεκτάσεις των πολυτροπικών μοντέλων ήχου, η μία εκ των οποίων σχετίζεται με τη χρήση και σύμπτυξη πολλαπλών χώρων χαρακτηριστικών ανάλογα με τη φύση του ήχου. Αυτή η επέκταση οδηγεί σε βελτίωση της απόδοσης στο ίδιο πρόβλημα σε σύγκριση με τα πολυτροπικά μοντέλα ήχου που αναφέρονται στη βιβλιογραφία.Επιπλέον, οι πολυτροπικές αναπαραστάσεις λέξεων αποδεικνύονται χρήσιμες όχι μόνο για την εκτίμηση της ομοιότητας λέξεων αλλά και για την ομοιότητα μεταξύ λέξεων και ήχων, λέξεων και εικόνων κ.ο.κ. Στα πλαίσια αυτής της εργασίας, τα Κατανεμημένα Σημασιολογικά Μοντέλα Ήχου εφαρμόζονται για πρώτη φορά σε δύο προβλήματα του τομέα Ανάκτησης Μουσικής Πληροφορίας: τον αυτόματο χαρακτηρισμό ηχητικών αποσπασμάτων και την αξιολόγηση μουσικής ομοιότητας. Διαπιστώνεται ότι ο προτεινόμενος αλγόριθμος για τον χαρακτηρισμό ήχων προβλέπει αντιπροσωπευτικές λέξεις που περιγράφουν το ηχητικό περιεχόμενο και θα μπορούσαν να αξιοποιηθούν σε περιπτώσεις έλλειψης μεταδεδομένων. Ακόμη, η ταυτόχρονη αξιοποίηση των ακουστικών χαρακτηριστικών και των περιγραφικών λέξεων για την αξιολόγηση της μουσικής ομοιότητας, καθιστά τον προτεινόμενο αλγορίθμο (μη επιβλεπόμενης μάθησης) συγκρίσιμο με τους αλγορίθμους που προτείνονται στη βιβλιογραφία. Η ικανοποιητική απόδοση των πολυτροπικών μοντέλων σε καθένα από τα παραπάνω προβλήματα αποτελεί κίνητρο για την εφαρμογή περισσότερων ιδεών στα πλαίσια μελλοντικής έρευνας.