Δημιουργία αντιπαραδειγμάτων και εμπλουτισμός πολυτροπικών συστημάτων μέσω εξωτερικής γνώσης

Abstract

Τα τελευταία χρόνια, τα μοντέλα φυσικής γλώσσας και κατ’ επέκταση τα πολυτροπικά συστήματα έχουν επιδείξει αξιοσημείωτη επιτυχία σε ένα ευρύ φάσμα εργασιών, αξιοποιώντας κοινές αναπαραστάσεις οπτικών και κειμενικών εισόδων. Παρά τα συχνά εντυπωσιακά αποτελέσματα, τα μοντέλα αυτά είναι αδιαφανή, καθιστώντας την ερμηνεία της λήψης αποφάσεων αρκετά ασαφή, ενώ παράλληλα οι δυνατότητές τους σε συγκεκριμένες εργασίες είναι περιορισμένες, οδηγώντας σε περιορισμένη γενίκευση. Οι δύο αυτοί περιορισμοί μπορούν να επιλυθούν με την αξιοποίηση εξωτερικών πηγών γνώσης, οι οποίες παραδοσιακά συμπεριλαμβάνουν γράφους γνώσης, ενώ πιο πρόσφατα βασίζονται σε μεγάλα γλωσσικά μοντέλα. Η παρούσα διατριβή εξετάζει τη συνεισφορά της εξωτερικής γνώσης στην αντιμετώπιση των προαναφερθέντων περιορισμών αξιοποιώντας αντιπαραδείγματα: η αντικατάσταση εννοιών σε κειμενικές περιγραφές με καλά ορισμένο τρόπο δύναται να αποκαλύψει τον τρόπο λήψης αποφάσεων των μοντέλων χωρίς να είναι απαραίτητη η εισχώρηση στο εσωτερικό τους. Συγκεκριμένα, προτείνουμε την εφαρμογή αντιπαραδειγμάτων οδηγούμενων από γράφους γνώσης σε πληθώρα μοντέλων που αφορούν τόσο την ανάκτηση εικόνων από κείμενο, την παραγωγή εικόνων από κείμενο και την παραγωγή κειμενικών περιγραφών από εικόνες. Επιπλέον, η χρήση των μεγάλων γλωσσικών μοντέλων ως βάσεις γνώσης παρέχει εμπλουτισμό της υπάρχουσας γνώσης τους, επιτρέποντάς τους να αποδίδουν σε νέες εργασίες με καλύτερα αποτελέσματα. Στην παρούσα διατριβή επιτελείται ο εμπλουτισμός γνώσης σε πολυτροπικά μοντέλα ανάκτησης εικόνων από κείμενο, αποδεικνύοντας τη λειτουργικότητα της μεθόδου. Τέλος, γίνεται μια ανάλυση των περιορισμών χρήσης των μεγάλων γλωσσικών μοντέλων ως βάσεις γνώσης όσον αφορά τις ικανότητες συλλογιστικής και την εσφαλμένη παραγωγή απαντήσεων.