Αξιολόγηση Εφαρμογών Πολλαπλών Πρακτόρων με Μεγάλα Γλωσσικά Μοντέλα

Abstract

Τα τελευταία χρόνια, η εξέλιξη των Μεγάλων Γλωσσικών Μοντέλων (Large Language Models: LLMs) οδήγησε στη δημιουργία σύνθετων Πολυπρακτορικών Συστημάτων (Multi Agent Systems: MAS), όπου πράκτορες με πυρήνα τα LLMs συνεργάζονται για την επίτευξη ενός κοινού στόχου. Τα συστήματα αυτά αξιοποιούν τα πλεονεκτήματα των LLMs, επεκτείνοντάς τα με δυνατότητες όπως η μνήμη, ο προγραμματισμός, η χρήση εργαλείων και η επικοινωνία με άλλους πράκτορες και τον πραγματικό κόσμο. Ωστόσο, η συνεχώς αυξανόμενη πολυπλοκότητα αυτών των συστημάτων καθιστά την κατασκευή και τη συστηματική τους αξιολόγηση ιδιαίτερα απαιτητική. Η παρούσα διπλωματική εργασία προτείνει και εφαρμόζει μια συστηματική μεθοδολογία αξιολόγησης τέτοιων πολυπρακτορικών εφαρμογών που στηρίζεται στην ανάλυσή τους σε τρία επίπεδα: μοντέλο, πράκτορας, σύστημα. Η προσέγγισή μας είναι επαναληπτική, αναδεικνύοντας τη σημασία της διασταυρωμένης αξιολόγησης μεταξύ των επιπέδων και οδηγώντας έτσι σε μια πιο ολιστική αποτίμηση του συστήματος. Για την ανάδειξη της πρακτικής της αξίας, η μεθοδολογία μας εφαρμόζεται στην κατασκευή και αξιολόγηση δύο παραδειγμάτων: ενός “Question Answering Assistant” και ενός “Reading Assistant”.