Υλοποίηση Chatbot με Χρήση Large Language Models

Abstract

Τα συστήματα chatbot έχουν ολοένα και αυξανόμενο αντίκτυπο στην κοινωνία, απλοποιώντας σημαντικά πληθώρα εργασιών και παρέχοντας βελτιωμένη εμπειρία χρήστη για τις υπηρεσίες και τις ιστοσελίδες στις οποίες ενσωματώνονται. Τα σύγχρονα chatbot αξιοποιούν αλγορίθμους μηχανικής μάθησης και επεξεργασίας φυσικής γλώσσας, πετυχαίνοντας ισχυρές επιδόσεις. Το Εργαστήριο Συστημάτων Υποστήριξης Αποφάσεων και Διοίκησης του Εθνικού Μετσόβιου Πολυτεχνείου συμμετέχει σε διάφορα ερευνητικά έργα, από τα οποία έχει προκύψει ένα σημαντικό πλήθος εγγράφων που περιέχουν πληροφορίες σχετικές με τα έργα αυτά. Σκοπός της παρούσας διπλωματικής εργασίας είναι η ανάπτυξη ενός συστήματος chatbot, το οποίο θα επιτρέψει την διευκόλυνση της αναζήτησης πληροφορίας για το σύνολο των παραπάνω εγγράφων. Χρησιμοποιώντας το chatbot αυτό, οι χρήστες του θα μπορούν να μάθουν ποιος εργάστηκε σε συγκεκριμένα τμήματα των έργων καθώς και πως πραγματοποιήθηκε η εκάστοτε εργασία πολύ πιο εύκολα και γρήγορα. Το σύστημα chatbot που προτείνεται ακολουθεί το μοτίβο σχεδίασης RAG. Πιο συγκεκριμένα, το chatbot αποτελείται από ένα τμήμα παραγωγής απάντησης το οποίο επιτρέπει την αξιοποίηση των υψηλών δυνατοτήτων ενός μεγάλου γλωσσικού μοντέλου και από ένα τμήμα ανάκτησης πληροφορίας που παρέχει στο τμήμα παραγωγής απάντησης δεδομένα σχετικά με το εκάστοτε ερώτημα. Το τμήμα ανάκτησης αξιοποιεί μοντέλα μηχανικής μάθησης και μια διανυσματική βάση, προκειμένου να αποθηκεύσει κατάλληλα την υπάρχουσα πληροφορία και να είναι σε θέση να ανακτήσει σχετικά με τα ερωτήματα τμήματα πληροφορίας, πραγματοποιώντας τεχνικές σύγκρισης ομοιότητας. Αξιοποιώντας τα δύο παραπάνω τμήματα, το τελικό σύστημα είναι ικανό να προσφέρει σχετικές και ορθές απαντήσεις στον χρήστη του. Στα πλαίσια της παρούσας εργασίας, διερευνήθηκαν τρόποι με τους οποίους μπορεί να γίνει η όσο το δυνατόν ορθότερη εξαγωγή της πληροφορίας που περιέχεται στα έγγραφα που αποτελούν το σύνολο δεδομένων μας. Πραγματοποιήθηκαν επίσης πειράματα αξιολόγησης του τμήματος ανάκτησης του chatbot μας αλλά και του συνολικού συστήματος chatbot, όπου χρησιμοποιήθηκαν κατάλληλες μετρικές για κάθε περίπτωση αξιολόγησης. Παρουσιάζονται επιπλέον τα αποτελέσματα των πειραμάτων αξιολόγησης και σχετικές παρατηρήσεις. Τέλος, παρατίθενται τα συμπεράσματα σχετικά με τις δυνατότητες και τους περιορισμούς του προτεινόμενου συστήματος chatbot, καθώς και τρόποι με τους οποίους εκείνο μπορεί πιθανά να επεκταθεί στο μέλλον.