Συγκριτική Μελέτη Τεχνικών και Αλγορίθμων για Σύνολα Δεδομένων Συζητήσεων

Abstract

Η ραγδαία τεχνολογική ανάπτυξη που βιώνει η ανθρωπότητα τα τελευταία χρόνια συνεχίζεται χωρίς σταματημό. Καθώς η συλλογή δεδομένων καθημερινά έγινε τόσο απλή, ο όγκος των δεδομένων (Big Data) αυξάνεται συνεχώς. Συγκεκριμένα μεγάλο πρόβλημα παρουσιάζεται στο τομέα των αυτοματοποιημένων συστημάτων συζήτησης (όπως τα chatbots και οι βοηθοί συνομιλίας) όπου χρειάζονται σύνολα δεδομένων με τα οποία θα μπορούν να εκπαιδευτούν προκειμένου να ανταποκρίνονται στα ερωτήματα των χρηστών όσο το δυνατόν καλύτερα. Ο όγκος της διαθέσιμης πληροφορίας, καθώς και η ποικιλομορφία της δημιουργούν πολλά προβλήματα στην αναγνώριση του κατάλληλου συνόλου δεδομένων που πρέπει να χρησιμοποιηθεί από ένα τέτοιο σύστημα. Όπως είναι άλλωστε γνωστό, τα συστήματα τεχνικής νοημοσύνης βασίζονται στον μεγάλο όγκο δεδομένων για την εκπαίδευση τους, παρόλο αυτό δεν εφαρμόζεται κανένας ποιοτικός έλεγχος με αποτέλεσμα να επηρεάζονται πολύ εύκολα από λάθος δεδομένα και θόρυβο. Πλέον δίνεται ιδιαίτερη σημασία στην εξασφάλιση υψηλής ποιότητας δεδομένων για την εκπαίδευση αυτών των συστημάτων, ως αποτέλεσμα κρίνεται απαραίτητη η χρήση μεθόδων για την επεξεργασία των δεδομένων με απώτερο σκοπό την ποιοτικότερη επεξεργασία και την απομάκρυνση οποιασδήποτε μορφής θορύβου όπως επίσης και την ανάπτυξη αποδοτικότερων συστημάτων συζήτησης. Στην παρούσα διπλωματική εργασία, γίνεται μία σύγκριση διαφορετικών τέτοιων τεχνικών και αλγορίθμων με την χρήση συνόλου δεδομένων συζητήσεων.