Μέθοδοι Εξόρυξης Κειμένου Για Ομαδοποίηση Ιδεών

Abstract

Ο σκοπός της διπλωματικής εργασίας ήταν η ανάπτυξη μεθόδων του τομέα της εξόρυξης κειμένου καθώς και της επεξεργασίας φυσικής γλώσσας, προκειμένου να υλοποιηθεί ένα εργαλείο ομαδοποίησης αρχείων κειμένου. Η ανάγκη για την υλοποίηση ενός τέτοιου εργαλείου προέκυψε από την ανάγκη για ομαδοποίηση των ιδεών που εισάγουν οι χρήστες στο IDeM, ένα σύστημα διαχείρισης ιδεών με τη χρήση προγνωστικών αγορών. Το σύστημα της ομαδοποίησης κειμένου υλοποιήθηκε πάνω στον κώδικα του Weka, ενός εργαλείου εξόρυξης γνώσης από δεδομένα ανοιχτού κώδικα, υλοποιημένο σε Java. Στη διαδικασία της ομαδοποίησης, όπως αυτή ορίζεται στις τεχνικές εξόρυξης κειμένου (αναπαράσταση των αρχείων κειμένου, ορισμός μέτρου ομοιότητας, εφαρμογή αλγορίθμου ομαδοποίησης, προσδιορισμός και εκτίμηση του αποτελέσματος), προστέθηκαν λειτουργίες βασισμένες σε μεθόδους της επεξεργασίας φυσικής γλώσσας για τη βελτίωση της αποτελεσματικότητας της ομαδοποίησης: γλωσσική επεξεργασία, αφαίρεση stopwords, εύρεση της ρίζας των λέξεων, επισημείωση των μερών του λόγου, αποσαφήνιση της έννοιας των λέξεων, εύρεση και συγχώνευση συνώνυμων όρων. Το σύστημα που αναπτύχθηκε ενσωματώθηκε στην αρχιτεκτονική του IDeM, ώστε να μπορούν οι χρήστες να εκτελούν την ομαδοποίηση ιδεών ως μία λειτουργία του συστήματος. Επιπλέον, το σύστημα μπορεί να λειτουργήσει και αυτόνομα, γεγονός το οποίο μας βοήθησε στη διεξαγωγή ελέγχων για την αξιολόγηση του συστήματος και τη μέτρηση της ακρίβειας των αποτελεσμάτων ομαδοποίησης, καθώς και τη σύγκρισή τους με άλλες υλοποιήσεις.