Ανάπτυξη Μηχανής Αναζήτησης Γραπτής Πληροφορίας Βασισμένης Σε Τεχνολογίες Clustering Και Προηγμένης Γλωσσικής Επεξεργασίας

Abstract

Ο Παγκόσμιος Ιστός έχει εξελιχθεί σε μια αποθήκη δεδομένων περιλαμβάνουσα έναν τεράστιο όγκο γραπτής πληροφορίας. Ως εκ τούτου καθίσταται επιτακτική η ανάγκη ανάπτυξης νέων μεθοδολογιών ανάκτησης κειμένων, που να χρησιμοποιούν εύκαμπτες μεθόδους θεματικού εντοπισμού της κατάλληλης απόκρισης στην εκάστοτε ερώτηση του χρήστη ώστε να επιτυγχάνουμε ανάκληση μεγαλύτερου, από ότι με τις σημερινές τεχνολογίες, ποσοστού της υπαρχούσης σχετικής με το ερώτημα του χρήστη πληροφορίας, χωρίς ταυτόχρονη αύξηση του ποσοστού των επιστρεφομένων μη σχετικών αποτελεσμάτων. Επιπλέον, ο τεράστιος όγκος των πληροφοριών επιβάλλει την παρουσίασή τους στον χρήστη ταξινομημένων σε ομάδες παρεμφερούς θεματικά περιεχομένου για ευκολότερη πλοήγηση μεταξύ των αποτελεσμάτων και συνεπώς ευκολότερο εντοπισμό εκείνων που πραγματικά τον ενδιαφέρουν.Ο σκοπός της διπλωματικής αυτής εργασίας ήταν η ανάπτυξη μιας νέας μεθοδολογίας-συστήματος που να επιτυγχάνει τους ως άνωθι στόχους. Ειδικότερα, το προτεινόμενο σύστημα χρησιμοποιεί τον αλγόριθμο "star clustering algorithm" [1] για την θεματική ταξινόμηση των συλλεχθέντων κειμένων στη βάση δεδομένων του συστήματός μας, έναν πρωτότυπο αλγόριθμο γλωσσικής επεξεργασίας των κειμένων στοχεύοντα στην πιο αποτελεσματική τους αναπαράσταση κατά την ομαδοποίηση τους και κατά την επεξεργασία των ερωτήσεων του χρήστη και έναν πρωτότυπο αλγόριθμο προσδιορισμού των κειμένων που αποκρίνονται στην είσοδο του χρήστη, βασιζόμενο στα χαρακτηριστικά των θεματικών ομάδων όπου κατενεμήθησαν τα διαθέσιμα κείμενα ως περιγράφεται ανωτέρω και σε μια ειδική γλωσσική επεξεργασία.Το αναπτυχθέν σύστημα δοκιμάστηκε με χρήση της συλλογής κειμένων "REUTERS-2157". Τα αποτελέσματα έδειξαν ότι πράγματι οι στόχοι του επιτυγχάνονται προσφέροντας έναν νέο, απλό αλλά ταυτόχρονα πολύ αποτελεσματικό IR αλγόριθμο.