Υλοποίηση Ιεραρχικής Ομαδοποίησης Χρησιμοποιώντας Μαρκοβιανές Τεχνικές

Abstract

Η τεράστια αύξηση που σημειώνεται καθημερινά στον όγκο της πληροφορίας που υπάρχει διαθέσιμη σε ηλεκτρονική μορφή στο Διαδίκτυο, σε ψηφιακές βιβλιοθήκες, σε βάσεις δεδομένων κλπ. σε όλο τον κόσμο καθιστά αναγκαία την ανάπτυξη και χρησιμοποίηση αυτοματοποιημένων και όσο το δυνατόν πιο «έξυπνων» τεχνικών και αλγορίθμων για την αναζήτηση και γενικά τη διαχείρηση και εκμετάλλευση αυτής της πληροφορίας.Η εργασία είναι χωρισμένη σε 5 ενότητες. Στο 1ο μέρος γίνεται μία εισαγωγή στο χώρο της εξόρυξης δεδομένων. Βλέπουμε τι σημαίνει ο όρος εξόρυξη δεδομένων, πού βρίσκει εφαρμογές, με ποια άλλα επιστημονικά πεδία συνδέεται και παρουσιάζουμε συνοπτικά κάποιες βασικές έννοιες και τεχνικές που συναντά κανείς στο χώρο αυτό.Το 2ο μέρος αναφέρεται στο πρόβλημα της ομαδοποίησης και ταξινόμησης αντικειμένων. Συγκεκριμένα μελετάμε τους τύπους δεδομένων που μπορεί να συναντήσει κανείς, μερικές από τις πιο βασικές και συνηθισμένες μετρικές που χρησιμοποιούνται για τον προσδιορισμό της απόστασης μεταξύ αντικειμένων και τέλος τις κυριότερες κατηγορίες αλγορίθμων ομαδοποίησης.Το 3ο μέρος αποτελεί μία εισαγωγή στις Μαρκοβιανές αλυσίδες. Περιγράφουμε τα βασικά χαρακτηριστικά και τις ιδιότητες των Μαρκοβιανών αλυσίδων, ώστε να δούμε στη συνέχεια με ποιο τρόπο θα μπορούσαν να χρησιμοποιηθούν στο πρόβλημα της ομαδοποίησης και ταξινόμησης αντικειμένων.Στο 4ο μέρος παρουσιάζεται το πρόβλημα της κατηγοριοποίησης κειμένων. Γίνεται μία σύντομη αναφορά σε τεχνικές που έχουν χρησιμοποιηθεί στο πρόβλημα αυτό και κατόπιν μελετάμε τον τρόπο αναπαράστασης και προσδιορισμού της απόστασης μεταξύ κειμένων, χρησιμοποιώντας και ιδιότητες των Μαρκοβιανών αλυσίδων. Τέλος παρουσιάζουμε μία εφαρμογή που υλοποιεί αυτές τις τεχνικές, καθώς και τα αποτελέσματα που προέκυψαν από την εφαρμογή της σε ένα δοκιμαστικό σύνολο κειμένων.