Εξόρυξη Δεδομένων Από Το Twitter Και Εφαρμογή Αλγορίθμων Μη-επιβλεπόμενης Μηχανικής Μάθησης Για Συσταδοποίηση Κειμένων

Abstract

Στη σημερινή εποχή, το ποσοστό των Χρηστών κοινωνικών δικτύων που εκμεταλλεύονται την ευκαιρία που τους δίνεται από αυτά να εκφράσουν την άποψη τους πάνω σε ένα συγκεκριμένο Θέμα αυξάνεται καθημερινά. Αντικείμενο μελέτης αυτής της διπλωματικής εργασίας είναι η συσχέτιση απόψεων διαφόρων Χρηστών πάνω σε Θέματα της επικαιρότητας. Τα Θέματα αυτά μπορεί να αναφέρονται σε πολιτική, οικονομικά, αθλητισμό, στα μέσα μαζικής ενημέρωσης κλπ. Το κοινωνικό δίκτυο ενδιαφέροντος για αυτή την έρευνα είναι το Twitter. Για την συλλογή των δεδομένων έγινε χρήση των δυνατοτήτων του προγραμματιστικού περιβάλλοντος Twitter API και για την αποθήκευση τους η Μη-Σχεσιακή βάση δεδομένων τύπου γράφου, Neo4j. Ακολούθως πετύχαμε αυτόματη Μοντελοποίηση των δεδομένων σε Θέματα με χρήση των αλγορίθμων μη-επιβλεπόμενης μηχανικής μάθησης, Latent Dirichlet Allocation (LDA) και K-Means. Για την επίτευξη του παραπάνω χρησιμοποιήσαμε Απλό Κείμενο, Επισημασμένα Ονόματα Χρηστών του Twitter και Hashtags. Τα αποτελέσματα της μελέτης μπορούν να ερμηνευτούν εύκολα μέσω της οπτικοποίησης τους σε διάγραμμα διασποράς. Το σύστημα έχει αναπτυχθεί κατά μεγάλο βαθμό με τη γλώσσα προγραμματισμουύ Python και τις ποικίλες βιβλιοθήκες που αυτή προσφέρει. Τέλος, η οπτικοποίηση των αποτελεσμάτων των παραπάνω αλγορίθμων καθώς και η δυνατότητα εφαρμογής τεχνικών ανάλυσης πάνω στα δεδομένα μας, προσφέρονται στο χρήστη μέσω Web Εφαρμογής που δημιουργήθηκε με το πλαίσιο Flask.