Συγκριτική Μελέτη Τεχνικών Αποθήκευσης Ροών Δεδομένων Και Αλγορίθμων Μηχανικής Μάθησης Για Ανάλυση Συναισθημάτων Βασισμένη Σε Κείμενο

Abstract

Αντικείμενο της παρούσας διπλωματικής εργασίας αποτελεί η εξόρυξη και επεξεργασία δεδομένων σε πραγματικό χρόνο με σκοπό την χρήσιμη εξαγωγή συμπερασμάτων για τα συναισθήματα του κοινού για ορισμένα θέματα . Τα δεδομένα τα οποία χρησιμοποιούνται προέρχονται εξ ολοκλήρου από κοινωνικά δίκτυα και συγκεκριμένα το Twitter το οποίο κάνει διαθέσιμο ένα μέρος των δεδομένων που υποβάλλονται στην πλατφόρμα του σε πραγματικό χρόνο. Τα δεδομένα μετά την εξόρυξή τους αποθηκεύονταν προσωρινά σε μια βάση δεδομένων έτσι ώστε να διευκολυνθεί η επεξεργασία τους ανά δέσμη δεδομένων (batch analysis) για τη συναισθηματική τους ανάλυση. Για την επεξεργασία των δεδομένων χρησιμοποιήθηκαν δυο εργαλεία που διευκολύνουν και καθιστούν πολύ αποτελεσματικότερη τη διαχείριση και την επεξεργασία μεγάλου όγκου δεδομένων σε πραγματικό χρόνο : το Apache Storm και το Apache Spark. Tέλος, για την ανάλυση συναισθήματος χρησιμοποιήθηκαν μέθοδοι μηχανικής μάθησης όπως ταξινομητές Naive Bayes, Μηχανές Διανυσματικής Στήριξης καθώς και Λογιστική Παλινδρόμηση (Logistic Regression).