Ανάλυση Και Οπτικοποίηση Δεδομένων Από Μέσα Κοινωνικής Δικτύωσης

Abstract

Οι πλατφόρμες μικρο-ιστολογίου έχουν γίνει στις μέρες μας ένα πολύ δημοφιλές εργαλείο επικοινωνίας μεταξύ των χρηστών του Διαδικτύου. Εκατομμύρια χρήστες μοιράζονται τις απόψεις τους πάνω σε θέματα της καθημερινότητας και συνεπώς οι ιστοσελίδες αυτές κατακλύζονται από πληθώρα δεδομένων. Μια από τις δημοφιλέστερες πλατφόρμες αυτού του τύπου είναι η ιστοσελίδα κοινωνικής δικτύωσης Twitter. Τα δεδομένα που υπάρχουν στο Twitter αποτελούν σημαντική πηγή πληροφοριών, που για να αξιοποιηθούν όμως πρέπει πρώτα να οργανωθούν και να αναλυθούν με κάποιο αποτελεσματικό τρόπο.Ο όγκος των δεδομένων που υπάρχουν στο Twitter, καθώς και ο ρυθμός που αυτά παράγονται καθιστά την διαχείριση τους μια σημαντική πρόκληση. Η ακριβής γεωγραφική θέση δημιουργίας ενός τιτιβίσματος μπορεί πλέον να προσδιοριστεί αυτόματα με την βοήθεια τεχνολογιών όπως WiFi ή GPS που τα σύγχρονα κινητά τηλέφωνα παρέχουν. Σκοπός της παρούσας διπλωματικής είναι η ανάπτυξη μιας διαδικτυακής εφαρμογής που θα διαχειρίζεται τα δεδομένα του Twitter σε πραγματικό χρόνο, δίνοντας έμφαση τόσο στην γεωγραφική πληροφορία που συνοδεύει αυτά τα δεδομένα, όσο και στην εξαγωγή γλωσσικού περιεχομένου (συναίσθημα, hashtags, URLs) από αυτά.Για την συλλογή των δεδομένων πραγματικού χρόνου αξιοποιήσαμε τις δυνατότητες που μας δίνει η εξαιρετικά οργανωμένη και λειτουργική διεπαφή προγραμματισμού εφαρμογών (API) του Twitter. Στη συνέχεια, αναλύσαμε τα δεδομένα αυτά με ένα εργαλείο επεξεργασίας φυσικής γλώσσας, το AlchemyAPI, προκειμένου να κάνουμε ανάλυση συναισθημάτων (Sentiment Analysis) στο κείμενο των τιτιβισμάτων. Οι πληροφορίες που εξάγονται από την ανάλυση, μαζί με αυτές που προσφέρει η διεπαφή του Twitter, αποθηκεύονται σε μια βάση δεδομένων. Ως βάση δεδομένων χρησιμοποιήσαμε την μη σχεσιακή βάση δεδομένων γράφου Neo4j, καθώς ο τρόπος που αποθηκεύει και ανασύρει τα δεδομένα ταιριάζει στον έντονα δομημένο γύρω από τις σχέσεις τομέα των κοινωνικών δικτύων.Για την ανάπτυξη της εφαρμογής μας χρησιμοποιήσαμε την πλατφόρμα Node.js. Το Node.js χρησιμοποιεί την Javascript στην πλευρά του εξυπηρετητή, για την δημιουργία γρήγορων και με υψηλά επίπεδα κλιμάκωσης εφαρμογών. Τα υψηλά επίπεδα κλιμάκωσης, είναι ιδιαίτερα σημαντικό στοιχείο για μια εφαρμογή διαχείρισης δεδομένων, αφού αυτή απαιτείται να ανταποκρίνεται σε μεγάλο όγκο δεδομένων. Στην πλευρά του εξυπηρετούμενου χρησιμοποιήσαμε ένα σύνολο γνωστών διαδικτυακών τεχνολογιών (HTML, CSS, Javascript, JQuery) και βιβλιοθηκών (OpenLayers, Sigma, Raphel), προκειμένου να εμφανίσουμε τα αποτελέσματα στον χρήστη.