Κατανεμημένη Αποθήκευση Και Δεικτοδότηση Πληροφοριών Κοινωνικών Δικτύων

Abstract

Τα τελευταία χρόνια έχει σημειωθεί μια έκρηξη δεδομένων στο Internet. Στην έκρηξη αυτή σημαντικό ρόλο παίζουν τα κοινωνικά δίκτυα, τα οποία κερδίζουν συνεχώς όλο και περισσότερους χρήστες. Ένα από τα πλέον γνωστά κοινωνικά δίκτυα είναι το Twitter. Τα δεδομένα, που υπάρχουν στο Twitter, αποτελούν σημαντική πηγή πληροφοριών, που για να αξιοποιηθεί όμως, θα πρέπει πρώτα να οργανωθεί με κάποιο αποτελεσματικό τρόπο.Ο όγκος των δεδομένων που υπάρχουν στο Twitter, αλλά και ο ρυθμός με τον οποίον παράγονται καθιστά τη διαχείρισή τους ιδιαίτερα προκλητική κι ενδιαφέρουσα. Σκοπός της παρούσας διπλωματικής είναι η ανάπτυξη εφαρμογής που θα διαχειρίζεται τα δεδομένα του Twitter σε πραγματικό χρόνο με τη χρήση κατανεμημένων τεχνικών. Η λογική που ακολουθείται στην εφαρμογή μας είναι η εξής. Αρχικά γίνεται συλλογή δεδομένων από το Twitter σε πραγματικό χρόνο. Στη συνέχεια τα δεδομένα αυτά αναλύονται με NLP εργαλεία για την εξαγωγή πληροφοριών σχετικών με τις γραμματικές και συντακτικές ιδιότητες των tweets. Οι πληροφορίες που εξάγονται από την ανάλυση χρησιμοποιούνται μαζί με αυτές που προσφέρει το Twitter API, για την δεικτοδότηση των δεδομένων. Αφού δεικτοδοτηθούν τα δεδομένα αποθηκεύονται σε μια κατανεμημένη βάση δεδομένων. Με τον τρόπο αυτό δημιουργείται μια υπηρεσία έξυπνης αναζήτησης.Η εφαρμογή αναπτύχθηκε σε περιβάλλον Cloud και συγκεκριμένα στο Google App Engine, την κατανεμημένη πλατφόρμα της Google. Με τη χρήση του App Engine, η εφαρμογή εκμεταλλεύεται όλα τα πλεονεκτήματα του Cloud Computing όπως η ανοχή σε σφάλματα, η διαθεσιμότητα και κυρίως η κλιμακωσιμότητα του συστήματος, στοιχείο ιδιαίτερα σημαντικό για μια εφαρμογή διαχείρισης δεδομένων, αφού απαιτείται να ανταποκρίνεται σε αυξανόμενο όγκο δεδομένων. Επιπλέον, το Google App Engine επιτρέπει τη διάθεση της αναπτυχθείσας εφαρμογής ως υπηρεσίας ιστού.Μελετώντας χαρακτηριστικά σενάρια χρήσης αποδεικνύεται ότι η υπηρεσία αυτή που δημιουργήσαμε προσφέρει όντως μια πιο έξυπνη αναζήτηση από αυτήν του Advanced Twitter Search, καθώς τα αποτελέσματα που επιστρέφει βρίσκονται εννοιολογικά πιο κοντά σε αυτό που αναζητούν κάθε φορά οι χρήστες της εφαρμογής μας.