Υλοποίηση Αρχιτεκτονικής Ανάλυσης Ροών Δεδομένων Σε Πραγματικό Χρόνο Με Υποστήριξη Μεθόδων Αποθήκευσης Στοιχείων Και Εξόρυξης Πληροφορίας

Abstract

Την σημερινή εποχή του Διαδικτύου και της πληροφορίας η παραγωγή δεδομένων είναι πιο μεγάλη από ποτέ και θα συνεχίζει να αυξάνεται με εκθετικούς ρυθμούς. Οι αλλαγές αυτές έχουν δημιουργήσει τον δημοφιλή όρο «Big Data», για την περιγραφή αυτών των μεγάλων ποσοτήτων πληροφορίας. Ένα πολύ σημαντικό χαρακτηριστικό αυτών των δεδομένων είναι η ταχύτητα με την οποία παράγονται καθώς και το γεγονός ότι υπάρχουν πια πολλές πηγές πληροφορίας που δεν υπήρχαν στο κοντινό παρελθόν όπως για παράδειγμα τα μέσα κοινωνικής δικτύωσης. Κάθε επιχείρηση, οργανισμός αλλά και κάθε ξεχωριστός άνθρωπος αποτελεί μία πηγή αναπαραγωγής δεδομένων. Η ανάλυση αυτών των πληροφοριών είναι κρίσιμη και απαιτεί ιδιαίτερη τεχνογνωσία, πράγμα που οδηγεί τους οργανισμούς να αναθέτουν συχνά την εργασία αυτή σε τρίτους (Outsourcing). Tα τελευταία χρόνια γίνεται λόγος για επεξεργασία σε πραγματικό χρόνο, δηλαδή την ώρα παραγωγής της πληροφορίας. Με αυτό τον τρόπο μπορούν να εξάγονται συμπεράσματα όσο το δυνατόν πιο γρήγορα και οι οργανισμοί μπορούν να προβλέψουν γεγονότα ή να έχουν ανταγωνιστικό πλεονέκτημα. Γι’ αυτό στην παρούσα εργασία καλούμαστε να σχεδιάσουμε μία αρχιτεκτονική για την ανάλυση ροών δεδομένων σε πραγματικό χρόνο που όμως ταυτόχρονα θα προσφέρει και δυνατότητες αποθήκευσης στοιχείων καθώς και επεξεργασία σε παρτίδες. Οπότε, θα μελετήσουμε τεχνολογίες που αφορούν την επεξεργασία ροών πληροφορίας, όπως η Apache Kafka, καθώς και άλλες τεχνολογίες που ειδικεύονται στην επεξεργασία και αποθήκευση Big Data, όπως η Apache HBase και το Apache Spark. Στη πορεία θα φτιάξουμε και θα επεξηγήσουμε στοιχεία της αρχιτεκτονικής που θα συνδέει αυτά τα εργαλεία δημιουργώντας έτσι το τελικό σύστημα. Θα αναλύσουμε επίσης ορισμένα χαρακτηριστικά που αφορούν το σενάριο χρήσης που επιλέξαμε για την πειραματική αξιολόγηση της πλατφόρμας. Στο τέλος θα προσομοιώσουμε κάποιες ροές δεδομένων για να ελέγξουμε πώς δουλεύει το σύστημα και για να πάρουμε μετρήσεις που θα οδηγήσουν στην τελική αξιολόγηση.