Κατανεμημένη Αναλυτική Επεξεργασία Ροών Δικτυακών Δεδομένων Σε Πραγματικό Χρόνο

Abstract

Στην παρούσα διπλωματική, σχεδιάζουμε και υλοποιούμε ένα κατανεμημένο σύστημα το οποίο επιτρέπει την εκτέλεση SQL ερωτημάτων που πραγματοποιούν συνένωση μιας ροής δεδομένων πραγματικού χρόνου και ενός εξωτερικού συνόλου δεδομένων. Η περίπτωση χρήσης για την οποία υλοποιούμε αυτό το σύστημα είναι η εκτέλεση topN SQL ερωτημάτων που πραγματοποιούν συνένωση μιας ροής δικτυακών δεδομένων πραγματικού χρόνου, που παράγεται από δειγματοληψία κίνησης ενός IXP, και εξωτερικών συνόλων δεδομένων που περιλαμβάνουν Autonomous System και DNS πληροφορίες.Για να επιτύχουμε χαμηλό χρόνο απόκρισης στα ερωτήματα, η συνένωση πραγματοποιείται σε πραγματικό χρόνο χρησιμοποιώντας το Storm processing framework και η αποκανονικοποιημένη ροή δεδομένων αποθηκεύεται σε ένα Phoenix table, επιτρέποντας έτσι σε όλα τα επόμενα ερωτήματα να εκτελούνται χωρίς να χρειάζεται ξανά ο υπολογισμός της συνένωσης κατά το χρόνο εκτέλεσης. Το σύστημα χρησιμοποιεί τις κατανεμημένες τεχνολογίες Kafka, Storm και HBase, οι οποίες εξασφαλίζουν την κλιμακωσιμότητά του και την ανοχή του σε σφάλματα. Επιπλέον, το Storm προσφέρει επεκτασιμότητα στο σύστημα επιτρέποντάς μας να προσθέσουμε με εύκολο τρόπο νέα εξωτερικά σύνολα δεδομένων κάθε μεγέθους, τα οποία συνενώνονται με τη ροή δικτυακών δεδομένων.Επιπρόσθετα, εφαρμόζουμε ένα συνδυασμό βελτιστοποιήσεων στο HBase cluster και στο Phoenix table, οι οποίες μειώνουν ακόμα περισσότερο το χρόνο απόκρισης των ερωτημάτων. Τέλος, αξιολογούμε την επίδοση διαφόρων παραμέτρων του συστήματος και πειραματιζόμαστε με την κλιμακωσιμότητα του συστήματος.