Please use this identifier to cite or link to this item:
http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/12976
Title: | Κατανεμημένη Αναλυτική Επεξεργασία Ροών Δικτυακών Δεδομένων Σε Πραγματικό Χρόνο |
Authors: | Γεώργιος Τουλούπας Κοζύρης Νεκτάριος |
Keywords: | επεξεργασία σε πραγματικό χρόνο ανάλυση δικτυακών δεδομένων κατανεμημένα συστήματα kafka storm hadoop hbase phoenix |
Issue Date: | 31-Oct-2015 |
Abstract: | Στην παρούσα διπλωματική, σχεδιάζουμε και υλοποιούμε ένα κατανεμημένο σύστημα το οποίο επιτρέπει την εκτέλεση SQL ερωτημάτων που πραγματοποιούν συνένωση μιας ροής δεδομένων πραγματικού χρόνου και ενός εξωτερικού συνόλου δεδομένων. Η περίπτωση χρήσης για την οποία υλοποιούμε αυτό το σύστημα είναι η εκτέλεση topN SQL ερωτημάτων που πραγματοποιούν συνένωση μιας ροής δικτυακών δεδομένων πραγματικού χρόνου, που παράγεται από δειγματοληψία κίνησης ενός IXP, και εξωτερικών συνόλων δεδομένων που περιλαμβάνουν Autonomous System και DNS πληροφορίες.Για να επιτύχουμε χαμηλό χρόνο απόκρισης στα ερωτήματα, η συνένωση πραγματοποιείται σε πραγματικό χρόνο χρησιμοποιώντας το Storm processing framework και η αποκανονικοποιημένη ροή δεδομένων αποθηκεύεται σε ένα Phoenix table, επιτρέποντας έτσι σε όλα τα επόμενα ερωτήματα να εκτελούνται χωρίς να χρειάζεται ξανά ο υπολογισμός της συνένωσης κατά το χρόνο εκτέλεσης. Το σύστημα χρησιμοποιεί τις κατανεμημένες τεχνολογίες Kafka, Storm και HBase, οι οποίες εξασφαλίζουν την κλιμακωσιμότητά του και την ανοχή του σε σφάλματα. Επιπλέον, το Storm προσφέρει επεκτασιμότητα στο σύστημα επιτρέποντάς μας να προσθέσουμε με εύκολο τρόπο νέα εξωτερικά σύνολα δεδομένων κάθε μεγέθους, τα οποία συνενώνονται με τη ροή δικτυακών δεδομένων.Επιπρόσθετα, εφαρμόζουμε ένα συνδυασμό βελτιστοποιήσεων στο HBase cluster και στο Phoenix table, οι οποίες μειώνουν ακόμα περισσότερο το χρόνο απόκρισης των ερωτημάτων. Τέλος, αξιολογούμε την επίδοση διαφόρων παραμέτρων του συστήματος και πειραματιζόμαστε με την κλιμακωσιμότητα του συστήματος. |
URI: | http://artemis-new.cslab.ece.ntua.gr:8080/jspui/handle/123456789/12976 |
Appears in Collections: | Διπλωματικές Εργασίες - Theses |
Files in This Item:
File | Size | Format | |
---|---|---|---|
DT2015-0330.pdf | 1.31 MB | Adobe PDF | View/Open |
Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.