Ανάλυση Και Πρόβλεψη Δεδομένων Δικτυακής Κίνησης Σε Κατανεμημένα Συστήματα Πραγματικού Χρόνου

Abstract

Αντικείμενο της παρούσας διπλωματικής αποτελεί η Ανάλυση και Πρόβλεψη Δεδομένων Δικτυακής Κίνησης. Το σύνολο των δεδομένων που χρησιμοποιούνται αποτελείται από πραγματικά δείγματα πακέτων τα οποία δρομολογήθηκαν μέσω του κόμβου ουδέτερης διασύνδεσης GR-IX σε διάστημα 29 εβδομάδων. Η καταγραφή αυτών των πακέτων έγινε με το εργαλείο sFlow.Αρχικά, στόχος μας είναι η υλοποίηση ενός Κατανεμημένου Συστήματος Πραγματικού Χρόνου το οποίο θα είναι σε θέση να λαμβάνει και να επεξεργάζεται τα παραπάνω δεδομένα. Επίσης, θα μπορεί να συνδυάζει αυτές τις αρχικές πληροφορίες με ένα σύνολο δευτερευόντων πληροφοριών, ώστε με την χρήση αυτών και περαιτέρω ανάλυση, να είναι σε θέση να παράγει χρήσιμα στατιστικά στοιχεία όπως τον σημαντικότερο ISP κάθε χώρας, με βάση την εξερχόμενη και εισερχόμενη κίνηση στο δίκτυο του. Για τον σκοπό αυτό χρησιμοποιήθηκαν εργαλεία ανοιχτού κώδικα, κατανεμημένης επεξεργασίας και αποθήκευσης δεδομένων, όπως το Apache ZooKeeper, Apache Hadoop (HDFS), Apache Kafka και Apache Storm. Σε αυτό το πρώτο μέρος θα μας απασχολήσουν ζητήματα όπως η ταχύτητα επεξεργασίας των δεδομένων μας (throughput) και η κλιμακωσιμότητα του συστήματος μας.Σε δεύτερη φάση ασχοληθήκαμε με την εξόρυξη γνώσης (data mining) από τα δεδομένα μας και την μηχανική μάθηση (machine learning). Συγκεκριμένα, θα προσπαθήσουμε να προβλέψουμε την ωραίας κίνηση (throughput) του δικτύου μας (GR-IX) με βάση τα στοιχεία που διαθέτουμε ως ιστορικό. Για αυτό τον σκοπό θα χρησιμοποιήσουμε το εργαλείο ανοιχτού κώδικα, Weka. Στόχος μας σε αυτό το μέρος είναι η σωστή επιλογή αλγορίθμου κατηγοριοποίησης (classification) για όσο το δυνατόν ακριβέστερη πρόβλεψη.