Κλιμακώσιμο Σύστημα Για Κατ' Απαίτηση Συλλογή Και Επεξεργασία Δεδομένων Δικτυακής Κίνησης

Abstract

Σκοπός της διπλωματικής εργασίας είναι η ανάπτυξη πολύ-επίπεδης πλατφόρμας που παρέχεται κατ’ απαίτηση σε πολλαπλούς ενοίκους-χρήστες για την καταγραφή και αποθήκευση προσωποποιημένης δικτυακής πληροφορίας (sflow). Δίνεται ιδιαίτερη έμφαση στην ικανότητα προσαρμογής και κλιμάκωσής της, εκμεταλλευόμενοι των χαρακτηριστικών και ιδιαιτεροτήτων του κάθε σταδίου της πλατφόρμας. Επομένως, το τελικό επιθυμητό αποτέλεσμα είναι η αυτόματη παροχή, ύστερα από αίτημα, προσωποποιημένου συστήματος για την καταγραφή και παρακολούθηση δεδομένων που αντιστοιχούν στον εκάστοτε χρήστη.Ειδικότερα, πρόκειται για ένα κατανεμημένο σύστημα συλλογής δεδομένων, με δεδομένα, στη συγκεκριμένη περίπτωση, την κίνηση που λαμβάνεται από τους μεταγωγείς μιας δικτυακής υποδομής. Για τον σκοπό αυτό χρησιμοποιήθηκε το Apache Kafka για τη συλλογή των δεδομένων από τους μεταγωγείς (centralized logging), το Logstash και το Smonnet, το όνομα του python προγράμματος που αναπτύχθηκε για την επεξεργασία και τον εμπλουτισμό τους, το Elasticsearch σαν σύστημα ανάλυσης με κατανεμημένη τεχνική αποθήκευσης σε συστοιχίες υπολογιστών για την αποθήκευση και καταγραφή τους και τέλος το Kibana για την οπτικοποίηση συσχετισμών και μετρήσεων πάνω στον χρόνο. Με αυτόν τον τρόπο, η πλατφόρμα παρέχει κατ’ απαίτηση μηχανισμό που περιλαμβάνει τα απαραίτητα εργαλεία για να αποτελέσει βάση για τη δημιουργία ενός ενοποιημένου πλαισίου για την άντληση δεδομένων και αυτόματης παρουσίασης των δεδομένων αυτών στους χρήστες των διαφόρων (πειραματικών) υποδομών μεγάλης κλίμακας σαν μέρος της λειτουργικότητας που προσφέρει το περιβάλλον.