Σχεδιασμός Και Ανάπτυξη Ενός Κατανεμημένου Συστήματος Για Τη Συλλογή, Ανάλυση Και Αποθήκευση Των Δεδομένων Χρήσης Που Παράγονται Από Τη Λειτουργία Ενός Υπολογιστικού Νέφους

Abstract

Σκοπός της συγκεκριμένης διπλωματικής εργασίας είναι η δημιουργία ενός κατανεμημένου συστήματος για τη συλλογή των δεδομένων χρήσης (logs) που παράγονται από τη λειτουργία ενός υπολογιστικού νέφους και την αποθήκευσή τους σε κεντρική βάση. Για το σκοπό αυτό μελετούνται εργαλεία ανοιχτού κώδικα για centralized logging, όπως το Apache Flume, Apache Kafka, Logstash που αναλαμβάνουν τη συλλογή των δεδομένων από τους κόμβους, καθώς και συστήματα με κατανεμημένες τεχνικές αποθήκευσης σε συστοιχίες υπολογιστών όπως το Apache Hadoop και Elasticsearch.Αναλύονται τα εργαλεία Elasticsearch, Logstash και Kibana (ELK stack) που επιλέχθηκαν για την δημιουργία του συστήματος ενώ στη συνέχεια παρουσιάζεται πρωτότυπο με την εφαρμογή τους στο Synnefo, μια open sourch cloud πλατφόρμα, η οποία χρησιμοποιείται στον ~Okeanos, ένα έργο που προσφέρει υπηρεσίες "Infrastructure as a service" (IaaS) στη Ελληνική ερευνητική και ακαδημαϊκή κοινότητα.