ΔΗΜΙΟΥΡΓΙΑ ΚΑΤΑΝΕΜΗΜΕΝΟΥ-ΕΝΟΠΟΙΗΜΕΝΟΥ ΣΥΣΤΗΜΑΤΟΣ ΕΠΕΞΕΡΓΑΣΙΑΣ ΔΕΔΟΜΕΝΩΝ ΑΠΟ ΒΙΟΜΗΧΑΝΙΚΑ ΠΡΩΤΟΚΟΛΛΑ

Abstract

Στην παρούσα διπλωματική, σχεδιάζεται και υλοποιείται ένα κατανεμημένο σύστημα επεξεργασίας δεδομένων. Το σύστημα μπορεί να επεξεργάζεται δεδομένα που προέρχονται από διαφορετικά βιομηχανικά πρωτόκολλα, καθώς και να επεξεργαστεί δεδομένα πολλαπλών πηγών και ανομοιογενών δεδομένων σε ζωντανό χρόνο. Επιπλέον, είναι ανεκτικό σε σφάλματα, έχει τη δυνατότητα κλιμάκωσης, παρέχει εργαλεία οπτικοποίησης των δεδομένων, έχει ενσωματωμένη παρακολούθηση της απόδοσης του και εάν κάτι πάει λάθος μπορεί να ειδοποιήσει έγκαιρα το χρήστη με αποστολή e-mail. Καθώς επεξεργάζεται τα δεδομένα, εάν οι εισερχόμενες τιμές είναι ανησυχητικές, μπορεί να λάβει αυτόματα ενέργειες για την αποτροπή πιθανού ατυχήματος. Τα δεδομένα παράγονται από προσομοίωση αισθητήρων θερμοκρασίας, πίεσης και ισχύς που υλοποιήθηκε με χρήση Python. Οι τιμές μεταφέρονται με χρήση του πρωτοκόλλου Modbus και της βιβλιοθήκης PLC4X στο σύστημα Kafka. Από εκεί οι τιμές επεξεργάζονται με χρήση του Kafka Streams. Για την αποθήκευση των επεξεργασμένων δεδομένων χρησιμοποιείται η βάση InfluxDB, ενώ οι πιο πρόσφατες τιμές που τοποθετούνται επίσης στη μνήμη στο σύστημα Redis. Η εφαρμογή είναι γραμμένη σε Java με χρήση Spring Boot. H οπτικοποίηση γίνεται στο Grafana, ενώ η απόδοση παρακολουθείται με χρήση Prometheus, cAdvisor, Node Exporter.