Εξόρυξη, Επεξεργασία, Αποθήκευση και Οπτικοποίηση δεδομένων από αισθητήρες σε πραγματικό χρόνο (Live)

Abstract

Η εξόρυξη, η επεξεργασία, η αποθήκευση και η οπτικοποίηση δεδομένων από αισθητήρες σε πραγματικό χρόνο, μέσω μιας κοινής αρχιτεκτονικής, αποτελεί μια όλο και μεγαλύτερη ανάγκη παγκοσμίως, όσο αυξάνονται τα αυτοδιαχειριζόμενα συστήματα. Η καταγραφή και συλλογή των δεδομένων από κτιριακές εγκαταστάσεις, όπως η θερμοκρασία τους, η κατανάλωση ενέργειας τους, η παραγωγή ενέργειάς τους αλλά και άλλα χαρακτηριστικά τους οποιασδήποτε φύσης επιτυγχάνεται μέσω εφαρμογών του IoT (Internet of Things). Διασυνδεδεμένες συσκευές και αισθητήρες συλλέγουν μεγάλο όγκο δεδομένων σε πραγματικό χρόνο, τα οποία παράλληλα αποστέλλουν με ταχεία και ελαφριά πρωτόκολλα MQTT σε σύστημα ανταλλαγής μηνυμάτων το οποίο βασίζεται στην τεχνική publish-subscribe. ΄Ενα τέτοιο συστήματα είναι το Apache Kafka το οποίο εγγυάται μικρές καθυστερήσεις και ελάχιστες απώλειες ενώ παράλληλα διαχειρίζεται μεγάλο όγκο δεδομένων. Στη συνέχεια, τα δεδομένα υποβάλλονται σε παράλληλη και real time επεξεργασία και ανάλυση μέσω κατάλληλων frameworks, όπως το Apache Spark Streaming, το Kafka Streams και το Apache Flink. Μετά την επεξεργασία τους ο μεγάλος και γρήγορα ανανεούμενος όγκος δεδομένων οπτικοποιείται σε ένα πρόγραμμα παρατήρησης και αποθηκεύεται σε βάσεις δεδομένων με τρόπο που να είναι ευκολότερη και πιο γρήγορη η αναζήτησή τους. Με αυτόν τον τρόπο τα άλλοτε πολλά, μεμονωμένα και ασύνδετα δεδομένα αποκτούν μορφή η οποία είναι ποιοτικά ανώτερη λόγω των μετατροπών που υφίσταται από τις εφαρμογές ανάλυσης και επεξεργασίας. Τέλος, αξιολογείται το σύστημα όσον αφορά τις εγγυήσεις για μικρές καθυστερήσεις και ελάχιστες απώλειες στην ροή της πληροφορίας, καθώς και την δυνατότητα κλιμακωσιμότητάς του.