Please use this identifier to cite or link to this item: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17872
Title: Εξόρυξη, Επεξεργασία, Αποθήκευση και Οπτικοποίηση δεδομένων από αισθητήρες σε πραγματικό χρόνο (Live)
Authors: Σουλιώτης, Στέφανος
Καντερέ Βασιλική
Keywords: Internet of Things
Cloud Computing
Edge Computing
MQTT
Apache Kafka
Apache Spark
Spark Streaming
Kafka Streams
Apache Flink
Flask-SocketIO
Issue Date: Feb-2021
Abstract: Η εξόρυξη, η επεξεργασία, η αποθήκευση και η οπτικοποίηση δεδομένων από αισθητήρες σε πραγματικό χρόνο, μέσω μιας κοινής αρχιτεκτονικής, αποτελεί μια όλο και μεγαλύτερη ανάγκη παγκοσμίως, όσο αυξάνονται τα αυτοδιαχειριζόμενα συστήματα. Η καταγραφή και συλλογή των δεδομένων από κτιριακές εγκαταστάσεις, όπως η θερμοκρασία τους, η κατανάλωση ενέργειας τους, η παραγωγή ενέργειάς τους αλλά και άλλα χαρακτηριστικά τους οποιασδήποτε φύσης επιτυγχάνεται μέσω εφαρμογών του IoT (Internet of Things). Διασυνδεδεμένες συσκευές και αισθητήρες συλλέγουν μεγάλο όγκο δεδομένων σε πραγματικό χρόνο, τα οποία παράλληλα αποστέλλουν με ταχεία και ελαφριά πρωτόκολλα MQTT σε σύστημα ανταλλαγής μηνυμάτων το οποίο βασίζεται στην τεχνική publish-subscribe. ΄Ενα τέτοιο συστήματα είναι το Apache Kafka το οποίο εγγυάται μικρές καθυστερήσεις και ελάχιστες απώλειες ενώ παράλληλα διαχειρίζεται μεγάλο όγκο δεδομένων. Στη συνέχεια, τα δεδομένα υποβάλλονται σε παράλληλη και real time επεξεργασία και ανάλυση μέσω κατάλληλων frameworks, όπως το Apache Spark Streaming, το Kafka Streams και το Apache Flink. Μετά την επεξεργασία τους ο μεγάλος και γρήγορα ανανεούμενος όγκος δεδομένων οπτικοποιείται σε ένα πρόγραμμα παρατήρησης και αποθηκεύεται σε βάσεις δεδομένων με τρόπο που να είναι ευκολότερη και πιο γρήγορη η αναζήτησή τους. Με αυτόν τον τρόπο τα άλλοτε πολλά, μεμονωμένα και ασύνδετα δεδομένα αποκτούν μορφή η οποία είναι ποιοτικά ανώτερη λόγω των μετατροπών που υφίσταται από τις εφαρμογές ανάλυσης και επεξεργασίας. Τέλος, αξιολογείται το σύστημα όσον αφορά τις εγγυήσεις για μικρές καθυστερήσεις και ελάχιστες απώλειες στην ροή της πληροφορίας, καθώς και την δυνατότητα κλιμακωσιμότητάς του.
URI: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17872
Appears in Collections:Διπλωματικές Εργασίες - Theses

Files in This Item:
File Description SizeFormat 
thesis_souliotis.pdf6.42 MBAdobe PDFView/Open


Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.