Please use this identifier to cite or link to this item:
http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17456
Title: | Μοντελοποίηση επίδοσης συστημάτων κατανεμημένης επεξεργασίας ροών δεδομένων |
Authors: | Παπαμαργαρίτης, Γεώργιος Κοζύρης Νεκτάριος |
Keywords: | Σύστημα κατανεμημένης επεξεργασίας ροών δεδομένων Κατανεμημένο σύστημα μεταφοράς μηνυμάτων Flink cluster Kafka cluster Producers Filtering Aggregation on Windows Window Joins Maximum Sustainable Throughput Event time Latency Processing time Latency Μοντέλα μηχανικής μάθησης Παλινδρόμηση |
Issue Date: | 11-Nov-2019 |
Abstract: | Στην παρούσα διπλωματική εργασία μελετάται η λειτουργία και η επίδοση συστημάτων κατανεμημένης επεξεργασίας ροών δεδομένων και γίνεται μια πρώτη προσπάθεια για τη μοντελοποίηση αυτών. Συγκεκριμένα, σχεδιάζεται και υλοποιείται μέσω του Flink framework ένα cluster στο οποίο εισέρχεται μεγάλος όγκος μηνυμάτων σε πραγματικό χρόνο από ένα κατανεμημένο σύστημα μεταφοράς μηνυμάτων, το Kafka cluster. Τα μηνύματα αυτά δημιουργούνται με τυχαίο τρόπο από γεννήτριες, ο ρυθμός παραγωγής των οποίων είναι ελεγχόμενος. Για να μπορέσουμε να προσομοιώσουμε υπολογισμούς σε ροές δεδομένων που μπορούν να ταυτιστούν με περιπτώσεις του πραγματικού κόσμου επιλέχθηκαν 3 είδη εργασιών προς εξέταση. Αυτές είναι οι Filtering, Αggregation on Windows και Window Joins εργασίες. Έχοντας υλοποιήσει τα παραπάνω, στη συνέχεια εκτελείται μια σειρά πειραμάτων διαφοροποιώντας κάθε φορά τις συνθήκες και τις παραμέτρους της κάθε εκτέλεσης. Οι παράμετροι αυτές αφορούν τόσο την εσωτερική λειτουργία του ίδιου του Flink και τους πόρους του συστήματος όσο και το είδος των δεδομένων εισόδου αλλά και της επιλεγμένης εργασίας. Με τον τρόπο αυτό λαμβάνονται υπόψη όλοι οι παράγοντες που μπορούν να επηρεάσουν την επίδοση του συστήματος κατανεμημένης επεξεργασίας ροής δεδομένων. Με τα σετ δεδομένων που δημιουργούνται από την πειραματική διαδικασία επιδιώκουμε τη δημιουργία μοντέλων για την πρόβλεψη τόσο του μέγιστου ρυθμού επεξεργασίας δεδομένων του συστήματος όσο και των καθυστερήσεων που προκύπτουν με το ρυθμό αυτό. Ο στόχος της έρευνας μας επιτυγχάνεται με την αξιολόγηση και την επιλογή των καλύτερων μοντέλων για κάθε μία από τις διαφορετικές εργασίες προς εκτέλεση. |
URI: | http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17456 |
Appears in Collections: | Διπλωματικές Εργασίες - Theses |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
Georgios_Papamargaritis_thesis.pdf | 1.88 MB | Adobe PDF | View/Open |
Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.