Παρακαλώ χρησιμοποιήστε αυτό το αναγνωριστικό για να παραπέμψετε ή να δημιουργήσετε σύνδεσμο προς αυτό το τεκμήριο:
http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17456
Τίτλος: | Μοντελοποίηση επίδοσης συστημάτων κατανεμημένης επεξεργασίας ροών δεδομένων |
Συγγραφείς: | Παπαμαργαρίτης, Γεώργιος Κοζύρης Νεκτάριος |
Λέξεις κλειδιά: | Σύστημα κατανεμημένης επεξεργασίας ροών δεδομένων Κατανεμημένο σύστημα μεταφοράς μηνυμάτων Flink cluster Kafka cluster Producers Filtering Aggregation on Windows Window Joins Maximum Sustainable Throughput Event time Latency Processing time Latency Μοντέλα μηχανικής μάθησης Παλινδρόμηση |
Ημερομηνία έκδοσης: | 11-Νοε-2019 |
Περίληψη: | Στην παρούσα διπλωματική εργασία μελετάται η λειτουργία και η επίδοση συστημάτων κατανεμημένης επεξεργασίας ροών δεδομένων και γίνεται μια πρώτη προσπάθεια για τη μοντελοποίηση αυτών. Συγκεκριμένα, σχεδιάζεται και υλοποιείται μέσω του Flink framework ένα cluster στο οποίο εισέρχεται μεγάλος όγκος μηνυμάτων σε πραγματικό χρόνο από ένα κατανεμημένο σύστημα μεταφοράς μηνυμάτων, το Kafka cluster. Τα μηνύματα αυτά δημιουργούνται με τυχαίο τρόπο από γεννήτριες, ο ρυθμός παραγωγής των οποίων είναι ελεγχόμενος. Για να μπορέσουμε να προσομοιώσουμε υπολογισμούς σε ροές δεδομένων που μπορούν να ταυτιστούν με περιπτώσεις του πραγματικού κόσμου επιλέχθηκαν 3 είδη εργασιών προς εξέταση. Αυτές είναι οι Filtering, Αggregation on Windows και Window Joins εργασίες. Έχοντας υλοποιήσει τα παραπάνω, στη συνέχεια εκτελείται μια σειρά πειραμάτων διαφοροποιώντας κάθε φορά τις συνθήκες και τις παραμέτρους της κάθε εκτέλεσης. Οι παράμετροι αυτές αφορούν τόσο την εσωτερική λειτουργία του ίδιου του Flink και τους πόρους του συστήματος όσο και το είδος των δεδομένων εισόδου αλλά και της επιλεγμένης εργασίας. Με τον τρόπο αυτό λαμβάνονται υπόψη όλοι οι παράγοντες που μπορούν να επηρεάσουν την επίδοση του συστήματος κατανεμημένης επεξεργασίας ροής δεδομένων. Με τα σετ δεδομένων που δημιουργούνται από την πειραματική διαδικασία επιδιώκουμε τη δημιουργία μοντέλων για την πρόβλεψη τόσο του μέγιστου ρυθμού επεξεργασίας δεδομένων του συστήματος όσο και των καθυστερήσεων που προκύπτουν με το ρυθμό αυτό. Ο στόχος της έρευνας μας επιτυγχάνεται με την αξιολόγηση και την επιλογή των καλύτερων μοντέλων για κάθε μία από τις διαφορετικές εργασίες προς εκτέλεση. |
URI: | http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17456 |
Εμφανίζεται στις συλλογές: | Διπλωματικές Εργασίες - Theses |
Αρχεία σε αυτό το τεκμήριο:
Αρχείο | Περιγραφή | Μέγεθος | Μορφότυπος | |
---|---|---|---|---|
Georgios_Papamargaritis_thesis.pdf | 1.88 MB | Adobe PDF | Εμφάνιση/Άνοιγμα |
Όλα τα τεκμήρια του δικτυακού τόπου προστατεύονται από πνευματικά δικαιώματα.