Παρακαλώ χρησιμοποιήστε αυτό το αναγνωριστικό για να παραπέμψετε ή να δημιουργήσετε σύνδεσμο προς αυτό το τεκμήριο:
http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/13730
Τίτλος: | Εντοπισμός Ανωμαλιών Σε Πόρους Υπολογιστικών Κόμβων |
Συγγραφείς: | Γεώργιος Παπαδημητρίου Κοζύρης Νεκτάριος |
Λέξεις κλειδιά: | εντοπισμός ανωμαλιών μη επιβλεπόμενος εντοπισμός ανωμαλιών robust principal component analysis εισαγωγή ανωμαλιών υπολογιστικοί κόμβοι πόροι συστήματος hibench google cluster data apache spark scala breeze |
Ημερομηνία έκδοσης: | 22-Μαρ-2018 |
Περίληψη: | Τα δημόσια και ιδιωτικά υπολογιστικά νέφη είναι πολύ δημοφιλής λύσεις απόκτησης πόρων και δημιουργίας συστάδων υπολογιστών για την εκτέλεση πολύπλοκων υπολογισμών και πολλές φορές πάνω σε μεγάλους όγκους δεδομένων. Ωστόσο η συντήρηση ή η αποκατάσταση ζημιών μπορεί να αποφέρει αρκετά μεγάλη σε διάρκεια διακοπή υπηρεσιών και να προκαλέσει οικονομικές ζημιές τόσο στον χρήστη του υπολογιστικού νέφους όσο και στον πάροχο. Στόχος της παρούσας διπλωματικής είναι ο εντοπισμός ανωμαλιών σε υπολογιστικούς κόμβους, παρακολουθώντας τη χρησιμοποίηση των πόρων τους. Για το σκοπό αυτό δημιουργούμε ένα σύνολο δεδομένων που παρουσιάζει περιοδικότητα, χρησιμοποιώντας τη σουίτα αξιολόγησης συστημάτων επεξεργασίας δεδομένων μεγάλου όγκου HiBench.Επίσης αξιολογούμε τον εντοπισμό ανωμαλιών σε δεδομένα από το σύνολο δεδομένων Google Cluster Data. Τέλος υλοποιούμε σε Apache Spark μια έκδοση εντοπισμού ανωμαλιών βασισμένη στον αλγόριθμο Robust PCA και αξιολογούμε την δυνατότητα κλιμάκωσής του. Από τα ευρήματά μας η εφαρμογή μιας μεθόδου, όπως του Robust PCA, για τον μη επιβλεπόμενο εντοπισμό ανωμαλιών σε δεδομένα χρονοσειρών, απαιτεί την ύπαρξη περιοδικότητας και στις περιπτώσεις που λείπει δημιουργούνται πολλές λανθασμένες ενδείξεις. Από την άλλη, η υλοποίηση σε Apache Spark παρέχει σχεδόν γραμμική επιτάχυνση με την αύξηση των εργατών, στον χρόνο υπολογισμού των πιθανών σημείων ανωμαλιών. |
URI: | http://artemis-new.cslab.ece.ntua.gr:8080/jspui/handle/123456789/13730 |
Εμφανίζεται στις συλλογές: | Διπλωματικές Εργασίες - Theses |
Αρχεία σε αυτό το τεκμήριο:
Αρχείο | Μέγεθος | Μορφότυπος | |
---|---|---|---|
DT2018-0058.pdf | 7.94 MB | Adobe PDF | Εμφάνιση/Άνοιγμα |
Όλα τα τεκμήρια του δικτυακού τόπου προστατεύονται από πνευματικά δικαιώματα.