Please use this identifier to cite or link to this item:
http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/13730
Title: | Εντοπισμός Ανωμαλιών Σε Πόρους Υπολογιστικών Κόμβων |
Authors: | Γεώργιος Παπαδημητρίου Κοζύρης Νεκτάριος |
Keywords: | εντοπισμός ανωμαλιών μη επιβλεπόμενος εντοπισμός ανωμαλιών robust principal component analysis εισαγωγή ανωμαλιών υπολογιστικοί κόμβοι πόροι συστήματος hibench google cluster data apache spark scala breeze |
Issue Date: | 22-Mar-2018 |
Abstract: | Τα δημόσια και ιδιωτικά υπολογιστικά νέφη είναι πολύ δημοφιλής λύσεις απόκτησης πόρων και δημιουργίας συστάδων υπολογιστών για την εκτέλεση πολύπλοκων υπολογισμών και πολλές φορές πάνω σε μεγάλους όγκους δεδομένων. Ωστόσο η συντήρηση ή η αποκατάσταση ζημιών μπορεί να αποφέρει αρκετά μεγάλη σε διάρκεια διακοπή υπηρεσιών και να προκαλέσει οικονομικές ζημιές τόσο στον χρήστη του υπολογιστικού νέφους όσο και στον πάροχο. Στόχος της παρούσας διπλωματικής είναι ο εντοπισμός ανωμαλιών σε υπολογιστικούς κόμβους, παρακολουθώντας τη χρησιμοποίηση των πόρων τους. Για το σκοπό αυτό δημιουργούμε ένα σύνολο δεδομένων που παρουσιάζει περιοδικότητα, χρησιμοποιώντας τη σουίτα αξιολόγησης συστημάτων επεξεργασίας δεδομένων μεγάλου όγκου HiBench.Επίσης αξιολογούμε τον εντοπισμό ανωμαλιών σε δεδομένα από το σύνολο δεδομένων Google Cluster Data. Τέλος υλοποιούμε σε Apache Spark μια έκδοση εντοπισμού ανωμαλιών βασισμένη στον αλγόριθμο Robust PCA και αξιολογούμε την δυνατότητα κλιμάκωσής του. Από τα ευρήματά μας η εφαρμογή μιας μεθόδου, όπως του Robust PCA, για τον μη επιβλεπόμενο εντοπισμό ανωμαλιών σε δεδομένα χρονοσειρών, απαιτεί την ύπαρξη περιοδικότητας και στις περιπτώσεις που λείπει δημιουργούνται πολλές λανθασμένες ενδείξεις. Από την άλλη, η υλοποίηση σε Apache Spark παρέχει σχεδόν γραμμική επιτάχυνση με την αύξηση των εργατών, στον χρόνο υπολογισμού των πιθανών σημείων ανωμαλιών. |
URI: | http://artemis-new.cslab.ece.ntua.gr:8080/jspui/handle/123456789/13730 |
Appears in Collections: | Διπλωματικές Εργασίες - Theses |
Files in This Item:
File | Size | Format | |
---|---|---|---|
DT2018-0058.pdf | 7.94 MB | Adobe PDF | View/Open |
Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.