Εντοπισμός Ανωμαλιών με Χρήση Δεδομένων Παρατηρησιμότητας Κατανεμημένων Εφαρμογών

Abstract

Στην εποχή της κατανεμημένης πληροφορικής, οι μικροϋπηρεσίες έχουν αναδειχθεί σε κυρίαρχο αρχιτεκτονικό στυλ για την ανάπτυξη και την κλιμάκωση εφαρμογών και υπηρεσιών. Ωστόσο, η διασφάλιση της αξιοπιστίας και της σταθερότητας τέτοιων συστημάτων παρουσιάζει σημαντικές προκλήσεις, ιδίως όσον αφορά τον εντοπισμό ανωμαλιών που θα μπορούσαν να οδηγήσουν σε υποβάθμιση της απόδοσης ή διακοπές λειτουργίας. Η παρούσα εργασία προτείνει μία νέα μέθοδο για την πολυτροπική ανίχνευση ανωμαλιών σε αρχιτεκτονικές βασισμένες σε μικροϋπηρεσίες, αξιοποιώντας αρχεία καταγραφής (logs), ίχνη εκτέλεσης (traces) και μετρικές (metrics). Η προσέγγιση που προτείνεται ενσωματώνει μεθόδους που βασίζονται σε πρότυπα, χρησιμοποιώντας τον αλγόριθμο Drain για την ανάλυση αρχείων καταγραφής, μαζί με τεχνικές Μηχανικής Μάθησης, όπως τους αλγορίθμους Birch, Local Outlier Factor και Isolation Forest για τον εντοπισμό ανωμαλιών σε πραγματικό χρόνο. Κάθε τύπος δεδομένων επεξεργάζεται με μεθόδους ειδικά ρυθμισμένες για τη μεγιστοποίηση των δυνατοτήτων ανίχνευσης ανωμαλιών στο συγκεκριμένο τομέα. Αυτές οι εξειδικευμένες μέθοδοι ενσωματώνονται στη συνέχεια σε ένα ενοποιημένο μοντέλο που συνδυάζει τα πλεονεκτήματά τους, παρέχοντας μια πιο ακριβή ανάλυση. Με την ταυτόχρονη ανάλυση διαφορετικών τύπων δεδομένων, η τεχνική ανίχνευσης αυτή παρέχει μια ολοκληρωμένη εικόνα της υγείας του συστήματος, βοηθώντας στον εντοπισμό προβλημάτων που μπορεί να μην εντοπιστούν από τις παραδοσιακές μεθόδους που εστιάζουν σε μεμονωμένες ροές δεδομένων. Η αποτελεσματικότητα των προτεινόμενων μεθόδων αξιολογείται και συγκρίνεται με εκτέλεση πειραμάτων σε μια ειδικά προσαρμοσμένη εφαρμογή που προσομοιώνει το κατανεμημένο περιβάλλον εκτέλεσης, παρουσιάζοντας βελτιωμένα ποσοστά ανίχνευσης σε σύγκριση με τις βασικές προσεγγίσεις. Η παρούσα εργασία συμβάλλει στον αναπτυσσόμενο τομέα της αυτοματοποιημένης ανίχνευσης ανωμαλιών σε κατανεμημένα συστήματα, με πιθανές εφαρμογές στην παρακολούθηση υποδομών νέφους και στη διαχείριση συστημάτων μεγάλης κλίμακας.