Αποθήκευση και Διαχείριση Μεγάλων Δεδομένων σε Κατανεμημένα Συστήματα

Abstract

Με τη συνεχή εξέλιξη της τεχνολογίας και την όλο και περισσότερη ψηφιοποίηση της καθημε- ρινότητας έχει αυξηθεί ο παραγόμενος όγκος δεδομένων. Εκτιμάται ότι τα δεδομένα, οποιασ- δήπτε μορφής και προέλευσης, αποτελούν αγαθό αξίας, δεδομένης της υποστήριξης που μπο- ρούν να προσφέρουν στη λήψη αποφάσεων, στην εκπαίδευση συστημάτων τεχνικής νοημο- σύνης και στην εξέλιξη της ήδη υπάρχουσας γνώσης. Δεν είναι τυχαία άλλωστε η φράση: τα δεδομένα είναι το νέο πετρέλαιο. Σε μία εποχή, λοιπόν, όπου η αποδοτική αποθήκευση και δια- χείριση Μεγάλων Δεδομένων μπορεί να συμβάλλει στην αποτελεσματική αντιμετώπιση ποι- κίλων προβλημάτων και προκλήσεων είναι επιτακτική η ανάγκη συστημάτων που μπορούν να ανταποκριθούν σε αυτές τις απαιτήσεις. Σκοπός της διπλωματικής είναι να προτείνει ένα δυναμικό σύστημα αποθήκευσης και δια- χείρισης μεγάλου όγκου δεδομένων, το οποίο μεταβάλλει την κλίμακά του, αυτόματα, προ- κειμένου να προσαρμοστεί στο φόρτο δικτύου προς εξυπηρέτηση εφαρμογών υψηλής δια- θεσιμότητας και χαμηλών αποκρίσεων, μέσω της αποδοτικής εκμετάλλευσης των διαθέσιμων πόρων. Για τη δημιουργία του συστήματος χρησιμοποιήθηκε το οικοσύστημα αυτοματοποι- ημένης διαχείρισης containers Kubernetes, στο οποίο φιλοξενείται βάση μη σχεσιακού σχή- ματος δεδομένων. Πιο συγκεκριμένα, γίνεται χρήση των λειτουργιών replication και sharding της MongoDB προς αυξομείωση της κλίμακας της βάσης αποθήκευσης. Η μεταβολή της κλί- μακας επιτυγχάνεται μέσω πράκτορα-παρατηρητή που αναπτύχθηκε, ο οποίος μεταβάλλει τα αντίγραφα (replicas) της βάσης, όταν ανιχνευθεί υπερβολικός φόρτος στους εξυπηρετητές της, με απώτερο σκοπό τη βελτίωση της απόκρισης του συνολικού συστήματος.