Please use this identifier to cite or link to this item: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17137
Title: Αυτοϊούμενη, Ελαστική Αποθήκευση Αμετάβλητων Αντικειμένων με Υψηλή Διαθεσιμότητα ως Πρωτογενές Χαρακτηριστικό στο Kubernetes
Authors: Κατσακιώρης, Χρήστος
Κοζύρης Νεκτάριος
Keywords: object store
distributed storage
immutability
content-addressability
sharding
scalability
elasticity
consistent hashing
stateful
containers
Docker
Kubernetes
controller
Operator
gRPC
rsync
Issue Date: 5-Nov-2018
Abstract: Η έλευση της εποχής των υπηρεσιών Cloud και η ευρεία υιοθέτηση του υποδείγματος κατανεμημένης υπολογιστικής έχει προσφάτως παράσχει τη δυνατότητα σε εφαρμογές να θέσουν τον πήχη υψηλότερα αναφορικά με την κλιμακωσιμότητά τους, αλλά και τις επιδόσεις τους γενικότερα. Τα ``containers'' και η εικονικοποίηση σε επίπεδο λειτουργικού συστήματος διαρκώς κερδίζουν έδαφος μεταξύ των διάφορων μεθόδων ``deployment'' εφαρμογών στα κέντρα δεδομένων, ως μία αποδοτική εναλλακτική λύση έναντι της εικονικοποίησης βάσει υπερεπόπτη. Χάριν τόσο του ανωτέρω, όσο και της συνεπαγόμενης καθιέρωσης της Αρχιτεκτονικής Μικροϋπηρεσιών στο χώρο του σχεδιασμού εφαρμογών και συστημάτων, ένα πλούσιο οικοσύστημα αναπτύχθηκε ταχέως, το οποίο αποσκοπεί στην υποστήριξη της τάσης για ``containerization'', και το οποίο μεσουρανεί, έχοντας το Kubernetes ως έναν από τους χαρακτηριστικότερους και πιο επιτυχημένους εκπροσώπους του. Εντωμεταξύ, η χρηστικότητα των δεδομένων, των εμμέσως ή αμέσως παραγόμενων από χρήστες και περισυλλεγόμενων από εταιρείες, ανθεί ολοένα και περισσότερο. Ανερχόμενες τεχνολογίες, σχετικές με Δεδομένα Μεγάλου Όγκου (Big Data), καθώς και την επεξεργασία και ανάλυσή τους, είναι άρρηκτα συνδεδεμένες με υπολογιστικά περιβάλλοντα Cloud, ιδίως όσον αφορά την αποθήκευσή τους. Λόγω της ευρείας εμπορευματοποίησης των υποδομών υλικού των σύγχρονων κέντρων δεδομένων, οι περιπτώσεις χρήσης κατανεμημένων συστημάτων αποθήκευσης με σκοπό την σταδιακή αντικατάσταση των παραδοσιακών εξοπλισμών και συστημάτων αποθήκευσης, όπως είναι τα SAN, πληθαίνουν. Όμως, παρά την τάση αυτή, η λειτουργία των περισσότερων ευρέως διαδεδομένων και αξιόπιστων κατανεμημένων συστημάτων αποθήκευσης, όπως τα Ceph και Cassandra, μέχρι στιγμής δεν έχει ενσωματωθεί πλήρως στις αυτοματοποιημένες διαδικασίες που παρέχει η χρήση εργαλείων ``containerization'', όπως τα Docker και Kubernetes, εξαιτίας της ανάγκης τους να διατηρούν μόνιμη κατάσταση (statefulness). Το παρόν πόνημα αποτελεί μια προσπάθεια ικανοποίησης της ανάγκης για διατήρηση μόνιμης κατάστασης, που αναπόδραστα επηρεάζει κάθε ``containerized deployment'' κατανεμημένου συστήματος αποθήκευσης. Παρουσιάζεται ο σχεδιασμός δύο νέων κατανεμημένων συστημάτων αποθήκευσης αντικειμένων (distributed object stores) με βάση το Kubernetes, καθώς και οι αντίστοιχες υλοποιήσεις τους, τα οποία βασίζονται σε ένα σύνολο ευφυών ``agents'' και ``proxy servers''. Μολονότι, προς το παρόν, τα συστήματα περιορίζονται σε στοιχειώδεις λειτουργίες, ιδίως λαμβάνοντας υπ'όψιν ότι δεν υποστηρίζονται μεταβολές σε ήδη αποθηκευμένα δεδομένα, εξασφαλίζονται αξιοσημείωτες ιδιότητες, μεταξύ άλλων: κλιμακωσιμότητα και ελαστικότητα, ισοκατανομή φόρτου (load balancing), αυτοΐαση (self-healingness), αλλά και υψηλή διαθεσιμότητα (high availability) και ανοχή σε σφάλματα (fault tolerance) μέσω αυτοματοποιημένης δημιουργίας αντιγράφων των δεδομένων (data replication). Αυτά επιτυγχάνονται χάρη στο ευρύ φάσμα δυνατοτήτων που παρέχεται από το Kubernetes, καθώς και σε ποικίλες έννοιες, τεχνικές και αλγορίθμους που χρησιμοποιούνται, όπως η αμεταβλητότητα (immutability), η διευθυνσιοδότηση-βάσει-περιεχομένου (content-addressability), ο τεμαχισμός (sharding) και ο αλγόριθμος συνεπούς κατακερματισμού (consistent hashing). Η δε αρχιτεκτονική ενός εκ των δύο συστημάτων, περιλαμβάνει έναν ``Operator'' ώστε, σε συνεργασία με τους ``agents'', και με τη συνδρομή του προτύπου ελεγκτή που εφαρμόζεται από όλα τα στοιχεία του συστήματος, να διασφαλιστεί η αυτοματοποιημένη διαχείριση κάποιων σύνθετων πτυχών του.
URI: http://artemis.cslab.ece.ntua.gr:8080/jspui/handle/123456789/17137
Appears in Collections:Διπλωματικές Εργασίες - Theses

Files in This Item:
File Description SizeFormat 
katsakioris_thesis_artemis.pdf3.52 MBAdobe PDFView/Open


Items in Artemis are protected by copyright, with all rights reserved, unless otherwise indicated.