Διαχείριση Δεδομένων Σε Κατανεμημένα Συστήματα Μεγάλης Κλίμακας Για Χρήση Σε Εφαρμογές Αναλυτικής Επεξεργασίας

Abstract

Ο αυξανόμενος όγκος των δεδομένων που συλλέγεται και παράγεται από επιχειρηματικά και ακαδημαϊκά πληροφοριακά συστήματα έχει δημιουργήσει νέες απαιτήσεις από τις πλατφόρμες διαχείρισης δεδομένων, ώστε να είναι δυνατή η εξόρυξη χρήσιμης πληροφορίας και η εκμετάλλευσή της για τη λήψη αποφάσεων. Πέρα από την καλά τεκμηριωμένη ανάγκη για ασύγχρονη ανάλυση, η όσο το δυνατόν αμεσότερη απόκριση τέτοιων συστημάτων είναι σημαντική για μια πληθώρα εφαρμογών, καθιστώντας την ανάλυση πραγματικού χρόνου πιο αναγκαία από ποτέ. Σε τέτοιου είδους εφαρμογές, τα δεδομένα συνήθως χαρακτηρίζονται από μια χρονική διάσταση και παρουσιάζονται σε διάφορα επίπεδα λεπτομέρειας. Χιλιάδες ή και εκατομμύρια τέτοιες εγγραφές δημιουργούνται ανά δευτερόλεπτο, και τα σύγχρονα συστήματα πρέπει να είναι σε θέση να τα επεξεργάζονται.Η παρούσα διατριβή ασχολείται με τη διερεύνηση και ανάπτυξη συστημάτων για την αποθήκευση, δεικτοδότηση και αποδοτική αναζήτηση πολυδιάστατων δεδομένων που χρησιμοποιούνται για εφαρμογές αναλυτικής επεξεργασίας σε μεγάλης κλίμακας κατανεμημένα συστήματα. Τα συστήματα αυτά βασίζονται σε μια αρχιτεκτονική χωρίς κοινόχρηστους πόρους, όπου γεωγραφικά απομακρυσμένοι χρήστες μπορούν, χωρίς τη χρήση κάποιου εξειδικευμένου εργαλείου, να διαμοιράζονται και να αναζητούν πληροφορίες. Το πρώτο σύστημα που δημιουργήθηκε σε αυτήν την κατεύθυνση, το HiPPIS, υποστηρίζει εννοιολογικές ιεραρχίες σε δίκτυα κατακερματισμού πινάκων (DHT) με σκοπό την αποθήκευση ιστορικών δεδομένων σε διάφορα επίπεδα λεπτομέρειας. Υιοθετώντας έναν αλγόριθμο που προσαρμόζει το επίπεδο δεικτοδότησης ανάλογα με τη λεπτομέρεια των εισερχόμενων ερωτημάτων χωρίς πρότερη γνώση του, μεγιστοποιεί την επίδοση ελαχιστοποιώντας το κόστος επικοινωνίας και προσφέροντας εξισορρόπηση φόρτου.Επεκτείνοντας την ιδέα αυτή και με στόχο την εκμετάλλευση προϋπολογισμένων υλοποιημένων όψεων, κατανέμεται μια γνωστή και ιδιαίτερα αποδοτική κεντρική κυβική δομή σε ένα δίκτυο διασυνδεδεμένων κόμβων. Το σύστημα που προέκυψε, το Brown Dwarf, επιταχύνει όλες τις λειτουργίες του κύβου, επιβάλλοντας παραλληλοποίηση, ενώ δίνει ιδιαίτερη έμφαση στη διασφάλιση της ελαστικότητας και της ανοχής σε σφάλματα, ιδιοτήτων ιδιαίτερα σημαντικών σε κατανεμημένα περιβάλλοντα. Τέλος, προτείνεται και υλοποιείται ένα ολοκληρωμένο σύστημα διαχείρισης χρονικών δεδομένων, που συνδυάζει μια ισχυρή μηχανή δεικτοδότησης τεράστιου όγκου δεδομένων και διαχείρισης ενημερώσεων σε (σχεδόν) πραγματικό χρόνο με μια κατανεμημένη αρχιτεκτονική που προσφέρει δυνατότητα κλιμάκωσης και διαθεσιμότητα σε χαμηλό κόστος.