Τεχνικές Βελτιστοποίησης Για Αποθήκευση Πολυμεσικών Δεδομένων Στο Cloud

Abstract

Στην παρούσα διπλωματική εργασία μελετάται το πρόβλημα αναζήτησης δεδομένων με βάση το περιεχόμενό τους και εξετάζεται η αποθήκευση των metadata των αρχείων με τρόπους που ευνοούν την γρήγορη απόκριση της αναζήτησης. Ο εντοπισμός δεδομένων με βάση το περιεχόμενό τους γίνεται με χρήση των metadata, αρχείων που περιέχουν την περιγραφή του περιεχομένου τους. Τα αρχεία στα οποία θα εκτελεστεί η αναζήτηση συνδυάζονται με metadata που υπακούν σε διάφορα πρότυπα περιγραφής περιεχομένου με γνωστότερο το MPEG-7. Τα αρχεία βρίσκονται αποθηκευμένα σε repositories, ενώ για τα metadata τους επιλέγεται κατάλληλος μετασχηματισμός και αποθήκευσή τους, ανάλογα με τον τύπο της υπηρεσίας που προσφέρει την εφαρμογή αναζήτησης και της διαθέσιμης υποδομής. Ευρέως χρησιμοποιούνται σκληροί δίσκοι και σχεσιακές βάσεις δεδομένων για την διατήρηση των metadata, πρακτικές που παρουσιάζουν διάφορα προβλήματα στην ταχύτητα εκτέλεσης της αναζήτησης, καθώς για την εξέταση των metadata απαιτούνται εργαλεία XML Parsing και εφαρμογή πολλών πολύπλοκων JOINS. Η διπλωματική αυτή προσπαθεί να λύσει το παραπάνω πρόβλημα με εφαρμογή εναλλακτικών τρόπων αποθήκευσης, και συνεπώς εκτέλεσης της αναζήτησης, με χρήση των σύγχρονων τεχνολογιών cloud. Συγκεκριμένα μελετάται ο τρόπος αποθήκευσης και αναζήτησης περιεχομένου σε 3D αρχεία, τα metadata των οποίων υπακούν στα πρότυπα MPEG-7, MPEG-21 και X3D. Καθώς τα πρότυπα αυτά χαρακτηρίζονται από πολλές ελευθερίες στον τρόπο περιγραφής του περιεχομένου, η αναπαράστασή τους σε σχεσιακές βάσεις δεδομένων απαιτεί χρήση πολλών διαφορετικών tables και διατήρηση πολλών relations για την πλήρη αναπαράσταση των μεταξύ τους σχέσεων. Για το λόγο αυτό επιλέχθηκε για την αποθήκευση των metadata η NoSQL βάση δεδομένων MongoDB, η οποία επιτρέπει την ευέλικτη και χωρίς περιορισμούς αναπαράσταση των metadata σε αρχεία τύπου BSON, τα οποία διατηρούν τα δεδομένα τους σε key/value pairs. Ένας ακόμα λόγος που επιλέχθηκε η MongoDB είναι το άμεσο scalability που προσφέρει με προσθήκη κόμβων στο MongoDB cluster, κάτι που σε σχεσιακές βάσεις δεδομένων αποτελεί πολύπλοκη διαδικασία και απαιτεί μεγάλη μεταφορά δεδομένων στο δίκτυο. Η αναζήτηση εκτελείται με εφαρμογή MongoDB Queries, προς πλήρη εκμετάλλευση των βελτιστοποιημένων τεχνικών που έχουν αναπτυχθεί ειδικά για το σκοπό αυτό. Παράλληλα υλοποιήθηκε μια μέθοδος αναζήτησης ενός query που απαιτεί aggregation των δεδομένων με εφαρμογή του προγραμματιστικού μοντέλου MapReduce. Στόχος είναι η συγκριτική μελέτη των σύγχρονων τεχνικών αναζήτησης περιεχομένου και της νέας προσέγγισης που προτείνεται από την διπλωματική αυτή, προς ανάδειξη των καταλληλότερων τεχνικών για κάθε είδους εφαρμογή που υλοποιεί αναζήτηση αρχείων με βάση το περιεχόμενό τους.