Μελέτη Κι Υλοποίηση Αλγορίθμων Για Τη Βέλτιστη Δυνατή Εκτέλεση Ενός Συνδέσμου Πολλών Σχέσεων Στο Περιβάλλον Map-reduce

Abstract

Ένα πολύ σημαντικό πρόβλημα του σύγχρονου κόσμου αποτελεί η διαχείριση κι ηεπεξεργασία των δεδομένων όσο το δυνατόν γρηγορότερα. Τα δεδομένα αυτά ακόμα και στονχρονικό ορίζοντα μιας ημέρας έχουν έναν τεράστιο όγκο εμπεριέχοντας όμως χρησιμότατηπληροφορία για την πρόοδο κι εξέλιξη της ανθρωπότητας. Ένας τρόπος για την άντληση αυτής τηςπληροφορίας αποτελεί ο λεγόμενος σύνδεσμος και μάλιστα ο πολλαπλός. Ο σύνδεσμος δεν είναιτίποτα άλλο παρά μια τεχνική, μια μέθοδος, ένας αλγόριθμος που συνδυάζει τα δεδομένα, εξάγειτην πληροφορία και την παρουσιάζει με κατανοητό τρόπο στον χρήστη. Ο πολλαπλός σύνδεσμοςσυνδυάζει πολλές πηγές δεδομένων ταυτόχρονα.Από εκεί και πέρα ο σύνδεσμος για πολλούς λόγους δεν αποδίδει το μέγιστο δυνατό. Απότην άλλη αποτελεί μια πολύ πρόσφορη λύση στο προαναφερθέν πρόβλημα γενικά κι ειδικά. Γιααυτό ο σύνδεσμος και δη ο πολλαπλός σύνδεσμος, θα πρέπει να μελετηθούν ώστε να ξεπεραστούντα προβλήματα τους και να γίνουν ακόμα πιο αποδοτικοί ως τεχνική.Στην παρούσα διπλωματική γίνεται ακριβώς αυτό. Εξετάζεται αρχικά κι εν συντομία ηέννοια του πολλαπλού συνδέσμου κι αναδεικνύεται η σημασία του. Έπειτα μελετώνται μερικέςσημαντικές και σύγχρονες τεχνικές που είτε εφαρμόζονται ήδη είτε βρίσκονται σε στάδιοανάπτυξης. Οι τεχνικές αυτές αφορούν σε ποικίλα περιβάλλοντα ώστε να καλυφθεί το θέμαπλήρως. Άλλωστε συνηθίζεται οι καλύτερες τεχνικές να συγκερνούν ένα πλήθος άλλων.Η τελευταία από όλες τις τεχνικές μελετάται εκτεταμένα κι αποτελεί το κύριο αντικείμενοτης παρούσας εργασίας. Η τεχνική αυτή αφορά στην απόδοση ενός συνδέσμου όταν αυτόςυλοποιείται στο περιβάλλον του Map - Reduce. Μετά την θεωρητική ανάλυση της μεθόδου αυτήςπαρουσιάζονται μια σειρά από πειράματα όπου δοκιμάζεται η απόδοση της έναντι πιοπαραδοσιακών τεχνικών σε σχέση με διάφορους παράγοντες. Το προγραμματιστικό περιβάλλον στοοποίο γίνονται τα πειράματα είναι αυτό του Hadoop της Apache, μια ανοικτού κώδικα υλοποίησητου Map - Reduce. Τέλος, παρουσιάζονται τα πειραματικά δεδομένα και τα συνεπαγόμενασυμπεράσματα προκειμένου να οριοθετηθεί το πεδίο της περαιτέρω βελτίωσης του συνδέσμου.