Pipelined Mapreduce: A Decoupled Mapreduce Runtime For Shared-memory Multi-processors

Abstract

Οι σύγχρονοι πολυπύρηνοι επεξεργαστές ενσωματώνουν εκατοντάδες υπολογιστικούς πυρήνες στην προσπάθεια τους να επιτύχουν επίδοση της τάξης των TFlops/sec. ιάφορα μοντέλα έχουν αναδυθεί για να διευκολύνουν την ανάπτυξη παράλληλων, κλιμακώσιμων προγραμμάτων. Το προγραμματιστικό μοντέλο MapReduce, μετά το επιτυχές πέρασμα από τον τομέα των κατανεμημένων συστημάτων, έχει πλέον προσαρμοστεί στις ανάγκες των μοιραζόμενης μνήμης πολυπύρηνα συστήματα. Στόχος της εργασίας αυτής είναι να βελτιώσει την υπάρχουσα, παραδοσιακή αρχιτεκτονική MapReduce, αποσυνδέοντας το Map και Combine σε δύο ξεχωριστές φάσεις. Αυτές οι φάσεις επικαλύπτονται και εκτελούνται ταυτόχρονα. Υποστηρίζουμε ότι επικαλύπτοντας τον υπολογισμό του Map και Combine οδηγούμαστε σε πιο αποδοτική εκμετάλλευση των υλικών πόρων και βελτίωση της ταχύτητας εκτέλεσης. Μία υψηλών επιδόσεων, μοιραζόμενη δομή δεδομένων έχει εισαχθεί προκειμένου να διοχετεύονται τα ενδιάμεσα δεδομένα από το Map στο Combine. Επιπλέον, μία πολιτική δέσμευσης νημάτων σε ΚΜΕ που ελαχιστοποιεί το κόστος επικοινωνίας συνεργατικών νημάτων έχει σχεδιασθεί. Η πρόταση μας αξιολογείται σε δύο εντελώς διαφορετικά συστήματα. Η επιτάχυνση που επιτεύχθηκε φτάνει μέχρι και 5.7Χ, σε σύγκριση με τη βιβλιοθήκη Phoenix++. Παρόλα αυτά, παρατηρούμε ότι κάποια ήδη εργασιών δεν επωφελούνται από την αρχιτεκτονική μας και προσπαθούμε να εντοπίσουμε τα χαρακτηριστικά των εφαρμογών που καθορίζουν την καταλληλότητα τους στο πλαίσιο μας.