Αναλυτική Επεξεργασία Και Βελτιστοποίηση Ερωτημάτων Σε Ροές Δεδομένων

Abstract

Στην εποχή μας, εφαρμογές δεδομένων μεγάλων σε όγκο και πολυπλοκότητα παράγουν δεδομένα σε κολοσσιαίες τιμές. Για να είναι εφικτή η επεξεργασία τέτοιων δεδομένων ροής και να παραχθούν γρήγορα αποτελέσματα, χρησιμοποιείται η τεχνολογία της επεξεργασίας δεδομένων ροής. Ωστόσο, οι σύγχρονες πλατφόρμες επεξεργασίας ροών δεδομένων, όπως το Apache Storm, το Spark Streaming και το Apache Samza, είτε δεν διαθέτουν είτε έχουν περιορισμένη υποστήριξη SQL για τη δήλωση ερωτημάτων συνεχούς ροής και απαιτούν καλή γνώση προστακτικού προγραμματισμού και κατανεμημένων συστημάτων για να χρησιμοποιηθούν αποτελεσματικά. Επιπλέον, τέτοια συστήματα υποστηρίζουν τυπικούς κανόνες βελτιστοποίησης που βασίζονται σε ευριστικούς κανόνες(Spark Catalyst) και τεχνικές βελτιστοποίησης που στοχεύουν σε μοντέλα κόστους βασισμένα σε Συστήματα Διαχείρισης Σχεσιακών Βάσεων Δεδομένων, χωρίς να λαμβάνονται υπόψη οι διαφορετικές απαιτήσεις που έχουν τα συστήματα ροής. Ενώ υπάρχουν πολλά διαφορετικά μοντέλα και αλγόριθμοι που έχουν προταθεί για τη βελτιστοποίηση της εκτέλεσης σύνθετων ερωτημάτων συνεχούς ροής, δεν χρησιμοποιούνται από τα σύγχρονα συστήματα ροής δεδομένων, καθώς απαιτείται μεγάλη σχεδιαστική και προγραμματική προσπάθεια για την υλοποίηση τους. Το σύστημά μας, το RBStream, είναι χτισμένο πάνω στο Apache Calcite, ένα σύγχρονο πλαίσιο ανοιχτού κώδικα για την ανάλυση, την επικύρωση και τη βελτιστοποίηση των ερωτημάτων και εισάγει ένα λογικό εργαλείο βελτιστοποίησης βάσει κόστους στην υβριδική μηχανή επεξεργασίας ροής SABER. Παρουσιάζουμε τεχνικές βελτιστοποίησης βασισμένες στο ρυθμό εισροής δεδομένων, χρησιμοποιώντας ένα συνδυασμό του Volcano μαζί με τη υλοποίηση ενός Heuristic βελτιστοποιητή στο Calcite, παρόμοιο με το Spark Catalyst. Η διαδικασία βελτιστοποίησης χωρίζεται σε φάσεις χρησιμοποιώντας ενσωματωμένους και προσαρμοσμένους κανόνες, που εφαρμόζουν ισοδύναμους αλγεβρικούς μετασχηματισμούς για να παραχθεί ένα πλάνο βελτιστοποιημένο σε επίπεδο throughput, latency και χρήσης της CPU. Εφαρμόσαμε τα ευρήματά μας στο SABER και αξιολογήσαμε πειραματικά το RBStream με συνθετικά δεδομένα σε διαφορετικά configuration.