Συγκριτική ανάλυση των αρχιτεκτονικών Data Lake: Apache Iceberg, Apache Hudi και Delta Lake

Abstract

Η ραγδαία αύξηση των δεδομένων τα τελευταία χρόνια έχει οδηγήσει σε σημαντική αλ- λαγή στον τρόπο με τον οποίο οι οργανισμοί αποθηκεύουν, διαχειρίζονται και αναλύουν τις πληροφορίες. Τα παραδοσιακά αποθετήρια δεδομένων, αν και αποτελεσματικά για δομημένα δεδομένα, δυσκολεύονται να ανταποκριθούν στις απαιτήσεις των σύγχρονων συνόλων δεδο- μένων που χαρακτηρίζονται από μεγάλο όγκο, ποικιλία και ταχύτητα. Για την αντιμετώπιση αυτών των προκλήσεων, εμφανίστηκαν τα data lakes ως κεντρικά αποθετήρια ικανά να αποθη- κεύουν ακατέργαστα δεδομένα σε τεράστια κλίμακα. Ωστόσο, αυτές οι αρχικές αρχιτεκτονικές παρουσίαζαν περιορισμούς, όπως χαμηλή απόδοση ερωτημάτων, έλλειψη εγγυήσεων συναλ- λαγών και απουσία επιβολής σχήματος. Για την αντιμετώπιση αυτών των ελλείψεων, έχει αναπτυχθεί μια νέα γενιά ανοιχτών μορ- φών πίνακα, συγκεκριμένα τα Apache Iceberg, Apache Hudi και Delta Lake. Αυτές οι τεχνο- λογίες εισάγουν χαρακτηριστικά συστημάτων σχεσιακών βάσεων δεδομένων στα data lakes, όπως μεταβολές σχήματος, συναλλαγές ACID, ερωτήματα time travel και αποτελεσματική δια- χείριση αρχείων. Η παρούσα εργασία επιχειρεί μια συγκριτική αξιολόγηση της απόδοσης και της κλιμάκω- σης των Apache Iceberg, Apache Hudi και Delta Lake. Χρησιμοποιώντας το πλαίσιο LST-Bench, η μελέτη εκτελεί μια σειρά πειραμάτων benchmarking σε διάφορους τύπους φόρτιου εργασίας για να αξιολογήσει τις δυνατότητες απόδοσης και κλιμάκωσης κάθε τεχνολογίας στο πλαί- σιο μιας αρχιτεκτονικής data lakehouse. Τα ευρήματα στοχεύουν να προσφέρουν πληροφορίες σχετικά με την καταλληλότητά τους για διαφορετικά σενάρια ανάλυσης δεδομένων.