Containerization vs Bare Metal: distributed computing performance using Apache Spark

Abstract

Αυτή η έρευνα εξερευνά τις συμβιβαστικές λύσεις απόδοσης μεταξύ των περιβαλλόντων που βασίζονται σε container και τα περιβάλλοντα bare metal για την εκτέλεση εφαρμογών Apache Spark, εστιάζοντας συγκεκριμένα στα dashboard ανίχνευσης τροχαίων περιστατικών. Ο κατανεμημένος υπολογισμός, ένα θεμελιώδες στοιχείο των σύγχρονων εφαρμογών που βασίζονται σε δεδομένα, παρουσιάζει ένα φάσμα επιλογών ανάπτυξης, κάθε μία με διακριτά πλεονεκτήματα και προκλήσεις. Αυτή η έρευνα εμβαθύνει στις θεωρητικές βάσεις του κατανεμημένου υπολογισμού, του containerization και των υλοποιήσεων bare metal, προετοιμάζοντας το έδαφος για μια συγκριτική ανάλυση που βασίζεται σε μετρήσεις απόδοσης, κλιμακωσιμότητας, χρήσης πόρων και λειτουργικής πολυπλοκότητας. Διεξήχθησαν μια σειρά πειραμάτων χρησιμοποιώντας το Apache Spark για την εκτέλεση μοντέλων μηχανικής μάθησης τόσο σε περιβάλλοντα container όσο και σε περιβάλλοντα bare metal. Τα κριτήρια αξιολόγησης σχεδιάστηκαν έτσι ώστε να αντανακλούν τις απαιτήσεις των εφαρμογών πολλαπλών κατόχων στον πραγματικό κόσμο, τονίζοντας την ανταπόκριση και την κλιμακωσιμότητα των dashboard οπτικοποίησης που είναι κρίσιμα για την ανίχνευση περιστατικών. Τα πειραματικά αποτελέσματα αποκαλύπτουν ότι, ενώ τα περιβάλλοντα με container προσφέρουν βελτιωμένη κλιμακωσιμότητα, ευελιξία στην ανάπτυξη και μειωμένη λειτουργική πολυπλοκότητα, φέρουν ελάχιστη επιβάρυνση απόδοσης σε σύγκριση με τις διαμορφώσεις bare metal. Αντίθετα, τα περιβάλλοντα bare metal επιδεικνύουν ελαφρώς ανώτερη υπολογιστική αποδοτικότητα, αποδίδοντας στην άμεση πρόσβαση στο υλικό, παρόλο που αυτό συνεπάγεται μειωμένη ευελιξία και έλλειψη ανοχής σε σφάλματα. Η έρευνα καταλήγει ότι η επιλογή μεταξύ containerization και bare metal για τις αναπτύξεις Apache Spark εξαρτάται από τις συγκεκριμένες απαιτήσεις της εφαρμογής και το πλαίσιο χρήσης της. Τα περιβάλλοντα με container προτιμώνται για την προσαρμοστικότητά τους σε σενάρια βασισμένα στο cloud και πολλαπλών κατόχων, όπου η κλιμακωσιμότητα και η λειτουργική αποδοτικότητα είναι καθοριστικής σημασίας. Οι διαμορφώσεις bare metal, ωστόσο, μπορεί να προτιμώνται σε πλαίσια που απαιτούν τη μέγιστη υπολογιστική απόδοση με σταθερά χαρακτηριστικά φορτίου. Αυτή η έρευνα συνεισφέρει στην ευρύτερη κατανόηση των αρχιτεκτονικών κατανεμημένου υπολογισμού, προσφέροντας πληροφορίες για τις επιπτώσεις τους στον σχεδιασμό και τη βελτιστοποίηση υψηλής απόδοσης, κλιμακώσιμων dashboard για διάφορους ενδιαφερόμενους και περιπτώσεις χρήσης.