Υλοποίηση Lambda Architecture για Δεδομένα Μεγάλης Κλίμακας

Abstract

Εισαγωγή: Ο όρος «Μεγάλα Δεδομένα» χαρακτηρίζεται από τεράστιο όγκο, ποικιλία και συνεχή συσσώρευση νέων δεδομένων, από πολλές πηγές και σε διαφορετικές μορφές, καθιστώντας δυσχερή την αξιοποίησή τους. Σκοπός: Σκοπός της παρούσας διπλωματικής εργασίας είναι η αναπαραγωγή μίας Περίπτωσης Χρήσης και η εφαρμογή λογισμικού που θα υποστηρίζει την προγραμματιστική υλοποίηση της Αρχιτεκτονικής Lambda. Υλικά – Μέθοδος: Η βιβλιογραφική ανασκόπηση της σχετικής ελληνικής και διεθνούς βιβλιογραφίας, μέσα από διαδικτυακές βάσεις δεδομένων, διενεργήθηκε στο χρονικό διάστημα από τον Οκτώβριο του 2020 έως και το Φεβρουάριο του 2021. Η Περίπτωση Χρήσης αφορά την ανάλυση πραγματικών δεδομένων από δύο Datasets: το πρώτο με δεδομένα τροχαίων ατυχημάτων στις Ηνωμένες Πολιτείες της Αμερικής (Η.Π.Α.) και το δεύτερο με καιρικά φαινόμενα στις Η.Π.Α., για το χρονικό διάστημα 2016 – 2019. Αποτελέσματα: Τα αποτελέσματα της έρευνας οδήγησαν σε συσχετίσεις μεταξύ των τροχαίων ατυχημάτων και των επικρατούμενων καιρικών συνθηκών, τη δεδομένη χρονική στιγμή, αναδεικνύοντας το σκοπό της διπλωματικής εργασίας, δηλαδή να δοθεί αξία σε δεδομένα ευρείας κλίμακας, που, υπό άλλες συνθήκες, θα παρέμεναν ανεκμετάλλευτα. Συμπεράσματα: Η τεχνολογία έχει δημιουργηθεί για να υπηρετεί τις ανάγκες του ανθρώπου και καλείται να επιτύχει τον παραπάνω σκοπό. Οι λύσεις λογισμικού και η ανάπτυξη νέων μοντέλων αρχιτεκτονικής μπορούν να εξυπηρετήσουν στην επωφελή αξιοποίηση των δεδομένων. Μοντέλα αρχιτεκτονικής όπως η Lambda, που επιλέχθηκε στα πλαίσια της παρούσας διπλωματικής, βοηθούν σημαντικά στη μείωση της ψαλίδας μεταξύ της παραγωγής δεδομένων και της τελικής αξιοποίησής τους.