Ανάλυση Υπερφασματικής Απεικόνισης με χρήση του εργαλείου Apache Spark σε Κατανεμημένο Περιβάλλον

Abstract

Τα τελευταία χρόνια υπάρχει έντονη αύξηση των υπερφασματικών δεδομένων που συλλέγονται από δορυφόρους προς επεξεργασία και αποθήκευση. Τα δεδομένα αυτά χαρακτηρίζονται από υψηλό όγκο, καθώς εμπεριέχουν μεγάλη και αναλυτική πληροφορία για την περιοχή παρατήρησης σε ολόκληρο το ηλεκτρομαγνητικό φάσμα. Η ανάλυση των πληροφοριών αυτών είναι χρήσιμη για την εξαγωγή συμπερασμάτων σχετικά με τη μορφολογία του εδάφους και τη σύστασή του. Για το σκοπό αυτό απαιτείται η χρήση εργαλείων και τεχνολογιών που μπορούν να διαχειριστούν αποδοτικά μεγάλα δεδομένα(Big Data). Η παρούσα διπλωματική εργασία καλείται να επιλύσει αποδοτικά το πρόβλημα του φασματικού διαχωρισμού(Spectral Unmixing), το οποίο αποτελεί ένα σύνθετο πρόβλημα ανάλυσης υπερφασματικών δεδομένων με στόχο την αναγνώριση των υλικών και της ποσόστωσής τους σε κάθε εικονοστοιχείο(pixel) της εικόνας. Για την υλοποίηση του μοντέλου επίλυσης, χρησιμοποιήθηκε το εργαλείο Apache Spark και το κατανεμημένο σύστημα αρχείων HDFS(Hadoop Distributed File System). Η εφαρμογή που κατασκευάστηκε χωρίζεται σε τρία βασικά μέρη, τα οποία αναλαμβάνουν τον προσδιορισμό του πλήθους των καθαρών υλικών(endmembers), την εξαγωγή των φασματικών υπογραφών τους και την εύρεση της ποσόστωσής τους σε κάθε pixel. Πραγματοποιήθηκαν πειράματα για την επαλήθευση των αποτελεσμάτων κάθε σταδίου με χρήση συνθετικών δεδομένων, τα οποία κατασκευάστηκαν από υλικά της φασματικής βιβλιοθήκης του USGS. Τέλος, δόθηκε ιδιαίτερη έμφαση στην ανάλυση της επίδοσης της εφαρμογής, μέσω της παραμετροποίησης των πόρων που χρησιμοποιεί το Apache Spark σε ένα κατανεμημένο σύστημα.