Πρόβλεψη Των Μοτίβων Μετακίνησης Του Πληθυσμού Με Ταξί, Με Χρήση Μεγάλων Δεδομένων Και Μηχανικής Μάθησης

Abstract

Σκοπός της παρούσας διπλωματικής εργασίας είναι η δημιουργία ενός μοντέλου μηχανικής μάθησης για την περιγραφή και την πρόβλεψη της μετακίνησης του πληθυσμού της Νέας Υόρκης με χρήση των ταξί, βάση των καιρικών συνθηκών και της ημέρας της εβδομάδας.Αρχικά, για τη δημιουργία των δεδομένων εκπαίδευσης του μοντέλου (συντεταγμένες, καιρικές συνθήκες, z-score) και την ανάλυση των μεγάλων δεδομένων εισόδου, υλοποιείται ο αλγόριθμος Getis Ord GI* σε Scala και Apache Spark. Τα δεδομένα αυτά συνδυάζονται με δεδομένα των καιρικών συνθηκών, και προκύπτει το σύνολο εκπαίδευσης του νευρωνικού δικτύου.Στη συνέχεια, δημιουργούνται πολλές διαφορετικές αρχιτεκτονικές δικτύων βαθιάς μάθησης με χρήση του Tensorflow, τα οποία εκπαιδεύονται και αξιολογούνται. Επιλέγεται η αρχιτεκτονική με την καλύτερη σύγκλιση, και δοκιμάζονται και αξιολογούνται όλες οι συναρτήσεις βελτιστοποίησης και ενεργοποίησης. Τελικά επιλέγονται οι καταλληλότερες παράμετροι για την εκπαίδευση του δικτύου, και εκπαιδεύεται και αξιολογείται το δίκτυο βαθιάς μάθησης.Τέλος δημιουργείται μία διαδικτυακή υπηρεσία και μια διεπαφή χρήστη για τον ευκολότερο πειραματισμό με το μοντέλο και τις προβλέψεις.