Ανάπτυξη αρχιτεκτονικών νευρωνικών δικτύων πρόβλεψης µε χρήση µηχανισµών προσοχής

Abstract

Η παρούσα διπλωματική εργασία επιχειρεί την πρόβλεψη του φορτίου ηλεκτρικής ενέργειας ανά την Ευρώπη, χρησιμοποιώντας μηχανισμούς προσοχής. Πιο συγκεκριμένα, αρχικά γίνεται μία εκτενής βιβλιογραφική έρευνα για τον εντοπισμό των μέχρι τώρα ερευνητικών προσπαθειών στην κατεύθυνση αυτή, είτε με χρήση μηχανισμών προσοχής είτε χωρίς. Έπειτα, έχοντας γνώση των δυνατοτήτων αλλά και των αδυναμιών των δημοσιευμένων ερευνών στον τομέα αυτό, εξετάζεται η ικανότητα αρχιτεκτονικών με μηχανισμούς προσοχής στην πρόβλεψη του συγκεκριμένου είδους χρονοσειρών. Γίνεται μία εκτενής έρευνα των νευρωνικών αρχιτεκτονικών που μπορούν να τοποθετηθούν πριν αλλά και μετά τον μηχανισμό προσοχής ενώ μελετάται και ο τρόπος με τον οποίο μπορούν να συνδυαστούν μηχανισμοί προσοχής στην ίδια νευρωνική αρχιτεκτονική, έτσι ώστε να προκύψουν οι πιο ακριβείς προβλέψεις. Παράλληλα, ιδιαίτερη έμφαση δίνεται και στην δυνατότητα παραγωγής επεξηγήσημων προβλέψεων, κάτι που καθιστά τα παρουσιαζόμενα μοντέλα πιο αξιόπιστα. Επιπλέον, κατά την προσπάθεια αύξησης της ακρίβειας των προβλέψεων, διαπιστώνεται η σημασία της πρόβλεψης της εμφάνισης ειδικών γεγονότων που διαταράσσουν την κανονικότητα των χρονοσειρών, και προτείνοναι μεθοδολογίες προς αυτή την κατεύθυνση. Τέλος, η παρούσα έρευνα προτείνει και έναν νέο Transformer, ο οποίος έχει τη δυνατότητα να παρέχει πολύ πιο αξιόπιστες προβλέψεις από αυτές των αντίστοιχων παρόχων ηλεκτρικής ενέργειας, ενώ φαίνεται να μπορεί να προβλέψει σε αξιοσημείωτο βαθμό την εμφάνιση ειδικών γεγονότων, χωρίς την χρήση επιπλέον πληροφοριών που στην βιβλιογραφία προκύπτουν από την χρήση ημερολογιακών ή καιρικών μεταβλητών.