Βελτιστοποίηση κόστους και ποιότητας ζωής των μπαταριών συστήματος V2G μέσω χρήσης Ενισχυτικής Μηχανικής Μάθησης

Abstract

Σκοπός της παρούσας διπλωματική είναι η βελτιστοποίηση του ελεγχόμενου συστήματος αμφίδρομης φόρτισης ως προς το κόστος φόρτισης αλλά και τη φθορά που προκαλείται στην μπαταρία. Αρχικά γίνεται εισαγωγή στην έννοια των ανανεώσιμων πηγών ενέργειας, στη φύση τους καθώς και τα πλεονεκτήματα και μειονεκτήματα που έχουν. Ύστερα παρουσιάζουμε τη μορφή της αγοράς ενέργειας και πως αυτή έχει τη δυνατότητα ρύθμισης και ελέγχου των ανανεώσιμων πηγών ενέργειας. Επιπλέον, κάνουμε μια μικρή εισαγωγή στη λειτουργία των ηλεκτρικών οχημάτων, στους λόγους φθοράς των μπαταριών τους καθώς και στους τρόπους που αυτή μπορεί να μειωθεί μέσα από ελεγχόμενα συστήματα φόρτισης όπως το σύστημα έξυπνου φορτιστή, και τα συστήματα αμφίδρομης φόρτισης. Ολοκληρώνουμε την εισαγωγή μας αναφέροντας την ενισχυτική μάθηση και συγκεκριμένα τη λειτουργία δύο βασικών αλγορίθμων: τη βαθιά Q-μάθηση και τη διπλή βαθιά Q-μάθηση. Παρουσιάζουμε την υλοποίηση του περιβάλλοντος μας, η οποία έχει ως στόχο την απλοποίηση της διαδικασίας αποφάσεων δίνοντας στο σύστημα τη δυνατότητα να πάρει αποφάσεις για το σύνολο του πάρκινγκ και όχι για κάθε όχημα ξεχωριστά. Με τον τρόπο αυτό έχουμε τη δυνατότητα εφαρμογής τους αλγορίθμου μας σε οποιοδήποτε πάρκινγκ ανεξάρτητα από τον αριθμό των εισερχόμενων οχημάτων. Για το παραπάνω περιβάλλον δημιουργούμε τρεις πολιτικές: Μια πολιτική έξυπνου φορτιστή, μια απλοποιημένη πολιτική αμφίδρομης φόρτισης και μια βελτιστοποιημένη πολιτική αμφίδρομης φόρτισης κάνοντας χρήση του αλγορίθμου διπλής βαθιάς Q-μάθησης. Τέλος, συγκρίνουμε τα αποτελέσματα των τριών αυτών διαφορετικών πολιτικών προκειμένου να συμπεράνουμε αν η ενισχυτική μάθηση μπορεί να συμβάλει στη βελτιστοποίηση του V2G συστήματος.