Κατανεμημένη Ενισχυτική Μάθηση για τη Βέλτιστη Διαχείριση Κατανεμημένων Μπαταριών σε Smart Grids

Abstract

Τα τελευταία χρόνια, η ενσωμάτωση ανανεώσιμων πηγών ενέργειας στα έξυπνα δίκτυα ενέργειας παρουσιάζει αξιοσημείωτη αύξηση. Ωστόσο, η ζήτηση σε ενέργεια πρέπει να είναι πάντα σε ισορροπία με την προσφορά. Για να επιτευχθεί αυτό, εξαιτίας της αβεβαιότητας που διέπει την παραγωγή ενέργειας από ανανεώσιμες πηγές, απαιτείται αυξημένη ποσότητα αποθεμάτων, τα οποία όμως είναι δαπανηρά και αυξάνουν τα λειτουργικά και επενδυτικά κόστη. Μια στρατηγική για τη μείωση των απαιτούμενων αποθεμάτων, είναι η χρήση συστημάτων αποθήκευσης ενέργειας, όπως μπαταρίες. Οι μπαταρίες μπορούν να καταναλώνουν ενέργεια όταν υπάρχει υπερ-παραγωγή από τις ανανεώσιμες πηγές και να την απελευθερώνουν όταν η ζήτηση υπερβαίνει την παραγωγή. Προκειμένου όμως, να αξιοποιούνται στο έπακρο οι δυνατότητες των μπαταριών, είναι απαραίτητος ο βέλτιστος έλεγχος της λειτουργίας τους. Ο έλεγχος πολλαπλών μπαταριών, λαμβάνοντας υπόψιν τους περιορισμούς καθεμίας εξ αυτών, μπορεί να μοντελοποιηθεί ως ένα πρόβλημα βελτιστοποίησης πολλαπλών σταδίων. Αυτό το είδος προβλημάτων επιλύεται τυπικά μέσω του Model Predictive Control. Στην παρούσα διπλωματική εργασία μελετάμε τον βέλτιστο σε πραγματικό χρόνο έλεγχο πολλαπλών μπαταριών στα έξυπνα δίκτυα, χρησιμοποιώντας ενισχυτική μάθηση πολλαπλών πρακτόρων. Ο έλεγχος γίνεται με κατανεμημένο τρόπο για να αποφευχθούν τα ζητήματα πολυπλοκότητας και δυνατότητας εφαρμογής που ανακύπτουν όταν ένας κεντρικός πράκτορας λαμβάνει αποφάσεις για όλους τους άλλους πράκτορες. Σε αυτό το έργο λοιπόν, αναπτύσσουμε δύο συστήματα κατανεμημένου ελέγχου μπαταριών, εφαρμόζοντας τον αλγόριθμο MADDPG. Μοντελοποιούμε το πρόβλημα ως Μαρκοβιανή Διαδικασία Απόφασης και αναθέτουμε σε κάθε μπαταρία έναν διαφορετικό πράκτορα για τη λήψη των αποφάσεων. Στο πρώτο σύστημα συνδυάζουμε τον MADDPG με μια παραδοσιακή τεχνική βελτιστοποίησης, τη Lagrangian Decomposition, που διασπά το αρχικό πρόβλημα σε υποπροβλήματα. Η συνεργασία και ο συντονισμός μεταξύ των πρακτόρων επιτυγχάνεται μέσω του κοινού πολλαπλασιαστή Lagrange. Στο δεύτερο σύστημα, εφαρμόζουμε τον αλγόριθμο MADDPG στο συνολικό πρόβλημα, χωρίς να χρησιμοποιήσουμε τη Lagrangian Decomposition. Τα δύο συστήματα συγκρίνονται μεταξύ τους και με τη μέθοδο Model Predictive Control, ως προς την επίδοση και την υπολογιστική τους πολυπλοκότητα.