Σχεδιασμός Ενός Δίκαιου και Κατανεμημένου Σχήματος Ελέγχου Πολλαπλών Μπαταριών σε Πραγματικό Χρόνο με Χρήση Ενισχυτικής Μάθησης

Abstract

Η ενσωµάτωση των ανανεώσιµων πηγών ενέργειας πραγµατοποιείται µε ϱαγδαίους ϱυθµούς τα τελευταία χρόνια. Όµως, η παραγωγή τους χαρακτηρίζεται από αβεβαιότητες και στοχαστικότητα, δυσχεραίνοντας τις προβλέψεις, µε αποτέλεσµα την ανάγκη για αυξηµένα αποθέµατα, τα οποία ωστόσο αυξάνουν τα λειτουργικά κόστη. Ως εναλλακτικός τρόπος αποθήκευσης ενέργειας προτείνεται η χρήση µπαταριών. Οι µπαταρίες µπορούν να αποθηκεύουν ή να προσφέρουν ενέργεια, ώστε να εξισορροπηθεί η προσφορά µε τη ζήτηση. Έτσι, δηµιουργείται η ανάγκη για βέλτιστο έλεγχο τους. Λαµβάνοντας υπόψιν ότι κάθε µπαταρία έχει περιορισµούς για την ασφαλή λειτουργία της, καθώς και το συνολικό δίκτυο µπορεί να έχει στόχους σχετικά µε την αποθηκευµένη ενέργεια συγκεκριµένη χρονική στιγµή, το πρόβληµα του ελέγχου των πολλαπλών µπαταριών ανάγεται σε ένα πρόβληµα βελτιστοποίησης. Παραδοσιακά, τέτοια προβλήµατα επιλύονται βέλτιστα µε τη µέθοδο Model Predictive Control. Τα τελευταία χρόνια, η αυξανόµενη χρήση της µηχανικής µάθησης έχει οδηγήσει σε µεθόδους της να βρίσκουν εφαρµογές και στον βέλτιστο έλεγχο έξυπνων δικτύων. Συγκεκριµένα, η ενισχυτική µάθηση είναι το πεδίο της µηχανικής µάθησης που επιχειρεί να ανακαλύψει τη βέλτιστη πολιτική βάσει της αλληλεπίδρασης µε το περιβάλλον. Το γεγονός ότι λειτουργεί υπό στοχαστικότητα την καθιστά κατάλληλη για τέτοιες εφαρµογές, ενώ παρέχονται µέθοδοι που επιτρέπουν την κατανεµηµένη απόφαση κάθε µπαταρίας, έναντι κεντρικών αποφάσεων αυξάνοντας την ιδιωτικότητα. Σε κατανεµηµένα περιβάλλοντα εγείρονται ζητήµατα σχετικά µε τη δίκαιη χρήση των µπαταριών. Ενδεικτικά, µπορεί µία µπαταρία να µη χρησιµοποιείται, µε αποτέλεσµα οι υπόλοιπες να ϕορτίζουν ή ξεφορτίζουν περισσότερο από όσο θα χρειάζοταν. Στην παρούσα εργασία, προτείνονται µέθοδοι, σύµφωνα µε τις οποίες, ο βέλτιστος έλεγχος των µπαταριών µε χρήση του αλγορίθµου ενισχυτικής µάθησης πολλαπλών πρακτόρων MADDPG καταφέρνει να εκµάθει για κάθε µπαταρία µία πολιτική, η οποία ελαχιστοποιεί το κόστος του δικτύου, ενώ ταυτόχρονα επιτυγχάνει τη δίκαιη χρήση µεταξύ των µπαταριών. Συγκεκριµένα, εξετάζονται δύο τρόποι µε τους οποίους επιτυγχάνεται η δικαιοσύνη µεταξύ των µπαταριών, ενώ εξετάζεται και η πληροφορία που πρέπει να κοινοποείται από το δίκτυο µε σκοπό τον βέλτιστο έλεγχο.