Υλοποίηση ελεγκτή κλειστού συστήματος ελέγχου γλυκόζης με χρήση αλγορίθμων βαθιάς ενισχυτικής μάθησης

Abstract

Ο διαβήτης τύπου ένα είναι μία αυτοάνοση ασθένεια η οποία καταστρέφει τα β-κύτταρα του παγκρέατος που παράγουν ινσουλίνη, την ορμόνη υπεύθυνη για την απορρόφηση της γλυκόζης. Οι διαβητικοί αυτορυθμίζουν τη γλυκόζη τους καθημερινά με ενέσεις ινσουλίνης ή μέσω αντλίας. H δημιουργία ενός κλειστού συστήματος ελέγχου γλυκόζης, το ονομαζόμενο τεχνητό πάγκρεας, με συνδυασμό συσκευής συνεχής μέτρησης γλυκόζης, αντλίας ινσουλίνης και ενός αλγορίθμου ελέγχου θα βελτιώσει την ποιότητα ζωής τους. Ο αλγόριθμος είναι το βασικότερο συστατικό για την κατασκευή πλήρως αυτοματοποιημένου συστήματος κάτι που μέχρι σήμερα δεν υπάρχει λόγω μη γραμμικών παραμέτρων στο μοντέλου γλυκόζης-ινσουλίνης. Χρησιμοποιώντας τον αλγορίθμο ενισχυτικής μάθησης DQN εκπαιδεύσαμε τρεις πράκτορες με ίδιο σύνολο ενεργειών ινσουλίνης τριών δόσεων και συνάρτηση ανταμοιβής με βάση τον δείκτη συνολίκου κινδύνου στο περιβάλλον του προσομοιωτή του μοντέλου γλυκόζης-ινσουλίνης T1D UVA/Padova S2008 σε python3. Ο πρώτος πράκτορας εκπαιδεύτηκε σε έναν ασθενή, δεδομένο σενάριο γεύματος και διάνυσμα καταστάσης που περιελάμβανε την προηγούμενη δόση ινσουλίνης. O δεύτερος ήταν γενικού σκοπού, ο τρίτος εκπαιδεύτηκε σε ασθενή με τυχαία γεύματα και οι δύο είχαν διάνυσμα καταστάσεων που περιελάμβανε τη χρονική στιγμή. Η αξιολόγηση έδειξε ότι ο πρώτος κατάφερε καλύτερο γλυκαιμικό έλεγχο σε οποιοδήποτε σενάριο και ότι κάνενας πράκτορας δεν πέτυχε πλήρη έλεγχο λόγω της μερικής παρατηρησιμότητας του περιβάλλοντος, τα χαρακτηριστικά φαρμακοκινητικής της ινσουλίνης, της ακρίβειας των αισθητήρων και του περιορισμένου συνόλου ενεργειών. Συνολικά η διπλωματική αυτή δείχνει ότι η ενισχυτική μάθηση μπορεί να διαχειριστεί το πρόβλημα του διαβήτη τύπου ένα αλλά χρειάζεται περαιτέρω πειραματισμός στο είδος του αλγορίθμου εκπαίδευσης και των παραμέτρων του.