Βελτιστοποίηση Μέσω Βαθιάς Ενισχυτικής Μάθησης για Ασφαλή Εκφόρτωση Δεδομένων σε Ασύρματα Δίκτυα

Abstract

Η ευρεία διάδοση κινητών συσκευών καθώς και άλλων ασυρμάτων συσκευών περιορισμένης υπολογιστικής ισχύος έχει φέρει και την απαίτηση για εκτέλεση υπολογιστικά απαιτητικών εφαρμογών σε αυτές. Σε αυτό το πρόβλημα, τα Mobile Edge Computing (MEC) και Rate Splitting Multiple Access (RSMA) είναι τεχνικές που πιθανώς να ικανοποιήσουν τις υψηλές απαιτήσεις των εφαρμογών αυτών χωρίς να απαιτείται η χρήση νέων, ισχυρότερων συσκευών. Με βάση αυτές τις τεχνικές προτείνουμε ένα σύστημα MEC που χρησιμοποιεί RSMA όπου κινητοί χρήστες (Mobile Users - MUs) μπορούν να εκφορτώσουν (offload) ολόκληρες τις εργασίες τους ή μέρος αυτών στον edge server για εκτέλεση. Για το σκοπό αυτό απαιτείται η κατάλληλη επιλογή παραμέτρων του συστήματος, όπως το ποσοστό της εργασίας που θα εκφορτωθεί (splitting ratio), η ισχύς εκπομπής (transmit power) των δεδομένων αυτών και η σειρά αποκωδικοποίησης (decoding order) των μηνυμάτων που τα περιέχουν, με στόχο την ελαχιστοποίηση της κατανάλωσης ενέργειας και του χρόνου απόκρισης του συστήματος. Το παραπάνω πρόβλημα βελτιστοποίησης μπορεί να εκφραστεί ως Διαδικασία Απόφασης Markov (Markov Decision Process - MDP) και έτσι να μεταφερθεί σε μοντέλο Ενισχυτικής Μάθησης (Reinforcement Learning) και να λυθεί με τη μέθοδο Deep Deterministic Policy Gradient για πολλαπλούς πράκτορες (MADDPG). Για να βελτιώσουμε την εξερεύνηση στο στάδιο της εκμάθησης κάναμε χρήση προστιθέμενου θορύβου στη λήψη αποφάσεων.