Κατανομή πόρων σε Ασύρματα Δίκτυα Πολλαπλής Πρόσβασης Διαίρεσης Ρυθμού με χρήση Ενισχυτικής Μάθησης

Abstract

Η τεχνολογία των δικτύων Πολλαπλής Πρόσβασης Διαίρεσης Ρυθμού (Rate Splitting Multiple Access,RSMA) προσφέρει μια νέα οπτική στον τρόπο που οι χρήστες αποκτούν πρόσβαση και διαχειρίζονται τους διαθέσιμους τηλεπικοινωνιακούς πόρους. Είναι ένα πολλά υποσχόμενο σχήμα πολλαπλής πρόσβασης το οποίο συνδυάζει τα οφέλη της Πολλαπλής Πρόσβασης Διαίρεσης Χώρου (Space Division Multiple Access,SDMA) και της Μη Ορθογωνικής Πολλαπλής Πρόσβασης (Non Orthogonal Multiple Access,NOMA). Σχετικά πρόσφατα το RSMA έχει αποδειχθεί ότι μπορεί να επιτύχει καλύτερη φασματική και ενεργειακή απόδοση σε σχέση με τα SDMA και NOMA σχήματα. Παρόλο που το RSMA έχει εξαιρετικά πλεονεκτήματα, η βελτιστοποίηση της κατανομής της διαθέσιμης ισχύος στα προς μετάδοση μηνύματα σε σύστημα κατερχόμενης ζεύξης (downlink) είναι ένα πολύ δύσκολο πρόβλημα. Εδώ και δεκατίες η βελτιστοποίηση της κατανομής ισχύος ερευνάται κυρίως με αλγορίθμους που υποθέτουν πλήρη γνώση του τρόπου με τον οποίο μεταβάλλεται το τηλεπικοινωνιακό δίκτυο (model-based). Τα τελευταία όμως χρόνια έχουν αναδυθεί αρκετές τεχνικές που βασίζονται στην παρατήρηση του τηλεπικοινωνιακού δίκτύου χωρίς να απαιτείται η εκ των προτέρων γνώση αυτού (model-free). Από τις πιο δημοφιλείς τεχνικές που έκαναν την εμφάνισή τους τα τελευταία χρόνια είναι η Βαθιά Ενισχυτική Μάθηση η οποία θεωρείται ότι έχει αξιόλογες προοπτικές εφαρμογής στα ευφυή ασύρματα δίκτυα. Στην παρούσα διπλωματική εργασία αναπτύχθηκε ένα νέο μοντέλο βελτιστοποίησης της κατανομής ισχύος σε ένα RSMA δίκτυο μονής κυψέλης (single-cell) και Μίας Εισόδου- Μίας Εξόδου (SISO) με σκοπό να μεγιστοποιηθεί η ενεργειακή του απόδοση. Το αλγοριθμικό αυτό μοντέλο βασίζεται σε τεχνικές Βαθιάς Ενισχυτικής Μάθησης και συγκεκριμένα στους αλγορίθμους Deep Q-Learning (DQL) και REINFORCE με μοντελοποίηση σε σύστημα πολλαπλών πρακτόρων (multi-agent). Τα αποτελέσματα από την υλοποίηση του μοντέλου και την πραγματοποίηση μιας σειράς εκτενών προσομοιώσεων αναδεικνύουν τα πλεονεκτήματα που προσφέρει η εφαρμογή τεχνικών Βαθιάς Μάθησης στη δυναμική διαχείριση πόρων σε RSMA δίκτυο πραγματικού χρόνου.