Εφαρμογή Ενισχυτικής Μάθησης Σε Συστήματα Γνωστικών Ραδιοεπικοινωνιών

Abstract

Η ραγδαία εξέλιξη των υπηρεσιών ασύρματης επικοινωνίας έχει οδηγήσει στην ελαχιστοποίηση του διαθέσιμου φάσματος συχνοτήτων, καθιστώντας το σπάνιο φυσικό πόρο. Ωστόσο μελέτες έχουν δείξει ότι η έλλειψη αυτή οφείλεται κυρίως στον στατικό τρόπο εκχώρησης του φάσματος, που οδηγεί στην υποχρησιμοποίηση του. Για την επίλυση του προβλήματος προτάθηκε η δυναμική φασματική πρόσβαση, που επιτρέπει σε μη αδειοδοτημένους χρήστες να χρησιμοποιήσουν το φάσμα ευκαιριακά. Η δυναμική πρόσβαση επιτυγχάνεται με τη χρήση γνωστικών ραδιοεπικοινωνιών, που δίνουν την δυνατότητα σε ένα χρήστη να αποκτά γνώση του περιβάλλοντος του και να προσαρμόζει τις παραμέτρους λειτουργίας του σε αυτό. Οι δευτερογενείς χρήστες ανιχνεύουν το αδειοδοτημένο φάσμα και αποκτούν πρόσβαση σε αυτό αν διαπιστωθεί κάποιο φασματικό κενό.Σκοπός της παρούσας διπλωματικής εργασίας είναι η μελέτη της εφαρμογής τεχνικών ενισχυτικής μάθησης στη διαδικασία ανίχνευσης φάσματος, από δευτερογενείς χρήστες γνωστικών ραδιοεπικοινωνιών. Αρχικά, γίνεται μια εκτενής εισαγωγή στις αρχές των γνωστικών ραδιοεπικοινωνιών, ενώ ακολουθεί η παρουσίαση των κυριότερων τεχνικών ανίχνευσης φάσματος που χρησιμοποιούνται σε συστήματα γνωστικών ραδιοεπικοινωνιών. Στη συνέχεια αναλύεται το πρόβλημα ενισχυτικής μάθησης δίνοντας έμφαση στις τεχνικές που στηρίζονται σε διαδικασίες απόφασης Markov. Τέλος, πραγματοποιείται προσομοίωση της εφαρμογής των τεχνικών ενισχυτικής μάθησης, επανάληψη πολιτικών και εκμάθηση Q, στην διαδικασία ανίχνευσης φάσματος και παρουσιάζονται τα αντίστοιχα αποτελέσματα.