Μελέτη του αλγορίθμου Hedge σε κατανεμημένο περιβάλλον

Abstract

Η παρούσα εργασία διερευνά την απόδοση και την εφαρμογή του αλγορίθμου Hedge, επίσης γνωστού ως αλγόριθμος Multiplicative Weights Update (MWU), σε διάφορα σενάρια δικτυακής κίνησης. Ο αλγόριθμος Hedge είναι ένας αλγόριθμος μάθησης που έχει σχεδιαστεί για τη λήψη διαδοχικών αποφάσεων σε ανταγωνιστικά περιβάλλοντα με άγνωστες ή μεταβαλλόμενες πιθανότητες. Ενημερώνει την κατανομή σε ένα σύνολο ενεργειών προσαρμόζοντας τα βάρη με βάση την παρατηρούμενη ανατροφοδότηση, εξισορροπώντας έτσι την εξερεύνηση και την εκμετάλλευση. Η παρούσα μελέτη υλοποιεί τον αλγόριθμο Hedge σε Python και διεξάγει μια σειρά πειραμάτων για να αξιολογήσει τη συμπεριφορά του σε περιβάλλοντα ενός παίκτη και πολλών παικτών, συμπεριλαμβανομένων παιχνιδιών μηδενικού αθροίσματος και διαγωνισμών κοινών πόρων. Τα αποτελέσματα δείχνουν ότι ο αλγόριθμος προσαρμόζει αποτελεσματικά τις πιθανότητες με βάση τις απώλειες, ευνοώντας τις ενέργειες με χαμηλότερες απώλειες. Τα πειράματα αποκαλύπτουν ότι, ενώ ο αλγόριθμος σταθεροποιείται με επαρκή αριθμό γύρων, η παράμετρος ϵ επηρεάζει σημαντικά το ρυθμό σύγκλισης. Σε περιβάλλοντα πολλαπλών παικτών, ο αλγόριθμος επιδεικνύει προκλήσεις στη σταθεροποίηση των επιλογών όταν οι απώλειες είναι κοντινές σε αξία και οι παίκτες μερικές φορές αποτυγχάνουν να αναπτύξουν σαφείς προτιμήσεις, ειδικά με περισσότερες επιλογές από τους παίκτες. Η ταυτόχρονη εκτέλεση του αλγορίθμου Hedge σε σενάρια κοινών πόρων δείχνει συνεχείς διακυμάνσεις στις προτιμήσεις, απαιτώντας προσεκτικό συντονισμό των παραμέτρων για σταθερότητα. Συνολικά, ο αλγόριθμος Hedge αποδεικνύεται αποτελεσματικός στην προσαρμογή των πιθανοτήτων και στην εκμάθηση στρατηγικών σε δυναμικά περιβάλλοντα, αν και η πολυπλοκότητα του περιβάλλοντος και ο συντονισμός των παραμέτρων είναι καθοριστικής σημασίας για τη βέλτιστη απόδοση.