Σχεδίαση και Μελέτη Αλγορίθμων Αντιστοίχισης για την Βελτιστοποίηση της Επίδοσης Ομοσπονδιακής Μάθησης Πολλαπλών Μοντέλων

Abstract

Με την ευρύτερη εφαρμογή της Ομοσπονδιακής Μάθησης (Federated Learning) η επιλογή κόμβων από εξυπηρετητές αποτελεί κρίσιμο πρόβλημα και ειδικότερα σε περιβάλλοντα όπου συ- νυπάρχουν πολλαπλοί εξυπηρετητές. Μέχρι τώρα μελέτες επικεντρώνονται στην επιλογή κόμβων από έναν εξυπηρετητή, για την εκπαίδευση του παγκόσμιου μοντέλου του. Σε αυτή την εργασία προεκτείνουμε την λογική αυτή και αντιμετωπίζουμε την αντιστοίχιση κόμβων - εξυπηρετητών σε ένα περιβάλλον Ομοσπονδιακής Μάθησης πολλαπλών εξυπηρετητών, με στόχο την μεγιστο- ποίηση των χρησιμοτήτων κόμβων και εξυπηρετητών και ως προέκταση της επίδοσης των συγκε- ντρωτικών μοντέλων. Κάθε ένας από τους εξυπηρετητές εκπαιδεύει ένα ξεχωριστό μοντέλο, ενώ οι κόμβοι διαθέτουν διαφορετική πληροφορία, συνεπώς για κάθε εξυπηρετητή έχουν διαφορετική σημασία. Σε αυτό το πλαίσιο κατασκευάζουμε και μελετάμε αλγορίθμους αντιστοίχισης σε διάφο- ρα σενάρια ώστε να γίνουν εμφανή τα πλεονεκτήματα και μειονεκτήματα τους. Ως εφαρμογή ενός τέτοιου προβλήματος μελετάμε σενάρια εντοπισμού φυσικών κινδύνων (πυρκαγιών, πλημμυρών, σεισμών), μέσω φωτογραφιών, σε ένα περιβάλλον Έξυπνης Πόλης - Δημόσιας Ασφάλειας. Για τους αλγορίθμους αντιστοίχισης καταφεύγουμε στη Θεωρία Παιγνίων (Game Theory), Ε- νισχυτική Μάθηση (Reinforcement Learning) και στη Μετανοητική Μάθηση (Regret Learning), και στη συνέχεια εκτελούμε τη διαδικασία της Ομοσπονδιακής Μάθησης για να λάβουμε και να συγκρίνουμε τα αποτελέσματά μας. Για τους αλγορίθμους Μετανοητικής Μάθησης που προτεί- νουμε, δίνουμε επιπλέον ελευθερία στους κόμβους μας να διαμορφώσουν την συμμετοχή τους στην διαδικασία της Ομοσπονδιακής Μάθησης ανάλογα με το συμφέρον τους. Μέσω πειραμάτων και συγκρίσεων των διαφόρων αλγορίθμων, καταλήγουμε πως ο αλγόριθμος Θεωρίας Παιγνίων υπερέχει των αλγορίθμων Ενισχυτικής Μάθησης και της Τυχαίας Αντιστοίχισης, επιτυγχάνοντας υψηλότερες χρησιμότητες για τους κόμβους και εξυπηρετητές και καλύτερες επιδόσεις για τα πα- γκόσμια μοντέλα. Αντίστοιχα, οι αλγόριθμοι Μετανοητικής Μάθησης, με την επιπλέον ιδιότητά τους να διαμορφώνουν την συμμετοχή των κόμβων στην Ομοσπονδιακή Μάθηση, παρουσιάζουν ακόμη καλύτερες χρησιμότητες, πλησιάζοντας την απόδοση των παγκόσμιων μοντέλων του αλγο- ρίθμου Θεωρίας Παιγνίων με χρήση πολύ λιγότερων δεδομένων και ενέργειας.