Μελέτη των Κατανομών Δεδομένων κατα την Εκπαίδευση Γλωσσικών Μοντέλων σε Ομοσπονδιακό Περιβάλλον Εκπαίδευσης

Abstract

Η παρούσα εργασία εξετάζει την επίδραση διαφορετικών στρατηγικών κατανοµής δεδοµένων στην απόδοση ενός οµοσπονδιακά εκπαιδευµένου γλωσσικού µοντέλου. Η µελέτη εστιάζει στις προκλήσεις που προκύπτουν από την ανοµοιογένεια,τις ποσοτικές διαφορές και τις επικαλύψεις των δεδοµένων µεταξύ των πελατών, ένα φαινόµενο που επηρεάζει την αποτελεσµατικότητα και τη γενίκευση των συστηµάτων οµοσπονδιακής µάθησης. Για την υλοποίηση των πειραµάτων χρησιµοποιήθηκε το µοντέλο TinyLlama, το οποίο προσαρµόστηκε µε τη µέθοδο LoRA fine-tuning, ενώ η διαδικασία εκπαίδευσης υλοποιήθηκε µέσω του πλαισίου Flower. ∆οκιµάστηκαν πολλαπλά σενάρια κατανοµής δεδοµένων, συµπεριλαµβανοµένων των Natural, Dirichlet, IID και Shard partitioning, καθώς και τϱεις επεκτάσεις µε τροποποιηµένα σύνολα δεδοµένων (Double STEM ,Partially Double General Knowledge,Redacted General Knowledge). Η αξιολόγηση πραγµατοποιήθηκε µε βάση την ακρίβεια του τελικού µοντέλου σε θεµατικές κατηγορίες του συνόλου MMLU (STEM, Humanities, Social Sciences).