Σθεναροί και γενικεύσιµοι αλγόριθµοι τεχνητής νοηµοσύνης για κατηγοριοποίηση ανισοκατανεµηµένων κλάσεων

Abstract

Η µηχανική µάθηση και η ανάπτυξη των νευρωνικών δικτύων έχει οδηγήσει στην εκτεταµένη χρήση τους στην επίλυση προβληµάτων κατηγοριοποίηση εικόνων. Για την εκπαίδευση όµως τέτοιων µοντέλων και την παραγωγή συστηµάτων, που είναι αποδοτικά και γενικεύσιµα, είναι αναγκαία η εκπαίδευση σε ένα µεγάλο πλήθος απο επισηµασµενα δεδοµένα. Σε τοµείς όπως η ανάλυση ιατρικών εικόνων, η ανάπτυξη τέτοιων µεγάλων συνόλων δεδοµένων αποτελεί µια σηµαντική πρόκληση. Για αυτόν τον λόγο σηµαντικό ερευνητικό ενδιαφέρον σε αυτόν τον τοµέα επικεντρώνεται στην ανάπτυξη αποδοτικών τεχνικών εκπαίδευσης που να ϐασίζονται σε µικρό αριθµό δειγµάτων. Σκοπός της συγκεκριµένης διπλωµατικής εργασίας είναι η µελέτη τέτοιων τεχνικών εκπαίδευσης. Πιο συγκεκριµένα εφαρµόστηκε η τεχνική του few shot learning, η οποία χωρίζει τα δεδοµένα σε υποσύνολα τα οποία αποτελούνται από συγκεκριµένο αριθµό δειγµάτων και ανήκουν σε τυχαια επιλεγµένες κλάσεις. Αφού τα δεδοµένα χωριστούν σε αυτα τα υποσύνολα, στην συνέχεια εκτελείται η διαδικασία εκπαίδευσης σε κάθε ένα από τα υποσύνολα επεισοδιακά. Επιπλέον, χρησιµοποιήθηκαν τεχνικές που εµπνέονται από το µοντέλο εκπαίδευσης δασκάλου µαθητή και έχουν ως σκοπό την εκπαίδευση παραµέτρων ενος δικτύου που ϑα είναι εύκολα προσαρµόσιµες σε καινουρια σύνολα δεδοµένων µετα απο περιορισµένο αριθµό επαναλήψεων. Στην συνέχεια δοκιµάστηκαν µοντέλα µετασχηµατιστών όρασης (Vision Transformers) για την κατηγοριοποίηση αυτών των δεδοµένων πράγµα, το οποίο ήταν σηµαντική πρόκληση λόγω του περιορισµένου αριθµού δειγµάτων τον οποιο διέθεταν τα σύνολα δεδοµένων τα οποία χρησιµοποιήθηκαν. Για την εκπαίδευση αυτών των δικτύων χρησιµοποιήθηκε η µέθοδος του self-supervised learning, αλλά και σύνθετες τεχνικές επαύξησης δεδοµένων για την δηµιουργια πιο περίπλοκων αναπαραστάσεων, µε σκοπό την αντιµετώπιση του προβλήµατος του χαµηλου αριθµού δειγµάτων. Τέλος τα αποτελέσµατα του µοντέλου µετασχηµατιστή (Vision Transformer) που προέκυψαν συγκρίθηκαν µε το δίκτυο, το οποίο επιτύγχανε τα καλύτερα αποτελέσµατα για το συγκεκριµένο πρόβληµα και σύνολα δεδοµένων που επιλέχθηκαν. Συγκρίνοντας αυτά τα δύο δίκτυα παρατηρήθηκε οτι το µοντέλο του µετασχηµατιστή (Vision Transformer) πετυχαίνει αποτελέσµατα συγκρίσιµα µε την προαναφερθείσα µέθοδο.