Αυτο-επιβλεπόμενη Μάθηση για Οπτική Αναγνώριση Συσχετίσεων

Abstract

Το πρόβλημα της δημιουργίας γράφου σκηνής στην όραση υπολογιστών περιλαμβάνει τη δημιουργία μιας αναπαράστασης μιας εικόνας με ϐάση ένα γράφο. Ο γράφος αποτελείται από αντικείμενα (κόμβους) με τις σχέσεις (ακμές) μεταξύ τους, αναπαριστώντας τη σκηνή και τα στοιχεία της με δομημένο τρόπο. Στόχος είναι η εξαγωγή σημασιολογικών πληροφοριών από μια εικόνα και η αναπαράστασή τους σε μορφή που να μπορεί εύκολα να αναλυθεί και να γίνει κατανοητή. Παρατηρώντας τη συμπεριφορά σύγχρονων μοντέλων στη ϐιβλιογραφία, καθίσταται σαϕές πως η πλειονότητα των σημερινών μεθόδων ϐασίζεται στην επιβλεπόμενη μάθηση, όπου το μοντέλο εκπαιδεύεται σε ένα μεγάλο όγκο επισημειωμένων δεδομένων εικόνων. Παρά την επιτυχία της, η μάθηση με επίβλεψη είναι ακριβή και χρονοβόρα, καθώς απαιτεί μεγάλες ποσότητες επισημειωμένων δεδομένων και ετικετών. Η έλλειψη μάθησης με αυτο-επίβλεψη στη δημιουργία γράφων σκηνής είναι εύκολο να παρατηρηθεί. ΄Ενας από τους κύριους λόγους που μπορεί να συμβαίνει αυτό είναι ότι η δημιουργία γράφων σκηνής είναι μια σύνθετη εργασία που απαιτεί την εξαγωγή πληροφοριών από εικόνες, η οποία μπορεί να είναι πρόκληση για τις μεθόδους χωρίς επίβλεψη. Η συνεισφορά αυτής της διπλωματικής εργασίας αφορά την εισαγωγή μίας νέας αρχιτεκτονικής μοντέλου αυτο-επιβλεπόμενης μάθησης, το οποίο προ-εκπαιδεύεται σε μη επισημειωμένα δεδομένα και καταφέρνει να πετύχει έως και 7% σχετική ϐελτίωση συγκριτικά με επανυλοποιήσεις μεθόδων της ϐιβλιογραφίας όταν εκπαιδεύεται με λίγα επισημειωμένα δεδομένα (few-shot learning) τόσο στο VRD όσο και στο VG200 σύνολο δεδομένων, δύο από τα δημοφιλέστερα σύνολα δεδομένων του προβλήματος.