Τεχνικές κανονικοποίησης συνέπειας για την ηµιεπιβλεπόµενη σηµασιολογική κατάτµηση εικόνας

Abstract

Η ευρεία ανάπτυξη των ϐαθιών συνελικτικών δικτύων και ειδικότερα των αρχιτεκτονικών κωδικοποιητή-αποκωδικοποιητή έχει οδηγήσει στην εκτεταµένη χρήση τους για την επίλυση του προβλήµατος της σηµασιολογικής κατάτµησης εικόνας. Παρόλα αυτά, προκειµένου να εκπαιδευτούν µοντέλα µε ικανοποιητική ικανότητα γενίκευσης για το συγκεκριµένο πρόβληµα απαιτούνται µεγάλου πλήθους σύνολα επισηµασµένων δεδοµένων. Στην περίπτωση της σηµασιολογικής κατάτµησης η επισήµανση δεδοµένων είναι µια αρκετά χρονοβόρα διαδικασία, καθώς σε κάθε εικονοστοιχείο πρέπει να ανατεθεί µία σηµασιολογική κλάση. Για αυτόν τον λόγο, ιδιαίτερη έµφαση δίνεται σε ανάπτυξη µεθόδων ηµιεπιβλεπόµενης µάθησης, όπου το δίκτυο εκπαιδεύεται πάνω σε λιγότερα επισηµασµένα και σε περισσότερα µη επισηµασµένα δεδοµένα, µε στόχο να µπορεί να παρουσιάζει εξίσου καλή ικανότητα γενίκευσης. Στην παρούσα διπλωµατική εξετάζεται η µέθοδος της κανονικοποίησης συνέπειας (consistency regularization) για την αξιοποίηση των µη επισηµασµένων δεδοµένων, σύµφωνα µε την οποία το δίκτυο καλείται να παράγει όµοιες προβλέψεις για διαταραγµένες (perturbed) εκδοχές της εικόνας εισόδου (διαταραχές εισόδου). Συγκεκριµένα, χρησιµοποιούµε το παϱάδειγµα εκπαίδευσης της ασθενούς-ισχυρής συνέπειας (weak-to-strong consistency), κατά το οποίο το δίκτυο δέχεται στην είσοδο µία ασθενώς διαταραγµένη εκδοχή (λιγότερο έντονη επαύξηση, ασθενής επαύξηση) και η πρόβλεψη του για αυτή χρησιµοποιείται ως ψευδοετικέτα για την επίβλεψη της αντίστοιχης εξόδου της ισχυρά διαταραγµένης εκδοχής (πιο έντονη επαύξηση, ισχυρή επαύξηση). Για τη δηµιουργία της ισχυρά επαυξηµένης εκδοχής µιας εικόνας, πειραµατιζόµαστε µε διάφορες µεθόδους επαύξησης, όπως µε µετασχηµατισµούς χρώµατος (color distortions, color augmentation), καθώς και µε τεχνικές µίξης ζευγών εικόνων, όπως οι ClassMix, CutMix, οι οποίες συνδυάζουν εικόνες µε σκοπό την παϱαγωγή νέων πιο πολύπλοκων τεχνητών εικόνων µε διευρυµένο σηµασιολογικό περιεχόµενο. Παράλληλα, πειραµατιζόµαστε και µε την περίπτωση όπου το δίκτυο τροφοδοτείται µε δύο ισχυρά επαυξηµένες εκδοχές που έχουν παραχθεί είτε µε την ίδια, είτε και µε διαφορετική µέθοδο επαύξησης. Αναφέρουµε και συγκρίνουµε τα πειραµατικά αποτελέσµατα στα σύνολα δεδοµένων Pascal VOC 2012, CelebAMask-HQ και QaTa-COV19-v2.