Ανακατασκευή εικόνας με βαθιά μάθηση

Abstract

Η ανακατασκευή εικονών με περιοχές που λείπουν ανήκει στην κατηγορία προβλημάτων της όρασης υπολογιστών. Η λύση του προβλήματος πρέπει να γεμίζει τις περιοχές της εικόνας που λείπουν με πίξελ,έχοντας συνοχή με τις ήδη υπάρχοντες περιοχές και χωρίς να εισάγεται θόρυβος. Χάρη στην ραγδαία εξέλιξη της μηχανικής μάθησης και την συνεχή εφεύρεση νέων μοντέλων και συστημάτων, έχει σημειωθεί μεγάλη πρόοδος στην αντιμετώπιση του προβλήματος. Σύγχρονες μέθοδοι συνδυάζουν την χρήση συνελικτικών νευρωνικών δικτύων (CNN) με γεννητικά ανταγωνιστικά δίκτυα (GAN). Παρ’ολα αυτά, λόγω του συνυπολογισμού των μη έγκυρων περιοχών κατά την πράξη της συνέλιξης, συχνά παρατηρούνται ασυνέπειες στα τελικά αποτελέσματα, όπως χρωματική διαφορά,θολότητα και θόρυβος. Στην παρούσα διπλωματική εργασία προτείνουμε την χρήση μιας αρχιτεκτονικής,η οποία χρησιμοποιεί μερικές συνελίξεις. Αυτές κατά την πράξη της συνέλιξης λαμβάνουν υπ’όψην μόνο τα έγκυρα πίξελ της εικόνας και όχι τις περιοχές που λείπουν. Επιπλέον, όσο η είσοδος προχωράει βαθύτερα στο δίκτυο,ανανεώνεται αυτόματα και η μάσκα της εισόδου (οι κρυμμένες περιοχές). Το μοντέλο μας ονομάζεται PConv, εκπαιδεύεται στο σύνολο δεδομένων Places2 και όλες οι εικόνες έχουν διαστάσεις 512x512, δηλαδή είναι υψηλών διαστάσεων για την δυσκολία του προβλήματος. Στο τέλος,παραθέτουμε τα αποτελέσματα του δικτύου μας, τα οποία είναι εξαιρετικά τόσο ποιοτικά όσο και ποσοτικά.