Αξιολόγηση δημιουργικών νευρωνικών δικτύων και εφαρμογή τους σε σύστημα ερωτοπαντήσεων για την σύνθεση εικόνων σε πραγματικό χρόνο από κείμενα χρηστών.

Abstract

Αντικείμενο της παρούσας διπλωματικής εργασίας αποτελεί η αξιολόγηση των Generative Adversarial networks και η εφαρμογή τους σε διαδεδομένα μέσα κοινωνικής δικτύωσης. Μέσω της εκτενή βιβλιογραφία, που θα καλύψει η διπλωματική, μελετάμε την ανάπτυξη των Generative Adversarial Networks καθώς και τις εφαρμογές τους. Εξετάζουμε την εξέλιξη στο βάθος χρόνων καθώς και ένα πλήθος αρχιτεκτονικών που έχουν μετατρέψει την απλή δομή των Generative Adversarial Network σε ένα ισχυρό εργαλείο για πλήθος εφαρμογών στον τομέα της όρασης υπολογιστών. Βλέπουμε το ευρύ φάσμα εφαρμογών που έχουν τα Generative Adversarial Network καθώς και την δυσκολία αξιολόγησης τους. Η αξιολόγηση των Generative Adversarial Networks αποτελεί ένα ανοιχτό πρόβλημα παρά το πλήθος προτεινόμενων μετρικών αξιολόγησης τους. Συγκεκριμένα, το πλήθος των μετρικών και η διαφορετική ικανότητα τους να αξιολογούν πραγματικά το αποτέλεσμα των GAN ελλοχεύει έναν cherry picking κίνδυνο. Έτσι κάθε δημοσίευμα πρέπει να αξιολογεί το προτεινόμενο μοντέλο με αρκετές διαφορετικές μετρικές και να εκτελεί έρευνες με πραγματικούς ανθρώπους οι οποίες είναι δαπανηρές αλλά είναι και δύσκολη η επανάληψη τους προς επαλήθευση των αποτελεσμάτων. Στην διπλωματική αυτή παρέχεται εποπτική περιγραφή των πιο διαδεδομένων μετρικών που έχουν χρησιμοποιηθεί μέχρι και σήμερα, εξετάζοντας τα θετικά και τα αρνητικά των μετρικών αυτών καθώς και την ικανότητα τους να διακρίνουν τα προβλήματα που ενδέχεται να έχει ένα Generative Adversarial Network. Τέλος, προχωράμε στην ανάπτυξη μιας εφαρμογής ερωτοαπαντήσεων στην πλατφόρμα κοινωνικής δικτύωσης Viber (Rakuten), η οποία συνδυάζει την εφαρμογή των generative Adversarial Networks, αλλά και την αξιολόγηση τους. Ο χρήστης αλληλοεπιδρά με την εφαρμογή μέσα από ερωτοαπαντήσεις και η εφαρμογή είναι ικανή να μετατρέψει το κείμενο του χρήστη σε εικόνα. Έπειτα, ο χρήστης είναι σε θέση να υπολογίσει τις παραγόμενες εικόνες, παρέχοντες χρήσιμη πληροφορία για την απόδοση του μοντέλου. Μέσα από αυτή την εφαρμογή μικρής κλίμακας που υλοποιήσαμε, δείξαμε τη θέση που μπορούν να έχουν τα μέσα κοινωνικής δικτύωσης στην αξιολόγηση των Generative Adversarial Networks.