Αξιοποίηση Μοντέλων Διάχυσης για την Παραγωγή Τρισδιάστατων Κινουμένων Σχεδίων Σώματος Καθοδηγούμενη από Ομιλία και Συναίσθημα

Abstract

Η παραγωγή τρισδιάστατων κινούμενων σχεδίων του ανθρώπινου σώματος συνιστά έναν ερευνητικό χώρο που καθίσταται ολοένα και πιο επίκαιρος σε έναν κόσμο αυξανόμενης συνδεσιμότητας και εικονικής αλληλεπίδρασης. Ειδικά η εξάρτησή της από την ομιλία και το συνοδεύον συναίσθημα παρέχει της κατάλληλες σημασιολογικές και ρυθμικές πληροφορίες για την δημιουργία πιο ρεαλιστικών και διαδραστικών έργων. Η αξιοποίηση των μοντέλων διάχυσης για τον σκοπό αυτό έχει επιδείξει, αναμφίβολα, εντυπωσιακά αποτελέσματα, οδηγώντας στην ανάπτυξη εξελιγμένων εργαλείων. Ωστόσο, παρά την εν λόγω πρόοδο, ένα από τα βασικά προβλήματα που παραμένουν, αποτελεί το ``φαινόμενο της απόκοσμης κοιλάδας'', όπου η σχεδόν ρεαλιστική, αλλά όχι πλήρως φυσική κίνηση, προκαλεί αισθήματα δυσαρέσκειας ή ανησυχίας στον θεατή.

Για την αντιμετώπιση του συγκεκριμένου προβλήματος, προτείνουμε μια εναλλακτική προσέγγιση βασισμένη στην χρήση χαρακτήρων καρτούν---και δη χαρακτήρων anime. Υποθέτουμε ότι οι έντονα στυλιζαρισμένες φιγούρες δύναται να επιτρέψουν στα μοντέλα να εστιάσουν περισσότερο στην εκφραστικότητα και συναισθηματική συνέπεια, παρά στην φωτορεαλιαστική απόδοση. Στο πλαίσιο αυτό, δημιουργήσαμε το πρώτο speech-to-motion σύνολο δεδομένων από σύντομα βίντεο κλιπ anime που απαρτίζεται από τον ακατέργαστο ήχο και την ακολουθία της κίνησης.

Το νέο αυτό σύνολο δεδομένων αξιοποιήθηκε σε δύο κύρια πειράματα τα οποία έγκεινται στην εξ' αρχής εκπαίδευση, αφενός, και fine-tuning, αφετέρου, του βαθέος μοντέλου AMUSE. Σκοπός μας αποτελεί η ενσωμάτωση βασικών κινησιολογικών μοτίβων που εφαρμόζουν επαγγελματίες animators στην παραγωγική διαδικασία. Μέσω ποσοτικών και ποιοτικών αξιολογήσεων των αποτελεσμάτων μας διαπιστώθηκε ότι η χρήση δεδομένων anime παρέχει πράγματι την δυνατότητα βελτίωσης τόσο της χρονικής ευθυγράμμισης ομιλίας-κίνησης, όσο και της συνολικής φυσικότητας του παραγόμενου τρισδιάστατου animation.

Η παρούσα διπλωματική εργασία συνεισφέρει τόσο θεωρητικά, όσο και πρακτικά στην έρευνα της πολυτροπικής μάθησης, προτείνοντας μια νέα προσέγγιση στην δημιουργία 3D κινουμένων σχεδίων του ανθρώπινου σώματος, με εφαρμογές στην εικονική πραγματικότητα, ψηφιακούς χαρακτήρες και την βιομηχανία ψυχαγωγίας.