Δημιουργία διαδικτυακής εφαρμογής για σύνθεση βίντεο μέσω Generative Adversarial Networks

Abstract

Οι αλγόριθμοι Τεχνητής Νοημοσύνης έχουν πλέον τη δυνατότητα δημιουργίας διαφόρων ειδών τέχνης: να σχεδιάζουν πίνακες ζωγραφικής, να συνθέτουν μουσική και βίντεο, να γράφουν ποιήματα και στίχους. Τίποτα δεν έχει εμπνεύσει περισσότερο, αυτήν τη μορφή τέχνης, από τα παραγωγικά μοντέλα. Τα συγκεκριμένα μοντέλα είναι σε θέση να δημιουργήσουν νέα έργα τέχνης, λαμβάνοντας υπόψιν τα χαρακτηριστικά και το στυλ των ήδη υπαρχόντων έργων, αλλά χωρίς να τα αντιγράφουν. Ένας άνθρωπος δε μπορεί εύκολα να διακρίνει τη διαφορά ανάμεσα σε ένα παραγόμενο έργο τέχνης από ένα αντίστοιχο που δημιουργήθηκε από κάποιον πραγματικό καλλιτέχνη. Τα Generative Adversarial Networks (GANs) έχουν σημειώσει μεγάλη πρόοδο τα τελευταία χρόνια, παράγοντας όλο και πιο ρεαλιστικά αποτελέσματα. Επίσης, τα GANs προσφέρουν τη δυνατότητα αντιστοίχισης πληροφοριών εισόδου σε διαφορετικό τύπο πληροφοριών και με αυτόν τον τρόπο, καθίσταται εφικτή η δημιουργία εικόνων ή βίντεο, με βάση ένα μουσικό δείγμα ή μια περιγραφή κειμένου. Ο βασικός σκοπός της παρούσας διπλωματικής εργασίας είναι ο σχεδιασμός και η ανάπτυξη μιας web εφαρμογής, η οποία προσφέρει διάφορες λειτουργικότητες με σκοπό να δοθεί στο χρήστη η δυνατότητα να συνθέσει βίντεο με βάση ένα μουσικό αρχείο. Πιο συγκεκριμένα, το τελικό βίντεο θα δημιουργείται από ένα μουσικό αρχείο εισόδου μέσω Generative Adversarial Networks. Η πλατφόρμα αναπτύχθηκε με τη χρήση εργαλείων και βιβλιοθηκών, τα οποία επιλέχθηκαν με γνώμονα της ανάγκες και τις απαιτήσεις της εργασίας. Ειδικότερα, το ReactJS και το Node.js χρησιμοποιήθηκαν για την υλοποίηση του client-side και server-side κώδικα, αντίστοιχα. Το σύστημα βαθιάς μηχανικής μάθησης ‘Deep Music Visualizer’ χρησιμοποιήθηκε για την παραγωγή του τελικού βίντεο. Μετά την υλοποίηση της συγκεκριμένης web εφαρμογής, οι χρήστες θα έχουν τη δυνατότητα να πειραματιστούν με διαφορετικά μουσικά αρχεία εισόδου και να αξιολογήσουν το αποτέλεσμα κατά την κρίση τους.