Δημιουργία μουσικού βίντεο με τεχνικές βαθιών νευρωνικών δικτύων

Abstract

Το θέμα της διπλωματικής εργασίας είναι η δημιουργία μουσικού βίντεο με χρήση αρχιτεκτονικών βαθιάς μηχανικής μάθησης (Deep Learning). Σκοπός της εργασίας είναι με την επεξεργασία μουσικής και εικόνας να παραχθεί ένα αρμονικό οπτικοακουστικό αποτέλεσμα, που θα ενώνει αυτό που ακούει κάποιος χρήστης και αισθάνεται, με αυτό που βλέπει. Το τελικό βίντεο, με βάση επιλογές που θα κάνει ο χρήστης θα διαφέρει κάθε φορά. Συγκεκριμένα, το βίντεο θα δημιουργείται, από ένα βίντεο και ένα τραγούδι εισόδου, σε συνδυασμό με εικόνες που παράγονται από το σύστημα. Σημαντικό είναι, ότι οι εικόνες αυτές θα αλλάζουν και θα επηρεάζονται ανάλογα με τη μουσική. Δηλαδή με βάση τον ρυθμό, την ένταση και το συναίσθημα. Γενικά, θα συζητηθούν μέθοδοι παραγωγής εικόνων, ανάλυσης ηχητικών σημάτων και επεξεργασίας των εικόνων που θα παρουσιάζονται στο βίντεο. Το τελικό αποτέλεσμα, θα είναι αφηρημένο, και θα παράγεται συνδυάζοντας το βίντεο που βάζει ο χρήστης σαν είσοδο, επεξεργασμένο με διάφορες τεχνικές και απεικονισμένο με βάση τη μουσική. Μεγάλο μέρος αυτής της διπλωματικής, αποτέλεσαν τα Παραγωγικά Αντιπαραθετικά Δίκτυα, σαν τρόπος παραγωγής νέων εικόνων που χρησιμοποιούνται στο τελικό αποτέλεσμα. Επίσης χρησιμοποιήθηκαν τεχνικές ανάκτησης πληροφορίας από τη μουσική, με στόχο να παρθούν βασικά στοιχεία της. Η υλοποίηση αυτής της εφαρμογής, καλεί το μελλοντικό χρήστη να πειραματιστεί με διαφορετικά τραγούδια, με διαφορετικά βίντεο εισόδου, με διαφορετικές εικόνες έτσι ώστε να βγάλει το ιδανικό για αυτόν αποτέλεσμα. Πολύ απλά, έχει στόχο την ψυχαγωγία του χρήστη, αφού με δικές του επιλογές, παράγονται διασκεδαστικά μουσικά βίντεο.