Αυτόματη Μετάφραση Μουσικής με χρήση Νευρωνικών Δικτύων

Abstract

Η Αυτόματη Σύνθεση Μουσικής αποτελεί ένα από τα πλέον κομβικά, αλλά και δύσκολα έργα στον τομέα της ανάκτησης μουσικής πληροφορίας. Ειδικότερα, η Αυτόματη Μετάφραση Μουσικής, η οποία υπάγεται στο πρόβλημα της Αυτόματης Σύνθεσης Μουσικής, παρουσιάζει αρκετό ενδιαφέρον, καθώς είναι ένα έργο που δεν έχει διερευνηθεί ακόμα σε ικανοποιητικό βαθμό. Ως όρος μπορεί να ερμηνευθεί με δύο διαφορετικούς τρόπους: Ως μετάφραση από ένα είδος μουσικής σε κάποιο άλλο (π.χ. από κλασική μουσική σε Τζαζ), ή ως μετάφραση μουσικής από ένα μουσικό όργανο ή μια ομάδα οργάνων σε κάποιο άλλο μουσικό όργανο. Στην παρούσα διπλωματική εργασία θα μελετήσουμε τη δεύτερη ερμηνεία, δηλαδή την αυτόματη μετάφραση μουσικής από ένα μουσικό όργανο σε κάποιο άλλο. Κατά μια έννοια, η μεταφορά μουσικής μπορεί να θεωρηθεί ως το μουσικό αντίστοιχο της μετάφρασης ενός λογοτεχνικού έργου. Οι διάφορες φωνές και τα όργανα αποτελούν την "γλώσσα", με την οποία ο συνθέτης εξωτερικεύει τις σκέψεις και τα συναισθήματα του. Συνεπώς, σκοπός της μεταφοράς μουσικής είναι να γίνει κατανοητό ένα μουσικό έργο σε κάποια διαφορετική "γλώσσα". Από την πλευρά του συνθέτη η διαδικασία αυτή απαιτεί ένα είδος προσαρμογής/διασκευής της αρχικής σύνθεσης, ώστε να ταιριάζει στο νέο μέσο, δηλαδή στα μουσικά όργανα απ' τα οποία θα εκτελεστεί. Για το λόγο αυτό, του δίνεται η ελευθερία να διαφοροποιήσει την εναρμόνιση των φωνών, την ενορχήστρωση, αλλά και την ανάπτυξη του μουσικού θέματος σε σχέση με την πρωτότυπη μουσική σύνθεση. Από την πλευρά των υπολογιστών, η Αυτόματη Μετάφραση Μουσικής αποτελεί ένα εξίσου απαιτητικό πρόβλημα. Τα τελευταία χρόνια, με την ανάπτυξη νέων βαθιών νευρωνικών δικτύων και τεχνικών εκπαίδευσης, έχουν αναπτυχθεί ορισμένα μοντέλα με υποσχόμενα αποτελέσματα. Τα χαρακτηριστικότερα εξ’ αυτών αποτελούν το “ A Universal Music Translation Network” και το “MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis”. Στο πειραματικό μέρος της εργασίας δημιουργήθηκε και εκπαιδεύθηκε ένα μοντέλο που προέκυψε από έναν συνδυασμό των προαναφερθέντων δικτύων. Ως σύνολο δεδομένων χρησιμοποιήθηκε το MusicNet και πιο συγκεκριμένα όσα δεδομένα του συνόλου αυτού αποτελούν μουσικές συνθέσεις του Μπετόβεν για πιάνο