Αυτόματη εναρμόνιση μελωδίας με νευρωνικά δίκτυα

Abstract

Η αυτόματη σύνθεση μουσικής αποτελεί ένα από τα πιο κομβικά αλλά και δύσκολα έργα στον τομέα ανακατασκευής πληροφορίας. Η σύνθεση μουσικής όπως την αντιλαμβάνεται ένας μουσικός μπορεί να χωριστεί σε δύο επιμέρους διαδικασίες: την κατασκευή της μελωδίας του κομματιού και της αρμονίας του. Οι διαδικασίες αυτές είναι αλληλένδετες καθώς η μελωδία και η αρμονία πρέπει να παράγουν μαζί ένα αισθητικά ικανοποιητικό αποτέλεσμα. Μια συνήθης πρακτική είναι η κατασκευή της μελωδίας σε πρώτη φάση και έπειτα η εύρεση κατάλληλων συγχορδιών που να τη συνοδεύουν. Αυτή η διαδικασία, το έργο δηλαδή της εναρμόνισης της μελωδίας με αυτόματο τρόπο αποτελεί το θέμα της συγκεκριμένης διπλωματικής εργασίας. Όπως με τα περισσότερα έργα του τομέα ανάκτησης μουσικής πληροφορίας, τα σύστημα αυτόματης εναρμόνισης μελωδίας τείνουν να αντικαθιστούν τα στάδια επεξεργασίας σήματος, εξαγωγής χαρακτηριστικών και στατιστικών μοντέλων με μεθόδους βαθειάς μηχανικής μάθησης. Η παρούσα εργασία δεν αποκλίνει από την επικρατούσα τάση να γίνεται αναπαράσταση της μουσικής με συμβολικό τρόπο με τη μορφή αρχείων XML. Στο πειραματικό μέρος της εργασίας εκπαιδεύτηκαν διαφορετικά νευρωνικά δίκτυα με σκοπό την παραγωγή ακολουθιών συγχορδιών. Η ακολουθιακή φύση της μουσικής μας έκανε να στραφούμε σε αναδρομικά νευρωνικά δίκτυα που ειδικεύονται σε τέτοιου είδους εφαρμογές. Χρησιμοποιήσαμε αρκετές παραλλαγές του μοντέλου κωδικοποιητή αποκωδικοποιητή με απλά, αμφίδρομα και πολυεπίπεδα LSTM καθώς και το μοντέλο κωδικοποιητή αποκωδικοποιητή με μηχανισμό προσοχής. Εκτός από την απόδοση των παραπάνω εξεταζόμενων μοντέλων, γίνεται και μια αξιολόγηση των τεχνικών διεξαγωγής προβλέψεων από τα μοντέλα αυτά. Τέλος, επειδή ο χαρακτηρισμός μιας ακολουθίας συγχορδιών σαν σωστός η λανθασμένος δεν είναι ξεκάθαρος, για την συνολική αξιολόγηση των μοντέλων και των τεχνικών διεξαγωγής προβλέψεων χρησιμοποιηθήκαν κάποιες μετρικές συναρτήσεις που δείχνουν μια αίσθηση για το ποσό «ανθρώπινο» είναι το παραγόμενο αποτέλεσμα. Τα αποτελέσματα των εξεταζόμενων δικτύων συγκρίθηκαν με αληθινά δεδομένα καθώς και με τα αποτελέσματα που προήλθαν από ένα state of the art συνελικτικό νευρωνικό δίκτυο, το Coconet.