Αυτόματη Μεταγραφή Μουσικής Κιθάρας σε Ταμπλατούρα με Χρήση Νευρωνικών Δικτύων

Abstract

Σκοπός αυτής της διπλωματικής εργασίας είναι η δημιουργία και εξέταση μοντέλων μηχανικής μάθησης για τη μεταγραφή μουσικής κιθάρας, στην πλέον χρησιμοποιούμενη αναπαράσταση της, την ταμπλατούρα. Η μεταγραφή της μουσικής έγκειται σε θεμελιώδες επίπεδο στην αναγνώριση των χαρακτηριστικών κάθε νότας ενός κομματιού, τα κύρια από τα οποία είναι η χρονική στιγμή έναρξης, το τονικό ύψος και η διάρκεια. Τα περισσότερα υπάρχοντα συστήματα μεταγραφής αποσκοπούν στην δημιουργία παρτιτούρας, μια αναπαράσταση που είναι σχεδόν καθολική για όλα τα μουσικά όργανα. Παρόλα αυτά, η κιθάρα ως όργανο παρουσιάζει κάποιες ιδιαιτερότητες, η βασικότερη από τις οποίες είναι πως μία νότα μπορεί να παιχτεί σε πολλά διαφορετικά σημεία, το οποίο οδηγεί στην ανάπτυξη της ταμπλατούρας, ένα συμβολικό τρόπο αναπαράστασης της μουσικής για την κιθάρα. Η κύρια συνεισφορά της εργασίας είναι η ανάπτυξη ενός συστήματος αναπαράστασης ώστε να υπάρξει μια εύκολη μετατροπή υπάρχουσων αρχιτεκτονικών στην μεταγραφή σε παρτιτούρα, καθώς και η ανάπτυξη νέων αρχιτεκτονικών που επιτελούν αυτό το σκοπό. Η προσέγγιση μας βασίζεται αρχικά στην χρήση μιας νέας αναπαράστασης νοτών προσαρμοσμένη στην κιθάρα. Στη συνέχεια αναπτύχθηκαν με βάση υπάρχουσες αρχιτεκτονικές νέα μοντέλα. Στο πρώτο είδος χρησιμοποιούμε απευθείας τη νέα αναπαράσταση, ενώ στο δεύτερο είδος, προσπαθούμε να χρησιμοποιήσουμε υπάρχουσες αρχιτεκτονικές για μεταγραφή μουσικής και στη συνέχεια να γίνει η μετατροπή σε ταμπλατούρα. Στα πειράματα χρησιμοποιήθηκε ένα Dataset που είναι φτιαγμένο για μεταγραφή μουσικής κιθάρας, το GuitarSet. Μετά τα πειράματα, συγκρίνουμε τα αποτελέσματα των νευρωνικών τόσο μεταξύ τους, όσο και με την απόδοση ήδη υπάρχουσων δικτύων. Τέλος, παρουσιάζουμε κάποιες μελλοντικές επεκτάσεις που μπορούν να εφαρμοστούν.