Εξέταση Τεχνικών Αυτόματης Μεταγραφής Ακουστικού Σήματος Κιθάρας σε Συμβολική Αναπαράσταση με Χρήση Μεθόδων Ψηφιακής Επεξεργασίας Σήματος και Μηχανικής Μάθησης

Abstract

Βασικός στόχος αυτής της εργασίας είναι η παρουασίση ενός συστήματος αυτόματης μεταγραφής μονοφωνικών μουσικών εκτλέσεων κιθάρας σε ταμπλατούρα. Το πρόβλημα της μεταγραφής αντιμετωπίζεται με τη χρήση επιμέρους υποσυστημάτων επεξεργασίας για την ανίχνευση έναρξης νότας (onset), την αναγνώριση τονικού ύψους και την ταξινόμηση ενεργής χορδής. Κύρια συνεισφορά της εργασίας αποτελεί ο συνδυασμός αναρμονικής ανάλυσης και περιορισμών εκτελεσιμότητας για την αναγνώριση χορδής κιθάρας. Ο υπολογισμός του συντλεστή αναρμονικότητας για επιμέρους στιγμιότυπα νοτών επιτρέπει ένα πρώτο στάδιο αναγνώρισης χορδής με βάση το ηχητικό σήμα. Προηγείται μια σύντομη φάση συλλογής ολιγάριθμων δειγμάτων νοτών από το χρήστη για την μετέπειτα προσαρμογή του ταξινομητή. Έτσι, καθίσταται δυνατό να προσαρμοστεί το σύστημα σε κάθε κιθάρα παρά τα διαφορετικά φυσικά χαρακτηριστικά της. Παρατίθενται τέσσερις διαφορετικές μέθοδοι, με κλιμακωτή ακρίβεια και απαιτούμενο χρόνο προσαρμογής, ανάλογα με τη χρήση που επιθυμεί κάθε εκτελεστής. Ως δεύτερο στάδιο, παρουσιάζεται ένας γενετικός αλγόριθμος που λαμβάνει υπόψη φυσικούς περιορισμούς και περιορισμούς εκτελεσιμότητας για τη βελτίωση της ακρίβειας αναγνώρισης χορδής. O γενετικός αλγόριθμος αποτελεί το τελευταίο σε σειρά υποσύστημα και αποδεικνύεται ιδιαίτερα επωφελής για την επίδοση του συστήματος συνολικά, ενώ δεν προϋποθέτει καμία πρότερη ρύθμιση από τον χρήστη. Ακόμη, αξιοποιούνται υποσυστήματα για την ανίχνευση έναρξης νοτών με χρήση Χρονικών Συνελικτικών Δικτύων (TCN) ενώ το τονικό ύψος εκτιμάται με το προ-εκπαιδευμένο Συνελικτικό Νευρωνικό Δίκτυο (CNN) CREPE. Η προτεινόμενες μέθοδοι αποτιμώνται σε επισημειωμένες (annotated) ηχογραφήσεις πραγματικών εκτελέσεων κιθάρας αλλά και σε μεμονωμένες ηχογραφήσεις νοτών.