Αυτόματη Ανάκτηση Μουσικής Πληροφορίας Με Έμφαση Στο Ρυθμό

Abstract

Σκοπός της παρούσας διατριβής είναι η ανάπτυξη τεχνικών για την αυτόματη ανάλυση μουσικών σημάτων. Μεγάλη έμφαση δίνεται στην αυτόματη ανάλυση του ρυθμού, ο οποίος αποτελεί ένα θεμελιώδες μέγεθος της μουσικής, αφού ορίζει την χρονική δομή και οργάνωση του μουσικού σήματος. Αποτελεί δομικό στοιχείο σε ένα σύστημα αυτόματης μεταγραφής (transcription) της μουσικής, ενώ η ρυθμική πληροφορία μπορεί να χρησιμοποιηθεί και σε άλλες σημαντικές εφαρμογές όπως η δεικτοδότηση και ανάκτηση βάσει περιεχομένου ο υπολογισμός ρυθμικής ομοιότητας και η μίξη σημάτων.Εξέχουσα σημασία στην ανάπτυξη ενός συστήματος αυτόματης ανάλυσης ρυθμικού περιεχομένου είναι η συνάρτηση περιοδικότητας. Η συνάρτηση περιοδικότητας αποτελεί το «ρυθμικό φάσμα» ενός μουσικού σήματος, αφού μας δίνει την ισχύ των διάφορων περιοδικοτήτων. Ένα μεγάλο μέρος της παρούσας διατριβής είναι αφιερωμένο στην εξαγωγή και επεξεργασία μιας συνάρτησης περιοδικότητας. Χρησιμοποιώντας μοντέρνες τεχνικές επεξεργασίας σήματος όπως τον διαχωρισμό πηγών, προτείνεται μια συνάρτηση περιοδικότητας, η οποία αποτελεί μια εύρωστη αναπαράσταση του ρυθμικού περιεχομένου. Στη συνέχεια γίνεται επεξεργασία της συνάρτησης περιοδικότητας με τεχνικές μη επιβλεπόμενης μάθησης για την εξαγωγή συμπαγών χαρακτηριστικών. Τα χαρακτηριστικά αυτά χρησιμοποιούνται σε δύο προβλήματα ρυθμικής κατηγοριοποίησης: την αυτόματη κατηγοριοποίηση βάσει ρυθμικής κλάσης και την εξαγωγή του χρονικού κλειδιού. Στη συνέχεια προτείνονται τρεις διαφορετικές μέθοδοι εξαγωγής του τέμπο από τη συνάρτηση περιοδικότητας και τα χαρακτηριστικά της καθώς και μια τεχνική εξαγωγής των θέσεων του μουσικού παλμού έχοντας γνώση του τέμπο. Επίσης, η συνάρτηση περιοδικότητας τροποποιείται έτσι ώστε να είναι προσεγγιστικά αντιστρέψιμη, δηλαδή να είναι εφικτό να ανακατασκευαστεί ένα μουσικό σήμα από την συνάρτηση περιοδικότητας τέτοιο ώστε να διατηρεί τη ρυθμική δομή του αρχικού σήματος.Τέλος, τα ρυθμικά χαρακτηριστικά πλαισιώνονται από χαρακτηριστικά «χροιάς» και «αρμονίας» προκειμένου να δημιουργηθεί ένα ολοκληρωμένο σύστημα μουσικής ομοιότητας βάσει περιεχομένου. Το σύστημα αυτό ενσωματώθηκε σε μια διαδικτυακή πλατφόρμα αναζήτησης μουσικής βάσει περιεχομένου.Συνοψίζοντας, στα πλαίσια της παρούσας διατριβής αντιμετωπίστηκαν έξι διαφορετικά προβλήματα μουσικής ανάλυσης. Η εύρεση του μουσικού κλειδιού, η εύρεση χορευτικού στυλ, η εξαγωγή του τέμπο, η εξαγωγή του παλμού, και ο υπολογισμός της ομοιότητας βάσει περιεχομένου μεταξύ δύο μουσικών κομματιών. Επιπλέον, προτάθηκε τρόπος υπολογισμού μιας «αντιστρέψιμης» συνάρτησης περιοδικότητας. Οι προτεινόμενοι μέθοδοι αξιολογήθηκαν για όλα τα προβλήματα σε μεγάλο εύρος δεδομένων και συγκρινόμενες με άλλες μεθόδους αιχμής, πέτυχαν ανταγωνιστικά και σε αρκετές περιπτώσεις καλύτερα αποτελέσματα από οποιαδήποτε άλλη μέθοδο.