Υλοποίηση Συστήματος Σύνθεσης Μουσικής Μέσω Κίνησης

Abstract

Το θέμα της παρούσας διπλωματικής εργασίας είναι η δημιουργία ενός συστήματος σύνθεσης μουσικής, και της πλατφόρμας επικοινωνίας του με το χρήστη, το οποίο θα κάνει, με χρήση του αισθητήρα κίνησης του Kinect της Microsoft, tracking σε 2 άτομα και, ανάλογα με την κίνησή τους, θα συνθέτει μουσική σε πραγματικό χρόνο.Ο εντοπισμός της στάσης των χεριών των δύο χρηστών γίνεται μέσω της ενσωματωμένης λειτουργίας skeleton tracking του Kinect. Συγκεκριμένα, με χρήση του ενσωματωμένου συστήματος παρακολούθησηςμπορούν να προσδιοριστούν (με αρκετή ακρίβεια) οι θέσεις 25 σημείων του σώματος. Σε ότι αφορά τη στάση των χεριών, έχουμε ορίσει 12 πρότυπες στάσεις χεριών, οι οποίες αντιστοιχούν σε συγκεκριμένες νότες. Για τον προσδιορισμό της στάσης των χεριών, χρησιμοποιείται ένας απλός αλγόριθμος ταιριάσματος (matching), αφού πρώτα εξάγουμε σαν χαρακτηριστικά τα κανονικοποιημένα διανύσματα κατεύθυνσης των χεριών - τα οποία είναι ανεξάρτητα από τα χαρακτηριστικά του παίχτη - χρήστη.Επιπλέον, για την επικοινωνία του παιχνιδιού με τους χρήστες, έχει εκπαιδευτεί ένα σύστημα αναγνώρισης δυναμικών χειρονομιών. Οι χειρονομίες είναι κωδικοποιημένες ως θέσεις των συνδέσμων που αναγνωρίζει η κάμερα, και για την αναγνώρισή τους, αφού εξήχθσαν και εδώ τα κανονικοποιημένα διανύσματα κατεύθυνσης ως γεωμετρικά χαρακτηριστικά, χρησιμοποιήθηκαν αλγόριθμοι που χρησιμοποιούνται για την αναγνώριση και ταξινόμηση χρονοσειρών. Πραγματοποιήθηκε πειραματισμός τόσο με κρυφά μοντέλα Markov, είτε μέσω της διακριτοποίησης των δεδομένων μέσω μίας παρόμοιας με την BoW προσέγγιση, είτε μέσω της εκμάθησης των παρατηρήσεων ως μίγμα Γκαουσιανών, όσο και με διάφορες παραλλαγές του αλγορίθμου του κοντινότερου γείτονα, είτε σε ότι αφορά τη μείωση της διαστατικότητας, είτε την καλύτερη προσαρμογή του στο πρόβλημα της σύγκρισης χρονοσειρών. Τον ταξινομητή συμπληρώνουν τόσο ένας ανιχνευτής κίνησης, όσο και ένας μηχανισμός απόρριψης χειρονομιών που δεν βρίσκονται στο σύνολο εκπαίδευσης.Η μουσική νότα που αντιστοιχεί σε κάθε διαφορετική στάση χεριών καθορίζεται με την αντιστοίχιση διαφορετικής συχνότητας σε καθεμιά από αυτές, με την απαραίτητη προσοχή ώστε παραπλήσιες στάσεις να αντιστοιχούν σε κοντινές ηχητικά νότες. Για την παραγωγή των ημιτονικών κυμάτων, χρησιμοποιήθηκε η βιβλιοθήκη ανοιχτού κώδικα portaudio.