Πολλαπλών Όψεων Συνδυασμός Ακουστικών Χαρακτηριστικών Με Χαρακτηριστικά Παραγωγής Ομιλίας Για Αναγνώριση Φωνημάτων Στη Βάση Δεδομένων Rtmri-timit

Abstract

Σε αυτήν τη διπλωματική εργασία ερευνούμε τη χρήση πληροφοριών άρθρωσης, καιπιο συγκεκριμένα δεδομένων rt-MRI της φωνητικής οδού, για τη βελτίωσητης απόδοσης αναγνώρισης ομιλίας. Για τον σκοπό των πειραμάτων μαςχρησιμοποιούμε δεδομένα από τη βάση δεδομένων rtMRI-TIMIT. Αρχικά, ταχαρακτηριστικά SIFT εξάγονται για κάθε πλαίσιο του βίντεο. Έπειτα οιSIFT περιγραφείς του κάθε πλασίου μετασχηματίζονται σε ένα μεμονωμένοιστόγραμμα ανά εικόνα, με χρήση της μεθοδολογίας Bag of Visual Words.Εφόσον αυτό το είδος πληροφοριών άρθρωσης είναι δύσκολο να εξαχθεί σε μιατυπική εγκατάσταση αναγνώρισης ομιλίας, θεωρούμε ότι είναι διαθέσιμο μόνο στοστάδιο της εκπαίδευσης. Συνεπώς χρησιμοποιούμε μια προσέγγιση πολλαπλών όψεωνμε εφαρμογή canonical correlation analysis (CCA) σε οπτικά και ηχητικάδεδομένα. Με χρήση του πίνακα μετασχηματισμού που εξήχθη κατά τη διάρκεια τουσταδίου εκπαίδευσης, μετασχηματίζουμε τα ηχητικά δεδομένα της εκπαίδευσης καιτης δοκιμής για να παράγουμε τα τελικά χαρακτηριστικά (συνδυασμός ακουστικώνχαρακτηριστικών με χαρακτηριστικά του συστήματος παραγωγής ομιλίας) τα οποίααποτελούν την είσοδο του συστήματος αναγνώρισης. Τα πειραματικά αποτελέσματαεπιδεικνύουν βελτιώσεις στην αναγνώριση φωνής συγκριτικά με την χρήση μόνοακουστικών χαρακτηριστικών.