Εντοπισμός Πολυτροπικών Χαρακτηριστικών Για Οπτικοακουστική Αναγνώριση Ομιλίας

Abstract

Η χρήση της οπτικής πληροφορίας για την βελτίωση της κατανόησης της ανθρώπινης ομιλίας αποτελεί ένα πολύ ενεργό πεδίο τα τελευταία χρόνια. Ο άνθρωπος είναι ικανός να κατανοήσει την ομιλία σε πολύ ικανοποιητικό βαθμό από την οπτική πληροφορία μόνο, ενώ η αξία της έχει αποδειχθεί με πληθώρα πειραμάτων, τόσο για την περίπτωση του ανθρώπου όσο και για την μηχανή. Η παρούσα εργασία σκοπό έχει να ασχοληθεί με τον προσδιορισμό και την εξαγωγή των οπτικών αυτών χαρακτηριστικών τα οποία δίνουν την δυνατότητα της κατανόησης του ανθρώπινου λόγου μόνο με την χρήση της οπτικής πληροφορίας. Να εντοπισθούν τα όρια των τεχνολογιών που υπάρχουν στον συγκεκριμένο τομέα και οι πιθανές βελτιώσεις που μπορεί να προκύψουν. Ορίζεται μία συνολική αρχιτεκτονική η οποία μπορεί να οδηγήσει στην εξαγωγή των χαρακτηριστικών αυτών και μελετάται το κάθε τμήμα της ξεχωριστά.In recent years there is an emerging scientific field that tries to exploit the visual information in order to enhance the ability of the machine to detect the human speech. The human being is capable of perceiving speech efficiently, only by using visual information, a technique which is known as lip reading. The value of visual information for the perception of human speech has been proved by many different experiments for both the human and the machine respectively. The present work tries to define and extract the visual characteristics that can lead to the perception of human speech by using only visual information. To find out the limitations of current state of the art in this area and propose improvements when this is possible. Also a software architecture is defined which is capable of extracting efficiently these characteristics.