Σύγχρονες Τεχνικές Σχεδίασης Και Υλοποίησης Συστήματος Παραγωγής Συνθετικής Ομιλίας Με Επεξεργασία Στο Πεδίο Του Χρόνου

Abstract

ΠΕΡΙΛΗΨΗΗ παρούσα διατριβή παρουσιάζει την ερευνητική προσπάθεια και τα αποτελέσματα αυτής αναφορικά με την σχεδίαση και υλοποίηση ενός συστήματος συνθετικής ομιλίας με τεχνικές επεξεργασίας ψηφιακού σήματος στο πεδίο του χρόνου. Πιο συγκεκριμένα, η διατριβή, εκτός από την εκτενή αναφορά σε ερευνητικά αποτελέσματα παρόμοιων προσπαθειών στον ίδιο γνωστικό τομέα, εστιάζει στα εξής επιμέρους σημεία:- Στην μελέτη της προσωδίας και στην έμμεση μοντελοποίηση αυτής μέσω του υποσυστήματος βέλτιστης επιλογής ακουστικών μονάδων. Προτείνεται ένας καινοτόμος μηχανισμός για την μοντελοποίηση, παραγωγή και εφαρμογή πρότυπων καμπυλών προσωδίας στο συνθετικό σήμα φωνής, με τρόπο που επιτρέπει την διατήρηση της μικροπροσωδίας και την ποικιλότητα στην προσωδία. - Στον σχεδιασμό, υλοποίηση και επεξεργασία του πρωτογενούς υλικού για την βάση δεδομένων του συνθέτη φωνής, το οποίο βασίζεται σε ηχογραφήσεις ενός φυσικού ομιλητή. Η μέθοδος που προτείνεται αποτελεί μία καινοτόμο τεχνική για τον σχεδιασμό του σώματος κειμένου, λαμβάνοντας υπόψη τα ιδιαίτερα χαρακτηριστικά του συνθέτη φωνής και εξασφαλίζοντας μέγιστη κάλυψη διαφορετικών φαινομένων.- Στα διαφορετικά υποσυστήματα του συνθέτη ομιλίας τα οποία είναι υπεύθυνα για την επεξεργασία φυσικής γλώσσας, την κανονικοποίηση κειμένου από Greeklish και την φωνητική μεταγραφή του κειμένου, προτείνοντας νέες μεθόδους για την φωνητική μεταγραφή για την Ελληνική γλώσσα, όπως επίσης και την μετατροπή από Greeklish σε ορθά Ελληνικά.- Σε ειδικές προσαρμογές και τεχνικές που προτείνονται για την δημιουργία ενός συνθέτη ομιλίας ειδικά σχεδιασμένου για την σύμπραξη με υποστηρικτικά εργαλεία προσβασιμότητας για εμποδιζόμενα άτομα, λαμβάνοντας μέριμνα για τις ανάγκες χρήστη και τα σενάρια χρήσης.Τα αποτελέσματα της συγκεκριμένης ερευνητικής προσπάθειας έχουν οδηγήσει στην υλοποίηση του ποιοτικότερου συστήματος συνθετικής ομιλίας για την Ελληνική γλώσσα, ενώ παράλληλα έβαλε τις βάσεις δημιουργίας συνθέτη ομιλίας για την Βουλγαρική γλώσσα με εξαιρετικά υψηλή φυσικότητα και καταληπτότητα.Λέξεις κλειδιά: Σύνθεση φωνής, αλγόριθμος επιλογής ακουστικών μονάδων, συναρτήσεις κόστους, μοντελοποίηση προσωδίας, κανονικοποίηση κειμένου, greeklish, σύνθεση φωνής για ΑμΕA, σχεδίαση σώματος κειμένου για σύνθεση φωνής, υπολογισμός σημείων ανάλυσης pitchmarksABSTRACTThis thesis presents the research effort and its results regarding the design and implementation of a speech synthesis system based on time-domain techniques. More specifically, this thesis, apart from a detailed literature review, focuses on the following specific points: - The study of prosody and its modeling for the Text-to-Speech system. The proposed mechanism provides a novel algorithm for modeling, producing and applying of prosodic curves onto the synthetic speech signal, in a manner that allows the preservation of microprosody and diversity in prosodic patterns. - The design and development of primary material for the database of a voice synthesizer, which is based on recordings of a native speaker. The method proposed is an innovative one for the design of the textual corpus, taking into account the specific characteristics of the voice synthesizer and ensuring maximum coverage of different acoustic and linguist phenomena. - The different subsystems of the speech synthesizer, which are responsible for natural language processing, text normalization and phonetic transcription of the text. New methods have been proposed for the phonetic transcription of the Greek language, as well as the conversion from Greeklish to Greek. - Extra focus was given in the customization and adaptation of the speech synthesis system for optimal performance in the framework of accessibility, providing the ground for an optimized TTS system as an assistive tool.The results of this research effort have led to the realization of the highest quality TTS system for Greek language, providing at the same time the basis for creating a TTS system for the Bulgarian language of similarly high quality and naturalness.Key Words: Text to Speech, Unit selection synthesis, cost function, prosody modeling, text normalization, greeklish, text to speech for assistive tools, pitchmark analysis estimation, corpus design for speech synthesis