1、發(fā)音特征指的是人類語音產(chǎn)生過程中舌頭、牙齒、嘴唇等發(fā)音器官的位置和運(yùn)動特征。發(fā)音特征描述層次化語音產(chǎn)生過程中的生理層信息，與聲學(xué)特征緊密相關(guān)，同時又具有物理意義明確、受環(huán)境噪聲影響小等優(yōu)點(diǎn)。因此，近年來結(jié)合發(fā)音特征的語音信號處理方法受到了廣泛的研究關(guān)注。本文圍繞結(jié)合發(fā)音特征的語音生成方法開展研究，重點(diǎn)關(guān)注發(fā)音特征到聲學(xué)特征轉(zhuǎn)換與結(jié)合發(fā)音特征的統(tǒng)計參數(shù)語音合成兩個任務(wù)。
　　發(fā)音特征到聲學(xué)特征轉(zhuǎn)換旨在建立發(fā)音特征到聲學(xué)特征的映射關(guān)系

2、，實(shí)現(xiàn)在只使用發(fā)音特征的情況下生成自然可懂的語音信號。該技術(shù)在靜默語音接口、可控語音合成、話者與口音轉(zhuǎn)換等方面有著應(yīng)用價值?，F(xiàn)階段該技術(shù)研究主要集中于發(fā)音特征到反映聲道濾波器特性的頻譜特征的轉(zhuǎn)換，對于發(fā)音特征到聲源激勵相關(guān)的能量、清濁判決、基頻等聲學(xué)特征轉(zhuǎn)化方法的研究較為缺乏。此外，已有研究工作主要使用混合高斯模型(Gaussian mixture model，GMM)建立發(fā)音特征到聲學(xué)特征的映射關(guān)系，也存在建模精度不足以及生成語音質(zhì)量

3、不高的問題。結(jié)合發(fā)音特征的統(tǒng)計參數(shù)語音合成旨在將發(fā)音特征融入統(tǒng)計參數(shù)語音合成的聲學(xué)建模，改善從文本預(yù)測聲學(xué)特征的精度與合成語音的自然度。統(tǒng)計參數(shù)語音合成是現(xiàn)階段實(shí)現(xiàn)文本到語音轉(zhuǎn)換的主流方法，具有系統(tǒng)構(gòu)建自動化程度高、合成語音平穩(wěn)流暢、靈活性與拓展能力強(qiáng)等優(yōu)點(diǎn)。已有的結(jié)合發(fā)音特征的統(tǒng)計參數(shù)語音合成聲學(xué)建模研究，主要在隱馬爾可夫模型(hidden Markov model，HMM)和隱藏式軌跡模型（hidden trajectory mod

4、el，HTM）框架下開展。近年來，深度前饋網(wǎng)絡(luò)（deep forward networks，DFN）和遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network，RNN)等深度學(xué)習(xí)模型在統(tǒng)計參數(shù)語音合成的聲學(xué)建模中得到了成功應(yīng)用，而在在深度學(xué)習(xí)框架下結(jié)合發(fā)音特征的聲學(xué)建模研究仍不多見。
　　因此，本文研究結(jié)合發(fā)音特征與深度學(xué)習(xí)的語音生成方法，在發(fā)音特征到聲學(xué)特征轉(zhuǎn)換與結(jié)合發(fā)音特征的統(tǒng)計參數(shù)語音合成兩個主要方面開展工作，具體包括

5、:
　　首先，研究了基于深度學(xué)習(xí)的發(fā)音特征到聲學(xué)特征轉(zhuǎn)換方法。針對傳統(tǒng)GMM模型對特征間非線性關(guān)系建模能力的不足，本文提出使用DFN和RNN等深度學(xué)習(xí)模型進(jìn)行發(fā)音特征到聲學(xué)特征的轉(zhuǎn)換，取得了優(yōu)于GMM模型的頻譜特征預(yù)測精度與生成語音質(zhì)量。此外，本文在發(fā)音特征到頻譜特征轉(zhuǎn)換基礎(chǔ)上，利用深度學(xué)習(xí)模型探索了從發(fā)音特征預(yù)測能量、清濁判決、基頻等激勵特征的可行性，實(shí)現(xiàn)了只依賴發(fā)音特征的語音波形生成。
　　其次，研究了結(jié)合語言知識和級聯(lián)

6、預(yù)測的發(fā)音特征到聲學(xué)特征轉(zhuǎn)換方法。為了彌補(bǔ)發(fā)音特征自身描述能力的不足，進(jìn)一步提升發(fā)音特征到聲學(xué)特征的轉(zhuǎn)換精度，本文提出了兩種對發(fā)音特征到聲學(xué)特征轉(zhuǎn)換中的輸入特征進(jìn)行增強(qiáng)的策略。一方面，利用發(fā)音特征到音素標(biāo)簽的分類器提取語言知識加入模型輸入端;另一方面，設(shè)計級聯(lián)形式的多特征預(yù)測模型結(jié)構(gòu)，利用生成的頻譜特征來輔助預(yù)測激勵相關(guān)聲學(xué)特征。實(shí)驗結(jié)果表明了以上方法在改善聲學(xué)特征預(yù)測精度與提高生成語音質(zhì)量上的有效性。
　　再次，研究了結(jié)合發(fā)音特

7、征與深度學(xué)習(xí)的語音合成聲學(xué)建模方法。針對現(xiàn)有統(tǒng)計參數(shù)語音合成聲學(xué)模型建模精度仍需提高、合成語音自然度仍需改善的問題，本文提出將發(fā)音特征引入基于深度學(xué)習(xí)方法的語音合成聲學(xué)建模中，并且基于多任務(wù)學(xué)習(xí)框架設(shè)計實(shí)現(xiàn)了三種聲學(xué)模型結(jié)構(gòu)，包括基于簡單多任務(wù)學(xué)習(xí)的聲學(xué)建模、基于層次化語音產(chǎn)生的多任務(wù)學(xué)習(xí)聲學(xué)建模和基于結(jié)構(gòu)化輸出層的多任務(wù)學(xué)習(xí)聲學(xué)建模。實(shí)驗結(jié)果表明上述三種模型相對傳統(tǒng)深度學(xué)習(xí)聲學(xué)建模均能取得不同程度的合成語音自然度提升，其中以基于結(jié)構(gòu)化

8、輸出層的多任務(wù)學(xué)習(xí)聲學(xué)建模方法效果最優(yōu)。
　　最后，研究了基于蒸餾學(xué)習(xí)的語音合成聲學(xué)建模方法。蒸餾學(xué)習(xí)是一種新近提出的知識遷移方法。本文研究了在神經(jīng)網(wǎng)絡(luò)框架下蒸餾學(xué)習(xí)用于回歸任務(wù)的實(shí)現(xiàn)算法，提出了基于神經(jīng)網(wǎng)絡(luò)蒸餾學(xué)習(xí)的語音合成聲學(xué)建模方法，以提升統(tǒng)計參數(shù)語音合成聲學(xué)建模對于發(fā)音特征的利用效果。實(shí)驗結(jié)果表明，該方法相對多任務(wù)學(xué)習(xí)方法，可以進(jìn)一步提升結(jié)合發(fā)音特征后統(tǒng)計參數(shù)語音合成系統(tǒng)的聲學(xué)特征預(yù)測精度與合成語音自然度。此外，在無法獲取