1、聲學(xué)模型區(qū)分性訓(xùn)練是近年來語音識別領(lǐng)域的研究熱點(diǎn)之一，它已經(jīng)成為當(dāng)今主流的語音識別系統(tǒng)，尤其是大詞匯量連續(xù)語音識別LVCSR系統(tǒng)中最重要的模型訓(xùn)練手段之一。本文主要針對聲學(xué)模型區(qū)分性訓(xùn)練及其在LVCSR系統(tǒng)中的應(yīng)用問題進(jìn)行較深入的研究和討論。另外，本文對語音識別系統(tǒng)的另一個重要模塊——置信度判決也有所涉獵。
　　 首先，本文提出了一種新穎的、稱為“受限線性搜索”CLS的優(yōu)化算法，該算法用于語音識別區(qū)分性訓(xùn)練中的CDHMM模型參數(shù)

2、更新。CLS方法可以用于區(qū)分性訓(xùn)練統(tǒng)一準(zhǔn)則框架下各種區(qū)分性準(zhǔn)則的模型更新，包括MMI、MCE、MWE/MPE等。在該方法中，HMM的區(qū)分性訓(xùn)練問題首先被定義為一個受限優(yōu)化問題，并且直接使用模型間的KLD度量來定量的描述所定義的模型間限制。接著，基于簡單的線性搜索思想，我們發(fā)現(xiàn)在將該模型限制轉(zhuǎn)化為二次函數(shù)形式后，可以很容易獲得模型更新參數(shù)的閉式解。CLS方法可以用于優(yōu)化CDHMM模型中的各種參數(shù)，包括高斯均值、協(xié)方差矩陣、權(quán)重等。

3、　　 接著，本文對我們此前提出的稱為“信任區(qū)域”(Trust Region)的區(qū)分性訓(xùn)練模型參數(shù)更新方法進(jìn)行了進(jìn)一步理論分析和擴(kuò)展。Trust Region方法通過將MMI區(qū)分性訓(xùn)練問題轉(zhuǎn)變?yōu)橐粋€優(yōu)化理論中可參考的標(biāo)準(zhǔn)問題，從而準(zhǔn)確高效的求取待優(yōu)化函數(shù)的全局最優(yōu)點(diǎn)。在引入上述模型間限制的前提下，Trust Region方法可以對區(qū)分性訓(xùn)練中的輔助函數(shù)進(jìn)行完美的優(yōu)化。然而，在區(qū)分性訓(xùn)練中對輔助函數(shù)的最優(yōu)化無法保證對原始目標(biāo)函數(shù)的優(yōu)化。因

4、此我們通過對Trust Region問題的深入理論分析，提出構(gòu)造一種稱為“有界信任區(qū)域”(Bounded Trust Region)的新輔助函數(shù)。該輔助函數(shù)仍然是目標(biāo)函數(shù)的有效估計，更重要的是，在滿足模型間限制的前提下，該輔助函數(shù)是原始目標(biāo)函數(shù)的下界。這個優(yōu)良品質(zhì)可以確保對該輔助函數(shù)的最優(yōu)化也能夠帶來對目標(biāo)函數(shù)的優(yōu)化。另外，這里構(gòu)造的新輔助函數(shù)仍然可以直接使用標(biāo)準(zhǔn)的Trust Region方法來解決，從而可以快速求取全局最優(yōu)點(diǎn)。實(shí)驗表明

5、基于Bounded Trust Region的方法超越了傳統(tǒng)的EBW算法和原始Trust Region方法。
　　 第三，本文還針對實(shí)際的LVCSR系統(tǒng)中存在的若干問題進(jìn)行了探討，包括處理海量訓(xùn)練語料時的計算能力問題和由此導(dǎo)致的效率瓶頸，以及區(qū)分性訓(xùn)練中普遍存在的推廣性問題等。在此基礎(chǔ)上，我們分別結(jié)合基于WFST解碼器生成的具有優(yōu)良品質(zhì)的詞圖，和傳統(tǒng)的基于HTK計算區(qū)分性訓(xùn)練相關(guān)統(tǒng)計量的工具，搭建了一套用于區(qū)分性訓(xùn)練的新流程。

6、該流程相對于傳統(tǒng)完全基于HTK流程的區(qū)分性訓(xùn)練，不僅在訓(xùn)練效率上得到了極大的優(yōu)化，在識別性能上也有一定的提升。
　　 最后，本文在語音識別系統(tǒng)的重要模塊之一——置信度判決CM方向進(jìn)行了相關(guān)工作。我們首先基于語音識別系統(tǒng)的輸出定義了所謂的“目標(biāo)區(qū)域”和“非目標(biāo)區(qū)域”，并分別針對不同的區(qū)域選擇合適的置信度判決方法。我們嘗試發(fā)掘“非目標(biāo)區(qū)域”中的額外信息，以期對傳統(tǒng)只基于“目標(biāo)區(qū)域”進(jìn)行CM計算的方法起到補(bǔ)充作用。實(shí)驗結(jié)果表明，基于“