1、語音識別的終極目標是使人與機器之間能夠像人與人之間一樣自如的交流。聲學(xué)模型性能的好壞直接影響到整個語音識別系統(tǒng)的準確性。過去幾十年，高斯混合模型-隱馬爾科夫模型(Gaussian Mixture Model-Hidden Markov Model，GMM-HMM)在語音識別聲學(xué)建模方法中一直起著主導(dǎo)作用。GMM-HMM框架由于具備較完善的理論體系，包括區(qū)分性訓(xùn)練、自適應(yīng)等成熟的配套算法，以及HTK等開源工具，而受到眾多研究者的追捧。近年

2、來，深度學(xué)習(xí)(DeepLearning)理論在機器學(xué)習(xí)領(lǐng)域興起，其對語音識別方向也產(chǎn)生了深遠影響。基于深度神經(jīng)網(wǎng)絡(luò)-隱馬爾科夫模型(Deep Neural Network-Hidden Markov Model，DNN-HMM)的聲學(xué)模型混合建模方案迅速取代傳統(tǒng)的GMM-HMM框架，成為當前主流語音識別系統(tǒng)的標配，基于DNN-HMM新框架的相關(guān)算法研究也受到語音識別領(lǐng)域的廣泛關(guān)注。在這樣的背景下，本論文圍繞深度神經(jīng)網(wǎng)絡(luò)聲學(xué)建模及其在自動

3、語音識別中的應(yīng)用，進行了較系統(tǒng)而深入的研究。
　　首先，為了提升基于神經(jīng)網(wǎng)絡(luò)的聲學(xué)建模的能力，本文分別從特征域和模型域兩個方面進行了探索。在特征域，本文借鑒傳統(tǒng)TANDEM的方法將神經(jīng)網(wǎng)絡(luò)看成一種提取后驗概率特征的預(yù)處理器，并基于所提取的區(qū)分性特征進行GMM-HMM建模。本論文提出了一種基于競爭信息的TANDEM系統(tǒng)改進方法。具體來說，我們首先基于解碼過程中所生成的詞圖挑選訓(xùn)練樣本的競爭信息，并基于該競爭樣本訓(xùn)練相應(yīng)的“競爭信息”

4、神經(jīng)網(wǎng)絡(luò)，以對傳統(tǒng)的只基于正例進行神經(jīng)網(wǎng)絡(luò)訓(xùn)練的TANDEM算法起到增強作用。接著，在直接使用神經(jīng)網(wǎng)絡(luò)作為聲學(xué)分類器的模型域方面，本文針對中文語音識別系統(tǒng)中的多流聲學(xué)特征，提出了一種中間層融合建模方案，該方案充分利用深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法的特點，在深度神經(jīng)網(wǎng)絡(luò)的中間某隱層進行多個特征流的中層特征融合，并在融合特征的基礎(chǔ)上繼續(xù)進行更高層網(wǎng)絡(luò)權(quán)重的學(xué)習(xí)。該算法在深度神經(jīng)網(wǎng)絡(luò)的框架下有效的利用了多流特征的互補特性，提升了識別系統(tǒng)的性能。<

5、br>　　然后，本文在深度神經(jīng)網(wǎng)絡(luò)聲學(xué)建模效率方面進行了深入的研究，以解決大規(guī)模語音數(shù)據(jù)聲學(xué)建模的可應(yīng)用性問題。面向真實語音識別系統(tǒng)的海量訓(xùn)練數(shù)據(jù)、深度神經(jīng)網(wǎng)絡(luò)的超大規(guī)模模型參數(shù)、以及模型結(jié)構(gòu)導(dǎo)致的傳統(tǒng)訓(xùn)練算法不可并行性，使得深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效率問題成為實用化語音識別系統(tǒng)的最大瓶頸。針對這樣的情況，我們分析了深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法，找到影響其效率的主因，并針對這些原因提出了一種新穎的多個深層神經(jīng)網(wǎng)絡(luò)聯(lián)合建模方案。通過將數(shù)據(jù)進行聚類，我

6、們可以分開獨立的并行訓(xùn)練多個深層神經(jīng)網(wǎng)絡(luò)來對各個聚類數(shù)據(jù)分別進行建模。這種建模方法在交叉熵準則下，相對普通單個深層神經(jīng)網(wǎng)絡(luò)建模方法效率的提升是非常明顯，在實際的研究應(yīng)用中具有重要意義。
　　最后，針對我們提出的多深層神經(jīng)網(wǎng)絡(luò)聯(lián)合建模方案，我們進行了進一步的完善。為了驗證這一建模框架的切實可行性，同時解決其性能損失問題，我們在序列級區(qū)分性準則下進行了研究。序列級區(qū)分性準則可以看作是多DNN的一種聯(lián)合優(yōu)化策略，我們根據(jù)多DNN結(jié)構(gòu)特點