1、近年來，深度學(xué)習(xí)技術(shù)被成功應(yīng)用于語音識(shí)別、手寫識(shí)別、計(jì)算機(jī)視覺、自然語言處理等領(lǐng)域，取得了顯著成果。隨著深度學(xué)習(xí)模型結(jié)構(gòu)日趨復(fù)雜，訓(xùn)練數(shù)據(jù)不斷增加，如何實(shí)現(xiàn)模型的高效訓(xùn)練，成為亟待解決的問題，當(dāng)下計(jì)算技術(shù)，特別是高性能計(jì)算(HPC)和圖形處理單元(GPU)技術(shù)的發(fā)展使得我們可以利用的計(jì)算資源越來越多，這為該問題的解決提供了良好的契機(jī)。本文圍繞整流線性單元(ReLU)深度神經(jīng)網(wǎng)絡(luò)(DNN)的新訓(xùn)練準(zhǔn)則，深度雙向長(zhǎng)短時(shí)記憶元(DBLSTM)

2、遞歸神經(jīng)網(wǎng)絡(luò)(RNN)的快速訓(xùn)練以及深度學(xué)習(xí)模型的可擴(kuò)展訓(xùn)練等三個(gè)方面對(duì)該問題進(jìn)行了研究，并有所創(chuàng)新。
　　首先，針對(duì)用于分類問題的ReLU-DNN，本文提出用基于樣本分離邊距(SSM)的最小分類誤差(MCE)準(zhǔn)則替代傳統(tǒng)的交叉熵(CE)準(zhǔn)則對(duì)模型進(jìn)行訓(xùn)練。對(duì)于給定的訓(xùn)練樣本，如果忽略ReLU-DNN中輸出為0的隱層節(jié)點(diǎn)，該網(wǎng)絡(luò)可被視作線性分類器，SSM-MCE作為適用于線性分類器的訓(xùn)練準(zhǔn)則，其損失函數(shù)直接與分類錯(cuò)誤率相關(guān)，在最小

3、化損失函數(shù)的同時(shí)，可以增大SSM，改善模型在測(cè)試集上的泛化能力。實(shí)驗(yàn)結(jié)果表明，SSM-MCE在巾小規(guī)模的網(wǎng)絡(luò)上可以取得優(yōu)于CE的結(jié)果。
　　其次，本文針對(duì)DBLSTM訓(xùn)練緩慢，解碼延遲高的問題，提出了基于上下文敏感區(qū)塊(CSC)的時(shí)域后傳(BPTT)訓(xùn)練算法及其相應(yīng)的解碼算法。該算法將長(zhǎng)序列的DBLSTM建模的問題轉(zhuǎn)化成短CSC的建模，提高了模型訓(xùn)練的并行度，加快了訓(xùn)練速度，降低了解碼延遲，為DBLSTM的實(shí)時(shí)應(yīng)用奠定了基礎(chǔ)。實(shí)驗(yàn)

4、結(jié)果表明，在大詞匯量連續(xù)語音識(shí)別(LVCSR)任務(wù)上，該方法取得了與傳統(tǒng)方法相同的識(shí)別效果，而訓(xùn)練速度加快了3.4倍，解碼延遲大大降低。
　　再次，為了利用大規(guī)模數(shù)據(jù)對(duì)深度學(xué)習(xí)模型進(jìn)行并行訓(xùn)練，我們提出了增量塊訓(xùn)練(IBT)框架下的變方向乘子(ADMM)算法。作為一種數(shù)據(jù)并行算法，基于ADMM的IBT算法將無約束的深度學(xué)習(xí)模型訓(xùn)練問題轉(zhuǎn)化成全局一致約束下的優(yōu)化問題進(jìn)行求解。我們?cè)贖PC集群上對(duì)其進(jìn)行了實(shí)現(xiàn)，實(shí)驗(yàn)結(jié)果表明，在1，86

5、0小時(shí)的LVCSR的DNN訓(xùn)練任務(wù)上，該算法取得了與模型平均(MA)算法大致相同的結(jié)果，且實(shí)現(xiàn)了訓(xùn)練的線性加速。
　　最后，針對(duì)MA并行訓(xùn)練算法隨并行機(jī)器增多，模型性能顯著下降的問題，本文將全局模型的更新看作隨機(jī)優(yōu)化過程，提出了逐塊模型更新濾波(BMUF)算法。該算法使用塊沖量(BM)技術(shù)，補(bǔ)償了MA算法中取平均操作帶來的負(fù)面作用。在1，860小時(shí)LVCSR的神經(jīng)網(wǎng)絡(luò)訓(xùn)練任務(wù)上，本算法在多達(dá)64塊卡的DNNCE訓(xùn)練和32塊卡的帶投