1、遞歸神經(jīng)網(wǎng)絡(luò)作為一種特殊的深層神經(jīng)網(wǎng)絡(luò)，近年來(lái)被成功地應(yīng)用于英文的語(yǔ)言建模和句法分析等問(wèn)題中。然而，遞歸神經(jīng)網(wǎng)絡(luò)在中文自然語(yǔ)言處理中的相關(guān)工作則相對(duì)較少。中文和英文之間存在很大的差別，因此在處理中文自然語(yǔ)言問(wèn)題時(shí)，不能完全照搬英文的處理方法。
　　本文分析了中文語(yǔ)言的特點(diǎn)，并使用基于遞歸神經(jīng)網(wǎng)絡(luò)的方法，對(duì)中文自然語(yǔ)言處理中的語(yǔ)言模型、分詞、詞性標(biāo)注和命名實(shí)體識(shí)別問(wèn)題進(jìn)行了研究，主要工作包括;
　　(1)針對(duì)中文漢字?jǐn)?shù)量少且字

2、與字之間的關(guān)系復(fù)雜的特點(diǎn)，提出了Embedding遞歸神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)將字的表示與歷史的表示分離開(kāi)來(lái)，避免了增大隱藏層會(huì)導(dǎo)致網(wǎng)絡(luò)參數(shù)過(guò)度增加的問(wèn)題。本文借助Minibatch、預(yù)訓(xùn)練和Dropout方法優(yōu)化了Embedding遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程，并成功地將該網(wǎng)絡(luò)應(yīng)用到中文字語(yǔ)言模型的構(gòu)建中。
　　(2)針對(duì)中文詞法分析依賴(lài)上下文特征的特點(diǎn)，改進(jìn)了已有的Embedding遞歸神經(jīng)網(wǎng)絡(luò)，提出了多Embedding遞歸神經(jīng)網(wǎng)絡(luò)。該網(wǎng)

3、絡(luò)不僅具備向后觀察的能力，而且復(fù)用了語(yǔ)言模型訓(xùn)練出來(lái)的Embeddings作為中文字符的表示特征，從而避免了手工構(gòu)造樣本特征的過(guò)程，降低了人力成本。在該網(wǎng)絡(luò)的基礎(chǔ)上，本文進(jìn)一步引入了一種雙向訓(xùn)練策略，使得模型可以充分利用字符序列的上下文信息。本文成功地將該網(wǎng)絡(luò)應(yīng)用到分詞、詞性標(biāo)注和命名實(shí)體識(shí)別任務(wù)的處理中。
　　實(shí)驗(yàn)表明，使用預(yù)訓(xùn)練和Dropout方法的Embedding遞歸神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型的混亂度性能要明顯優(yōu)于傳統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)語(yǔ)