1、近年來詞的分布式表示與組合模型在自然語言處理領(lǐng)域中取得了諸多突破性的成果。詞的分布式表示使用實(shí)值向量對詞進(jìn)行建模，可以從無標(biāo)記語料庫學(xué)到詞的語法和語義信息，而組合模型可以對詞間或詞內(nèi)語義組合進(jìn)行建模。在英文自然語言處理中，這些模型在語言模型、詞性標(biāo)注與文本分類等自然語言處理任務(wù)的性能超越了其他模型。受限于語言特性與語料資源，在相關(guān)中文任務(wù)中，這些模型并沒有在性能上超越其他模型。
　　本文針對中文分布式表示與組合模型中相關(guān)研究缺乏大

2、規(guī)模無標(biāo)注語料的情況，構(gòu)建了基于新聞的大規(guī)模無標(biāo)記語料庫用于訓(xùn)練詞的表示向量，并在此基礎(chǔ)上結(jié)合中文的字沒有明確語義的特點(diǎn)，對詞內(nèi)和詞間的語義組合進(jìn)行建模。具體來說，本文主要進(jìn)行了如下工作:
　　(1)針對中文沒有公開的大規(guī)模語料供字詞表示學(xué)習(xí)的現(xiàn)狀，本文構(gòu)造了一個(gè)大規(guī)模新聞?wù)Z料庫。該語料庫規(guī)模大約是此前中文相關(guān)研究中使用的語料庫規(guī)模的25～9000倍。使用該語料庫訓(xùn)練得到的詞的分布式表示，在詞語類比推理任務(wù)上超過了此前相關(guān)研究的最

3、好結(jié)果。
　　(2)針對詞向量不能很好表示未登錄詞和低頻詞的問題，本文結(jié)合中文的語言特性，提出了詞的拆分模型和基于前饋神經(jīng)網(wǎng)絡(luò)的組合語義模型。詞的拆分模型可以根據(jù)語料庫中的統(tǒng)計(jì)信息對詞的內(nèi)在結(jié)構(gòu)進(jìn)行拆分，獲得詞的內(nèi)部結(jié)構(gòu);而組合語義模型可以對詞的內(nèi)部結(jié)構(gòu)間的語義組合進(jìn)行建模。實(shí)驗(yàn)表明組合語義模型可以很好地對低頻詞和未登錄詞進(jìn)行表示。
　　(3)構(gòu)造卷積神經(jīng)網(wǎng)絡(luò)對詞間語義組合進(jìn)行建模，并在多個(gè)文本分類和情感分析數(shù)據(jù)集上進(jìn)行驗(yàn)證