1、隨著信息時(shí)代的到來(lái),自然語(yǔ)言處理技術(shù)被廣泛地應(yīng)用在生活的各個(gè)方面。中文分詞技術(shù)是自然語(yǔ)言處理領(lǐng)域的一個(gè)基礎(chǔ)性課題,通過(guò)中文分詞技術(shù),計(jì)算機(jī)能夠處理人類(lèi)的自然語(yǔ)言。歧義切分是中文分詞技術(shù)中的難點(diǎn)之一。歧義主要分為三大類(lèi):交集型歧義、組合型歧義和混合型歧義。解決歧義切分的方法主要有三大類(lèi):基于詞典與規(guī)則的方法、基于統(tǒng)計(jì)的方法和混合方法。
　　中文分詞是自然語(yǔ)言處理領(lǐng)域中其它任務(wù)的基礎(chǔ)性工作,所以歧義切分效果的好壞至關(guān)重要。目前分詞問(wèn)題

2、歧義處理使用的模型算法有很多,例如隱馬爾可夫模型、最大熵模型,但是這些方法都存在著一定的不足,實(shí)際應(yīng)用的效果較差。條件隨機(jī)場(chǎng)對(duì)所有特征實(shí)現(xiàn)全局歸一化,可以利用長(zhǎng)距離的特征,不存在標(biāo)記偏置的缺點(diǎn)。因此,本文重點(diǎn)研究基于條件隨機(jī)場(chǎng)模型處理中文分詞的歧義問(wèn)題。
　　本文所做的主要工作如下:
　　(1)介紹了中文分詞的基本理論和基本方法。雙向最大匹配算法是中文分詞技術(shù)的基礎(chǔ)工作,可以實(shí)現(xiàn)對(duì)文本的初步切分,影響其他后續(xù)任務(wù)的實(shí)際效果。

3、隱馬爾可夫模型和最大熵模型是被廣泛應(yīng)用于實(shí)際工作的基于統(tǒng)計(jì)的分詞技術(shù),該類(lèi)方法具有較高的實(shí)用性。數(shù)據(jù)平滑技術(shù)主要分析了加法平滑方法、古德-圖靈估計(jì)方法和Katz平滑方法。
　　(2)分析了條件隨機(jī)場(chǎng)的理論,利用條件隨機(jī)場(chǎng)的特征選擇算法以適應(yīng)切分消歧的要求。利用條件隨機(jī)場(chǎng)的無(wú)向圖模型特性將文本進(jìn)行有效的標(biāo)注,根據(jù)實(shí)際需求設(shè)計(jì)特定的特征模板,對(duì)文本進(jìn)行有效的切分處理。
　　(3)研究歧義字段的特征模板的構(gòu)建,并且利用構(gòu)建的特征模