1、隨著計算機應(yīng)用領(lǐng)域的日益廣泛以及信息處理技術(shù)水平的不斷提高，自然語言信息處理技術(shù)一直倍受關(guān)注，如何提高計算機對自然語言的理解對計算機技術(shù)的發(fā)展有著非常重要的意義。由于中文自動分詞是文本校對、信息檢索、語音識別、文本挖掘、機器翻譯等研究的前提和基礎(chǔ)，所以中文自動分詞已經(jīng)成為自然語言信息處理技術(shù)的基礎(chǔ)及核心工作。
　　 由于漢語句子構(gòu)成的多變性和復(fù)雜性，中文自動分詞已經(jīng)是中文信息自動處理的“瓶頸”。中文文字的處理與西文文字的處理相比

2、，一個明顯的不同，就是漢語詞與詞之間沒有明顯的分隔標(biāo)記。因此中文信息處理的首要問題，就是要將句子中一個個詞給分離出來，這就是中文分詞問題。
　　 本課題研究的主要內(nèi)容，關(guān)鍵技術(shù)及創(chuàng)新點主要有以下幾個方面：
　　 首先，本課題研究從單字在詞中構(gòu)詞位置的角度進(jìn)行思考，從而把分詞過程視為單字在詞中構(gòu)詞位置問題。基于大規(guī)模語料進(jìn)行統(tǒng)計，統(tǒng)計出單字在詞中各個位置的概率，形成單字估價值字典，為分詞奠定基礎(chǔ)。這種處理方法也是本課題研究

3、的創(chuàng)新思想之一。由于漢語中詞中字的個數(shù)主要集中四字詞以內(nèi)，五字以上的詞相對較少，所以本項研究主要針對四字以內(nèi)詞中字的位置進(jìn)行統(tǒng)計單字估價值。
　　 其次，隱馬爾科夫模型的基本理論中要解決三個基本問題，其中第二問題是解碼問題，把解碼問題轉(zhuǎn)化為分詞問題。解決解碼問題的Viterbi算法能夠找到最佳解，其思想精髓在于將全局最佳解的計算過程分解為階段最佳解的計算。利用單字估價值字典對待切分句子中各字按Viterbi思想進(jìn)行估價，然后回溯

4、切分，這樣做的一個重要優(yōu)勢在于，它能夠平衡地看待詞表詞和未登錄詞的識別問題。從而能更好的解決未登錄詞問題和大部分歧義問題。這是本課題研究創(chuàng)新思想之二。
　　 最后，隱馬爾科夫模型要解決的第三個問題就是學(xué)習(xí)問題，根據(jù)初步切分的結(jié)果進(jìn)行分析，對錯誤切分結(jié)果進(jìn)行規(guī)模性機器學(xué)習(xí)。學(xué)習(xí)字在詞中的位置特征，把初始統(tǒng)計的單字估價值作為初始切分參數(shù)，然后建立調(diào)整參數(shù)模型，使計算機反復(fù)學(xué)習(xí)調(diào)整，優(yōu)化單字估價值字典中估價值參數(shù)，調(diào)整后再進(jìn)行切分。機