1、分詞是指將自然語言中的字符串正確切分為詞語。它是自然語言處理過程中首要的技術(shù)環(huán)節(jié),其重要性不言而喻。目前的中文分詞技術(shù)主要針對中文文本進(jìn)行分詞。而對于日益增多的中英文混合文本,采用傳統(tǒng)的基于中文分詞的技術(shù),分詞效果不理想,有必要研究中英文混合分詞技術(shù)。
　　 本文首先介紹了四種基本的分詞算法,并探討了分詞的關(guān)鍵問題及解決辦法。然后介紹了分詞系統(tǒng)的評價(jià)體系,然后在原有的中文分詞系統(tǒng)評價(jià)體系基礎(chǔ)上,提出了兩條適用于中英文混合分詞系統(tǒng)

2、的評價(jià)指標(biāo)。其次分別通過幾組實(shí)驗(yàn)的方法確定中英文混合分詞模型的技術(shù)和策略。一是對分詞詞典機(jī)制和基于字符串匹配的分詞算法進(jìn)行了對比實(shí)驗(yàn),在此基礎(chǔ)上提出了基于字符串匹配的中英文混合分詞解決思路,為建立中英文混合分詞模型打下基礎(chǔ)。二是采用整詞二分、TRIE索引樹、逐字二分、雙字哈希四種詞典機(jī)制進(jìn)行對比實(shí)驗(yàn),最終選定雙字哈希索引詞典機(jī)制作為分詞模型的詞典機(jī)制。三是分別采用正向最大匹配算法、逆向最大匹配算法進(jìn)行中文、中英文混合文本的對比實(shí)驗(yàn),從而

3、確定選用逆向最大匹配法為分詞模型的分詞算法。四是將逆向最大匹配算法進(jìn)行改進(jìn),將待處理字符串的長度和以它的雙字為首的哈希詞典的最大詞長進(jìn)行比較,從而確定逆向最大匹配過程中的最大詞長。這樣的做法能夠有效地減少分詞過程中的匹配次數(shù),從而達(dá)到提高分詞效率的目的。針對分詞研究中的歧義處理、未登錄詞的識別等關(guān)鍵問題展開分析和討論。提出基于長詞,詞頻與單字函數(shù)相結(jié)合的消歧算法,通過對人民日報(bào)分詞語料庫進(jìn)行數(shù)據(jù)實(shí)驗(yàn),歧義字段的消解能達(dá)到96.50％左右