1、中文新詞識(shí)別是指從未標(biāo)注文本語(yǔ)料中抽取新詞并識(shí)別其屬性的過(guò)程，是中文信息處理領(lǐng)域的一項(xiàng)基礎(chǔ)任務(wù)，其識(shí)別結(jié)果直接影響著分詞、句法分析的處理性能，同時(shí)亦在信息抽取及機(jī)器翻譯等領(lǐng)域有著廣泛應(yīng)用，具有重要的理論意義和實(shí)用價(jià)值。
　　 漢語(yǔ)具有極強(qiáng)的構(gòu)詞能力，加之詞語(yǔ)間沒(méi)有特定的分隔標(biāo)記，導(dǎo)致任何兩個(gè)以上相鄰字符都有成詞的可能性，這給新詞自動(dòng)識(shí)別帶來(lái)了極大困難；同時(shí)海量數(shù)據(jù)應(yīng)用需求激增又給新詞識(shí)別研究帶來(lái)了新的挑戰(zhàn)。為改善新詞識(shí)別性能，提

2、高實(shí)用性，本文以大規(guī)模語(yǔ)料為研究對(duì)象，應(yīng)用規(guī)則和統(tǒng)計(jì)相結(jié)合的策略，對(duì)新詞識(shí)別及相關(guān)技術(shù)進(jìn)行了研究，主要工作和特點(diǎn)如下：
　　 首先，本文設(shè)計(jì)并初步實(shí)現(xiàn)了一個(gè)領(lǐng)域無(wú)關(guān)的新詞識(shí)別框架FNWI。該框架對(duì)新詞識(shí)別系統(tǒng)的靈活性、可擴(kuò)展性和可維護(hù)性進(jìn)行了統(tǒng)一規(guī)劃，F(xiàn)NWI不僅是本文研究展開(kāi)的總體設(shè)計(jì)方案，還將為后繼工作提供一個(gè)良定義的基礎(chǔ)結(jié)構(gòu)。
　　 為有效處理大規(guī)模語(yǔ)料，本文提出一種基于逐層剪枝的重復(fù)模式提取算法。該算法通過(guò)低頻字

3、符剪枝和層次剪枝來(lái)減少重復(fù)模式提取過(guò)程中垃圾字符串的產(chǎn)生，有效地降低I/O讀寫(xiě)次數(shù)。具有能快速處理規(guī)模遠(yuǎn)大于內(nèi)存容量的語(yǔ)料、語(yǔ)料讀寫(xiě)次數(shù)與規(guī)模接近線性關(guān)系；及使用靈活、可提取特定頻率/特定長(zhǎng)度的重復(fù)模式的特點(diǎn)。為提高候選重復(fù)模式的歸并速度，本文還提出了一種改進(jìn)的字符串排序算法，其時(shí)間復(fù)雜度為O(dn)。
　　 在新詞檢測(cè)階段，為提高檢測(cè)速度，提出一種高效的左（右）熵計(jì)算方法，有效減少了計(jì)算時(shí)無(wú)關(guān)字符的影響，顯著地提高熵的計(jì)算效率