1、分詞詞典是漢語自動分詞系統(tǒng)的一個基本組成部分，詞典的查詢速度直接影響到分詞系統(tǒng)的處理速度。在因特網(wǎng)上的中文文本檢索、漢字與漢語語音識別系統(tǒng)的后處理以及中文文語轉換系統(tǒng)的前處理等，均對分詞速度提出了更高要求，因此建立高效快速的分詞詞典具有顯著的現(xiàn)實意義。 目前信息處理用的詞典機制主要有整詞二分、TRIE索引樹、逐字二分等幾種方法，其中TRIE索引樹和逐字二分機制查詢效率較高。這幾種詞典機制都是以排序的線性表來提高查詢效率，數(shù)據(jù)結構

2、比較復雜且查詢速度較慢。本文主要工作是分析了幾種常用詞典構造方法的優(yōu)缺點，針對分詞中特定的查詢條件，設計并實現(xiàn)了基于雙數(shù)組的分詞詞典，同時分析了基于雙數(shù)組的分詞詞典的性能。本文將雙數(shù)組方法與其它幾種詞典構造方法進行了對比分析。在雙數(shù)組詞典構造方法與PAT樹方法的對比實驗中，可以看出雙數(shù)組方法的查詢速度要好于PAT樹及其變型樹的查詢性能。 本文最后給出了分詞詞典實現(xiàn)的數(shù)據(jù)存儲模型，并詳細分析了該模型的優(yōu)缺點。該模型的主要特點是將存

3、儲的數(shù)據(jù)分為兩種不同長度信息進行存儲，這樣可以大大減少對文本的讀取操作，能夠加快分詞的執(zhí)行速度。對于文中提到的未登錄詞問題，本文也做了簡單的嘗試，利用PAT樹的動態(tài)性特點以及統(tǒng)計模型的優(yōu)點，從大規(guī)模文本中查找詞頻高于一定閾值的高頻詞，從而識別出一部分的未登錄詞，進而部分解決分詞過程中未登錄詞過多的切分問題。PAT算法和Double-Array算法具有不同的有缺點，可以滿足不同場合的需要，也可以組合起來使用，解決詞典查詢的速度和動態(tài)性這兩