1、隨著因特網(wǎng)的普及和信息技術(shù)的高速發(fā)展，為了從海量的信息中快速、準(zhǔn)確地獲取所需要的信息，信息檢索技術(shù)成了人們關(guān)注的焦點(diǎn)。其中，全文檢索是一種非常高效的信息檢索技術(shù)，它極大地提高了從海量的數(shù)據(jù)中查找特定信息的效率。作為開源組織Apache Jakarta的成員項(xiàng)目，Lucene是一個(gè)用java語(yǔ)言實(shí)現(xiàn)的高性能、可擴(kuò)展的信息檢索工具，它可以方便快捷地集成到應(yīng)用程序中以增加索引和搜索的功能。
　　本文首先介紹了全文檢索的研究現(xiàn)狀和關(guān)鍵技術(shù)

2、，然后對(duì)Lucene的結(jié)構(gòu)以及分析器原理進(jìn)行了分析和研究。本文通過對(duì)Lucene內(nèi)核分析器的分析和研究，設(shè)計(jì)了一個(gè)基于HashMap實(shí)現(xiàn)的樹形詞庫(kù)。基于該樹形詞庫(kù)設(shè)計(jì)了一個(gè)類似聯(lián)想方法的正向最大匹配分詞算法。該分詞算法實(shí)現(xiàn)了對(duì)中文、英文和數(shù)字的切分，并且能對(duì)標(biāo)點(diǎn)符號(hào)進(jìn)行過濾。測(cè)試結(jié)果表明，本文設(shè)計(jì)的分詞模塊MMCAnalyzer與Lucene內(nèi)核包采用的單字切分方法和其擴(kuò)展包中的二元切分方法相比，該分詞算法具有效率高、分詞準(zhǔn)確率高的優(yōu)勢(shì)