1、隨著互聯(lián)網(wǎng)信息技術(shù)的快速發(fā)展，電子設備承載的數(shù)據(jù)越來越多，越來越豐富，甚至已經(jīng)悄然進入大數(shù)據(jù)時代。伴隨著企業(yè)數(shù)據(jù)量的不斷增長和積累，企業(yè)需要解決在數(shù)據(jù)海洋中快速定位所需資料以及如何從大量文本資料中快速找到關鍵信息等問題。
　　傳統(tǒng)的方法主要是數(shù)據(jù)庫直接檢索，但利用數(shù)據(jù)庫檢索技術(shù)進行全文檢索時效率很低，更無法和百度、Google等搜索引擎相媲美。同時，關系型數(shù)據(jù)庫檢索不能有效的處理非結(jié)構(gòu)化數(shù)據(jù)。為提高全文檢索的效率，本文在研究全文檢

2、索技術(shù)的基礎上，對索引構(gòu)建和檢索過程進行優(yōu)化，改進匹配算法，并結(jié)合分布式技術(shù)開發(fā)一個分布式全文檢索系統(tǒng)，能有效處理非結(jié)構(gòu)化數(shù)據(jù)，顯著提高檢索效率以及系統(tǒng)的可擴展性與可維護性。
　　本文的具體內(nèi)容主要包括：
　　1)首先介紹了全文檢索和分布式相關技術(shù)，包括Lucene的系統(tǒng)結(jié)構(gòu)和工作流程、倒排索引機制、排序算法、分詞技術(shù)以及分布式計算和分布式集群。
　　2)分析了倒排索引底層結(jié)構(gòu)及原理，并使用混合倒排索引以及不同域使用各

3、自簡化的分詞器的方法進行了改進；深入剖析了全文檢索過程與檢索模型，提出了利用緩存和索引合并進行優(yōu)化的建議；研究了Lucene的排序算法和分詞技術(shù)并對現(xiàn)有的分詞匹配算法進行改進，很好地支持了最大詞匹配問題，并提出了實時更新詞典的方法。
　　3)設計了一個信息安全全文檢索系統(tǒng)，包括索引構(gòu)建、檢索模塊以及分詞和字典的設計。通過分析Solr與Lucene的關系，使用Solr設計和實現(xiàn)了分布式全文檢索服務器，提高了系統(tǒng)的可擴展性和可維護性。