1、在當(dāng)今信息爆炸的時代，海量數(shù)據(jù)不斷涌現(xiàn)，而且這些數(shù)據(jù)仍在以每三個月增長一倍的速度持續(xù)增長著。因此，如果不借助有效的信息挖掘方法，這些異構(gòu)海量數(shù)據(jù)將可能最終變成無人關(guān)注的數(shù)據(jù)垃圾。全文檢索技術(shù)能高效的存儲和管理這些異構(gòu)海量數(shù)據(jù)。
　　盡管全文檢索引擎秉承了優(yōu)良的架構(gòu)，但在檢索性能上還存在不足之處。針對全文檢索引擎默認(rèn)的相似性評分算法只考慮詞頻特征以及全文檢索引擎現(xiàn)有檢索精度較低這一缺陷，本文將分別從基于內(nèi)容和基于結(jié)構(gòu)這兩個方面對現(xiàn)有

2、的全文檢索引擎進(jìn)行改進(jìn)?；谖臋n內(nèi)容，本文從改進(jìn)默認(rèn)的相似性評分算法的角度出發(fā)，通過考慮查詢詞條在文檔中的距離特征以改進(jìn)全文檢索的精確度和召回率。通常一篇文本文檔只有一個主旨主題，且文檔作者通常會以這一主旨主題為核心并從多個子主題或多個角度進(jìn)行展開，基于這樣的事實(shí)，本文從文檔本身的結(jié)構(gòu)特性出發(fā)，通過全面把握文檔中各個局部意義單元及其之間的相互關(guān)系，使得改進(jìn)的全文檢索引擎在檢索結(jié)果上具有更好的用戶體驗(yàn)和針對性。因此通過考慮文本數(shù)據(jù)的距離特

3、征和物理結(jié)構(gòu)，并借此研究針對文本數(shù)據(jù)在分布式全文檢索平臺上的應(yīng)用必將是一項(xiàng)非常有意義的研究探索。
　　本文對基于內(nèi)容與結(jié)構(gòu)的文本挖掘方法及其分布式應(yīng)用進(jìn)行的主要研究工作如下：
　　1、提出一種基于分詞距離特征的句子相似度計(jì)算模型。首先，對查詢串和文檔進(jìn)行數(shù)據(jù)預(yù)處理。其次，通過在文檔中標(biāo)識關(guān)鍵詞和查詢詞條的位置，從而實(shí)現(xiàn)查詢詞條與關(guān)鍵詞之間分詞距離的計(jì)算，進(jìn)而得出查詢串和整篇文檔的相似性評分。最后，將本文提出的算法應(yīng)用到全文檢

4、索引擎默認(rèn)的相似性評分算法中，并使用MAP，P@n指標(biāo)進(jìn)行評估。
　　2、優(yōu)化文本分割算法并將其分割得到的主題分片應(yīng)用到一種能夠提高精確度和查全率的檢索模式中。首先對傳統(tǒng)文本分割算法TextTiling進(jìn)行優(yōu)化和改進(jìn)。其次，利用改進(jìn)的文本分割算法對文檔進(jìn)行切割操作得到主題分片集合。最后，通過在全文檢索過程中考慮子主題結(jié)構(gòu)特征以期改善信息檢索的性能和用戶體驗(yàn)。
　　3、將改進(jìn)的算法應(yīng)用到分布式全文檢索平臺 SolrCloud中