1、隨著網(wǎng)絡(luò)信息技術(shù)的大規(guī)模普及，用戶對(duì)于信息檢索的要求日益嚴(yán)格。實(shí)現(xiàn)快速、準(zhǔn)確且全面的信息搜索能為各類(lèi)機(jī)構(gòu)獲得較高的客戶滿意度和良好的商業(yè)效益。由于技術(shù)和經(jīng)濟(jì)實(shí)力受限，大多數(shù)中小型機(jī)構(gòu)難以像大型機(jī)構(gòu)那樣根據(jù)用戶需求實(shí)現(xiàn)專(zhuān)有的高效搜索體系，也難以結(jié)合中小型機(jī)構(gòu)自身的需求作進(jìn)一步的個(gè)性化設(shè)計(jì)。因此如何有效利用現(xiàn)有搜索引擎巨頭的技術(shù)，為更多機(jī)構(gòu)，尤其是具備一定數(shù)據(jù)集，但經(jīng)濟(jì)承載力較小、核心開(kāi)發(fā)能力較弱的中小型企業(yè)、高校及科研機(jī)構(gòu)等提供強(qiáng)大的搜索

2、計(jì)算技術(shù)和多樣化服務(wù)，成為當(dāng)前搜索領(lǐng)域的研究重點(diǎn)和難點(diǎn)。
　　本文結(jié)合實(shí)際應(yīng)用需求，研究基于Hadoop的分布式搜索引擎原理、相關(guān)技術(shù)和算法，深入剖析分布式計(jì)算框架MapReduce和分布式文件系統(tǒng)HDFS，引入MapReduce編程模型的具體設(shè)計(jì)方案，將BM25排序模型集成于Lucene實(shí)現(xiàn)檢索評(píng)分，采用Paoding分詞器做中文分詞處理，完成了系統(tǒng)在Hadoop平臺(tái)的架構(gòu)設(shè)計(jì)，確定了系統(tǒng)功能劃分，分析并設(shè)計(jì)爬行、索引和檢索流程

3、，完成了三個(gè)子系統(tǒng)的改進(jìn)與實(shí)現(xiàn)。
　　在分析、評(píng)價(jià)和總結(jié)中小型機(jī)構(gòu)實(shí)現(xiàn)信息高效搜索的需求和現(xiàn)存弊端的基礎(chǔ)之上，本文集成三個(gè)相對(duì)獨(dú)立的子系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，完成了Hadoop框架搭建和相關(guān)配置，部署實(shí)現(xiàn)了3個(gè)節(jié)點(diǎn)的分布式搜索引擎系統(tǒng)。最后從中小型機(jī)構(gòu)用戶的搜索需求出發(fā)，對(duì)本系統(tǒng)性能進(jìn)行測(cè)試與評(píng)價(jià)。具體以浙江理工大學(xué)網(wǎng)站作為實(shí)驗(yàn)對(duì)象，在三節(jié)點(diǎn)的分布式平臺(tái)與單機(jī)環(huán)境下考察系統(tǒng)進(jìn)行網(wǎng)頁(yè)爬取和索引的效率。爬行和索引用時(shí)計(jì)算結(jié)果表明，對(duì)于200

4、00個(gè)網(wǎng)頁(yè)，集群用時(shí)相比單機(jī)節(jié)省約15.64％。隨著網(wǎng)頁(yè)數(shù)量的增加，該差異逐漸擴(kuò)大。同時(shí)通過(guò)比較不同網(wǎng)頁(yè)數(shù)對(duì)應(yīng)的檢索結(jié)果匹配度，計(jì)算得出基于Hadoop的分布式搜索引擎系統(tǒng)檢索的平均準(zhǔn)確率較單機(jī)環(huán)境提升了近20％。實(shí)驗(yàn)結(jié)果表明，在機(jī)構(gòu)網(wǎng)頁(yè)量增加到一定程度后，該面向中小型機(jī)構(gòu)的分布式搜索引擎系統(tǒng)較傳統(tǒng)集中式搜索引擎能更快速獲取用戶需要的更加精準(zhǔn)的檢索結(jié)果且系統(tǒng)安全穩(wěn)定性和可擴(kuò)展性得到提升，從而改善了中小型機(jī)構(gòu)信息檢索效能，加快其信息化程度