1、隨著網(wǎng)絡(luò)信息爆炸式增長(zhǎng)，在浩瀚的網(wǎng)絡(luò)信息中找出需求的信息已成為用戶(hù)面臨的主要問(wèn)題，通用搜索引擎就是在這一背景下如雨后春筍般涌現(xiàn)，Google和百度已成為通用搜索引擎的代表。通用搜索引擎能夠滿(mǎn)足普通用戶(hù)的需求，但是企業(yè)內(nèi)部信息的增長(zhǎng)單單依靠普通的搜索引擎難以解決問(wèn)題，各大企業(yè)內(nèi)部的信息搜索問(wèn)題逐漸突顯出來(lái)。中小型企業(yè)面臨著信息量大、資金緊張的雙重境地，使用開(kāi)源搜索引擎能幫助企業(yè)解決這一難題。Lucene就是在這種情況下誕生的開(kāi)源搜索引擎中

2、突出的代表，為了使Lucene的使用更加快捷方便，Apache在Lucene的基礎(chǔ)之上，開(kāi)發(fā)出了更為實(shí)用的Solr搜索引擎的框架，通過(guò)使用Solr框架能夠快速的開(kāi)發(fā)出實(shí)用的企業(yè)內(nèi)部搜索引擎。
　　 本文是以Solr作為基礎(chǔ)來(lái)分析搜索引擎的核心技術(shù)、誕生背景、歷史及發(fā)展現(xiàn)狀，分析研究開(kāi)源搜索引擎的意義，并介紹搜索引擎的基本原理，闡述Lucene的核心框架及Solr的特性。進(jìn)而闡述搜索引擎的核心技術(shù)，包括爬蟲(chóng)技術(shù)、網(wǎng)頁(yè)解析、中文分詞

3、、索引建立存儲(chǔ)技術(shù)、相關(guān)排序算法等與搜索引擎密切相關(guān)的技術(shù)。以金融數(shù)據(jù)為背景，實(shí)現(xiàn)搜索引擎各個(gè)模塊，每個(gè)模塊協(xié)同工作，共同實(shí)現(xiàn)搜索功能，同時(shí)各個(gè)模塊又是一個(gè)獨(dú)立的子系統(tǒng)，能夠各自獨(dú)立工作，易于維護(hù)，既實(shí)現(xiàn)了金融信息搜索的功能，又符合軟件設(shè)計(jì)高內(nèi)聚、低耦合的思想。分析目前主流的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，研究Heritrix的核心框架結(jié)構(gòu)和使用方法，并實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲(chóng)子系統(tǒng)。使用HtmlParser來(lái)搭建網(wǎng)頁(yè)解析子系統(tǒng)，分析網(wǎng)頁(yè)鏡像，提取出需要的金融信息。

4、最后通過(guò)Solr來(lái)搭建金融搜索平臺(tái)，使用IK分詞法有效的實(shí)現(xiàn)了中文分詞技術(shù)。Solr框架的目的是為了建立高效的索引并為前臺(tái)提供查詢(xún)索引的接口，若要使用java語(yǔ)言在前臺(tái)頁(yè)面與Solr交互需要使用Solrj，搜索子系統(tǒng)通過(guò)Solrj與Solr交互在索引中查詢(xún)數(shù)據(jù)，有效的達(dá)到了搜索引擎的基本效果。
　　 本文通過(guò)擴(kuò)展Heritrix部分功能使網(wǎng)絡(luò)爬蟲(chóng)目的性更強(qiáng)，大大減少了抓取無(wú)關(guān)網(wǎng)站所花費(fèi)的時(shí)間和占用的硬盤(pán)空間。在搜索子系統(tǒng)中增加高