1、隨著計算機互聯(lián)網(wǎng)行業(yè)的蓬勃發(fā)展，互聯(lián)網(wǎng)所提供的服務已經(jīng)涵蓋了人們生活的方方面面，互聯(lián)網(wǎng)提供的服務主要通過網(wǎng)頁的形式呈現(xiàn)給用戶使用，信息搜索已成為互聯(lián)網(wǎng)中最有價值的研究與應用領域。通用搜索引擎，如百度、Google、360搜索等搜索引擎，能夠將互聯(lián)網(wǎng)中的眾多網(wǎng)站信息進行整合，提供信息導航的作用，而垂直搜索引擎則主要服務于某一特定行業(yè)、特定專業(yè)的搜索引擎，是對通用搜索引擎功能進行的延伸和細分化。垂直搜索引擎為用戶提供的信息是范圍極為縮小、極

2、具針對性的具體信息，而不像通用搜索引起那樣提供成百上千的相關網(wǎng)頁。由于垂直搜索引擎的專、精特質，特定行業(yè)的用戶更加青睞于垂直搜索引擎，因此研究垂直搜索引擎的關鍵技術具有重要意義。
　　本文的研究重點是在當前現(xiàn)有的垂直搜索引擎的基礎上，設計基于分布式計算技術的垂直搜索抓取平臺，通過這套平臺系統(tǒng)能夠對專業(yè)領域的網(wǎng)站，快速實施及部署所有重要信息的抓取。本文的主要工作包括:
　　(1)針對垂直搜索抓取系統(tǒng)的基本需求與關鍵核心問題進行

3、研究，分析了垂直搜索抓取系統(tǒng)要實現(xiàn)的基本功能需求，提出了基于字符串匹配的可配置抓取策略的基本解決方案。
　　(2)針對互聯(lián)網(wǎng)行業(yè)信息的巨大規(guī)模及網(wǎng)絡復雜性，分析設計了跨網(wǎng)絡的分布式抓取策略部署及調(diào)度方案。
　　(3)最后，以互聯(lián)網(wǎng)中的手機應用分發(fā)網(wǎng)站作為測試。測試結果表明本系統(tǒng)能夠快速的實現(xiàn)對多個手機應用分發(fā)網(wǎng)站的全量抓取及增量抓取行為，系統(tǒng)抓取得到的信息具有較好的結構化程度。
　　目前，該系統(tǒng)已經(jīng)初步投入實際使用并取