1、互聯(lián)網(wǎng)自誕生以來(lái)得到了迅猛的發(fā)展，Web信息更是呈現(xiàn)出指數(shù)形式地增長(zhǎng)。傳統(tǒng)的單機(jī)多線程主題爬蟲已經(jīng)不適合用來(lái)完成海量信息的抓取工作。正是在這樣的背景下，云計(jì)算的出現(xiàn)為解決大數(shù)據(jù)問(wèn)題提供了一個(gè)良好的解決方案，其中Apache旗下的頂級(jí)項(xiàng)目Hadoop分布式平臺(tái)獲得了業(yè)界的廣泛關(guān)注。
　　本文在分析研究主題爬蟲框架的基礎(chǔ)上，著重介紹并分析了主題爬蟲的主題模塊、相關(guān)度判別模塊、頁(yè)面下載模塊等關(guān)鍵模塊。接著，對(duì)主題特征選擇問(wèn)題進(jìn)行了實(shí)驗(yàn)，

2、目的在于構(gòu)建一個(gè)能夠表征主題的特征向量。在主題爬蟲爬行策略部分，在分析了基于內(nèi)容與鏈接的爬行策略各自不足之處之后，提出了一個(gè)基于Shark-Search算法與PageRank算法的組合算法。
　　本文的最后，先分析了開源爬蟲Nutch的架構(gòu)及工作流程，然后在Nutch相關(guān)模塊上加入主題判別模塊，對(duì)相關(guān)的模塊進(jìn)行了測(cè)試，最后設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)面向IT領(lǐng)域的分布式主題爬蟲。實(shí)驗(yàn)結(jié)果表明本文提出的主題爬蟲組合算法是有效的，設(shè)計(jì)方案具有一定