1、分類號(hào)——UDC學(xué)密級(jí)學(xué)校代碼lQ壘窆Z武洚理歹大穿位論文研究生姓名夔亙塑姓名藍(lán)壁芏職稱耋監(jiān)學(xué)位監(jiān)指導(dǎo)教師單位名稱鹽簋墊銎鱟魚墊盔芏墮?quán)]編笪QQ魚申請(qǐng)學(xué)位級(jí)別論文提交日期亟學(xué)科專業(yè)名稱鹽笠墊座周墊盔一2013—04論文答辯日期2013年5月2013—05日期2出=o＆人盔：!：鹼么乏鄉(xiāng)毖武漢理工大學(xué)碩士學(xué)位論文摘要目前，互聯(lián)網(wǎng)正處于飛猛的發(fā)展過程中，互聯(lián)網(wǎng)所容納信息的數(shù)量級(jí)很驚人，面對(duì)如此龐大數(shù)量的信息，如何能從中獲得自己所想要的信息是

2、我們目前所面臨的一個(gè)巨大的挑戰(zhàn)。搜索引擎是最主要的Web檢索工具，在搜索引擎的抓取系統(tǒng)中，網(wǎng)絡(luò)爬蟲是最重要的組成部分，它的本質(zhì)是一組計(jì)算機(jī)程序，能夠自動(dòng)且有條不絮的從互聯(lián)網(wǎng)上進(jìn)行搜索和抓取網(wǎng)頁(yè)，并且無須人工的干預(yù)。然而面對(duì)如此巨大、紛繁復(fù)雜的信息及用戶對(duì)檢索結(jié)果和時(shí)間的要求，提高信息檢索效率已成為一個(gè)急需解決的問題，然而僅依靠單個(gè)計(jì)算機(jī)的能力很難完成如此艱巨的任務(wù)，因此需通過多臺(tái)單機(jī)采用分布式的方式協(xié)同工作完成。目前，大部分互聯(lián)網(wǎng)公司都

3、是在提供的開源Hadoop項(xiàng)目的基礎(chǔ)上進(jìn)行開發(fā)研究，類似Google比較著名的rr公司都建立了比較好的云計(jì)算平臺(tái)。網(wǎng)絡(luò)是數(shù)量龐大的超鏈接文本頁(yè)面的集合，各種錯(cuò)綜復(fù)雜的頁(yè)面之間通過超鏈接形成了有組織的結(jié)構(gòu)。通過對(duì)鏈接結(jié)構(gòu)進(jìn)行分析，可以從中獲得豐富的資源和信息，要想提高網(wǎng)絡(luò)爬蟲的性能，就要加強(qiáng)對(duì)超鏈接分析技術(shù)的研究和探討，因此對(duì)超鏈接的分析是非常有必要的。目前，在類似百度這樣大型的搜索引擎中，在網(wǎng)絡(luò)爬蟲部分都有針對(duì)自己特性的超鏈接分析算法，

4、其中最適用和普遍的是PageRank和HITS算法。然而HITS算法它是一種單純對(duì)超鏈接分析的算法，完全忽略了文本內(nèi)容的因素，對(duì)于不同的超鏈接沒有進(jìn)行區(qū)別，在本文中主要對(duì)比較經(jīng)典的優(yōu)化HITS算法進(jìn)行了介紹。本文中對(duì)HITS算法的基本原理及算法的實(shí)現(xiàn)步驟進(jìn)行了深入的研究，發(fā)現(xiàn)該算法存在一定的不足。在HITS算法中，在基集進(jìn)行擴(kuò)展時(shí)，對(duì)于來自不同站點(diǎn)的網(wǎng)頁(yè)鏈接給予了不一樣的影響權(quán)重值，這樣就會(huì)選取大量無效的鏈接，這種情況直接導(dǎo)致比較權(quán)威的