1、學校代碼：10126分類號：TP3913論文題目學號：呈羔墨Q皇Q絲編號：——基于改進sharksearch算法的主題爬蟲的研究與實現(xiàn)學院：專業(yè)：研究方向：姓名：指導教師：計算機學院軟件工程數(shù)據(jù)挖掘張文躍班志杰副教授2015年04月20日內(nèi)蒙古大學碩士學位論文基于改進shark—search算法的主題爬蟲的研究與實現(xiàn)摘要如何從大量的互聯(lián)網(wǎng)信息中獲得所需的數(shù)據(jù)是從互聯(lián)網(wǎng)誕生之日起就存在的重要課題。面向主題網(wǎng)絡(luò)爬蟲是解決這一問題的方法之一，

2、其主要方法有基于文本內(nèi)容啟發(fā)式方法、基于web鏈接結(jié)構(gòu)評價方法、機器學習分類器方法等。Shark—Search算法屬于基于文本內(nèi)容的啟發(fā)式算法，因為其算法實現(xiàn)簡單、效果明顯和可擴展性好等優(yōu)點而得到廣泛應用，但它存在“近視問題”和“隧道問題”，所以查全率不高。針對Shark—Search算法存在的不足，本文通過主題詞擴展和URL調(diào)度策略實現(xiàn)了一個改進的Shark—Search爬蟲——NSKD(NewShark—SearchwithKeyw

3、ordsDiffusion)爬蟲。對Shark—Search的兩個方面進行改進：(1)主題詞擴展，本文采用《哈工大同義詞詞林擴展版》對主題詞進行擴展，并改進其相近度計算算法。在NSKD爬蟲的主題相近度計算中，通過改進后的同義詞詞相近度算法得到待分析網(wǎng)頁每個帶權(quán)關(guān)鍵詞到預設(shè)主題的距離，從而獲得主題距離矩陣，將距離矩陣影射到比較向量中，將比較向量與主題向量的余弦距離作為網(wǎng)頁內(nèi)容與預設(shè)主題的相近度。NSKD爬蟲改變Shark—Search的文