1、隨著搜索引擎技術(shù)的飛速發(fā)展,在搜索引擎中承擔(dān)數(shù)據(jù)采集、數(shù)據(jù)發(fā)現(xiàn)任務(wù)的網(wǎng)絡(luò)爬蟲日益成為互聯(lián)網(wǎng)上不可忽視的問題。這些爬蟲常常在我們毫不知情的情況下爬取信息,一些敏感信息、用戶隱私或者機(jī)密信息通過網(wǎng)絡(luò)爬蟲被搜索引擎公布于網(wǎng)上,引起嚴(yán)重的信息安全問題。同時(shí),網(wǎng)絡(luò)爬蟲頻繁大量的訪問請(qǐng)求往往會(huì)給目標(biāo)網(wǎng)站服務(wù)器帶來巨大的處理負(fù)擔(dān)和訪問流量,一些野蠻粗糙的爬蟲算法甚至?xí)h(huán)反復(fù)抓取信息,行成對(duì)服務(wù)器的拒絕服務(wù)攻擊。因此,如何檢測(cè)和發(fā)現(xiàn)網(wǎng)絡(luò)爬蟲,有效減少

2、其對(duì)網(wǎng)絡(luò)安全的影響,已成為網(wǎng)絡(luò)安全研究中的一個(gè)重要課題,對(duì)保護(hù)用戶隱私、保障數(shù)據(jù)安全及網(wǎng)站的正常運(yùn)行都有著重要意義。
　　 本文首先從網(wǎng)絡(luò)爬蟲的工作原理及爬行策略出發(fā),對(duì)網(wǎng)絡(luò)爬蟲的行為特征進(jìn)行了細(xì)致的研究,提取出能夠完整描述WEB訪問會(huì)話的矢量。然后運(yùn)用支持向量機(jī)的分類算法進(jìn)行網(wǎng)絡(luò)爬蟲與人類訪問的分類判別,提出了基于RBF內(nèi)核的SVM爬蟲檢測(cè)算法。設(shè)計(jì)實(shí)現(xiàn)了WEB—CIS爬蟲檢測(cè)系統(tǒng),并對(duì)其進(jìn)行了測(cè)試分析。
　　 本文的

3、研究內(nèi)容和創(chuàng)新點(diǎn)主要包括以下幾個(gè)方面:
　　 (1)針對(duì)網(wǎng)絡(luò)爬蟲的行為特征,對(duì)Web日志進(jìn)行聚類分析,提取出能夠標(biāo)記Web訪問會(huì)話的特征向量,并對(duì)此作出改進(jìn),給出了特征向量LFCIS權(quán)值的計(jì)算方法及改進(jìn)的權(quán)值公式。
　　 (2)分析了支持向量機(jī)的分類算法原理,提出了基于支持向量機(jī)的爬蟲檢測(cè)算法,設(shè)計(jì)了基于RBF內(nèi)核的SVM分類器,用于網(wǎng)絡(luò)訪問會(huì)話特征向量的分類,取得了優(yōu)于其它爬蟲檢測(cè)算法的效果。
　　 (3)在基

4、于支持向量機(jī)的爬蟲檢測(cè)算法的基礎(chǔ)上設(shè)計(jì)實(shí)現(xiàn)了WEB-CIS爬蟲檢測(cè)系統(tǒng),并對(duì)其系統(tǒng)架構(gòu)及Access Cluster、Classifier Training、Testing等模塊設(shè)計(jì)進(jìn)行了詳細(xì)描述。
　　 (4)分析了WEB爬蟲檢測(cè)系統(tǒng)的評(píng)價(jià)標(biāo)準(zhǔn),并對(duì)WEB-CIS爬蟲檢測(cè)系統(tǒng)進(jìn)行了實(shí)驗(yàn)與測(cè)試,比較了WEB-CIS爬蟲檢測(cè)系統(tǒng)與其它幾種WEB爬蟲檢測(cè)方法在同一基準(zhǔn)數(shù)據(jù)集上檢測(cè)WEB爬蟲的能力。實(shí)驗(yàn)結(jié)果顯示本文的方法明顯優(yōu)于其他爬