1、隨著互聯(lián)網技術的迅猛發(fā)展、科技知識的日新月異,人們對網絡探索的需求與日俱增,在這樣的情況下,Web上的站點和網頁的數(shù)量呈現(xiàn)出以一種爆炸性的趨勢飛速增加。按照獲取信息的途徑就可以清晰的將Web分為:Surface Web(淺層網絡)、Deep Web(深層網絡)。與SurfaceWeb相比,Deep Web所包含的信息更豐富、信息量更大、結構化更好、主題性更強。隨著市場情報分析、輿情分析等分析型應用需求的增長,亟需對Deep Web數(shù)據進

2、行集成,從中分析挖掘有用知識。Deep Web網頁的爬取是Deep Web數(shù)據集成的前提,為Deep Web的數(shù)據集成提供數(shù)據支持,只有建立在大量網頁的基礎上,通過抽取數(shù)據,集成數(shù)據,最后得到的信息才能更加準確,更加滿足用戶的需求。為了獲取大量的網頁,這就要求在有限的資源內提高爬取效率,不但要保證網頁的數(shù)量,還要保證網頁的新鮮度。Deep Web的增量爬取就具有十分重要的應用價值和現(xiàn)實意義。Deep Web增量爬取提高了爬取效率,節(jié)約了

3、大量的時間和資源。
　　Deep Web的研究涉及諸多領域,從數(shù)據源發(fā)現(xiàn)、Deep Web爬取、抽取、數(shù)據融合、信息展示等等。雖然目前在這些方面有眾多專家做了大量研究,做出了重大貢獻,但是還有一些沒有得到徹底解決的問題。下面就列出了幾個在Deep Web爬取方面遇到的問題。
　　1.在一個搜索表單內包含多個可描述性標簽和表單元素,采用何種方式對這些標簽和元素進行解析才能夠為它們準確的匹配做好鋪墊。
　　2.在抽取搜索表

4、單后將搜索表單進行分解,會得到很多表單元素和標簽,由于表單設計沒有統(tǒng)一的開發(fā)規(guī)范,所以分解后這些表單元素和標簽并沒有很好的一一對應關系,雖然人類可以一眼就能看出來,但是對機器是一個挑戰(zhàn)。怎樣自動的為表單元素準確的匹配標簽,使得匹配成功后的形成的屬性能夠正確的對應數(shù)據庫的表屬性,高效的查詢出數(shù)據記錄。
　　3.用戶填充表單后,爬蟲提交表單,訪問后臺數(shù)據庫,獲取結果網頁,但是如果短期內多次提交重復的表單或者含義相似的表單必定會得到重復

5、的網頁,我們的目標是盡量得到新出現(xiàn)的網頁或者內容發(fā)生變化的網頁,對于那些未發(fā)生變化的網頁就不在爬取的目標之中,這樣就會提高爬蟲的效率。
　　針對上面提到的幾個問題,本文采用了LEX表達式的方式解析搜索表單,采用機器學習方式組合的方法來匹配元素和標簽,最后定期的提交表單項來增量爬取Deep Web網頁,本文的主要工作和成果概括如下:
　　1.對于一個給定的搜索表單,根據設計者的設計意圖和用戶的使用習慣,使用LEX來解析搜索表單

6、,將表單元素和描述性標簽用特定的表達式來表示,為每一個表單元素都提供一些可供選擇的描述性標簽。
　　2.提出了機器學習方式組合的方法來匹配表單元素和標簽,這種組合分兩步,每一步根據候選標簽的特點通過實驗來驗證哪種機器學習方法更適合,更加準確的過濾掉那些錯誤的標簽。最后為處理一些異常情況,還會為異常的匹配進行糾正。
　　3.提出了一種基于URL分類的Deep Web網頁增量爬取的方法,介紹了爬蟲模塊、表單抽取器模塊、表單提交頻