1、網絡的飛速發(fā)展，給人們帶來了一個信息的海洋，如何快速從中獲取真正重要的信息變得至關重要，搜索引擎便是提供這種功能的一種工具。然而在搜索引擎返回的檢索結果中，存在著大量的重復網頁。這不僅嚴重影響了搜索引擎檢索信息的效率，同時存儲這些重復網頁浪費了巨大的存儲空間。而對于搜索引擎的用戶而言，在檢索含有大量重復網頁的系統(tǒng)時，提供給用戶的有效響應明顯降低。因此，重復網頁檢測已成為搜索引擎提高檢索效率與服務質量的關鍵技術之一。
　　 本文以

2、搜索引擎的重復網頁檢測問題為研究背景，首先對現(xiàn)存的主要重復網頁檢測算法進行了深入的研究，總結了它們各自的優(yōu)缺點；并以此為基礎提出了一種基于語義的重復網頁檢測算法。該算法主要針對重復網頁檢測的兩個關鍵環(huán)節(jié)進行優(yōu)化。
　　 在文本預處理中，根據(jù)詞語之間存在著大量的同義與近義的語義關系，增加了同義詞與近義詞的歸并；在特征提取環(huán)節(jié)，從詞語在文本中的語義角度出發(fā)，與傳統(tǒng)方法相比，增加了詞語的位置權值與長度權值；在特征比較環(huán)節(jié)，回避了傳統(tǒng)方

3、法對網頁的兩兩比較，采用了二叉排序樹的數(shù)據(jù)結構，比較的效率得到很大的提高。并針對如何對提取的關鍵詞排序的問題，又提出了兩種關鍵詞排序方法，一種是按關鍵詞權值排序的SORTw(Kd)方法，另一種是按關鍵詞字母排序的SORTa(Kd)方法。
　　 為了驗證所提出算法的有效性和效率，本文在Windows平臺實現(xiàn)了一個重復網頁檢測的原型系統(tǒng)。運用此原型系統(tǒng)，進行了一系列的實驗分析與總結，并驗證了本文所提出的基于語義的重復網頁檢測算法及兩