1、信息時代的到來，使計算機網絡的使用頻率越來越高，互聯網上的信息也越來越多。面對著如此多的海量信息，如果需要找到自己需要的相應的信息，需要費很大的精力，于是搜索引擎就成為了用戶尋找自己所需要的信息的首選工具。用戶對于搜索引擎的急切需求促進了搜索引擎的蓬勃發(fā)展，國內外先后出現了很多搜索引擎，如：yahoo，google，baidu等。然而，廣大Internet用戶在使用搜索引擎系統(tǒng)時，常常會發(fā)現搜索輸出結果里面包含了大量的重復信息。如何快速

2、準確地發(fā)現這些內容上相似的網頁，并將重復的頁面清除是目前最關注的問題。 網頁去重是提高檢索質量的有效途徑，也是自然語言處理中的一個重要研究課題。本論文給出了一種基于模糊字符串匹配思想的中文網頁去重算法，首先對網頁去重的算法的發(fā)展現狀及其特點進行了研究。然后研究和分析了現有的基于各種思想的網頁去重算法，并比較了各種思想的算法的優(yōu)缺點。進一步，結合模糊匹配思想詳細介紹了利用此算法如何實現網頁去重的具體步驟。該算法有較高的準確率，在信