1、申請上海交通大學工程碩士學位論文基于模板的基于模板的Web新聞搜索技術的研究與實現(xiàn)新聞搜索技術的研究與實現(xiàn)學校代碼：10248作者姓名：林子熠學號：1070379101第一導師：沈備軍第二導師：學科專業(yè)：軟件工程答辯日期：2010年1月12日上海交通大學軟件學院2009年11月I基于模板的Web新聞搜索技術的研究與實現(xiàn)基于模板的Web新聞搜索技術的研究與實現(xiàn)摘要在信息時代，資訊就是生產力。要從浩如煙海的互聯(lián)網上找到自己關注的新聞資訊，必

2、須借助搜素引擎的幫助。目前市場上有著多種通用Web新聞搜索引擎，比如谷歌新聞、百度資訊等，但是它們都無法滿足企業(yè)級的定制新聞搜索需求。本課題的研究目標是建立一個以Web新聞搜索引擎為核心，支持新聞搜索、處理和存檔的企業(yè)級集成工作平臺，實現(xiàn)面向特定領域的高效、全面、準確和可靠的定制型Web新聞搜索。定制型Web新聞搜索引擎處理信息量遠小于通用型搜索引擎，因此可以以更快的速度、更精確的匹配算法獲取新聞，并抽取出來自異構數(shù)據(jù)源的新聞正文，轉換

3、為統(tǒng)一格式，方便用戶使用。在本文中，我們首先分析了目前國內外的主要Web新聞搜索技術，結合定制型Web新聞搜索的實際需求，研究了基于模板的分布式Web新聞搜索的兩個關鍵技術：1）網絡爬蟲的分布式架構和多爬蟲間的動態(tài)任務分發(fā)。我們設計并實現(xiàn)了多爬蟲和單協(xié)調服務器組成的分布式搜索引擎架構，各個爬蟲從協(xié)調服務器領取任務，再將完成的搜索結果集中到協(xié)調服務器。同時我們針對協(xié)調服務器上的任務分發(fā)，提出了基于歷史數(shù)據(jù)的最短耗時分發(fā)算法，使分布式系統(tǒng)整

4、體完成搜索任務的耗時最少。2）基于模板的Web新聞正文抽取技術。為了高效準確地從新聞網頁中抽取出新聞正文內容，我們基于模板技術，設計并實現(xiàn)了新聞網站模板標簽的自動檢測和基于該模板標簽的新聞正文內容自動抽取。該新聞正文內容抽取算法的時間復雜度達到了O(n)，能自動化完成模板標簽的構建和Web新聞正文內容的抽取。然后，在關鍵技術研究的基礎上，我們結合咨詢公司w公司的實際業(yè)務需求，基于UML技術完成了定制型Web新聞搜索引擎的詳細需求分析和架