1、互聯(lián)網(wǎng)是人類迄今為止發(fā)明的最大的信息知識(shí)寶庫(kù)，特別是隨著Web2.0時(shí)代的到來，互聯(lián)網(wǎng)的信息貢獻(xiàn)者普及到全體上網(wǎng)人群。搜索引擎的出現(xiàn)使得這些海量的信息的價(jià)值被真正發(fā)掘出來，讓所有信息都擁有平等的被發(fā)現(xiàn)、獲取和應(yīng)用的機(jī)會(huì)?；ヂ?lián)網(wǎng)上的信息種類由最初的文字、圖片越來越向以音頻、視頻為主的多媒體方向拓展，對(duì)視頻信息的檢索需求也應(yīng)運(yùn)而生。繼傳統(tǒng)搜索引擎技術(shù)之后，如何實(shí)現(xiàn)高效的、適應(yīng)大規(guī)模且快速增長(zhǎng)和更新的視頻內(nèi)容的搜索成為新的研究熱點(diǎn)。本論文即是

2、作者于攻讀博士學(xué)位期間從事中文互聯(lián)網(wǎng)視頻搜索引擎的研究開發(fā)工作的總結(jié)，這是國(guó)內(nèi)第一個(gè)正式公開發(fā)布的視頻搜索引擎。
　　本論文的研究工作自2006年開始。以國(guó)內(nèi)最大搜索引擎的互聯(lián)網(wǎng)數(shù)據(jù)庫(kù)為基礎(chǔ)，第一次對(duì)中文互聯(lián)網(wǎng)的視頻數(shù)據(jù)分布和用戶搜索行為日志進(jìn)行了大規(guī)模測(cè)量和研究，對(duì)中文互聯(lián)網(wǎng)用戶的視頻搜索需求進(jìn)行了充分細(xì)致的分析，在對(duì)傳統(tǒng)搜索引擎的工作原理進(jìn)行了具體分析和對(duì)視頻搜索引擎提出具體評(píng)估標(biāo)準(zhǔn)之后，得出了傳統(tǒng)搜索引擎不能勝任視頻搜索引擎

3、工作目標(biāo)、有必要構(gòu)建專用的視頻搜索引擎的結(jié)論。在此基礎(chǔ)上，本文提出了視頻搜索引擎的架構(gòu)模型，并指出實(shí)現(xiàn)視頻搜索引擎的主要核心技術(shù)問題，包括面向視頻分享網(wǎng)站的定向抓取和信息抽取，面向網(wǎng)頁視頻的挖掘和信息抽取，以及面向視頻搜索的檢索排序，并針對(duì)這些核心技術(shù)問題提出相應(yīng)的算法。進(jìn)一步，基于這些核心算法構(gòu)建了國(guó)內(nèi)外第一個(gè)基于中文互聯(lián)網(wǎng)的視頻搜索引擎系統(tǒng)，面向公眾提供在線視頻搜索服務(wù)，該引擎己成為國(guó)內(nèi)影響力最大的互聯(lián)網(wǎng)視頻搜索引擎。論文主要工作和

4、創(chuàng)新如下：
　　1)提出了面向視頻分享網(wǎng)站的定向抓取的方法，主要解決視頻分享網(wǎng)站的視頻數(shù)據(jù)抓取和信息提取問題。在抓取的過程中，提出基于對(duì)視頻分享網(wǎng)站的網(wǎng)站結(jié)構(gòu)和網(wǎng)頁結(jié)構(gòu)進(jìn)行分類的算法，對(duì)不同類型的網(wǎng)頁可以采取不同的深度抓取策略，并針對(duì)包含視頻內(nèi)容的網(wǎng)頁類型應(yīng)用不同的信息抽取包裝器，提取出識(shí)別規(guī)則，保證對(duì)視頻分享網(wǎng)站的深度抓取和準(zhǔn)確挖掘。
　　2)提出了基于傳統(tǒng)搜索引擎的全網(wǎng)網(wǎng)頁庫(kù)中的網(wǎng)頁視頻進(jìn)行挖掘和信息抽取的算法。對(duì)全網(wǎng)s

5、pider系統(tǒng)的URL抓取優(yōu)先級(jí)算法進(jìn)行了詳細(xì)分析，提出了用DOM樹方法進(jìn)行網(wǎng)頁視頻進(jìn)行信息抽取的方法，保證視頻數(shù)據(jù)抽取的準(zhǔn)確性，提升全面性。定向抓取與全網(wǎng)挖掘相結(jié)合，為視頻搜索提供基本的數(shù)據(jù)源和文本索引信息，并在覆蓋率和準(zhǔn)確性之間取得平衡。
　　3)基于對(duì)用戶視頻搜索需求的分析，提出了適合中文視頻搜索的歸并排序的算法，并提出在線評(píng)估實(shí)驗(yàn)的方法，確定了算法參數(shù)取值，檢驗(yàn)了算法的有效性。這種算法綜合考慮了視頻相關(guān)性、視頻質(zhì)量和網(wǎng)站質(zhì)

6、量，兼顧了用戶進(jìn)行檢索時(shí)的相關(guān)性體驗(yàn)，以及檢索后觀看視頻的播放體驗(yàn)。后續(xù)的研究工作進(jìn)一步表明本文提出的排序算法在線評(píng)估方法是一種適應(yīng)大規(guī)模網(wǎng)絡(luò)應(yīng)用的算法性能評(píng)估方法。
　　4)對(duì)基于以上核心技術(shù)構(gòu)建的視頻搜索引擎的效果進(jìn)行了綜合評(píng)估，從覆蓋率、時(shí)效性、相關(guān)性等方面對(duì)視頻搜索引擎進(jìn)行了技術(shù)評(píng)估，并與后期出現(xiàn)的其它同類搜索引擎服務(wù)進(jìn)行了對(duì)比，通過對(duì)第三方評(píng)測(cè)數(shù)據(jù)的分析，驗(yàn)證了本文的視頻搜索引擎技術(shù)的相對(duì)性能，驗(yàn)證本文設(shè)計(jì)的算法及策略的