1、該文以數(shù)字圖書館等容納多種媒體類型的信息資料庫(kù)為應(yīng)用目標(biāo),總結(jié)了當(dāng)前國(guó)內(nèi)外多媒體檢索領(lǐng)域中最活躍的圖像檢索和視頻檢索(包括技術(shù)路線、相關(guān)技術(shù)和典型系統(tǒng))的研究現(xiàn)狀,討論了數(shù)字圖書館對(duì)多媒體檢索技術(shù)所提出的新問(wèn)題和挑戰(zhàn),并對(duì)多媒體信息檢索技術(shù)進(jìn)行了拓展性研究,重點(diǎn)介紹了三項(xiàng)關(guān)鍵技術(shù):綜合時(shí)空特性的相關(guān)反饋方法,交叉參照索引的多模態(tài)檢索方法、以及面向多媒體文檔的多通道檢索方法.該文深入研究了相關(guān)反饋的人機(jī)交互方法,分析了基于內(nèi)容的圖像檢索中

2、相關(guān)反饋信息的時(shí)間特性與空間特性,在此基礎(chǔ)上首次提出了一種時(shí)空約束支持向量機(jī)(TSC-SVM)的相關(guān)反饋學(xué)習(xí)方法.在空間和時(shí)間維度上有所約束的利用用戶在檢索(相關(guān)反饋的循環(huán))過(guò)程中不斷反饋的正例(相關(guān)圖像)和負(fù)例(不相關(guān)圖像)信息,達(dá)到合理利用相關(guān)反饋信息、準(zhǔn)確掌握用戶查詢需求以及提高檢索精度的目的.和普通支持向量機(jī)方法相比,該方法能夠明顯的提高相關(guān)反饋的學(xué)習(xí)能力,提高檢索結(jié)果的準(zhǔn)確率;同時(shí)還能在檢索過(guò)程中準(zhǔn)確實(shí)時(shí)的跟蹤用戶的查詢需求,

3、在用戶的查詢需求發(fā)生轉(zhuǎn)移時(shí)顯得格外有效.為實(shí)現(xiàn)多種模態(tài)數(shù)據(jù)的綜合檢索,該文突破傳統(tǒng)的文本標(biāo)注方法,提出了一種多媒體對(duì)象的索引方法——交叉參照索引方法.在該方法中,多媒體對(duì)象的索引就是一組與該多媒體對(duì)象語(yǔ)義相關(guān)的多媒體對(duì)象.同時(shí),提出了一種全新的多模態(tài)檢索機(jī)制,在檢索和相關(guān)反饋中結(jié)合交叉參照索引與底層特征,實(shí)現(xiàn)對(duì)多模態(tài)數(shù)據(jù)的統(tǒng)一處理;另外,還提出了能夠有效提高檢索系統(tǒng)的短期和長(zhǎng)期性能的一種交叉參照索引的自動(dòng)更新算法.針對(duì)數(shù)字圖書館等異構(gòu)信

4、息知識(shí)庫(kù)的特點(diǎn),該文提出和實(shí)現(xiàn)了一個(gè)面向多媒體文檔的多通道(對(duì)應(yīng)如文本、圖像、視頻等的多種模態(tài))檢索系統(tǒng);定義了一個(gè)新的用來(lái)描述多媒體文檔內(nèi)容的框架,該框架不但提取出多媒體文檔在各通道下的基于內(nèi)容的底層特征,而且還記錄下多媒體文檔中不同多媒體對(duì)象間的鏈接關(guān)系;同時(shí),提出了一種基于圖模型的交叉參照知識(shí)庫(kù),用來(lái)存儲(chǔ)從鏈接關(guān)系中挖掘出的多媒體對(duì)象間的語(yǔ)義關(guān)系,通過(guò)一個(gè)有效的語(yǔ)義上下文分析算法,在檢索過(guò)程中計(jì)算每個(gè)對(duì)象與查詢的語(yǔ)義相似度.語(yǔ)義上