1、互聯(lián)網(wǎng)上聚集了海量的圖文聲像等各種類(lèi)型的信息資源，它們具有實(shí)時(shí)的或者非實(shí)時(shí)的、確定的或者模糊的、互補(bǔ)的或者互斥的不同特征，這些特征要求信息服務(wù)系統(tǒng)為用戶(hù)提供多模態(tài)信息以滿(mǎn)足用戶(hù)的信息要求。然而多模態(tài)信息的表達(dá)方式多樣，關(guān)系復(fù)雜，若孤立對(duì)待則可能造成信息資源的浪費(fèi)，因此有必要對(duì)這些信息進(jìn)行融合，從而為用戶(hù)提供更為豐富準(zhǔn)確的信息。現(xiàn)有的信息融合技術(shù)充分利用了多源信息的互補(bǔ)性和增益性，提高了信息處理的質(zhì)量，但是對(duì)于當(dāng)前互聯(lián)網(wǎng)環(huán)境下的多模態(tài)信息

2、集成服務(wù)而言，已有的信息融合技術(shù)存在一定的局限性:無(wú)法有效融合多模態(tài)信息中的多態(tài)語(yǔ)義;難以實(shí)現(xiàn)多模態(tài)信息融合中所需的協(xié)同性要求。
　　本文借助高層語(yǔ)義的指導(dǎo)性以及多模態(tài)信息環(huán)境的上下文信息，通過(guò)協(xié)作學(xué)習(xí)方法建立多模態(tài)聯(lián)合特征表示與聯(lián)合空間，實(shí)現(xiàn)多模態(tài)信息特征層次融合和決策層次融合。
　　文章研究的主要內(nèi)容如下:
　　第一章是緒論，主要介紹了多模態(tài)信息融合的研究背景及意義，信息融合的國(guó)內(nèi)外發(fā)展?fàn)顩r和本文的主要研究?jī)?nèi)容。<

3、br>　　第二章的研究?jī)?nèi)容為上下文信息，關(guān)聯(lián)分析，信息融合中關(guān)聯(lián)方法的研究與發(fā)展，以及融合進(jìn)程中上下文信息的使用分析。
　　第三章結(jié)合相關(guān)文獻(xiàn)著作比較分析了多模態(tài)信息融合方法。
　　第四章的研究?jī)?nèi)容為特征層次多模態(tài)信息融合過(guò)程，融合方法及其應(yīng)用。
　　第五章的研究?jī)?nèi)容為決策層次多模態(tài)信息融合過(guò)程，融合方法及其應(yīng)用。
　　第六章的研究?jī)?nèi)容為混合層次多模態(tài)信息融合過(guò)程，融合方法及其應(yīng)用。
　　第七章為本文的總結(jié)