1、隨著互聯(lián)網(wǎng)對(duì)生活的影響不斷增加，人們面臨著越來(lái)越?jīng)坝康木W(wǎng)絡(luò)數(shù)據(jù)洪流的沖擊，這股數(shù)據(jù)洪流中占比最大的就是文本數(shù)據(jù)。如何處理海量文本數(shù)據(jù)，是人們亟待解決的一個(gè)問題。在文本挖掘領(lǐng)域，文本相似度計(jì)算技術(shù)是聯(lián)系上層應(yīng)用系統(tǒng)和下層文本表示模型、分詞系統(tǒng)等基礎(chǔ)技術(shù)的紐帶。目前，由于文本的多樣性和復(fù)雜性，還沒有一種對(duì)所有應(yīng)用場(chǎng)景都適用的文本相似度算法。因此，如何針對(duì)應(yīng)用場(chǎng)景和應(yīng)用數(shù)據(jù)選擇并改進(jìn)文本相似度計(jì)算，是一項(xiàng)很有意義和實(shí)用價(jià)值的研究。本文分別研究

2、了長(zhǎng)、短文本的相似度算法，針對(duì)現(xiàn)有算法的不足提出了改進(jìn)和創(chuàng)新方法。本文還實(shí)現(xiàn)了教改項(xiàng)目-“信息安全競(jìng)賽平臺(tái)”的試題庫(kù)管理和查重模塊，針對(duì)試題庫(kù)系統(tǒng)這個(gè)應(yīng)用背景，對(duì)本文提出的文本相似度算法進(jìn)行了適當(dāng)?shù)恼{(diào)整和優(yōu)化，達(dá)到了較好的應(yīng)用效果。
　　在研究長(zhǎng)文本相似度算法的基礎(chǔ)上，我們發(fā)現(xiàn)目前的長(zhǎng)文本所用的向量空間模型(VSM)有以下缺點(diǎn):1.忽略了特征詞的語(yǔ)義關(guān)聯(lián)。2.特征的加權(quán)算法無(wú)法充分反映特征詞的表達(dá)能力。本文針對(duì)這些缺點(diǎn)，提出了一個(gè)

3、基于關(guān)鍵詞的文本向量空間模型(關(guān)鍵詞VSM)，該模型使用的關(guān)鍵詞集是結(jié)合了文本的結(jié)構(gòu)特征、語(yǔ)義特征和統(tǒng)計(jì)特征挑選出來(lái)的，能很好的表達(dá)文本的內(nèi)容。用關(guān)鍵詞VSM模型對(duì)文本進(jìn)行表示，可以將傳統(tǒng)VSM模型的維度大大降低，并提高特征詞的表達(dá)能力，改進(jìn)算法的效率和準(zhǔn)度。在關(guān)鍵詞VSM模型基礎(chǔ)上，本文將LDA主題模型引入到文本相似度計(jì)算中，從文本表層和深層語(yǔ)義主題兩個(gè)角度去綜合判斷文本的相似度，提升算法的準(zhǔn)確率。
　　在深入研究短文本相似度算

4、法之后，針對(duì)目前短文本相似度算法使用的人工語(yǔ)義知識(shí)庫(kù)的局限性，本文提出了基于維基百科知識(shí)庫(kù)作為語(yǔ)義知識(shí)庫(kù)的計(jì)算方法。研究現(xiàn)有的詞語(yǔ)相關(guān)度算法后，提出了結(jié)合維基百科鏈接、分類、文檔三種特征信息的詞匯相關(guān)度計(jì)算方法。在運(yùn)用此方法基礎(chǔ)上，通過最大匹配序列算法求得兩個(gè)短文本的最大語(yǔ)義相關(guān)度匹配序列，進(jìn)行短文本語(yǔ)義相關(guān)度的計(jì)算。將短文本表層詞語(yǔ)詞序特征和深層語(yǔ)義特征結(jié)合，改進(jìn)短文本的相似度計(jì)算質(zhì)量。
　　本文實(shí)驗(yàn)結(jié)果證實(shí)了本文提出的算法相對(duì)