1、文本相似度計(jì)算是知識(shí)產(chǎn)權(quán)保護(hù)、文本分類(lèi)、機(jī)器翻譯、自然語(yǔ)言處理、復(fù)制檢測(cè)、自動(dòng)問(wèn)答和信息檢索等領(lǐng)域的核心技術(shù)。現(xiàn)有的文本相似度計(jì)算方法大致可以歸納為兩類(lèi)，第一類(lèi)是基于文本特征統(tǒng)計(jì)的方法，第二類(lèi)則是基于文本語(yǔ)義理解的方法。基于文本特征統(tǒng)計(jì)的方法在長(zhǎng)文本等大粒度實(shí)體的相似度計(jì)算方面取得了較好的效果，其中最具代表性的就是向量空間模型(Vector Space Model,簡(jiǎn)稱(chēng)VSM)和廣義向量空間模型（General Vector Space

2、 Model,簡(jiǎn)稱(chēng)GVSM）。GVSM在VSM的基礎(chǔ)上利用文本特征項(xiàng)的共現(xiàn)信息，對(duì)VSM模型中特征項(xiàng)正交的假設(shè)進(jìn)行了改進(jìn)。基于語(yǔ)義理解的方法，通常以某種知識(shí)庫(kù)作為依據(jù)實(shí)現(xiàn)詞語(yǔ)之間或者句子之間相似度的計(jì)算?；诮y(tǒng)計(jì)的方法簡(jiǎn)單高效，但是缺乏語(yǔ)義，無(wú)法處理自然語(yǔ)言中“一詞多義”和“一義多詞”的情況。而基于語(yǔ)義理解的方法往往計(jì)算比較復(fù)雜，不適合大規(guī)模的文本處理。
　　本文借鑒了廣義向量空間模型的思想，利用知識(shí)庫(kù)《知網(wǎng)》中的義原，提出了一種

3、基于《知網(wǎng)》義原空間的文本語(yǔ)義相似度計(jì)算方法（Sememe Vector Space Model，簡(jiǎn)稱(chēng)SVSM）。SVSM把基于統(tǒng)計(jì)和語(yǔ)義理解的方法相互結(jié)合，將文本表示為義原空間中的向量，并通過(guò)計(jì)算文本義原向量之間的夾角實(shí)現(xiàn)文本相似度的計(jì)算。為了驗(yàn)證提出方法的有效性，本文通過(guò)文本聚類(lèi)實(shí)驗(yàn)對(duì)比了SVSM與經(jīng)典的VSM和GVSM模型。實(shí)驗(yàn)結(jié)果表明本文提出的算法在語(yǔ)義相似度計(jì)算方面相比VSM與GVSM有所提高。
　　在義原文本相似度計(jì)算

4、方法的基礎(chǔ)上，本文基于J2EE平臺(tái)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)文本查重系統(tǒng)。在該系統(tǒng)中將《知網(wǎng)》的義原、概念、詞語(yǔ)、義原之間的相似度和詞語(yǔ)的義原向量表示設(shè)計(jì)為數(shù)據(jù)庫(kù)中的關(guān)系表。這樣在進(jìn)行文本相似度計(jì)算時(shí)可以直接查表取得相關(guān)信息，避免了重復(fù)計(jì)算，提高了文本相似度計(jì)算的效率。利用開(kāi)源的軟件工具包Lucence、ICTCLAS、hibernate Search等實(shí)現(xiàn)文本義原向量的構(gòu)建和相似度的計(jì)算。通過(guò)將文本中實(shí)現(xiàn)的查重系統(tǒng)應(yīng)用于實(shí)際的工程應(yīng)用中，取得了