1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和廣泛普及.人們?cè)絹?lái)越依賴(lài)互聯(lián)網(wǎng)來(lái)查詢(xún)所需要的信息.因?yàn)榫W(wǎng)絡(luò)中大部分信息是以文本方式存放,因此人們對(duì)文本的過(guò)濾技術(shù)要求越來(lái)越高.但是,傳統(tǒng)的文本信息過(guò)濾算法僅能實(shí)現(xiàn)結(jié)構(gòu)對(duì)應(yīng)層次上的判斷,不能根據(jù)文本的上下文較好地理解文本的語(yǔ)義進(jìn)行過(guò)濾,因而過(guò)濾的效果難以滿足人們智能化的要求. 本文主要結(jié)合中文信息處理知識(shí),提出并實(shí)現(xiàn)了基于短文本的語(yǔ)義過(guò)濾算法.該算法包括對(duì)短文本分詞,詞性標(biāo)注,句法分析,生成語(yǔ)義框架,計(jì)算短文

2、本之間的語(yǔ)義框架相似度,短文本過(guò)濾等關(guān)鍵環(huán)節(jié).利用基于多層隱馬模型的分詞方法對(duì)短文本進(jìn)行分詞,詞性標(biāo)注和消歧,分詞和詞性標(biāo)注支持北大標(biāo)準(zhǔn),973標(biāo)準(zhǔn),XML格式.對(duì)短文本的句子進(jìn)行句法分析,借助語(yǔ)法規(guī)則庫(kù)和句法分析信息,提取出短文本的領(lǐng)域,行為主體,行為動(dòng)詞,行為受體,時(shí)間,地點(diǎn)等信息,填充語(yǔ)義框架,按照給定的距離函數(shù)和相似度計(jì)算規(guī)則,計(jì)算短文本之間的相似度,最后根據(jù)相似度是否大于閾值決定過(guò)濾與否. 此算法對(duì)短文本進(jìn)行了準(zhǔn)確度較

3、高的分詞和詞性標(biāo)注,并對(duì)短文本的句子進(jìn)行了句法分析,句法分析充分考慮了短文本語(yǔ)義塊的分離、句蛻和歧義等等特殊語(yǔ)境,然后提取語(yǔ)義框架,然后再將短文本之間的語(yǔ)義相似度的比較轉(zhuǎn)換為數(shù)學(xué)計(jì)算,量化了短文本間的語(yǔ)義相似度,改進(jìn)了框架相似度的計(jì)算公式,增加了框架相似度調(diào)節(jié)因子,最后根據(jù)相似度閾值進(jìn)行過(guò)濾.試驗(yàn)表明,其過(guò)濾效果較傳統(tǒng)的過(guò)濾算法在語(yǔ)義理解上有較大提高. 本文設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)具有短文本語(yǔ)義過(guò)濾功能的代理服務(wù)器(SemanticFR