1、近年來(lái),一些不法分子利用網(wǎng)絡(luò)傳播淫穢、暴力、反動(dòng)、恐怖等敏感信息,對(duì)國(guó)家安全、社會(huì)穩(wěn)定、人們的價(jià)值導(dǎo)向造成了嚴(yán)重的危害。如何從大量的網(wǎng)絡(luò)信息中檢測(cè)識(shí)別敏感信息,營(yíng)造一個(gè)綠色健康的網(wǎng)絡(luò)環(huán)境成為當(dāng)前互聯(lián)網(wǎng)安全建設(shè)的一個(gè)重要的研究課題。目前對(duì)于敏感信息檢測(cè)的研究已經(jīng)有了很多成果,主要包括向量空間模型、神經(jīng)網(wǎng)絡(luò)、語(yǔ)義過(guò)濾等。這些算法有的需要用戶進(jìn)行訓(xùn)練,對(duì)用戶主觀評(píng)價(jià)有依賴(lài)性,實(shí)時(shí)性較差;有的過(guò)于復(fù)雜,計(jì)算量較大,效率低。
　　本文從網(wǎng)頁(yè)

2、預(yù)處理、網(wǎng)頁(yè)主體文本提取、文本敏感詞檢測(cè)幾個(gè)方面開(kāi)展研究。提出了基于網(wǎng)頁(yè)內(nèi)容的敏感信息檢測(cè)方法,通過(guò)實(shí)驗(yàn)驗(yàn)證了敏感信息檢測(cè)的準(zhǔn)確性和檢測(cè)效率。本文的主要研究工作如下:
　?、賹?duì)網(wǎng)頁(yè)進(jìn)行了編碼轉(zhuǎn)換、文本修復(fù)和干擾信息過(guò)濾處理。為避免對(duì)不同字符集文本分別進(jìn)行文本處理,本文對(duì)網(wǎng)頁(yè)源碼的編碼進(jìn)行了統(tǒng)一轉(zhuǎn)換,并利用Neko HTML對(duì)網(wǎng)頁(yè)的標(biāo)簽格式、對(duì)齊錯(cuò)誤等問(wèn)題進(jìn)行了修復(fù),然后采用正則表達(dá)式方法過(guò)濾已提取的文本中的干擾符號(hào),消除了敏感信息

3、發(fā)布者故意在敏感詞間夾雜的干擾符號(hào)。為后一步文本內(nèi)容提取和敏感信息檢測(cè)處理的準(zhǔn)確性和效率提供了數(shù)據(jù)基礎(chǔ)。
　?、谔岢隽艘环N基于局部信噪比的網(wǎng)頁(yè)文本內(nèi)容提取方法。該方法利用 DOM樹(shù)結(jié)構(gòu),獲取網(wǎng)頁(yè)標(biāo)題,記錄各塊標(biāo)簽的文本內(nèi)容,然后通過(guò)塊標(biāo)簽局部信噪比和文本標(biāo)簽密度的計(jì)算識(shí)別網(wǎng)頁(yè)的主體文本和次要文本。該方法考慮了網(wǎng)頁(yè)文本內(nèi)容分布特征,為后面的敏感詞位置權(quán)重計(jì)算提供依據(jù)。實(shí)驗(yàn)表明該方法提高了敏感信息檢測(cè)的準(zhǔn)確性和效率。
　?、厶岢?/p>

4、了基于敏感詞決策樹(shù)的信息檢測(cè)算法(SWDT-IDA)。該算法根據(jù)一定規(guī)則將敏感詞庫(kù)構(gòu)建為敏感詞決策樹(shù),將已提取的文本以數(shù)據(jù)流形式匹配決策樹(shù),獲取敏感詞位置、頻率信息。然后結(jié)合敏感詞級(jí)別,通過(guò)新的加權(quán)公式計(jì)算文本敏感值,判定文本的敏感程度。該算法綜合考慮了敏感詞位置、詞頻、敏感級(jí)別以及文本長(zhǎng)度等因素的影響。實(shí)驗(yàn)表明該算法可以更加快速準(zhǔn)確地檢測(cè)網(wǎng)頁(yè)敏感信息。
　?、茉O(shè)計(jì)并實(shí)現(xiàn)了基于網(wǎng)頁(yè)文本的敏感信息檢測(cè)原型系統(tǒng)。該原型系統(tǒng)采用了本文提