1、目前，隨著手機(jī)普及率的提高，加之社交網(wǎng)站、購(gòu)物網(wǎng)站的普遍應(yīng)用，手機(jī)注冊(cè)的普遍性，用戶手機(jī)號(hào)已成為商家廣為利用的營(yíng)銷工具。隨之而來的垃圾短信，不僅占用網(wǎng)絡(luò)資源，干擾用戶正常生活，也給傳統(tǒng)的垃圾短信過濾帶來了巨大的挑戰(zhàn)。海量短信文本的過濾需要很大的存儲(chǔ)空間以及更強(qiáng)的計(jì)算能力，如何對(duì)海量的數(shù)據(jù)進(jìn)行有效的過濾是一個(gè)亟待解決的問題。隨著云計(jì)算分布式系統(tǒng)Hadoop平臺(tái)的出現(xiàn)，提出了新型的分布式并行編程模型，為垃圾短信過濾提供了新的思路。
　

2、　垃圾短信過濾的本質(zhì)是短信文本分類問題（垃圾短信/合法短信）。本課題首先對(duì)短信文本分類過程涉及到的文本預(yù)處理、特征選擇、文本分類算法等相關(guān)技術(shù)進(jìn)行深入研究。通過對(duì)當(dāng)前垃圾短信過濾算法的對(duì)比研究，選取樸素貝葉斯垃圾短信過濾算法，再結(jié)合Hadoop分布式平臺(tái)在海量數(shù)據(jù)處理方面的核心技術(shù)，提出一種基于MapReduce模型的樸素貝葉斯的垃圾短信過濾方法。本文的研究工作特點(diǎn)表現(xiàn)在下面幾個(gè)方面：
　　一、在特征提取階段，利用信息增益和CHI

3、相結(jié)合的方法對(duì)特征選擇算法進(jìn)行改進(jìn)，減少特征向量空間維度，優(yōu)化運(yùn)算時(shí)間和存儲(chǔ)空間；
　　二、對(duì)樸素貝葉斯垃圾短信過濾算法進(jìn)行改進(jìn)，在分類決策階段引入閾值，減少將合法短信判斷為垃圾短信誤判概率，提高分類的準(zhǔn)確性；
　　三、針對(duì)短信過濾的效率問題，提出基于Hadoop分布式框架，采用并行計(jì)算模型MapReduce對(duì)短信文本預(yù)處理、特征詞選擇、文本分類訓(xùn)練和測(cè)試進(jìn)行處理，在處理海量短信時(shí)具有明顯的優(yōu)勢(shì)；
　　最后實(shí)驗(yàn)結(jié)果表明