1、隨著互聯(lián)網(wǎng)和信息技術(shù)的不斷發(fā)展，文本形式的非結(jié)構(gòu)化數(shù)據(jù)正在不斷的增加。文本分類技術(shù)能夠有效地對文本數(shù)據(jù)進行組織和處理，廣泛地應(yīng)用在各個領(lǐng)域。文本分類的預(yù)處理、特征選擇、文本向量化以及文本分類器的生成都需要較大的時間和空間的開銷，當(dāng)面對大規(guī)模的文本數(shù)據(jù)時，傳統(tǒng)的技術(shù)并不能滿足該需求。大數(shù)據(jù)技術(shù)的出現(xiàn)為大規(guī)模數(shù)據(jù)的處理提供了有效的解決方案，然而Hadoop采用的MapReduce并行編程模型具有一定的局限性，它是基于磁盤的，不能高效地利用計

2、算產(chǎn)生的中間結(jié)果，而Spark是一種基于內(nèi)存的，能非常高效地利用中間結(jié)果，并且具有較高的處理速度。本文基于Spark對文本分類的各個過程進行并行化提高文本分類效率。
　　本文先對文本分類和Spark計算框架分別進行了分析研究，然后完成了文本分類的各個過程在Spark平臺下的并行化設(shè)計，提高文本分類各個過程的處理效率。在特征選擇階段采用χ2統(tǒng)計方法進行特征降維，對該方法進行分析，并針對其中的不足，引入詞頻因子、類內(nèi)分散程度以及類間集

3、中程度三種因子對其進行改進。在構(gòu)造文本分類器時，采用樸素貝葉斯分類算法對文本進行分類，通過對樸素貝葉斯分類算法分析得知該算法中最為關(guān)鍵的是計算特征項在類別屬性條件下的概率，將一種改進的TF-IDF算法用于計算特征詞在類別條件下的概率。最后，通過實驗對比，對本文提出的改進方案的有效性進行了驗證，實驗結(jié)果表明本文提出的改進方案提高了文本分類的準(zhǔn)確率，基于Spark計算框架的并行化提高了文本分類各個過程的處理效率，減少了文本分類的時間開銷，并