1、隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展，各行各業(yè)的數(shù)據(jù)都急劇增長，如何從海量數(shù)據(jù)中快速挖掘有用信息，已成為亟待解決的問題。對于大規(guī)模數(shù)據(jù)集，傳統(tǒng)的單機(jī)數(shù)據(jù)挖掘算法已經(jīng)不能滿足當(dāng)前的需求。并行處理數(shù)據(jù)已經(jīng)成為解決大數(shù)據(jù)問題的一種有效途徑，目前基于Hadoop的并行計算是處理大數(shù)據(jù)的一種可行方案。支持向量機(jī)基于結(jié)構(gòu)風(fēng)險化最小原則，避免局部最優(yōu)問題，很少出現(xiàn)過度擬合，因而廣泛應(yīng)用于模式識別，文本分類，圖像識別等領(lǐng)域，對非線性問題或維度比較高的數(shù)據(jù)集，支持向量

2、機(jī)的分類和預(yù)測算法的準(zhǔn)確率相對其他數(shù)據(jù)挖掘算法較高。但是當(dāng)數(shù)據(jù)集規(guī)模非常大時，由于支持向量機(jī)本身計算復(fù)雜度高，使得支持向量機(jī)訓(xùn)練速度比較緩慢。
　　本文在研究了支持向量機(jī)理論以及目前比較常用的分布式支持向量機(jī)算法后，發(fā)現(xiàn)傳統(tǒng)的分布式支持向量機(jī)算法—層疊式SVM算法存在很多改進(jìn)的地方。因此，結(jié)合目前比較流行的并行計算平臺Hadoop框架，提出了基于Hadoop MapRed uce的框架下改進(jìn)的SVM并行回歸預(yù)測算法。該算法的核心思

3、想：首先，將大規(guī)模數(shù)據(jù)集并行聚類，聚類后每個簇類的樣本相似度較高，將結(jié)果以鍵值對的形式存儲在HDFS中，聚類結(jié)果中每個樣本的鍵值對形式為<簇ID，樣本向量>，然后對聚類結(jié)果數(shù)據(jù)集分塊，不同簇類別分別建立不同的預(yù)測模型，最后測試樣本集經(jīng)過分布式框架分塊后，每個分塊樣本集中的樣本經(jīng)過簇類別判斷后，尋找相應(yīng)的預(yù)測模型進(jìn)行回歸預(yù)測。在實(shí)驗(yàn)室搭建標(biāo)準(zhǔn)分布式集群，使用UC I標(biāo)準(zhǔn)數(shù)據(jù)集作為測試數(shù)據(jù)，對傳統(tǒng)的單機(jī)SVM算法、層疊