1、隨著互聯網以及社會化網絡的迅猛發(fā)展,大數據分析與挖掘已經成為一個公認的世界性難題,聚類作為數據挖掘的經典手段,就必須以分布式架構為基礎進行改造,才能解決其對大數據的計算瓶頸。這樣才能適應當前形勢下數據規(guī)模龐大且分散的現實環(huán)境。當然,分布式聚類也已經成為學術研究領域的一個熱點問題,其算法及改進也是層出不窮的。當前分布式聚類算法大多需要節(jié)點間相互同通信,大量的冗余數據充斥網絡,卻而缺乏一個中心節(jié)點來統(tǒng)籌全局;而設立中心節(jié)點的算法,其中心節(jié)點

2、只是起到了轉發(fā)數據的作用,而又由于數據分布,數據質量,等問題不能充分發(fā)揮其作用。故本文將這兩種方式取長補短,探索一種既減少了網絡數據傳輸,又避免了數據分布不均勻對聚類算法造成的影響,即:
　　1.設立中心節(jié)點;
　　2.通過數據密度的方式來描述數據分布情況。
　　我們針對分布式聚類算法現存的幾個主要問題:數據的分布、數據質量等因素對聚類的結果影響嚴重;在運算過程中缺乏全局數據描述;計算效率低下、大量傳輸冗余數據,進行改

3、進。
　　由于存在以上問題,我們首先采用了“一主多從”的模式,即一個中心節(jié)點來統(tǒng)籌全局接受并轉發(fā)數據,各個子節(jié)點進行數據計算及上報數據。從而解決節(jié)點間直接相互傳輸數據造成的資源浪費。然后通過數據密度來描述數據的分布情況,從而減少數據分布及數據質量對聚類的影響。
　　根據算法的設計初衷,本文采用經典的k-means算法作為實現本框架的基本算法。采用hadoop的map/reduce,hdfs來實現迭代、數據存儲及傳輸工作。