1、聚類分析是數(shù)據(jù)挖掘中最基礎(chǔ)的數(shù)據(jù)分析技術(shù)之一，被廣泛應用于經(jīng)濟學、社會科學以及計算機科學等領(lǐng)域。然而，隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，各種網(wǎng)絡(luò)應用產(chǎn)生的數(shù)據(jù)急劇增加，給傳統(tǒng)的聚類分析方法帶來了巨大的技術(shù)挑戰(zhàn)。如何快速有效地從海量數(shù)據(jù)中獲取到有價值的信息，成為諸多行業(yè)急需解決的問題。云計算技術(shù)的日趨成熟使得快速有效的處理海量數(shù)據(jù)成為可能。Hadoop是一種開源的分布式云計算平臺，其核心設(shè)計是分布式文件系統(tǒng)(HDFS)和MapReduce，其中H

2、DFS提供海量數(shù)據(jù)的存儲，MapReduce編程模型用于對數(shù)據(jù)進行并行化處理。相對于傳統(tǒng)的并行編程模型，該編程模型對底層的數(shù)據(jù)分割、任務(wù)調(diào)度、并行處理等細節(jié)進行封裝，用戶可在不明白分布式底層細節(jié)的情況下開發(fā)分布式應用程序，極大地方便了對并行化程序的設(shè)計。K-means算法作為聚類分析中的經(jīng)典算法被應用于多個行業(yè)領(lǐng)域，但隨著數(shù)據(jù)規(guī)模的增大，該算法的迭代次數(shù)會明顯增加，影響算法的執(zhí)行效率。為使其能夠較好的應用于大規(guī)模數(shù)據(jù)的聚類分析中，本文首

3、先根據(jù)MapReduce的編程原理實現(xiàn)該算法在Hadoop平臺上的并行化，然后針對K-means算法隨機選取簇中心的盲目性及聚類結(jié)果易陷入局部最優(yōu)的問題進行相應的改進。
　　本研究主要內(nèi)容包括：⑴在分析傳統(tǒng)K-means算法基礎(chǔ)上，借鑒最大最小距離的思想，提出基于最大最小距離的K-means并行化算法。根據(jù)最大最小距離的思想選取簇中心并將其作為K-means算法的初始中心點，避免隨機選取中心點容易出現(xiàn)的初始中心點過于鄰近的情況，從

4、而提高聚類結(jié)果的質(zhì)量。為提高其效率，設(shè)計并實現(xiàn)了該算法的并行化。⑵對一趟聚類算法的原理及其優(yōu)缺點進行分析，并結(jié)合傳統(tǒng)K-means算法的特性，提出OPKMEANS并行化算法。該算法利用一趟聚類算法簡單高效的特性，先將數(shù)據(jù)集進行快速的“粗”聚類，然后把得到的中心點作為K-means算法的初始中心點，避免K-means算法隨機選取中心點的盲目性，減少K-means算法的迭代次數(shù)，以降低并行化過程的數(shù)據(jù)傳輸開銷，從而提高算法的執(zhí)行效率。⑶為了