1、數(shù)據(jù)分組是理解學(xué)習(xí)中的一個(gè)基本和重要的模式,相似的模型被聚集到同一個(gè)分組中,不同的模型在不同的分組中。本論文提出了一種基于統(tǒng)計(jì)共識(shí)的聚類(lèi)融合算法來(lái)提高聚類(lèi)的準(zhǔn)確性和穩(wěn)定性,算法可以應(yīng)用于隱私問(wèn)題數(shù)據(jù)或大規(guī)模不能聚集到一個(gè)位置的分布式數(shù)據(jù)挖掘中。融合方法已廣泛應(yīng)用于監(jiān)督式學(xué)習(xí),并且事實(shí)證明,融合方法比單一的預(yù)測(cè)\學(xué)習(xí)模式相比,能將預(yù)測(cè)誤差減少到相當(dāng)高的程度。近些年,人們正在研究非監(jiān)督的學(xué)習(xí)(聚類(lèi)融合),期望獲得可喜成果。本文所提出的基于統(tǒng)

2、計(jì)共識(shí)的聚類(lèi)融合方法通過(guò)四個(gè)步驟獲得最后的共識(shí)聚類(lèi)結(jié)果。第一步是利用K-means算法在不同的初始參數(shù)下運(yùn)行多次產(chǎn)生聚類(lèi)成員。初始參數(shù)對(duì)K-means算法的影響是比較大的,采用不同的初始參數(shù)在同一數(shù)據(jù)集上得到多種聚類(lèi)結(jié)果。第二步是在產(chǎn)生聚類(lèi)成員中選擇一個(gè)最佳聚類(lèi)。這部分通過(guò)基于K- means算法定義的目標(biāo)函數(shù)來(lái)實(shí)現(xiàn),這個(gè)目標(biāo)函數(shù)可以減小誤差并使得類(lèi)之間的緊湊度和分離度更好。由于缺少標(biāo)記,誤差是能判斷聚類(lèi)分析質(zhì)量的很好的數(shù)學(xué)方法。第三步

3、是融合方法,論文采用選擇性聚類(lèi)融合方法,選取一致性聚類(lèi)并丟棄不一致的聚類(lèi)。在融合中,利用信息理論(互信息)作為選擇一致性聚類(lèi)的標(biāo)準(zhǔn),第四步是一致性函數(shù)。最后的聚類(lèi)結(jié)果是利用一致性聚類(lèi)成員使用統(tǒng)計(jì)共識(shí)函數(shù)得到的。論文所研究聚類(lèi)融合算法改善了聚類(lèi)結(jié)果的精確性以及穩(wěn)定性。由于聚類(lèi)融合在數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)中有很大影響力,將多種聚類(lèi)模型融合到一種聚類(lèi)方法中,通常效果會(huì)比單一聚類(lèi)算法好。大多數(shù)數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)技術(shù)是針對(duì)建模,而不是在結(jié)果的精確度上

4、。但是對(duì)于復(fù)雜商業(yè)智能系統(tǒng),確實(shí)需要更多關(guān)注聚類(lèi)精確度,而不是聚類(lèi)建模。任何商務(wù)智能系統(tǒng)都需要一個(gè)高質(zhì)量聚類(lèi)作為其核心,在大多數(shù)情況下它涉及到大量數(shù)據(jù),并且數(shù)據(jù)有時(shí)可能在分布式環(huán)境下。問(wèn)題在于,現(xiàn)有的經(jīng)典聚類(lèi)算法并不穩(wěn)定,它們的不穩(wěn)定導(dǎo)致在不準(zhǔn)確的聚類(lèi)結(jié)果,同時(shí)因?yàn)榻?jīng)典聚類(lèi)算法假設(shè)數(shù)據(jù)是在單一的位置上,所以這些算法并不適合數(shù)據(jù)不能合并到單一位置的分布式數(shù)據(jù)環(huán)境。本文提出的新聚類(lèi)融合算法除了提高穩(wěn)定性和聚類(lèi)結(jié)果精確度外,它還可以用于分布式

5、數(shù)據(jù)的聚類(lèi)。分布式數(shù)據(jù)挖掘是數(shù)據(jù)挖掘的有趣的方面之一,尤其是當(dāng)數(shù)據(jù)集因存儲(chǔ)(通常數(shù)據(jù)挖掘涉及到大量的數(shù)據(jù))或隱私性等原因,不能合并到一個(gè)位置。單一的經(jīng)典聚類(lèi)算法是不能處理這些情況的。我們的方法使用許多模式和聚類(lèi)中心表示聚類(lèi),這使得我們的算法獨(dú)特于現(xiàn)有的使用類(lèi)標(biāo)簽標(biāo)識(shí)每個(gè)模式或數(shù)據(jù)點(diǎn)的聚類(lèi)融合方法。用聚類(lèi)中心和大量模式表示的聚類(lèi),直接解決了標(biāo)簽對(duì)應(yīng)問(wèn)題,而不用像現(xiàn)有的大多數(shù)算法引用額外的技術(shù)。這種方法也節(jié)省了時(shí)間與空間,共識(shí)函數(shù)只需要聚類(lèi)

6、中心和數(shù)據(jù)點(diǎn)數(shù)量這些信息,它遠(yuǎn)遠(yuǎn)小于數(shù)據(jù)集中的實(shí)際數(shù)據(jù)點(diǎn)數(shù)量,這使得我們的算法適用于處理并行或分布式環(huán)境中的大量數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明,本文提出的聚類(lèi)融合算法與k-means經(jīng)典聚類(lèi)算反比較,算法的精度性和穩(wěn)定性更好。論文章節(jié)安排如下:第一章介紹了數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)涉及的技術(shù)理念以及其應(yīng)用。第二章著重于聚類(lèi)和聚類(lèi)融合,并對(duì)現(xiàn)有融合算法及技術(shù)進(jìn)行了綜述,第三章是提出的新聚類(lèi)融合算法。第四章是實(shí)驗(yàn)與評(píng)估,第五章是結(jié)論。最后是感謝,參考文獻(xiàn)和附錄