1、在大數(shù)據(jù)時(shí)代，每時(shí)每刻都有海量的數(shù)據(jù)流產(chǎn)生。如何在海量的數(shù)據(jù)流中挖掘出有價(jià)值的信息是一個(gè)值得研究的問題。傳統(tǒng)數(shù)據(jù)流挖掘技術(shù)受單機(jī)環(huán)境的限制，無法應(yīng)對(duì)海量數(shù)據(jù)流的挑戰(zhàn)。以Spark Streaming為代表的分布式流處理平臺(tái)是解決海量數(shù)據(jù)難題的有效工具，但支持分布式計(jì)算的數(shù)據(jù)流挖掘算法卻相對(duì)匱乏。如何將傳統(tǒng)單機(jī)環(huán)境下的數(shù)據(jù)流挖掘算法并行化以適應(yīng)分布式環(huán)境是本文的研究重點(diǎn)。本文先介紹了數(shù)據(jù)流挖掘的基本概念以及分布式流處理平臺(tái)的基本技術(shù)，然后

2、針對(duì)具體算法提出了并行化改進(jìn)的方法?？偨Y(jié)起來，本文的主要工作有以下幾個(gè)方面。
　?。?）基于密度的數(shù)據(jù)流聚類算法 DenStream的并行化改進(jìn)。DenStream算法只能應(yīng)用于單機(jī)環(huán)境，其吞吐量有限，難以應(yīng)對(duì)海量數(shù)據(jù)的挑戰(zhàn)，因而需要對(duì)其進(jìn)行并行化改進(jìn)。據(jù)調(diào)研，目前公開發(fā)表的成果中鮮有對(duì)DenStream算法進(jìn)行并行化改進(jìn)。本文提出的并行化方法重點(diǎn)是對(duì) DenStream算法的在線微簇維護(hù)部分進(jìn)行并行化。并行化改進(jìn)使用了微批處理的

3、思想，先收集一小段時(shí)間內(nèi)到達(dá)的數(shù)據(jù)，然后統(tǒng)一進(jìn)行后續(xù)處理。為了保證節(jié)點(diǎn)計(jì)算的獨(dú)立性，各節(jié)點(diǎn)計(jì)算過程中所需要的全局?jǐn)?shù)據(jù)被提前分發(fā)到節(jié)點(diǎn)。實(shí)驗(yàn)表明并行化的 DenStream算法在保持了原有精度的情況下，處理速度有較大提高，同時(shí)有很強(qiáng)的橫向擴(kuò)展能力。
　　（2）數(shù)據(jù)流頻繁項(xiàng)集挖掘算法 FP-Stream的并行化改進(jìn)。在不考慮剪枝的情況下，F(xiàn)P-Stream算法的復(fù)雜度與事務(wù)平均長度呈O(2n)的關(guān)系；當(dāng)事務(wù)平均長度增大時(shí)，算法吞吐量急

4、劇下降；所以對(duì)其進(jìn)行并行化改進(jìn)是十分有必要的。FP-Stream算法使用不剪枝的 FP-Growth算法作為其子流程；利用這一特點(diǎn)，新算法采用特殊的并行化策略實(shí)現(xiàn)該步驟的并行化。為了負(fù)載均衡，新算法將FP-Stream結(jié)構(gòu)拆分為兩部分，每輪處理中依次更新這兩部分結(jié)構(gòu)。為了確保各節(jié)點(diǎn)間計(jì)算的獨(dú)立性，全局?jǐn)?shù)據(jù)都會(huì)在每輪處理時(shí)分發(fā)到各節(jié)點(diǎn)。實(shí)驗(yàn)表明新算法的處理速度有較大提升，且具有橫向擴(kuò)展能力。
　?。?）設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)分布式流處理平