1、隨著電力企業(yè)的快速發(fā)展，電網(wǎng)數(shù)據(jù)不斷積累，呈現(xiàn)出爆炸式增長的趨勢。怎樣從這些數(shù)據(jù)中挖掘出價值數(shù)據(jù)，已經(jīng)成為智能電網(wǎng)建設和電力企業(yè)發(fā)展的關(guān)鍵，而大數(shù)據(jù)相關(guān)技術(shù)的飛速發(fā)展為電網(wǎng)數(shù)據(jù)帶來新機遇。在當下主流的大數(shù)據(jù)技術(shù)中，相比Hadoop平臺，Spark平臺更加優(yōu)異的迭代工作負載性能、RDD數(shù)據(jù)集的高速計算能力以及 HDFS的強大存儲能力在海量的電力數(shù)據(jù)挖掘中都表現(xiàn)出極大的優(yōu)勢。
　　本文利用Spark平臺與關(guān)聯(lián)規(guī)則挖掘技術(shù)結(jié)合的優(yōu)勢，根

2、據(jù)電力企業(yè)對數(shù)據(jù)分析的實際需求，研究分析了 Z-score標準化和 FCM聚類算法，結(jié)合兩者設計出電力數(shù)據(jù)預處理流程，驗證了數(shù)據(jù)預處理的有效性，并運用稀疏矩陣和 FCM聚類算法改進了 FFP-growth算法，應用于 Spark平臺下的電力營銷系統(tǒng)中。本文主要完成了以下三方面工作：第一，研究實際處理電網(wǎng)數(shù)據(jù)中遇到的問題，并針對這些問題提出解決方法，根據(jù) Z-score標準化和 FCM聚類算法的結(jié)合提出大數(shù)據(jù)預處理的新流程；第二，研究了F

3、P-growth關(guān)聯(lián)規(guī)則挖掘算法，根據(jù)傳統(tǒng)FP-Growth算法的不足對其進行改進，引入稀疏矩陣存儲減少一次數(shù)據(jù)庫掃描得到頻繁項集，節(jié)省了數(shù)據(jù)庫掃描時間，并設計了在Spark平臺下改進的FFP-growth算法并行化模型，對數(shù)據(jù)進行二次分類，避免單個事務集過大的問題；第三，搭建 Spark平臺，設計并實現(xiàn)電力營銷系統(tǒng)，將數(shù)據(jù)預處理技術(shù)和改進的FFP-Growth關(guān)聯(lián)規(guī)則挖掘技術(shù)應用到電力營銷數(shù)據(jù)分析系統(tǒng)中，實例驗證了重新設計的數(shù)據(jù)預處理