1、在互聯(lián)網(wǎng)發(fā)展與電子商務(wù)崛起的歷程中，數(shù)據(jù)呈爆炸性增長，現(xiàn)已是大數(shù)據(jù)時代。在傳感器數(shù)據(jù)傳輸、Web登錄日志采集與移動手機數(shù)據(jù)交互等多領(lǐng)域中，均對數(shù)據(jù)管理與分析提出新要求，其實質(zhì)是對數(shù)據(jù)流管理與分析。如何可以快速、準確、低成本從海量數(shù)據(jù)中挖掘?qū)ζ髽I(yè)有用數(shù)據(jù)，已成為大數(shù)據(jù)環(huán)境下數(shù)據(jù)挖掘技術(shù)面臨的全新課題。同時隨著電子商務(wù)普及，使人們從線下購物轉(zhuǎn)到線上購物，推薦系統(tǒng)在這樣環(huán)境下應(yīng)運而生，推薦系統(tǒng)的產(chǎn)生也充分說明信息過載問題的出現(xiàn)。
　　本

2、文圍繞兩方面問題進行分析：（1）數(shù)據(jù)流的頻繁元素挖掘方法；（2）用戶推薦信息挖掘的并行化處理。這兩方面為數(shù)據(jù)挖掘領(lǐng)域中熱點問題，采用傳統(tǒng)串行算法求解時，由于內(nèi)存計算能力與物理存儲能力限制，隨著數(shù)據(jù)量增長，效率急劇下降。
　　本文重點對傳統(tǒng)算法進行分析改進，并通過實驗數(shù)據(jù)進行比較分析。
　?。?）在數(shù)據(jù)流的頻繁元素挖掘方法方面，重點分析了如何以數(shù)據(jù)流的形式對最常見元素問題和最流行元素問題求解。最常見元素問題采用改進 DGIM算

3、法與基于Hadoop分布式平臺算法求解；最流行元素問題采用改進指數(shù)衰減窗口模型求解。改進 DGIM算法通過調(diào)整相同大小的數(shù)據(jù)桶個數(shù)，將錯誤率上界收斂于任意小值；改進指數(shù)衰減窗口模型通過增加篩選閾值，提高計算效率；
　　（2）在用戶推薦信息挖掘的并行化處理方面，重點分析了關(guān)聯(lián)規(guī)則挖掘的并行化處理與協(xié)同過濾推薦的并行化處理。在關(guān)聯(lián)規(guī)則挖掘中，利用Hadoop分布式平臺對傳統(tǒng)Apriori算法并行改進，通過引入局部候選項集，大大降低了算

4、法迭代次數(shù)，挖掘全局頻繁項集時僅需兩次遍歷數(shù)據(jù)集，更加適用于大數(shù)據(jù)環(huán)境下的關(guān)聯(lián)規(guī)則挖掘。在協(xié)同過濾推薦中，通過Hadoop分布式平臺對傳統(tǒng)的相似度計算進行并行改進，將計算量分布到各機器節(jié)點中，使用基于Hadoop改進的共詞分析法實現(xiàn)效用矩陣填充，無需將巨大的效用矩陣全部加載內(nèi)存，通過行列向量變換方便MapReduce以行向量進行計算，使算法時間復(fù)雜度從O(m3n)降低到O(mn)，更加適用于大數(shù)據(jù)環(huán)境下的推薦。在算法實驗與分析中，提出雙