1、隨著大數(shù)據(jù)時代的到來，人類社會也正從IT走向DT時代，不斷積累的數(shù)據(jù)所帶來的價值已經(jīng)遠遠超過了我們的想象，當(dāng)然，數(shù)據(jù)帶來價值的同時，也同樣帶來了一些負面的東西，比如說隱私泄露，網(wǎng)絡(luò)暴力等等。如何更好的去善用這些數(shù)據(jù)，并且去做一些有意義的事情，這考驗著每一個從事大數(shù)據(jù)分析相關(guān)工作的人。在商業(yè)信息領(lǐng)域，很多專家學(xué)者在商業(yè)的輿情數(shù)據(jù)分析方面做了很多有意義的工作，主要是基于Hadoop計算框架，利用文本聚類等技術(shù)進行商業(yè)輿情信息的挖掘以及輿情話

2、題的檢測與傾向判斷，但在輿情實時性處理，動態(tài)追蹤，趨勢預(yù)測等方面較國外還有很大的差距，這也成了輿情信息發(fā)展重點研究方向。
　　本文首先是在研究分析主流輿情分析系統(tǒng)的基礎(chǔ)上，對商業(yè)輿情分析系統(tǒng)的關(guān)鍵需求進行了整理和總結(jié)，對功能性的需求做了詳細的闡述，并大體介紹了非功能性需求的設(shè)計要求，之后專門針對商業(yè)輿情領(lǐng)域的需求做了一定的優(yōu)化處理并提出了一種面向商業(yè)輿情分析的平臺架構(gòu)。
　　其次，結(jié)合每個模塊關(guān)鍵需求，提出了適合本商業(yè)輿情分

3、析的主要技術(shù)架構(gòu)，從數(shù)據(jù)采集模塊，數(shù)據(jù)預(yù)處理模塊到業(yè)務(wù)分析以及整個Web應(yīng)用層，對平臺的每一個環(huán)節(jié)擬采用的具體技術(shù)框架以及底層存儲做了具體的設(shè)計與闡述，并在話題文本聚類和基于Spark的緩存優(yōu)化方面也提出了自己的改進算法。
　　最后，基于上述架構(gòu)設(shè)計進行本地環(huán)境的集群搭建，結(jié)合開放的微博API接口以及WebMagic網(wǎng)絡(luò)爬蟲技術(shù)對網(wǎng)頁站點，論壇博客等內(nèi)容進行爬取，利用NLPIR分詞工具對文本數(shù)據(jù)進行分詞處理，以及利用K-means

4、算法進行話題聚類處理和針對不同類型文本進行差異化的輿情情感分析，并對改進的K-means優(yōu)化算法以及ASRW算法進行了仿真測試和結(jié)果分析。
　　本文在數(shù)據(jù)處理方面依然主要是基于Hadoop技術(shù)架構(gòu)進行展開，但在實時性，流數(shù)據(jù)處理上則采用了基于內(nèi)存計算的開源框架Spark，這也是當(dāng)前比較主流的一種大數(shù)據(jù)處理模型，可以對MapReduce取長補短，同時具有更好的容錯性，使用Hadoop和Spark兩種技術(shù)的結(jié)合對商業(yè)輿情分析平臺的開發(fā)