1、輿情分析通過對互聯(lián)網(wǎng)海量信息進(jìn)行自動(dòng)抓取、自動(dòng)分類聚類等技術(shù)，形成簡報(bào)、圖表等分析結(jié)果，為客戶全面掌握群眾思想動(dòng)態(tài)，做出正確輿論引導(dǎo)提供分析依據(jù)。隨著移動(dòng)互聯(lián)網(wǎng)、電子商務(wù)、社交網(wǎng)絡(luò)等互聯(lián)網(wǎng)新興技術(shù)普及和應(yīng)用,互聯(lián)網(wǎng)用戶呈現(xiàn)爆炸性增長。因此,高效海量數(shù)據(jù)處理架構(gòu)對輿情分析具有重要研究意義。
　　本文結(jié)合新浪微博，基于大數(shù)據(jù)處理技術(shù)，探討了構(gòu)建基于Spark的輿情分析架構(gòu)的可行性。論文主要做了以下幾方面工作:1、設(shè)計(jì)整體架構(gòu)，搭建Ha

2、doop分布式平臺對海量數(shù)據(jù)進(jìn)行存儲和處理，通過分布式列式數(shù)據(jù)庫HBase和Lucene相結(jié)合，在滿足海量數(shù)據(jù)存儲的基礎(chǔ)上，提高了數(shù)據(jù)檢索和讀寫性能。2、在數(shù)據(jù)采集模塊，針對當(dāng)今廣泛使用的模擬登陸和基于API采集方案的缺陷，設(shè)計(jì)一個(gè)高效穩(wěn)定的數(shù)據(jù)采集方案，具體包括通過內(nèi)存數(shù)據(jù)庫Redis來控制待爬隊(duì)列、更新隊(duì)列和已爬集合，在避免重復(fù)采集的同時(shí)能及時(shí)對數(shù)據(jù)進(jìn)行更新;針對IP限制問題，提出流動(dòng)性的代理池機(jī)制，通過池中代理不斷調(diào)度更新，使得池

3、中代理能針對不同網(wǎng)頁而發(fā)揮其最大功效，同時(shí)保證數(shù)據(jù)抓取的高效性和穩(wěn)定性，提高采集效率。3、為從本質(zhì)上突破Hadoop在文本聚類上的瓶頸，本文在文本聚類模塊中使用基于Spark的改進(jìn)K-means算法實(shí)現(xiàn)。具體包括在預(yù)處理階段，針對微博特征項(xiàng)比較少的缺點(diǎn)，使用word2vec工具對特征項(xiàng)進(jìn)行擴(kuò)展;在K值選擇和簇心初始化問題上優(yōu)化K-means算法，并將Spark框架應(yīng)用于優(yōu)化的K-means算法，對文本數(shù)據(jù)進(jìn)行并行處理，使得架構(gòu)在文本聚類

4、上更加高效快捷，從而提高整個(gè)架構(gòu)的性能。4、針對架構(gòu)提出一種基于資源信息增益的瓶頸檢測方法。該方法通過監(jiān)控集群的響應(yīng)滿意度(Response Satisfaction，RS)來發(fā)現(xiàn)瓶頸的出現(xiàn)，然后通過資源使用率和響應(yīng)滿意度樣本計(jì)算各類資源的信息增益，以確定具體的瓶頸資源。
　　輿情分析作為愈發(fā)強(qiáng)大的社會建設(shè)力量，網(wǎng)絡(luò)輿情已經(jīng)成為一股不容忽視的社會力量。故對網(wǎng)絡(luò)輿情的分析對社會發(fā)展具有重要意義其在應(yīng)用和研究上都有著巨大的前景，故對輿