1、隨著互聯(lián)網(wǎng)的快速發(fā)展,SNS網(wǎng)站的興起,人們?cè)絹?lái)越多地通過(guò)網(wǎng)絡(luò)進(jìn)行溝通、交流以及形成人際關(guān)系,由此產(chǎn)生了大量的用戶(hù)數(shù)據(jù)。如何從海量的用戶(hù)數(shù)據(jù)中取得更深層次的有用信息,進(jìn)而挖掘其中的潛在內(nèi)容,如網(wǎng)絡(luò)輿論擴(kuò)散模型、網(wǎng)絡(luò)用戶(hù)群體屬性及商業(yè)價(jià)值等,是當(dāng)前的重要研究方向和挑戰(zhàn)。傳統(tǒng)的社會(huì)網(wǎng)絡(luò)分析工具和算法通常都是基于單機(jī)的,在處理大規(guī)模數(shù)據(jù)集的時(shí)候往往會(huì)面臨存儲(chǔ)和處理能力不足等的問(wèn)題。而且,原始輸入數(shù)據(jù)和社會(huì)網(wǎng)絡(luò)結(jié)構(gòu)描述都是無(wú)結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)

2、,傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)并不善于處理此種類(lèi)型的數(shù)據(jù),從而在利用傳統(tǒng)社會(huì)網(wǎng)絡(luò)分析工具和算法處理大規(guī)模數(shù)據(jù)集時(shí)變得更加困難。
　　 本文提出了基于HBase的分布式社會(huì)網(wǎng)絡(luò)分析支撐系統(tǒng)的解決方案,用于幫助用戶(hù)在對(duì)海量數(shù)據(jù)進(jìn)行社會(huì)網(wǎng)絡(luò)分析時(shí),收集萃取數(shù)據(jù),構(gòu)建可分析的社會(huì)網(wǎng)絡(luò),對(duì)網(wǎng)絡(luò)內(nèi)的個(gè)體或個(gè)體間關(guān)系進(jìn)行分析,以得出這個(gè)社會(huì)網(wǎng)絡(luò)的一些特征數(shù)據(jù)。系統(tǒng)主要功能包括獲取社會(huì)網(wǎng)絡(luò)分析所需的數(shù)據(jù),從數(shù)據(jù)中抽取網(wǎng)絡(luò)關(guān)系,分布式社會(huì)網(wǎng)絡(luò)構(gòu)建,網(wǎng)絡(luò)圖存儲(chǔ)和

3、分布式社會(huì)網(wǎng)絡(luò)分析算法的設(shè)計(jì),完整實(shí)現(xiàn)了進(jìn)行社會(huì)網(wǎng)絡(luò)分析的過(guò)程。
　　 該解決方案通過(guò)融合HBase分布式體系結(jié)構(gòu)和社會(huì)網(wǎng)絡(luò)分析流程,建立了基于模塊的多層次體系結(jié)構(gòu)。系統(tǒng)模塊間采用松耦合設(shè)計(jì),不同模塊完成不同的功能,在不改變系統(tǒng)功能前提下對(duì)任意模塊的內(nèi)部修改不影響其他模塊的工作。在構(gòu)建社會(huì)網(wǎng)絡(luò)時(shí),系統(tǒng)通過(guò)開(kāi)源爬蟲(chóng)從互聯(lián)網(wǎng),特別是社會(huì)化網(wǎng)站中獲取構(gòu)建社會(huì)網(wǎng)絡(luò)相關(guān)的數(shù)據(jù),并從非結(jié)構(gòu)或半結(jié)構(gòu)化的原始輸入數(shù)據(jù)中抽取出相關(guān)的社會(huì)網(wǎng)絡(luò)關(guān)系,

4、然后利用MapReduce分布式構(gòu)建社會(huì)網(wǎng)絡(luò),包括網(wǎng)絡(luò)合并、邊屬性計(jì)算等。在支撐系統(tǒng)的存儲(chǔ)層設(shè)計(jì)了基于HBase的圖存儲(chǔ)系統(tǒng),并針對(duì)社會(huì)網(wǎng)絡(luò)結(jié)構(gòu)的特性設(shè)計(jì)了圖存儲(chǔ)結(jié)構(gòu),負(fù)責(zé)存儲(chǔ)構(gòu)建完成的社會(huì)網(wǎng)絡(luò),向上層應(yīng)用提供各種所需圖數(shù)據(jù)。在進(jìn)行社會(huì)網(wǎng)絡(luò)分析時(shí),通過(guò)圖表述系統(tǒng)將社會(huì)網(wǎng)絡(luò)抽象為一幅圖,然后對(duì)圖中的節(jié)點(diǎn)和邊進(jìn)行處理,圖表述系統(tǒng)向分布式社會(huì)網(wǎng)絡(luò)分析算法提供圖數(shù)據(jù)接口和預(yù)處理功能。最后,在支撐系統(tǒng)的基礎(chǔ)上,本文以節(jié)點(diǎn)度、節(jié)點(diǎn)強(qiáng)度及聚類(lèi)系數(shù)分析