1、隨著經(jīng)濟(jì)社會(huì)的發(fā)展以及互聯(lián)網(wǎng)的普及，尤其是移動(dòng)互聯(lián)網(wǎng)用戶的快速增長(zhǎng)，人們的生活越來(lái)越離不開網(wǎng)絡(luò)，從網(wǎng)上購(gòu)物，獲取資訊，發(fā)布個(gè)人對(duì)某些事件的意見和看法都變得越來(lái)越方便。同時(shí)，網(wǎng)絡(luò)信息的呈現(xiàn)方式也越來(lái)越多樣化，從電子郵件，門戶網(wǎng)站，BBS論壇到現(xiàn)在的博客，社區(qū)，即時(shí)通訊以及SNS社交網(wǎng)絡(luò)等，都極大的豐富了網(wǎng)絡(luò)用戶參與互動(dòng)的方式。廣大網(wǎng)民通過互聯(lián)網(wǎng)發(fā)布個(gè)人對(duì)某些公共事務(wù)的看法以及對(duì)其持有的情緒的總和被稱為網(wǎng)絡(luò)輿情。由于網(wǎng)絡(luò)輿情的特點(diǎn)，在熱點(diǎn)問

2、題上會(huì)引發(fā)廣泛的社會(huì)影響，特別是負(fù)面的影響，如果不能合理的引導(dǎo)，負(fù)面的輿論極大威脅著社會(huì)公共秩序和社會(huì)安全穩(wěn)定。作為社會(huì)穩(wěn)定和安全的捍衛(wèi)者，增強(qiáng)網(wǎng)絡(luò)輿論的實(shí)時(shí)監(jiān)測(cè)能力，及時(shí)對(duì)負(fù)面輿情進(jìn)行有效的引導(dǎo)，積極化解網(wǎng)絡(luò)的負(fù)面輿論信息，已經(jīng)成為公安機(jī)關(guān)的重要工作之一。
　　上述工作在傳統(tǒng)的輿情監(jiān)控軟件已經(jīng)可以實(shí)現(xiàn)，然而由于互聯(lián)網(wǎng)存儲(chǔ)著規(guī)模碩大的海量信息，傳統(tǒng)的輿情監(jiān)控系統(tǒng)已經(jīng)不足以準(zhǔn)確、快速的實(shí)現(xiàn)對(duì)輿情的實(shí)時(shí)監(jiān)控。衡量輿情系統(tǒng)性能的一個(gè)重要

3、指標(biāo)就是處理輿情信息的實(shí)時(shí)性。為了實(shí)現(xiàn)輿情的實(shí)時(shí)監(jiān)控，本課題將Hadoop關(guān)鍵技術(shù)引入到警用輿情分析系統(tǒng)中，以互聯(lián)網(wǎng)數(shù)據(jù)結(jié)構(gòu)為基礎(chǔ)，結(jié)合Hadoop的關(guān)鍵技術(shù)特性，設(shè)計(jì)并實(shí)現(xiàn)了基于Hadoop的警用輿情分析系統(tǒng)，利用Hadoop分布式海量數(shù)據(jù)處理性能，實(shí)現(xiàn)高性能的海量數(shù)據(jù)挖掘，幫助警務(wù)部門實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情的實(shí)時(shí)監(jiān)控，維護(hù)社會(huì)的安定。
　　本文從公安機(jī)關(guān)的工作需求入手，詳細(xì)分析了公安網(wǎng)絡(luò)管理工作的運(yùn)行模式，利用社會(huì)網(wǎng)絡(luò)分析技術(shù)，對(duì)互聯(lián)

4、網(wǎng)數(shù)據(jù)進(jìn)行挖掘分析。本文的主要包括如下三部分：
　　1）分布式網(wǎng)絡(luò)數(shù)據(jù)爬蟲，詳細(xì)講述了該爬蟲系統(tǒng)的構(gòu)建方式，模塊功能，實(shí)現(xiàn)方法等。該網(wǎng)絡(luò)爬蟲系統(tǒng)基于多網(wǎng)關(guān)出口，能有效解決網(wǎng)站對(duì)爬蟲的屏蔽，提高了爬蟲的時(shí)間效率和應(yīng)用效率，解決系統(tǒng)的數(shù)據(jù)來(lái)源問題；
　　2）Hadoop輿情分布式文件系統(tǒng)，作為警用輿情分析系統(tǒng)的存儲(chǔ)結(jié)構(gòu)，將采集來(lái)的數(shù)據(jù)存入該文件系統(tǒng)中，將這些數(shù)據(jù)進(jìn)行信息抽取，網(wǎng)頁(yè)去重，并結(jié)合Lucene和Solr對(duì)網(wǎng)頁(yè)建立相關(guān)索