1、隨著互聯(lián)網(wǎng)的高速發(fā)展，大部分用戶逐漸習(xí)慣于網(wǎng)絡(luò)社交，因此社交平臺(tái)（微博）已成為信息交流和傳播的一個(gè)重要途徑。爬蟲技術(shù)能從社交平臺(tái)上爬取大量真實(shí)用戶留下的信息數(shù)據(jù)，數(shù)據(jù)挖掘技術(shù)能從這些大量的用戶數(shù)據(jù)中分析出隱藏信息。利用這兩項(xiàng)技術(shù)，能使企業(yè)挖掘出用戶需求和為相關(guān)機(jī)構(gòu)提供監(jiān)控輿論理論基礎(chǔ)。
　　本文以國(guó)內(nèi)用戶量龐大的社交平臺(tái)新浪微博作為研究對(duì)象，對(duì)如何構(gòu)建一個(gè)搞笑的爬蟲系統(tǒng)做了深入研究，并使用主題模型對(duì)抓取的數(shù)據(jù)進(jìn)行了簡(jiǎn)單的數(shù)據(jù)挖掘。

2、本文開始首先介紹了用到的相關(guān)技術(shù)知識(shí)，這些知識(shí)對(duì)后續(xù)的研究實(shí)踐非常重要。之后通過詳細(xì)的需求分析將爬蟲模塊解耦為幾個(gè)模塊，每個(gè)模塊獨(dú)立運(yùn)行，這樣也方便部署在任何網(wǎng)絡(luò)聯(lián)通的環(huán)境下運(yùn)行，通過使用這種方式可以動(dòng)態(tài)地添加數(shù)據(jù)采集器，兩個(gè)分布在不同機(jī)器上的采集器通過調(diào)度器能同時(shí)采集同種數(shù)據(jù)。從微博平臺(tái)上定向地采集大量數(shù)據(jù)之后，使用中文分詞技術(shù)將每個(gè)用戶發(fā)布的所有微博進(jìn)行分詞，使用TF_IDF技術(shù)從中提取出權(quán)重最大的350各單詞來形成一個(gè)用戶文檔，再