1、近年來，隨著互聯(lián)網(wǎng)的迅猛發(fā)展，各種各樣的新聞層出不窮，新聞信息在人們的文化、生活等各個方面發(fā)揮著越來越重要的作用。如何對大量的新聞數(shù)據(jù)進行收集、整理，并突顯出人們想要查找的新聞，是本文研究的主要問題。針對目前常見的搜索引擎存在著查找到的新聞信息過多，與主題關(guān)聯(lián)性不強等問題，本文提出并設(shè)計了一個面向企業(yè)的新聞分類子系統(tǒng)。該系統(tǒng)具備新聞采集、信息處理及新聞?wù)故镜裙δ?。企業(yè)用戶可以利用該系統(tǒng)快速、準確地獲取與其行業(yè)相關(guān)的新聞。
　　首先

2、，系統(tǒng)設(shè)計了網(wǎng)絡(luò)爬蟲模塊。使用廣度優(yōu)先算法編寫了爬蟲軟件，通過該軟件可以實現(xiàn)對企業(yè)感興趣新聞信息高效的采集與識別。
　　其次，設(shè)計并實現(xiàn)了文本分類模塊。在該模塊中，使用分布式貝葉斯算法對新聞文本進行分類。在分類過程中，文本的預(yù)處理、特征選擇以及向量化需要大量計算;在模型訓(xùn)練時，也存在著訓(xùn)練時間長、數(shù)據(jù)庫存儲容量有限等問題。為了解決以上問題，本文搭建了Hadoop分布式計算平臺，利用MapReduce并行計算模型對文本分類過程中的不

3、同階段進行了分布式并行處理，并建立Hive數(shù)據(jù)倉庫以解決占用存儲空間大的問題。當面臨大量新增數(shù)據(jù)時，傳統(tǒng)的貝葉斯方法需要將之前的所有樣本數(shù)據(jù)全部重新學(xué)習(xí)一次，這樣不僅會耗費大量時間，而且操作起來也相當麻煩。針對這種情況，本文引用了傳統(tǒng)的增量學(xué)習(xí)方法，設(shè)計并實現(xiàn)了增量式貝葉斯算法，該方法不用重新訓(xùn)練數(shù)據(jù)，只需對原有的數(shù)據(jù)進行修正。
　　最后設(shè)計了一個面向企業(yè)新聞信息的分類子系統(tǒng)，主要包括信息采集、文本預(yù)處理、特征提取、分類器構(gòu)造、分