1、互聯(lián)網(wǎng)最近幾年的爆發(fā)式發(fā)展，給很多公司和企業(yè)帶來了新的機(jī)遇與挑戰(zhàn)，用戶越來越多，內(nèi)容越來越豐富，每天都會(huì)產(chǎn)生大量的數(shù)據(jù)，如何對(duì)日益暴增的數(shù)據(jù)進(jìn)行高效的分類，將是很多公司必將面臨的議題。從這一點(diǎn)出發(fā)，利用日益完善的機(jī)器學(xué)習(xí)技術(shù)幫助處理大數(shù)據(jù)的分類，并且利用分布式處理的低成本優(yōu)勢(shì)，將大量減少以往投入的資源和人力，有效的解決大數(shù)據(jù)的處理效率和投入。
　　系統(tǒng)為使用分布式架構(gòu)系統(tǒng)，選擇了Apache公司的Zookeeper分布式管理框架和

2、Ubuntu系統(tǒng)以及在線機(jī)器學(xué)習(xí)框架Jubatus搭建，通過對(duì)系統(tǒng)的需求分析，繪制了系統(tǒng)的架構(gòu)圖和各個(gè)模塊的功能圖、用例圖和部分活動(dòng)圖，制圖都是嚴(yán)格遵循UML標(biāo)準(zhǔn)。然后對(duì)數(shù)據(jù)預(yù)處理模塊，數(shù)據(jù)分析分配模塊，數(shù)據(jù)轉(zhuǎn)換模塊，數(shù)據(jù)處理模塊，數(shù)據(jù)整合模塊等五個(gè)主要模塊進(jìn)行詳細(xì)的需求分析和設(shè)計(jì)，包括數(shù)據(jù)的處理方法設(shè)計(jì)和數(shù)據(jù)處理的算法選擇等重要功能。并通過對(duì)數(shù)據(jù)類型和結(jié)構(gòu)特點(diǎn)選擇最優(yōu)化的適配算法來處理數(shù)據(jù)，以及最終數(shù)據(jù)結(jié)果整合結(jié)果選取的取舍的標(biāo)準(zhǔn)和對(duì)

3、應(yīng)方法。在數(shù)據(jù)的精度上面利用分布式中處理模塊的相對(duì)對(duì)立特性來提高最終分類的精度。
　　基于機(jī)器學(xué)習(xí)與分布式處理系統(tǒng)技術(shù)，利用概率分析技術(shù)和反復(fù)多次處理統(tǒng)計(jì)整合結(jié)果數(shù)據(jù)，在分類算法的選擇上通過對(duì)待分類數(shù)據(jù)進(jìn)行分別多次不同條件控制進(jìn)行測(cè)試，獲取需要的最優(yōu)條件信息，從而減少了數(shù)據(jù)內(nèi)對(duì)分類有較大影響的噪音因素問題并且根據(jù)結(jié)果確定關(guān)鍵屬性數(shù)目問題。在并行多次分類結(jié)束后對(duì)數(shù)據(jù)結(jié)果進(jìn)行統(tǒng)計(jì)，利用概率分布情況來判定最后的最終結(jié)果，在理論上為分類結(jié)