1、數(shù)據(jù)挖掘之分類(lèi)算法的研究數(shù)據(jù)挖掘之分類(lèi)算法的研究摘要：對(duì)分類(lèi)算法中需要解決的關(guān)鍵問(wèn)題進(jìn)行了分析；綜述了不同分類(lèi)算法的思想和特性，決策樹(shù)分類(lèi)算法能夠很好地處理噪聲數(shù)據(jù)，但只能對(duì)規(guī)模較小的訓(xùn)練樣本集有效；貝葉斯分類(lèi)算法精度高、速度快、錯(cuò)誤率低、但分類(lèi)不夠準(zhǔn)確；傳統(tǒng)的基于關(guān)聯(lián)規(guī)則算法分類(lèi)算法準(zhǔn)確率高，但容易受硬件內(nèi)存的制約；支持向量機(jī)算法分類(lèi)準(zhǔn)確率高、復(fù)雜性低，但速度慢。并且針對(duì)決策樹(shù)分類(lèi)算法的缺點(diǎn)進(jìn)行了改進(jìn)。關(guān)鍵字：數(shù)據(jù)挖掘，分類(lèi)算法，決策

2、樹(shù)0引言數(shù)據(jù)挖掘是從海量數(shù)據(jù)中獲取有用知識(shí)和價(jià)值的過(guò)程，是數(shù)據(jù)庫(kù)技術(shù)自然演化的結(jié)果。數(shù)據(jù)挖掘已廣泛應(yīng)用于零售、金融、保險(xiǎn)、醫(yī)療、通訊等行業(yè)，并展現(xiàn)出了其強(qiáng)大的知識(shí)發(fā)現(xiàn)的能力。在數(shù)據(jù)挖掘的研究與應(yīng)用中，分類(lèi)(Classification)算法一直受學(xué)術(shù)界的關(guān)注，它是一種有監(jiān)督的學(xué)習(xí)，通過(guò)對(duì)已知類(lèi)別訓(xùn)練集的分析，從中發(fā)現(xiàn)分類(lèi)規(guī)則，以此預(yù)測(cè)新數(shù)據(jù)的類(lèi)別。數(shù)據(jù)分類(lèi)算法中，為建立模型而被分析的數(shù)據(jù)元組組成的數(shù)據(jù)集合稱(chēng)為訓(xùn)練數(shù)據(jù)集，訓(xùn)練數(shù)據(jù)集中的單

3、個(gè)樣本(或元組)稱(chēng)為訓(xùn)練樣本。分類(lèi)算法是將一個(gè)未知樣本分到幾個(gè)已存在類(lèi)的過(guò)程，主要包含兩個(gè)步驟:第1步，根據(jù)類(lèi)標(biāo)號(hào)已知的訓(xùn)練數(shù)據(jù)集，訓(xùn)練并構(gòu)建一個(gè)模型，用于描述預(yù)定的數(shù)據(jù)類(lèi)集或概念集第2步，使用所獲得的模型，對(duì)將來(lái)或未知的對(duì)象進(jìn)行分類(lèi)。1分類(lèi)算法中的關(guān)鍵問(wèn)題不同的分類(lèi)算法有不同的特性，完成不同的任務(wù)。目前很多分類(lèi)算法被機(jī)器學(xué)習(xí)、專(zhuān)家系統(tǒng)、統(tǒng)計(jì)學(xué)和神經(jīng)生物學(xué)等的研究者從不同角度提出，判斷不同分類(lèi)算法的好壞可以由準(zhǔn)確率、速度、健壯性、可伸縮

4、性、可解釋性等幾個(gè)標(biāo)準(zhǔn)來(lái)衡量。另外，分類(lèi)算法的效果通常和數(shù)據(jù)的特點(diǎn)有關(guān)，有的數(shù)據(jù)有空缺值，有的噪聲大，有的分部稀疏，有的屬性是連續(xù)的，有的則是離散或混合的。經(jīng)典的分類(lèi)算法都有在不同的領(lǐng)域取得成功，比如決策樹(shù)分類(lèi)算法用于醫(yī)療診斷、金融分析、評(píng)估貸款申請(qǐng)的信用風(fēng)險(xiǎn)等廣闊領(lǐng)域支持向量機(jī)分類(lèi)算法應(yīng)用于模式識(shí)別、基因分析、文本分類(lèi)、語(yǔ)音識(shí)別、回歸分析等領(lǐng)域由于對(duì)噪聲數(shù)據(jù)具有很好的承受能力，神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用在字符識(shí)別、分子生物法的軟決策樹(shù)算法，極大

5、地提高了樹(shù)的正確率和歸納能力。王熙照教授等研究者為處理多類(lèi)問(wèn)題，采用基于層次分解的方法產(chǎn)生多層決策樹(shù)；針對(duì)C4.5算法的不足，提出新的決策樹(shù)算法解決歸納學(xué)習(xí)的判決精度問(wèn)題[4]。還有一種多決策樹(shù)綜合技術(shù)，先將數(shù)據(jù)集分成多個(gè)子數(shù)據(jù)集，然后將生成的多個(gè)不同的決策樹(shù)綜合起來(lái)，生成最終的、最穩(wěn)定的決策樹(shù)。2.2貝葉斯分類(lèi)算法貝葉斯(Beyes)分類(lèi)算法基于概率統(tǒng)計(jì)學(xué)的貝葉斯定理，是一種在先驗(yàn)概率與類(lèi)條件概率已知的情況下，預(yù)測(cè)類(lèi)成員關(guān)系可能性的模

6、式分類(lèi)算法，如計(jì)算一個(gè)給定樣本屬于一個(gè)特定類(lèi)的概率，并選定其中概率最大的一個(gè)類(lèi)別作為該樣本的最終類(lèi)別。貝葉斯分類(lèi)算法的關(guān)鍵是使用概率表示各種形式的不確定性。對(duì)于大型數(shù)據(jù)集，從理論上講，精確度高，運(yùn)算速度快，具有最小的錯(cuò)誤率，是貝葉斯算法的最大優(yōu)點(diǎn)，但實(shí)際情況下，因其假定的不準(zhǔn)確性，導(dǎo)致缺乏可用的數(shù)據(jù)，就需要足夠大的樣本。針對(duì)該缺陷，出現(xiàn)了一些降低獨(dú)立性假設(shè)的貝葉斯改進(jìn)分類(lèi)算法，如半樸素貝葉斯算法、壓縮候選的貝葉斯信念網(wǎng)絡(luò)構(gòu)造算法、TAN

7、算法等[5]。貝葉斯分類(lèi)算法還可以用來(lái)對(duì)不直接使用貝葉斯定理的其他分類(lèi)算法提供理論判據(jù)?；诰垲?lèi)分析思想，提出一種合理性、可信度都優(yōu)于樸素貝葉斯缺損數(shù)據(jù)的修補(bǔ)算法。利用貝葉斯和決策樹(shù)分類(lèi)算法的優(yōu)點(diǎn)，將貝葉斯的先驗(yàn)信息法與決策樹(shù)分類(lèi)的信息增益法相結(jié)合的混合分類(lèi)算法，在處理不一致或者不完整數(shù)據(jù)時(shí)，比單純使用貝葉斯或決策樹(shù)進(jìn)行的分類(lèi)運(yùn)算速度更快，準(zhǔn)確率更高。2.3基于關(guān)聯(lián)規(guī)則分類(lèi)算法針對(duì)貝葉斯分類(lèi)算法需要大樣本量的缺點(diǎn)，研究者提出了基于關(guān)聯(lián)規(guī)

8、(Classificationbasedonassociationrule，CBA)的分類(lèi)算法。CBA算法通過(guò)發(fā)現(xiàn)樣本集中的關(guān)聯(lián)規(guī)則來(lái)構(gòu)造分類(lèi)器，其經(jīng)典算法Aprii，通過(guò)3個(gè)步驟來(lái)構(gòu)造分類(lèi)器，基于規(guī)則的分類(lèi)器使用“if…then…”來(lái)分類(lèi)記錄，其優(yōu)先考慮置信度，迭代檢索出數(shù)據(jù)集中所有的支持度不低于用戶設(shè)定閾值的項(xiàng)集。基于關(guān)聯(lián)規(guī)則分類(lèi)算法集分類(lèi)器構(gòu)造與屬性相關(guān)分析于一體，發(fā)現(xiàn)的規(guī)則相對(duì)較全面且分類(lèi)準(zhǔn)確度較高，是一種很有潛力的分類(lèi)算法。傳