1、BPBP神經(jīng)網(wǎng)絡學習算法的研究神經(jīng)網(wǎng)絡學習算法的研究劉彩紅1(西安工業(yè)大學北方信息工程學院，西安)摘要：要：（目的）本文針對BP算法收斂速度慢的問題，提出一種改進的BP算法。（方法）該算法結合生物神經(jīng)元學習與記憶形成的特點，針對特定的訓練樣本，只激發(fā)網(wǎng)絡中的部分神經(jīng)元以產(chǎn)生相應的輸出，而未被激發(fā)的神經(jīng)元產(chǎn)生的輸出則與目標輸出相差較大，那么我們只需要對未被激發(fā)的神經(jīng)元權值閾值進行調(diào)整。利用距離來度量訓練樣本與神經(jīng)元權值之間的關系，可以找到

2、未被激發(fā)的神經(jīng)元。所以本論文提出的算法是對局部神經(jīng)元權值閾值的調(diào)整，（結果）通過實驗表明該算法有助于加快網(wǎng)絡的學習速度。關鍵詞：關鍵詞：BP神經(jīng)網(wǎng)絡，學習算法，距離，權值閾值調(diào)整TheStudyofAlgithmofBPNeuralwkLIUCaihong(Xi’anTechnologicalUniversityNthInstituteofInfmationEngineering，Xi’anChina)Abstract:Thepaper

3、proposedanimprovedBPalgithm.Accdingtotheacteristicsofbiologicalneuroninlearningmemyfmationonlysomeneuronswerestimulatedtoproducetheoutputfthespecifictrainingsampleswhiletheotherpartoftheneuronsweren’tstimulated.Therearel

4、argedifferencebetweenthispartoftheneuron’soutputtargetthenweneedthispartneuronsweightthresholdvaluetoadjust.Usetomeasurethedistancefromthetrainingsampletherelationshipbetweentheweightsofeachneuroncanfindnotstimulatedneur

5、ons.Therefethealgithmproposedinthispaperonlyadjusttheweightthethresholdvalueofthelocalneuronsthiscanacceleratethelearningspeedofthewk.Keywds:BPNeuralwkLearningAlgithmDistanceWeightThresholdAdjustment1引言引言傳統(tǒng)BP算法是一種利用實際輸出與

6、期望輸出之間的誤差對網(wǎng)絡的各層連接權值和各結點的閾值由后向前逐層進行校正的一種監(jiān)督式學習方法。它根據(jù)最小二乘原理和梯度搜索技術，將學習過程分為輸入樣本的正向傳播和誤差的反向傳播兩個階段。輸入樣本從輸入層傳遞給隱藏層各結點，經(jīng)過各隱藏層用激勵函數(shù)逐層處理后傳遞給輸出層，若輸出層的實際輸出與期望輸出的誤差達不到預定要求，則將誤差沿著原連接通路反向傳播，同時根據(jù)誤差來調(diào)整各層的連接權值和閾值，使實際輸出與期望輸出的誤差逐漸減小。傳統(tǒng)BP（Ba

7、ckPropagation）算法的性能依賴于初始條件，學習速度慢，學習過程易陷入局部極小。近年來，人們根據(jù)實際應用的需要對傳統(tǒng)BP算法做了許多改進，主要有采用自適應學習率、與遺傳算法結合[12]和可調(diào)隱層結構[34]等，這些方法在一定程度上優(yōu)化了BP算法。但以往大多改進算法，在誤差的反向傳播階段也就是訓練的第二階段，是對所有神經(jīng)元的權值閾值都進行修改的。針對不同的輸入，神經(jīng)網(wǎng)絡激發(fā)不同的神經(jīng)元，所以可以在訓練的第二階段修改部分神經(jīng)元的1

8、資助項目：資助項目：西安工業(yè)大學北方信息工程學院院長科研基金項目（BXXJJ1112）作者簡介：作者簡介：劉彩紅(1980)，女，陜西人，碩士研究生，研究方向為人工神經(jīng)網(wǎng)絡及其應用。Email:rainbow_dd@手機：13609250662；但相似系數(shù)和距離有各種各樣的定義，而這些定義與變量的類型關系極大。由于實際問題中，遇到的指標有的是定量的（如長度、重量等），有的是定性的（如性別、職業(yè)等），因此將變量（指標）的類型按間隔尺度、有

9、序尺度和名義尺度這三種尺度來劃分。不同類型的變量，在定義距離和相似系數(shù)時，其方法有很大的差異，使用時必須注意。對于間隔尺度的距離，可以通過明氏（Minkowski）距離公式來度量。對相似系數(shù)這里不再作介紹。明氏（Minkowski）距離11()()qpqijiajaadqxx????當時1q?即絕對距離1(1)()pijiajaadxx????當時2q?即歐氏距離2121(2)()pijiajaadxx????當時q??即切比雪夫距離1

10、()maxijiajaapdxx?????當變量的測量值相差懸殊時，采用明氏距離并不合理，常需要先對數(shù)據(jù)標準化，然后用標準化后的數(shù)據(jù)計算距離。明氏距離特別是歐式距離，是人們較為熟悉的也是使用最多的距離。但明氏距離存在不足之處，主要表現(xiàn)在兩個方面：一，它與各指標的量綱有關；第二，它沒有考慮指標之間的相關性。另外還有馬氏（Mahalanobis）距離、蘭氏（Canberra）距離，和明氏距離一樣，它們的定義都是適用于間隔尺度變量的，如果變量

11、是有序尺度或名義尺度時，也有一些定義距離的方法。具體應用時，要注意根據(jù)變量的類型選擇合適的度量公式。本文的實驗中用到的數(shù)據(jù)沒有量綱的差距，并且也都只有一兩個指標，所以選用歐氏距離作為度量公式。3.33.3提出算法的訓練過程提出算法的訓練過程基于局部權值閾值調(diào)整的BP算法，是在傳統(tǒng)BP算法的第二階段加入了隱層神經(jīng)元的競爭，權值閾值的調(diào)整就只發(fā)生在與獲勝神經(jīng)元相連弧線的路徑上。改進算法的具體步驟如下：1對權系數(shù)置初值。ijW對各層的權系數(shù)置