1、2024/3/26,1,神經(jīng)網(wǎng)絡Neural Networks,2024/3/26,2,目 錄,1. 神經(jīng)計算2. 并行分布式理論框架3. 交互與競爭神經(jīng)網(wǎng)絡4. 誤差反向傳播神經(jīng)網(wǎng)絡5. Hopfield神經(jīng)網(wǎng)絡6. 自組織特征映射網(wǎng)絡7. 自適應共振理論8. 脈沖耦合神經(jīng)網(wǎng)絡,2024/3/26,3,神經(jīng)網(wǎng)絡,一個神經(jīng)網(wǎng)絡是由簡單處理元構(gòu)成的規(guī)模宏大的并行分布處理器。天然具有存儲經(jīng)驗知識和使之可用的特性。神經(jīng)網(wǎng)

2、絡從兩個方面上模擬大腦： ?神經(jīng)網(wǎng)絡獲取的知識是從外界環(huán)境中學習得來的。 ?內(nèi)部神經(jīng)元的連接強度，即突觸權(quán)值，用于儲存獲取的知識。,2024/3/26,4,發(fā)展歷史,萌芽期（20世紀40年代） 人工神經(jīng)網(wǎng)絡的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。 ?1943年，心理學家McCulloch和數(shù)學家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學生物物理學會刊《Bull

3、etin of Methematical Biophysics》 ? 949年，心理學家D. O. Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說——Hebb學習律。,2024/3/26,5,發(fā)展歷史,第一高潮期（1950~1968） ?以Marvin Minsky，F(xiàn)rank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級感知器（Perceptron）。 ?可用電子線路模擬。 ?人們樂觀地認

4、為幾乎已經(jīng)找到了智能的關鍵。許多部門都開始大批地投入此項研究，希望盡快占領制高點。,2024/3/26,6,發(fā)展歷史,反思期（1969~1982） ? M. L. Minsky和S. Papert，《Perceptron》，MIT Press，1969年 ?異或”運算不可表示 ?二十世紀70年代和80年代早期的研究結(jié)果,2024/3/26,7,發(fā)展歷史,第二高潮期（1983~1990） ? 1982年，J.

5、 Hopfield提出Hopfield網(wǎng)絡用Lyapunov函數(shù)作為網(wǎng)絡性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動力學的關系用非線性動力學的方法來研究ANN的特性指出信息被存放在網(wǎng)絡中神經(jīng)元的聯(lián)接上,,2024/3/26,8,發(fā)展歷史,第二高潮期（1983~1990） ? 1984年， J. Hopfield設計研制了后來被人們稱為Hopfield網(wǎng)-Tank 電路。較好地解決了著名的TSP問題，找到了

6、最佳解的近似解，引起了較大的轟動。 ? 1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡中引入了隨機機制，提出所謂的Boltzmann機。,2024/3/26,9,發(fā)展歷史,? 1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網(wǎng)絡的學習算法——BP算法，較好地解決了多層網(wǎng)絡的學習問題。（Paker1982和Werb

7、os1974年） ?自適應共振理論（ART） ?自組織特征映射理論,2024/3/26,10,發(fā)展歷史,? Hinton 等人最近提出了 Helmboltz 機 ? 徐雷提出的 Ying-Yang 機理論模型 ? 甘利俊一( S.Amari) 開創(chuàng)和發(fā)展的基于統(tǒng)計流形的方法應用于人工神經(jīng)網(wǎng)絡的研究, 國內(nèi)首屆神經(jīng)網(wǎng)絡大會是1990年12月在北京舉行的。,2024/3/26,11,并行分布式理論框架,1986年，美國

8、加州大學圣地亞哥分校（UCSD）Rumellhart，McClelland，Hinton： Parallel and Distributed Processing, MIT Press, Cambridge,2024/3/26,12,并行分布式理論框架,PDP模型1）  一組處理單元（PE或AN）2）  處理單元的激活狀態(tài)（ai）3）  每個處理單元的輸出函數(shù)（fi）4）  處理單元之間

9、的連接模式5）  傳遞規(guī)則（∑wijoi）6） 把處理單元的輸入及當前狀態(tài)結(jié)合起來產(chǎn)生激活值的激活規(guī)則（Fi）7）  通過經(jīng)驗修改連接強度的學習規(guī)則8）  系統(tǒng)運行的環(huán)境（樣本集合）,2024/3/26,13,神經(jīng)網(wǎng)絡的維數(shù),Various types of neuronsVarious network architecturesVarious learning algorithms

10、Various applications,2024/3/26,14,自組織神經(jīng)網(wǎng)絡的典型結(jié)構(gòu),交互與競爭IAC神經(jīng)網(wǎng)絡,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,2024/3/26,15,競爭學習,相似性測量＿歐式距離法,2024/3/26,16,,,相似性測量＿余弦法,競爭學習,2024/3/26,17,競爭學習規(guī)則——Winner-Take-All,,網(wǎng)絡的輸出神經(jīng)元之間相互競爭以求被激活，結(jié)果在每一時

11、刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為Winner Take All。,競爭學習原理,2024/3/26,18,,尋找獲勝神經(jīng)元 當網(wǎng)絡得到一個輸入模式向量時，競爭層的所有神經(jīng)元對應的內(nèi)星權(quán)向量均與其進行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競爭獲勝神經(jīng)元。,欲使兩單位向量最相似，須使其點積最大。即：,競爭學習原理,2024/3/26,19,從上式可以看出，欲使兩單位向量的歐

12、式距離最小，須使兩向量的點積最大。即：,,,,,,競爭學習原理,2024/3/26,20,3.網(wǎng)絡輸出與權(quán)值調(diào)整,步驟3完成后回到步驟1繼續(xù)訓練，直到學習率衰減到0。,競爭學習原理,2024/3/26,21,單層感知器模型,前饋神經(jīng)網(wǎng)絡,j=1,2,…,m,2024/3/26,22,凈輸入：,輸出：,單層感知器,2024/3/26,23,感知器的功能,(1)設輸入向量X=(x1 ,x2)T,輸出：,則由方程 w1jx1+w2

13、jx2-Tj=0 確定了二維平面上的一條分界線。,單計算節(jié)點感知器,單層感知器,2024/3/26,24,感知器的功能,單層感知器,2024/3/26,25,感知器的功能,(2)設輸入向量X=(x1,x2,x3)T,輸出：,則由方程 w1jx1+w2jx2+w3j x3–Tj=0 (3.4) 確定了三維空間上的一個分界平面。,單層感知器,2024/3/26,26,感知器的功能,單層感知器

14、,2024/3/26,27,多層感知器,網(wǎng)絡的拓撲結(jié)構(gòu),2024/3/26,28,雙層感知器,“異或”問題分類,用兩計算層感知器解決“異或”問題。,“異或”的真值表,多層感知器,2024/3/26,29,雙層感知器,“異或”問題分類,用兩計算層感知器解決“異或”問題,“異或”的真值表,多層感知器,2024/3/26,30,雙層感知器,“異或”問題分類,用兩計算層感知器解決“異或”問題。,“異或”的真值表,多層感知器,2024/3/26,

15、31,雙層感知器,“異或”問題分類,例四 用兩計算層感知器解決“異或”問題。,“異或”的真值表,,多層感知器,2024/3/26,32,具有不同隱層數(shù)的感知器的分類能力對比,,,多層感知器,2024/3/26,33,基于BP算法的多層前饋網(wǎng)絡模型,誤差反向傳播（BP）網(wǎng)路,2024/3/26,34,基于BP算法的多層前饋網(wǎng)絡模型,輸入向量： X=(x1,x2,…,xi,…,xn)T隱層輸出向量： Y=(y1,y2,…,yj,

16、…,ym)T輸出層輸出向量： O=(o1,o2,…,ok,…,ol)T期望輸出向量：d=(d1, d2,…,dk,…,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,…,Vj,…,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,…,Wk,…,Wl),誤差反向傳播（BP）網(wǎng)路,2024/3/26,35,3.4.1 基于BP算法的多層前饋網(wǎng)絡模型,誤差反向傳播（BP）網(wǎng)路,2024/3/26,36,3.4.1 基于BP算法

17、的多層前饋網(wǎng)絡模型,雙極性Sigmoid函數(shù)：,誤差反向傳播（BP）網(wǎng)路,2024/3/26,37,一、網(wǎng)絡誤差 定義與權(quán)值調(diào)整思路,將以上誤差定義式展開至隱層：,,BP學習算法,2024/3/26,38,一、網(wǎng)絡誤差與權(quán)值調(diào)整,進一步展開至輸入層：,,,,,BP學習算法,2024/3/26,39,BP學習算法,式中負號表示梯度下降，常數(shù)η∈(0,1)表示比例系數(shù)。,在全部推導過程中，對輸出層有j=0,1,2,…,m; k=1,2,…

18、,l 對隱層有 i=0,1,2,…,n; j=1,2,…,m,BP學習算法,2024/3/26,40,對于輸出層，式(3.4.9a)可寫為,,,,BP算法推導,2024/3/26,41,(1)初始化；,(4)計算各層誤差信號；,(5)調(diào)整各層權(quán)值；,(6)檢查是否對所有樣本完成一次 輪訓；,(7)檢查網(wǎng)絡總誤差是否達到精 度要求。,(2)輸入訓練樣本對X? Xp、d? dp計算各層輸出；,(3)計算網(wǎng)絡輸出誤

19、差；,BP算法的程序?qū)崿F(xiàn),2024/3/26,42,然后根據(jù)總誤差計算各層的誤差信號并調(diào)整權(quán)值。,另一種方法是在所有樣本輸入之后，計算網(wǎng)絡的總誤差：,BP算法的程序?qū)崿F(xiàn),2024/3/26,43,(1)非線性映射能力,多層前饋網(wǎng)能學習和存貯大量輸入-輸出模式映射關系，而無需事先了解描述這種映射關系的數(shù)學方程。只要能提供足夠多的樣本模式對供BP網(wǎng)絡進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。,多層前饋網(wǎng)(感知器)的主

20、要能力,2024/3/26,44,(2)泛化能力,當向網(wǎng)絡輸入訓練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。,(3)容錯能力,輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡的輸入輸出規(guī)律影響很小。,多層前饋網(wǎng)(感知器)的主要能力,2024/3/26,45,誤差函數(shù)的可調(diào)整參數(shù)的個數(shù) nw 等于各層權(quán)值數(shù)加上閾值數(shù)，即：,誤差 E 是 nw+1 維空間中一個形狀極為復雜的曲面，該曲

21、面上的每個點的“高度”對應于一個誤差值，每個點的坐標向量對應著 nw 個權(quán)值，因此稱這樣的空間為誤差的權(quán)空間。,BP算法的局限性,2024/3/26,46,誤差曲面的分布有兩個特點：,特點之一：存在平坦區(qū)域,BP算法的局限性,2024/3/26,47,特點之二：存在多個極小點,多數(shù)極小點都是局部極小，即使是全局極小往往也不是唯一的，但其特點都是誤差梯度為零。,誤差曲面的平坦區(qū)域會使訓練次數(shù)大大增加，從而影響了收斂速度；而誤差曲面的多極小

22、點會使訓練陷入局部極小，從而使訓練無法收斂于給定誤差。,BP算法的局限性,2024/3/26,48,標準的BP算法在應用中暴露出不少內(nèi)在的缺陷：,⑴ 易形成局部極小而得不到全局最優(yōu)；⑵ 訓練次數(shù)多使得學習效率低，收斂速度慢；⑶ 隱節(jié)點的選取缺乏理論指導；⑷ 訓練時學習新樣本有遺忘舊樣本的趨勢。,針對上述問題，國內(nèi)外已提出不少有效的改進算法，下面僅介紹其中3種較常用的方法。,標準BP算法的改進,2024/3/26,49,1 增加動量

23、項,α為動量系數(shù)，一般有α∈(0，1),2 自適應調(diào)節(jié)學習率,設一初始學習率，若經(jīng)過一批次權(quán)值調(diào)整后使總誤差↑，則本次調(diào)整無效，且?=β?(β1 )。,標準BP算法的改進,2024/3/26,50,3 引入陡度因子,實現(xiàn)這一思路的具體作法是，在原轉(zhuǎn)移函數(shù)中引入一個陡度因子λ,標準BP算法的改進,2024/3/26,51,概述,Hopfield網(wǎng)絡是神經(jīng)網(wǎng)絡發(fā)展歷史上的一個重要的里程碑。由美國加州理工學院物理學家J.J.Hopfield教

24、授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡。,Hopfield網(wǎng)絡是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡要復雜得多。1984年，Hopfield設計并研制了網(wǎng)絡模型的電路，并成功地解決了旅行商(TSP)計算難題(優(yōu)化問題)。,Hopfield網(wǎng)絡分為離散型和連續(xù)型兩種網(wǎng)絡模型，分別記作DHNN (Discrete Hopfield Neural Network) 和CHNN (Continues Hopfiel

25、d Neural Network) 。,Hello,I’m John Hopfield,2024/3/26,52,離散Hopfield 神經(jīng)網(wǎng)絡,,2024/3/26,53,離散Hopfield 神經(jīng)網(wǎng)絡,網(wǎng)絡模型表示法二,,2024/3/26,54,離散Hopfield 神經(jīng)網(wǎng)絡,相關參數(shù)說明任意神經(jīng)元 i與 j間的突觸權(quán)值為 ，神經(jīng)元之間連接是對稱的，神經(jīng)元自身無連接. 每個神經(jīng)元都同其他的神經(jīng)元相連,其輸出信號經(jīng)過其他神經(jīng)元又

26、有可能反饋給自己 設Hopfield網(wǎng)絡中有n個神經(jīng)元，其中任意神經(jīng)元的輸入用 表示，輸出 用表示，它們都是時間的函數(shù)，其中 也稱為神經(jīng)元在時刻t 的狀態(tài)。,,,,,,,,,2024/3/26,55,離散Hopfield 神經(jīng)網(wǎng)絡,激勵函數(shù),,2024/3/26,56,離散Hopfield 神經(jīng)網(wǎng)絡,離散Hopfield網(wǎng)絡的運行規(guī)則(1)串行(異步)工作方式 在任—時刻，只有某—神經(jīng)元 (隨機的或確定的選擇)依上式

27、變化，而其他神經(jīng)元的狀態(tài)不變。(2)并行(同步)工作方式 在任一時刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時改變。,2024/3/26,57,離散Hopfield 神經(jīng)網(wǎng)絡,串行(異步)工作方式運行步驟第一步 對網(wǎng)絡進行初始化；第二步 從網(wǎng)絡中隨機選取一個神經(jīng)元；第三步 按式(2-5)求出該神經(jīng)元i的輸出；第四步 按式(2-6)求出該神經(jīng)元經(jīng)激活函數(shù)處理后的輸出，此時網(wǎng)絡中的其他神經(jīng)元的輸出保持不變；第五步 判斷網(wǎng)絡

28、是否達到穩(wěn)定狀態(tài)，若達到穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；否則轉(zhuǎn)到第二步繼續(xù)運行。,2024/3/26,58,離散Hopfield 神經(jīng)網(wǎng)絡,穩(wěn)定狀態(tài)若網(wǎng)絡從某一時刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡處于穩(wěn)定狀態(tài)網(wǎng)絡為對稱連接，即；神經(jīng)元自身無連接 能量函數(shù)在網(wǎng)絡運行中不斷降低，最后達到穩(wěn)定,,2024/3/26,59,離散Hopfield 神經(jīng)網(wǎng)絡,網(wǎng)絡中神經(jīng)元能量函數(shù)變化量,,,Hopfield網(wǎng)絡狀態(tài)向著能量函數(shù)減小的方向演化。

29、由于能量函數(shù)有界，所以系統(tǒng)必然會趨于穩(wěn)定狀態(tài) 。,2024/3/26,60,連續(xù)Hopfield 神經(jīng)網(wǎng)絡,,網(wǎng)絡模型,2024/3/26,61,連續(xù)Hopfield 神經(jīng)網(wǎng)絡,穩(wěn)定性分析將下式代入得：,,,,,,,因為,連續(xù)Hopfield網(wǎng)絡模型是穩(wěn)定的,2024/3/26,62,連續(xù)Hopfield 神經(jīng)網(wǎng)絡,連續(xù)Hopfield網(wǎng)絡模型的主要特性1)連續(xù)Hopfield網(wǎng)絡的神經(jīng)元作為I/O轉(zhuǎn)換，其傳輸特性具有Sigmo

30、id特性；2)具有時空整合作用；3)在神經(jīng)元之間存在著大量的興奮性和抑制性連接，這種聯(lián)接主要是通過反饋來實現(xiàn)。4)具有既代表產(chǎn)生動作電位的神經(jīng)元，又有代表按漸進方式工作的神經(jīng)元，即保留了動態(tài)和非線性兩個最重要的計算特性。 Hopfield神經(jīng)網(wǎng)絡設計的目標就是使得網(wǎng)絡存儲一些特定的平衡點，當給定網(wǎng)絡一個初始條件時，網(wǎng)絡最后會在這樣的點上停下來,2024/3/26,63,Hopfield 神經(jīng)網(wǎng)絡的MATLAB實現(xiàn),MATLAB

31、中Hopfield網(wǎng)絡的重要函數(shù)和功能,2024/3/26,64,Hopfield 神經(jīng)網(wǎng)絡的MATLAB實現(xiàn),MATLAB中與Hopfield網(wǎng)絡有關的重要函數(shù)和功能 newhop( )功能 生成一個Hopfield回歸網(wǎng)絡。格式 net = newhop(T)說明 net為生成的神經(jīng)網(wǎng)絡，具有在T中的向量上穩(wěn)定的點；T是具有Q個目標向量的R*Q矩陣（元素必須為-1或1）。Hopfield神經(jīng)網(wǎng)絡經(jīng)常被應用于模式的聯(lián)想記

32、憶中。Hopfield神經(jīng)網(wǎng)絡僅有一層，其激活函數(shù)用satlins( )函數(shù)，層中的神經(jīng)元有來自它自身的連接權(quán)和閾值。,2024/3/26,65,Hopfield 神經(jīng)網(wǎng)絡的MATLAB實現(xiàn),MATLAB中與Hopfield網(wǎng)絡有關的重要函數(shù)和功能satlins( )功能 對稱飽和線性傳遞函數(shù)格式 A = satlins(N)A輸出向量矩陣；N是由網(wǎng)絡的輸入向量組成的S*Q矩陣，返回的矩陣A與N的維數(shù)大小一致，A的元素取值位

33、于區(qū)間[0，1]內(nèi)。當N中的元素介于-1和1之間時，其輸出等于輸入；當輸入值小于-1時返回-1；當輸入值大于1時返回1。,2024/3/26,66,Hopfield 神經(jīng)網(wǎng)絡的MATLAB實現(xiàn),設印刷體數(shù)字由10 10點陣構(gòu)成，就是將數(shù)字分成很多小方塊，每個方塊就對應數(shù)字的一部分，構(gòu)成數(shù)字本部分的方塊用1表示，空白處用-1表示。試設計一個Hopfield網(wǎng)絡，能夠正確識別印刷體的數(shù)字。,,由點陣構(gòu)成的數(shù)字1,由點陣構(gòu)成的數(shù)字2,202

34、4/3/26,67,程序,2024/3/26,68,穩(wěn)定性分析,網(wǎng)絡的穩(wěn)定性是與收斂性不同的問題 Cohen和Grossberg[1983年]:Hopfield網(wǎng)絡的穩(wěn)定性定理 如果Hopfield網(wǎng)絡的聯(lián)接權(quán)矩陣是對角線為0的對稱矩陣，則它是穩(wěn)定的 用著名的Lyapunov函數(shù)作為Hopfield網(wǎng)絡的能量函數(shù),2024/3/26,69,Lyapunov函數(shù)——能量函數(shù),作為網(wǎng)絡的穩(wěn)定性度量wijoioj：網(wǎng)絡的一致性測度

35、。xjoj：神經(jīng)元的輸入和輸出的一致性測度。θjoj：神經(jīng)元自身的穩(wěn)定性的測度。,2024/3/26,70,當ANk的狀態(tài)從ok變成ok′,1、ANk是輸入神經(jīng)元,2024/3/26,71,當ANk的狀態(tài)從ok變成ok′,wkk=0,2024/3/26,72,ΔΕ=-(netk-θk)Δok,ANk狀態(tài)的變化：Δok=(ok′-ok)Δok=0，ΔΕ =0,Δok>0，ok′=1& ok=0，ok由0變到1，net

36、k>θk，netk-θk>0所以，-(netk-θk)Δok<0故ΔΕ<0,結(jié)論：網(wǎng)絡的目標函數(shù)總是下降,Δok<0, ok′=0& ok=1，ok由1變到0netk<θk，netk-θk<0-(netk-θk)Δok<0故ΔΕ<0,2024/3/26,73,當ANk的狀態(tài)從ok變成ok′,2、ANk不是輸入神經(jīng)元,,,2024/3/26,74,當ANk的狀態(tài)從ok變成

37、ok′,,無論ANk的狀態(tài)是如何變化的，總有ΔΕ≤ 0,2024/3/26,75,聯(lián)想記憶的結(jié)構(gòu),自聯(lián)想異聯(lián)想雙聯(lián)想記憶（Bidirectional Associative Memory—BAM）。雙聯(lián)想記憶具有一定的泛化能力它對含有一定缺陷的輸入向量，通過對信號的不斷變換、修補，最后給出一個正確的輸出。,2024/3/26,76,基本的聯(lián)想記憶結(jié)構(gòu),2024/3/26,77,網(wǎng)絡運行,Y=F(XW)X=F(YWT)X=(x

38、1，x2，…，xn)Y=(y1，y2，…，ym)F為神經(jīng)元的激活函數(shù)，一般可采用S形函數(shù),2024/3/26,78,激活函數(shù)——閾值函數(shù),隨著λ的增加，該函數(shù)趨近于閾值為0的閾值函數(shù)。 1if neti>0yi= 0if neti<0 yiif neti=0,,2024/3/26,79,基本BAM的穩(wěn)定,Kosko(1987)：基本的雙聯(lián)存儲器無條件穩(wěn)定——聯(lián)接權(quán)矩陣是互為轉(zhuǎn)置矩陣。當輸入

39、向量的維數(shù)與輸出向量的維數(shù)相同時，W為方陣，此時如果聯(lián)接矩陣W是對稱的，則基本的雙聯(lián)存儲器退化成一個Hopfield網(wǎng),2024/3/26,80,異聯(lián)想記憶,樣本集：S={(X1,Y1)，(X2,Y2)…,(Xs,Ys)}權(quán)矩陣,網(wǎng)絡需要對輸入向量進行循環(huán)處理的情況當輸入向量中含有“噪音”樣本集所含的信息超出網(wǎng)絡的容量,2024/3/26,81,容量,Kosko（1987），一般情況下，相聯(lián)存儲器的容量不會超過網(wǎng)絡最小層神經(jīng)元的個

40、數(shù)min Haines和Hecht-Nielson（1988），“非均勻”網(wǎng)絡的容量最多可以達到2min R. J. McEliece、E. C. Posner、E. R. Rodemich用戶隨機地選擇L個狀態(tài)每個向量中有4+log2min個分量為1，其它為-198%的向量成為穩(wěn)定狀態(tài),2024/3/26,82,Hopfield網(wǎng)解決TSP問題,1985年，J. J. Hopfield和D. W. Tank用神經(jīng)網(wǎng)求解TSP

41、。試驗表明，當城市的個數(shù)不超過30時，多可以給出最優(yōu)解的近似解。而當城市的個數(shù)超過30時，最終的結(jié)果就不太理想了 n個城市間存在n!/(2n)條可能路徑 設問題中含有n個城市,用n*n個神經(jīng)元構(gòu)成網(wǎng)絡,2024/3/26,83,Hopfield網(wǎng)解決TSP問題,dxy——城市X與城市Y之間的距離；yxi——城市X的第i個神經(jīng)元的狀態(tài)： 1城市X在第i個被訪問yxi= 0城市X不在第i個被訪問wxi,yj—

42、—城市X的第i個神經(jīng)元到城市Y的第j個神經(jīng)元的連接權(quán)。,,2024/3/26,84,Hopfield網(wǎng)用于解決TSP問題,例如：四個城市X、Y、Z、W,2024/3/26,85,Hopfield網(wǎng)用于解決TSP問題,連接矩陣 wxi,yj= -Aδxy(1-δij) –Bδij(1-δxy) –C –ζdxy(δji+1+δji-1) 1如果i=jδij= 0如果i≠j,,2024/3/26,8

43、6,網(wǎng)絡的能量函數(shù),,2024/3/26,87,網(wǎng)絡的能量函數(shù),僅當所有的城市最多只被訪問一次時取得極小值0。,A、B、C、D為懲罰因子,第1項,2024/3/26,88,網(wǎng)絡的能量函數(shù),僅當每次最多只訪問一個城市時取得極小值0。,第2項,2024/3/26,89,網(wǎng)絡的能量函數(shù),當且僅當所有的n個城市一共被訪問n次時才取得最小值0。,第3項,2024/3/26,90,網(wǎng)絡的能量函數(shù),表示按照當前的訪問路線的安排，所需要走的路徑的總長度

44、,第4項,2024/3/26,91,Hopfield網(wǎng)解決TSP問題,Hopfield網(wǎng)解決TSP問題時顯示了它強大的計算能力，若對10個城市的TSP問題來說，可能存在 n!/2n=10!/20=181440條 它能從近20萬條路線中選出最好的路線，顯示它的計算能力。,2024/3/26,92,概 述,自組織神經(jīng)網(wǎng)絡，又稱為自組織競爭神經(jīng)網(wǎng)絡,特別適合于解決模式分類和識別方面的應用問題。自組織神經(jīng)網(wǎng)絡屬于前向神經(jīng)網(wǎng)絡類

45、型，采用無導師學習算法，自組織特征映射神經(jīng)網(wǎng)絡不僅能夠像自組織競爭神經(jīng)網(wǎng)絡一樣學習輸入的分布情況，而且可以學習神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu)。,2024/3/26,93,概 述,自組織競爭神經(jīng)網(wǎng)絡類型自組織特征映射(self-Organizing Map，SOM)網(wǎng)絡自適應共振理論(Adaptive Resonance Theory，ART)網(wǎng)絡對傳(Counter Propagation，CP)網(wǎng)絡協(xié)同神經(jīng)網(wǎng)絡(Synergetic

46、Neural Network．SNN),2024/3/26,94,自組織特征映射神經(jīng)網(wǎng)絡結(jié)構(gòu),由芬蘭學者Teuvo Kohonen于1981年提出基本上為輸入層和映射層的雙層結(jié)構(gòu),映射層的神經(jīng)元互相連接，每個輸出神經(jīng)元連接至所有輸入神經(jīng)元 Kohonen的思想在本質(zhì)上是希望解決有關外界信息在人腦中自組織地形成概念的問題。,I’m Teuvo Kohonen,2024/3/26,95,SOM網(wǎng)的生物學基礎,Kohone

47、n認為人的大腦有如下特點：1．大腦的神經(jīng)元雖然在結(jié)構(gòu)上相同，但是它們的排序不同。排序不是指神經(jīng)元位置的移動，而是指神經(jīng)元的有關參數(shù)在神經(jīng)網(wǎng)絡受外部輸入刺激而識別事物的過程中產(chǎn)生變動。2．大腦中神經(jīng)元參數(shù)在變動之后形成特定的參數(shù)組織；具有這種特定參數(shù)組織的神經(jīng)網(wǎng)絡對外界的特定事物特別敏感。3．根據(jù)生物學和神經(jīng)生理學，大腦皮層分成多種不同的局部區(qū)域，各個區(qū)域分別管理某種專門的功能，比如聽覺、視覺、思維等。4．大腦中神經(jīng)元的排序受遺傳

48、決定，但會在外界信息的刺激下，不斷接受傳感信號，不斷執(zhí)行聚類過程，形成經(jīng)驗信息，對大腦皮層的功能產(chǎn)生自組織作用，形成新功能。,2024/3/26,96,SOM網(wǎng)的生物學基礎,生物學研究的事實表明，在人腦的感覺通道上，神經(jīng)元的組織原理是有序排列。因此當人腦通過感官接受外界的特定時空信息時，大腦皮層的特定區(qū)域興奮，而且類似的外界信息在對應區(qū)域是連續(xù)映象的。 對于某一圖形或某一頻率的特定興奮過程，神經(jīng)元的有序排列以及對外界信息的連

49、續(xù)映象是自組織特征映射網(wǎng)中競爭機制的生物學基礎。,2024/3/26,97,自組織特征映射神經(jīng)網(wǎng)絡結(jié)構(gòu),SOM神經(jīng)網(wǎng)絡結(jié)構(gòu),2024/3/26,98,SOM網(wǎng)的拓撲結(jié)構(gòu),SOM網(wǎng)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜，輸出層模擬做出響應的大腦皮層。,2024/3/26,99,SOM網(wǎng)的權(quán)值調(diào)整域,SOM網(wǎng)的獲勝神經(jīng)元對其鄰近神經(jīng)元的影響是由近及遠，由興奮逐漸轉(zhuǎn)變?yōu)橐种疲虼似鋵W習算法中不僅獲勝神經(jīng)元本身要調(diào)整權(quán)向量，它周圍的神經(jīng)元

50、在其影響下也要程度不同地調(diào)整權(quán)向量。這種調(diào)整可用三種函數(shù)表示：,2024/3/26,100,SOM網(wǎng)的權(quán)值調(diào)整域,以獲勝神經(jīng)元為中心設定一個鄰域半徑，該半徑圈定的范圍稱為優(yōu)勝鄰域。在SOM網(wǎng)學習算法中，優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調(diào)整權(quán)值。 優(yōu)勝鄰域開始定得很大，但其大小隨著訓練次數(shù)的增加不斷收縮，最終收縮到半徑為零。,2024/3/26,101,自組織特征映射網(wǎng)絡的學習算法,自組織特征映

51、射學習算法原理Kohonen自組織特征映射算法，能夠自動找出輸入數(shù)據(jù)之間的類似度，將相似的輸入在網(wǎng)絡上就近配置。因此是一種可以構(gòu)成對輸入數(shù)據(jù)有選擇地給予響應的網(wǎng)絡。類似度準則歐氏距離,,2024/3/26,102,自組織特征映射網(wǎng)絡的學習算法,,自組織特征映射學習算法步驟(1)網(wǎng)絡初始化用隨機數(shù)設定輸入層和映射層之間權(quán)值的初始值(2)輸入向量把輸入向量輸入給輸入層(3) 計算映射層的權(quán)值向量和輸入向量的距離映射層的神經(jīng)

52、元和輸入向量的距離，按下式給出,,2024/3/26,103,自組織特征映射網(wǎng)絡的學習算法,自組織特征映射學習算法步驟(4) 選擇與權(quán)值向量的距離最小的神經(jīng)元計算并選擇使輸入向量和權(quán)值向量的距離最小的神經(jīng)元，把其稱為勝出神經(jīng)元并記為 ，并給出其鄰接神經(jīng)元集合。 (5)調(diào)整權(quán)值 勝出神經(jīng)元和位于其鄰接神經(jīng)元的權(quán)值，按下式更新： (6)是否達到預先設定的要求如達到要求則算法結(jié)束，否則返回(2)，進入下一輪學習,2024/3

53、/26,104,自組織特征映射網(wǎng)絡的學習算法,鄰域函數(shù)由鄰域函數(shù)可以看到，以獲勝神經(jīng)元為中心設定了一個鄰域半徑，稱為勝出鄰域。學習初期，勝出神經(jīng)元和其附近的神經(jīng)元全部接近當時的輸入向量，形成粗略的映射。 隨著學習的進行而減小，勝出鄰域變窄，勝出神經(jīng)元附近的神經(jīng)元數(shù)變少。因此，學習方法是一種從粗調(diào)整向微調(diào)整變化，最終達到預定目標的過程。,,2024/3/26,105,Kohonen學習算法程序流程,2024/3/26,106,Hi

54、erarchical and Partitive Approaches,Partitive algorithmDetermine the number of clusters.Initialize the cluster centers.Compute partitioning for data.Compute (update) cluster centers.If the partitioning is unchanged

55、(or the algorithm has converged), stop; otherwise, return to step 3k-means error functionTo minimize error function,2024/3/26,107,Hierarchical and Partitive Approaches,Hierarchical clustering algorithm (Dendrogram)Ini

56、tialize: Assign each vector to its own clusterCompute distances between all clusters.Merge the two clusters that are closest to each other.Return to step 2 until there is only one cluster left.Partition strategyCut

57、at different level,2024/3/26,108,Hierarchical SOM,GHSOM – Growing Hierarchical Self-Organizing Mapgrow in size in order to represent a collection of data at a particular level of detail,2024/3/26,109,自組織網(wǎng)絡學習算法的MATLAB實現(xiàn),

58、MATLAB中自組織神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能,2024/3/26,110,自組織網(wǎng)絡學習算法的MATLAB實現(xiàn),MATLAB中自組織神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能newsom()功能 創(chuàng)建一個自組織特征映射網(wǎng)絡函數(shù)格式 net = newsom(PR，[D1，D2，...]，TFCN，DFCN，OLR，OSTEPS，TLR，TND)說明 net為生成的新BP神經(jīng)網(wǎng)絡；PR為網(wǎng)絡輸入矢量取值范圍的矩陣[Pmin Pmax]

59、；[D1，D2，...]為神經(jīng)元在多維空間中排列時各維的個數(shù)；TFCN為拓撲函數(shù)，缺省值為hextop；DFCN為距離函數(shù)，缺省值為linkdist；OLR為排列階段學習速率，缺省值為0.9；OSTEPS為排列階段學習次數(shù)，缺省值為1000；TLR為調(diào)整階段學習速率，缺省值為0.02，TND為調(diào)整階段領域半徑，缺省值為1。,2024/3/26,111,自組織網(wǎng)絡學習算法的MATLAB實現(xiàn),plotsom()功能 繪制自組織特征映射網(wǎng)

60、絡圖的權(quán)值向量 函數(shù)格式 (1) plotsom(pos) (2) plotsom(W，D，ND)說明 式中pos是網(wǎng)絡中各神經(jīng)元在物理空間分布的位置坐標矩陣；函數(shù)返回神經(jīng)元物理分布的拓撲圖，圖中每兩個間距小于1的神經(jīng)元以直線連接；W為神經(jīng)元權(quán)值矩陣；D為根據(jù)神經(jīng)元位置計算出的間接矩陣；ND為領域半徑，缺省值為1；函數(shù)返回神經(jīng)元權(quán)值的分布圖，圖中每兩個間距小于ND的神經(jīng)元以直線連接。,2024/3/26,112,自

61、組織網(wǎng)絡學習算法的MATLAB實現(xiàn),yec2ind()功能 將單值向量組變換成下標向量格式 ind = vec2ind(vec)說明 式中，vec為m行n列的向量矩陣x，x中的每個列向量i，除包含一個1外，其余元素均為0， ind為n個元素值為1所在的行下標值構(gòu)成的一個行向量。,2024/3/26,113,自組織網(wǎng)絡學習算法的MATLAB實現(xiàn),例1 人口分類是人口統(tǒng)計中的一個重要指標，現(xiàn)有1999共10個地區(qū)的人口出生比例情

62、況如下：出生男性百分比分別為：0.5512 0.51230.50870.50010.60120.52980.50000.49650.51030.5003;出生女性百分比分別為：0.4488 0.48770.49130.49990.39880.47020.50000.50350.48970.4997,2024/3/26,114,自組織網(wǎng)絡學習算法的MATLAB實現(xiàn),例1 源程序,2024/

63、3/26,115,例1 SOM網(wǎng)絡權(quán)值分布圖,2024/3/26,116,例1 SOM網(wǎng)絡數(shù)據(jù)分類圖,,,,,,,類別1,類別2,類別5,類別4,類別3,測試數(shù)據(jù)屬于類別5,2024/3/26,117,自組織語義圖,利用詞與詞在文檔中的上下文關系，將詞表示成一個向量，然后用表示詞的向量作為SOM網(wǎng)絡的輸入，聚類，輸出形成一個詞匯類別圖（Word category map） 在這個圖中，意義相近的詞聚在一起，組成一個詞類，詞在詞匯類別圖

64、中的位置可以通過快速Hash的方法查到。,2024/3/26,118,自組織語義圖：一種將詞向量化的方法,在一個文檔集中考慮詞與詞之間的上下文關系。設Ii(d)表示相對于第i個詞位移為d的位置上出現(xiàn)的詞集合（有可能出現(xiàn)多次），例如，Ii(1)表示第i個詞的所有前趨鄰接詞用向量xi表示第i個詞，對位移集{d1,…,dN}： ， 其中， 表示 中詞的數(shù)量 一般地，為計算簡單，只取

65、d=1和d=-1,2024/3/26,119,自組織語義圖：另一種對中文詞匯向量化的方法,對每一個詞，在文檔集合中出現(xiàn)該詞的時候會伴隨一些修飾詞。因此可以用修飾詞來表示該詞，提供該詞的一些語義信息例如對名詞“大學”，會出現(xiàn)一些修飾詞如“本科”、“重點”、“合格”等，則定義，大學={本科，重點，合格，…},2024/3/26,120,自組織語義圖：另一種對中文詞匯向量化的方法,一般地，詞wi(i=1,2,…,N)為： 其中ni表

66、示修飾詞個數(shù) 定義詞wi的向量表示為： 其中， ， ； ， cij表示詞wi和詞wj的修飾詞集合中都出現(xiàn)的修飾詞個數(shù) 將詞用這種向量表示后，作為一個SOM網(wǎng)絡的輸入，可以聚類形成中文語義圖。,2024/3/26,121,自組織語義圖：示例,2024/3/26,122,利用SOM

67、進行文本聚類：預處理,去掉非文本信息去掉在整個文檔集合中出現(xiàn)次數(shù)小于50次的詞去停用詞經(jīng)過上述處理后，詞的個數(shù)由 1 127 184 減少為 63 773,2024/3/26,123,利用SOM進行文本聚類：Word category map,將詞表示成為一個180維的向量，作為一個SOM網(wǎng)絡的輸入，進行聚類最終產(chǎn)生 13 432 個詞類單元（ 63 773 ? 13 432）,2024/3/26,124,利用SOM進行文本聚

68、類：Document map,利用上面產(chǎn)生的詞類將文檔向量化后，每篇文檔表示為一個 13 432 維的向量，再利用隨機映射(Random mapping method)的降維方法，向量維數(shù)減少到 315 維將這 315 維的向量作為一個 SOM 的輸入相關的結(jié)果可以參見http://websom.hut.fi/websom/,2024/3/26,125,利用SOM進行文本聚類,2024/3/26,126,SOM的特點,自組織映射（S

69、elf-organizing Maps，SOM）算法是一種無導師學習方法具有良好的自組織可視化得到了廣泛的應用和研究。,2024/3/26,127,脈沖耦合神經(jīng)網(wǎng)絡,隨著生物神經(jīng)學的研究和發(fā)展，Eckhorn等通過對小型哺乳動物大腦視覺皮層神經(jīng)系統(tǒng)工作機理的仔細研究，提出了一種嶄新的網(wǎng)絡模型??脈沖耦合神經(jīng)網(wǎng)絡模型Pulse-Coupled Neural Network, PCNN )。PCNN來源于對哺乳動物貓的視覺皮層神經(jīng)細胞