1、會計學1神經(jīng)網(wǎng)絡原理及應用神經(jīng)網(wǎng)絡原理及應用5.1.2 5.1.2 人工神經(jīng)網(wǎng)絡的發(fā)展人工神經(jīng)網(wǎng)絡的發(fā)展 - -初始（萌發(fā)）期初始（萌發(fā)）期 MPMP模型模型的提出和人工神經(jīng)網(wǎng)絡的的提出和人工神經(jīng)網(wǎng)絡的興起。興起。19431943年，美國神經(jīng)生理學家年，美國神經(jīng)生理學家Warren MccullochWarren Mcculloch和和數(shù)學家數(shù)學家Walter PittsWalter Pitts合寫了一篇關于神經(jīng)元如何工作的合寫了一篇關于神經(jīng)元如何工作的開拓性文章：開拓性文章：“A Logical Calculus of Ideas A Logical Calculus of Ideas Im

2、manent in Nervous ActivityImmanent in Nervous Activity” ”。 該文指出，該文指出，腦細胞的活動像斷腦細胞的活動像斷/ /通開關通開關，這些細這些細胞可以按各種方式相互結(jié)合，進行各種邏輯運算胞可以按各種方式相互結(jié)合，進行各種邏輯運算。按此想法，他們用電路構(gòu)成了簡單的神經(jīng)網(wǎng)絡模型按此想法，他們用電路構(gòu)成了簡單的神經(jīng)網(wǎng)絡模型，并預言大腦的所有活動最終將被解釋清楚。，并預言大腦的所有活動最終將被解釋清楚。雖然雖然問題并非如此簡單問題并非如此簡單，但它給，但它給人們一個信念人們一個信念，即，即大腦大腦的活動是靠腦細胞的組合連接實現(xiàn)的。的活動是靠腦細

3、胞的組合連接實現(xiàn)的。5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡

4、基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.2 人工神經(jīng)網(wǎng)絡基礎人工神經(jīng)網(wǎng)絡基礎5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡5.3.1單層感知器單層感知器5.3.1.1感知器模型感知器模型 o1 oj om W1 Wj Wm x1 x2 xi xn5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡凈輸入：凈輸入：niiijjmjxwnet1,.,2 , 1輸出：輸出：)()()(XWTjn0iiijjjjsgnxwsgnT

5、netsgnoojx1-1xnj=1,2, ,m Tni,.,x,.x,xx)(21XTmi,.,o,.o,oo)(21OTnjijjjj,.,w,.w,ww)(21W5.3.1單層感知器單層感知器5.3.1.1感知器模型感知器模型5.3.1.2感知器的功能感知器的功能(1)設輸入向量設輸入向量X=(x1 ,x2)T0Txwxw10Txwxw1oj2j21j1j2j21j1j輸出：輸出：則由方程則由方程 w1jx1+w2jx2-Tj=0 確定了二維平面上的一條分界線。確定了二維平面上的一條分界線。ojx1-1x2單計算節(jié)點感知器單計算節(jié)點感知器5.3.1.2感知器的功能感知器的功能 x1 *

6、* * * O * * O * * O O * O x2 * * O O O O5.3.1.2感知器的功能感知器的功能(2)設輸入向量設輸入向量X=(x1,x2,x3)T0101332211332211jjjjjjjjjTxwxwxwTxwxwxwo輸出：輸出：則由方程則由方程 w1jx1+w2jx2+w3j x3Tj=0確定了三維空間上的一個分界平面確定了三維空間上的一個分界平面。 x2ojx1x3-1 x1 * * * * O * * O * * O O * O x2 * * O O O x35.3.1.2感知器的功能感知器的功能5.3.1.2感知器的功能感知器的功能(3) 設輸入向量設輸

7、入向量X=(x1，x2,，xn)T則由方程則由方程 w1jx1+w2jx2+wnj xnTj=0確定了確定了n維空間上的一個分界平面。維空間上的一個分界平面。 輸出：輸出：sgn(w1jx1+w2jx2+wnjxn Tj)5.3.1.2 感知器的功能感知器的功能 一個最簡單的單計算節(jié)點感知器一個最簡單的單計算節(jié)點感知器具有分具有分類功能類功能。其分類原理是。其分類原理是將分類知識存儲于感將分類知識存儲于感知器的權(quán)向量（包含了閾值）中知器的權(quán)向量（包含了閾值）中，由權(quán)向量由權(quán)向量確定的分類判決界面將輸入模式分為兩類。確定的分類判決界面將輸入模式分為兩類。例一例一 用感知器實現(xiàn)邏輯用感知器實現(xiàn)邏輯

8、“與與”功能功能。x1x2y000010100111邏輯邏輯“與與”真值真值表表感知器結(jié)構(gòu)感知器結(jié)構(gòu) x1 0.5 0.5 y x2 0.75 -1w1x1+w2x2 -T=0 0.5x1+0.5x2-0.75=0例一例一 用感知器實現(xiàn)邏輯用感知器實現(xiàn)邏輯“與與”功能功能。 x1 O O O x2例二例二 用感知器實現(xiàn)邏輯用感知器實現(xiàn)邏輯“或或”功能功能。x1x2y000011101111邏輯邏輯“或或”真值表真值表感知器結(jié)構(gòu)感知器結(jié)構(gòu) x1 1 1 y x2 0.5 -1w1x1+w2x2 -T=0 x1+x2-0.5=0例二例二 用感知器實現(xiàn)邏輯用感知器實現(xiàn)邏輯“或或”功能功能。 x1 O

9、 x25.3.1.3 感知器的局限性感知器的局限性問題：能否用感知器實現(xiàn)問題：能否用感知器實現(xiàn)“異或異或”功能？功能？“異或異或”的真值表的真值表x1x2y000011101110 x1 O O x25.3.1.4 感知器的學習算法感知器的學習算法感知器學習規(guī)則的訓練步驟：感知器學習規(guī)則的訓練步驟：(1) 對各權(quán)值對各權(quán)值w0j(0),w1j(0),wnj(0)，j=1, 2,m （m為計算層的節(jié)點數(shù)）賦予較小的非零隨機數(shù)；為計算層的節(jié)點數(shù)）賦予較小的非零隨機數(shù)；(2) 輸入樣本對輸入樣本對Xp,dp，其中，其中Xp=(-1,x1p,x2p,x,xn np p)， dp為期望的輸出向量（教師信

10、號），上標為期望的輸出向量（教師信號），上標p代表代表 樣本對的模式序號，設樣本集中的樣本總數(shù)為樣本對的模式序號，設樣本集中的樣本總數(shù)為P， 則則p=1,2,P,P；5. 3.1.4 感知器的學習算法感知器的學習算法感知器學習規(guī)則的訓練步驟感知器學習規(guī)則的訓練步驟：(3)計算各節(jié)點的實際輸出計算各節(jié)點的實際輸出 ojp(t)=sgnWjT(t)Xp, j=1,2,.,m；(4)調(diào)整各節(jié)點對應的權(quán)值，調(diào)整各節(jié)點對應的權(quán)值，Wj(t+1)= Wj(t)+djp-ojp(t)Xp, j=1, 2,m, 其中其中為學習率，用于控制調(diào)整速度，太大為學習率，用于控制調(diào)整速度，太大 會影響訓練的穩(wěn)定性，太小

11、則使訓練的收斂速度變慢，會影響訓練的穩(wěn)定性，太小則使訓練的收斂速度變慢， 一般取一般取0 011；(5)返回到步驟返回到步驟(2)輸入下一對樣本，周而復始直到對所有輸入下一對樣本，周而復始直到對所有 樣本，感知器的實際輸出與期望輸出相等。樣本，感知器的實際輸出與期望輸出相等。5.3.1.4 感知器的學習算法感知器的學習算法例三例三 單計算節(jié)點感知器，單計算節(jié)點感知器，3個輸入。給定個輸入。給定3對訓練樣本對對訓練樣本對如下：如下：X1 = (-1，1，-2，0)T d1 = 1X2 = (-1，0，1.5，-0.5)T d2 = 1X3 = (-1，-1，1，0.5)T d3 =1 設初始權(quán)向

12、量設初始權(quán)向量W(0)=(0.5,1,-1,0)T，=0.1=0.1。注意，輸入向注意，輸入向量中第一個分量量中第一個分量 x0 恒等于恒等于-1，權(quán)向量中第一個分量為閾值，試根據(jù)，權(quán)向量中第一個分量為閾值，試根據(jù)以上學習規(guī)則訓練該感知器。以上學習規(guī)則訓練該感知器。解：第一步解：第一步 輸入輸入X1，得得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 o1(0)=sgn(2.5)=1 W(1)= W(0)+d1- o1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T5.3.1.4 感知器的學

13、習算法感知器的學習算法第二步第二步 輸入輸入X2，得，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T= -1.6 o2(1)=sgn(-1.6)= -1 W(2)= W(1)+d2- o2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T由于由于d2= o2(1)，所以，所以W(2)= W(1)。5.3.1.4 感知器的學習算法感知器的學習算法第三步第三步 輸入輸入X3，得，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T= -2.1

14、 O3(2)=sgn(-2.1)= -1W(3)= W(2)+d3- o3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T第四步第四步 返回到第一步，繼續(xù)訓練直到返回到第一步，繼續(xù)訓練直到 d p- o p = 0，p=1,2,3。5.3.1.4 感知器的學習算法感知器的學習算法5.3.2 多層感知器多層感知器 o T3 y1 y2 -1 w11 w21 w22 T1 T2 w12 -1 x1 x2 雙層感知器雙層感知器 x1 S1 O S2 O x2“異或異或”問題分類問題分類例四例四 用兩計算層感知

15、器解用兩計算層感知器解決決“異或異或”問題。問題?！爱惢虍惢颉钡恼嬷当淼恼嬷当韝1x2y1y2o0010111001115.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡 o T3 y1 y2 -1 w11 w21 w22 T1 T2 w12 -1 x1 x2 雙層感知器雙層感知器 x1 S1 O S2 O x2“異或異或”問題分類問題分類例四例四 用兩計算層感知器解用兩計算層感知器解決決“異或異或”問題。問題?！爱惢虍惢颉钡恼嬷当淼恼嬷当韝1x2y1y2o0010101011115.3.2 多層感知器多層感知器5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡 o T3 y1 y2 -1 w11 w21 w22 T1 T2 w

16、12 -1 x1 x2 雙層感知器雙層感知器 x1 S1 O S2 O x2“異或異或”問題分類問題分類例四例四 用兩計算層感知器解用兩計算層感知器解決決“異或異或”問題。問題。“異或異或”的真值表的真值表x1x2y1y2o00110110100111115.3.2 多層感知器多層感知器5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡 o T3 y1 y2 -1 w11 w21 w22 T1 T2 w12 -1 x1 x2 雙層感知器雙層感知器 x1 S1 O S2 O x2“異或異或”問題分類問題分類例四例四 用兩計算層感知器解用兩計算層感知器解決決“異或異或”問題。問題?！爱惢虍惢颉钡恼嬷当淼恼嬷当韝1x

17、2y1y2o001100110110011111105.3.2 多層感知器多層感知器5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡 (a)開域 (b)閉域 5.3.2 多層感知器多層感知器5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡具有不同隱層數(shù)的感知器的分類能力對比具有不同隱層數(shù)的感知器的分類能力對比 感知器結(jié)構(gòu) 異或問題 復雜問題 判決域形狀 判決域 無隱層 半平面 單隱層 凸 域 雙隱層 任意復雜 形狀域5.3.2 多層感知器多層感知器5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡5.3.4 誤差反傳（誤差反傳（BPBP）算法）算法5.3.4.1 基于基于BP算法的多層前饋網(wǎng)絡模型算法的多層前饋

18、網(wǎng)絡模型 o1 ok ol W1 Wk Wl y1 y2 yj ym V1 Vm x1 x2 xi xn-1 xn輸入向量：輸入向量： X=(x1,x2,xi,xn)T隱層輸出向量：隱層輸出向量： Y=(y1,y2,yj,ym)T輸出層輸出向量：輸出層輸出向量： O=(o1,o2,ok,ol)T期望輸出向量：期望輸出向量：d=(d1, d2,dk,dl)T輸入層到隱層之間的權(quán)值矩陣：輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,Vj,Vm)隱層到輸出層之間的權(quán)值矩陣：隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,Wk,Wl)5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡5.3.4 誤差反傳（誤差反傳（BPB

19、P）算法）算法5.3.4.1 基于基于BP算法的多層前饋網(wǎng)絡模型算法的多層前饋網(wǎng)絡模型5.3.4.1 基于基于BP算法的多層前饋網(wǎng)絡模型算法的多層前饋網(wǎng)絡模型)(kknetfo對于輸出層對于輸出層：k=1,2,lm0jjjkkywnetk=1,2,l對于隱層對于隱層：j=1,2,mj=1,2,m)(jjnetfyn0iiijjxvnet5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡5.3.4 誤差反傳（誤差反傳（BPBP）算法）算法 o1 ok ol W1 Wk Wl y1 y2 yj ym V1 Vm x1 x2 xi xn-1 xn雙極性雙極性Sigmoid函數(shù)：函數(shù)：xxe1e1xf)(單極性單極性S

20、igmoid函數(shù)：函數(shù)：xe11xf)(5.3.4.1 基于基于BP算法的多層前饋網(wǎng)絡模型算法的多層前饋網(wǎng)絡模型5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡5.3.4 誤差反傳（誤差反傳（BPBP）算法）算法5.3.4.2 BP學習算法學習算法一、網(wǎng)絡誤差一、網(wǎng)絡誤差 定義與權(quán)值調(diào)整思路定義與權(quán)值調(diào)整思路輸出誤差輸出誤差E定義：定義：221E)(Od l1k2kkod21)(將以上誤差定義式展開至隱層：將以上誤差定義式展開至隱層：l1k2kknetfd21E)(l1k2m0jjjkkywfd21)(5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡5.3.4 誤差反傳（誤差反傳（BPBP）算法）算法一、網(wǎng)絡誤差與權(quán)值調(diào)整一

21、、網(wǎng)絡誤差與權(quán)值調(diào)整進一步展開至輸入層：進一步展開至輸入層：l1k2m0jjjkknetfwfd21E)(l1k2m0jn0iiijjkkxvfwfd21)(3.4.8)5.3.4.2 BP學習算法學習算法5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡5.3.4 誤差反傳（誤差反傳（BPBP）算法）算法jkjkwEwj=0,1,2,m; k=1,2,l (3.4.9a)ijijvEvi=0,1,2,n; j=1,2,m (3.4.9b)式中負號表示梯度下降，常數(shù)式中負號表示梯度下降，常數(shù)(0,1)表示比例系數(shù)。表示比例系數(shù)。在全部推導過程中，對輸出層有在全部推導過程中，對輸出層有j=0,1,2,m; k=1

22、,2,l 對隱層有對隱層有 i=0,1,2,n; j=1,2,m5.3.4.2 BP學習算法學習算法5.3 前饋神經(jīng)網(wǎng)絡前饋神經(jīng)網(wǎng)絡5.3.4 誤差反傳（誤差反傳（BPBP）算法）算法5.3.4.2 BP學習算法學習算法二、二、BP算法推導算法推導對于輸出層，式對于輸出層，式(3.4.9a)可寫為可寫為jkkkjkjkwnetnetEwEw(3.4.10a)對隱層，式對隱層，式(3.4.9b)可寫為可寫為(3.4.10b)ijjjijijvnetnetEvEv對輸出層和隱層各定義一個誤差信號，令對輸出層和隱層各定義一個誤差信號，令 koknetE(3.4.11a)jyjnetE(3.4.11b

23、)yjxi綜合應用上式，可將式綜合應用上式，可將式 (3.4.10a)的權(quán)值調(diào)整式改寫為的權(quán)值調(diào)整式改寫為同理，可將式同理，可將式 (3.4.10b)的權(quán)值調(diào)整式改寫為的權(quán)值調(diào)整式改寫為(3.4.12a)jokjkyw（3.4.12b)iyjijxv可以看出，只要計算出式可以看出，只要計算出式(3.4.12)中的誤差信號中的誤差信號 o和和 y，權(quán)值調(diào)整量的計算推導即可完成。下面繼續(xù)推導如，權(quán)值調(diào)整量的計算推導即可完成。下面繼續(xù)推導如何求何求誤差信號誤差信號 o和和 y 。對于輸出層，對于輸出層， o可展開為可展開為對于隱層，對于隱層， y可展開為可展開為下面求式下面求式(3.4.13)中網(wǎng)絡

24、誤差對各層輸出的偏導。中網(wǎng)絡誤差對各層輸出的偏導。(3.4.13a)( kkkkkkoknetfoEnetooEnetE（3.4.13b)( jjjjjjyjnetfyEnetyyEnetE對于輸出層：對于輸出層：對于隱層，利用式對于隱層，利用式(3.4.7)：l1k2kkod21E)(（3.4.14a)(kkkodoE可得：可得：（3.4.14b)l1kjkkkkjwnetfodyE)()(可得：可得：l1k2m0jjjkkywfd21E)(將以上結(jié)果代入式將以上結(jié)果代入式xe11xf)()()(kkkkoko1ood（3.4.15a)得到：得到：（3.4.15b)()()(jl1kjkkk

25、kyjnetfwnetfod)()(jjl1kjkok-y1yw至此兩個誤差信號的推導已完成。至此兩個誤差信號的推導已完成。并應用式并應用式)( kkoknetfoE同理同理將式將式(3.4.15)代回到式代回到式(3.4.12)，得到三層前饋網(wǎng)的，得到三層前饋網(wǎng)的BP學學習算法權(quán)值調(diào)整計算公式為：習算法權(quán)值調(diào)整計算公式為：jkkkkjokjkyo1oodyw)()(ijjl1kjkokiyjijxy1ywxv)()(3.4.16a)(3.4.16b)(kknetfom0jjjkkywnet)(jjnetfyn0iiijjxvnetxe11xf)(l1k2kkod21E)(l1k2kknetf

26、d21)(l1k2m0jjjkkywfd21)(l1k2m0jjjkknetfwfd21)(l1k2m0jn0iiijjkkxvfwfd21)(koknetEjkkkjkjkwnetnetEwEwijjjijijvnetnetEvEvjyjnetEjokjkywiyjijxv5.3.4.3 BP算法的程序?qū)崿F(xiàn)算法的程序?qū)崿F(xiàn)(1)初始化；初始化； P1ppP1RMEEE(4)計算各層誤差信號；計算各層誤差信號； (5)調(diào)整各層權(quán)值；調(diào)整各層權(quán)值； (6)檢查是否對所有樣本完成一次檢查是否對所有樣本完成一次 輪訓；輪訓； (7)檢查網(wǎng)絡總誤差是否達到精檢查網(wǎng)絡總誤差是否達到精 度要求。度要求。 (

27、2)輸入訓練樣本對輸入訓練樣本對X Xp、d dp計算各層輸出；計算各層輸出；(3)計算網(wǎng)絡輸出誤差；計算網(wǎng)絡輸出誤差；5.3.4.4 多層前饋網(wǎng)多層前饋網(wǎng)(感知器感知器)的主要能力的主要能力(1)(1)非線性映射能力非線性映射能力 多層前饋網(wǎng)能學習和存貯大量輸入多層前饋網(wǎng)能學習和存貯大量輸入- -輸出模輸出模式映射關系，而無需事先了解描述這種映射關式映射關系，而無需事先了解描述這種映射關系的數(shù)學方程。只要能提供足夠多的樣本模式系的數(shù)學方程。只要能提供足夠多的樣本模式供供BPBP網(wǎng)絡進行學習訓練，它便能完成由網(wǎng)絡進行學習訓練，它便能完成由n n 維輸維輸入空間到入空間到m m 維輸出空間的非線

28、性映射。維輸出空間的非線性映射。(2)(2)泛化能力泛化能力 當向網(wǎng)絡輸入訓練時未曾見過的非樣本數(shù)據(jù)當向網(wǎng)絡輸入訓練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡也能完成由輸入空間向輸出空間的正確時，網(wǎng)絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。映射。這種能力稱為多層前饋網(wǎng)的泛化能力。(3)(3)容錯能力容錯能力 輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡的輸入輸出規(guī)律影響很小。絡的輸入輸出規(guī)律影響很小。5.3.4.4 多層前饋網(wǎng)多層前饋網(wǎng)(感知器感知器)的主要能力的主要能力5.3.4.5 誤差曲面與誤差曲面與BP算法的局限性算法的局限性

29、 誤差函數(shù)的可調(diào)整參數(shù)的誤差函數(shù)的可調(diào)整參數(shù)的個數(shù)個數(shù) nw 等于各層權(quán)值數(shù)加上等于各層權(quán)值數(shù)加上閾值數(shù)，即：閾值數(shù)，即：) 1() 1(mlnmnw 誤差誤差 E 是是 nw+1 維空間中維空間中一個形狀極為復雜的曲面，該一個形狀極為復雜的曲面，該曲面上的每個點的曲面上的每個點的“高度高度”對對應于一個誤差值，每個點的坐應于一個誤差值，每個點的坐標向量對應著標向量對應著 nw 個權(quán)值，因此個權(quán)值，因此稱這樣的空間為誤差的權(quán)空間稱這樣的空間為誤差的權(quán)空間。誤差曲面的分布有兩個特點：誤差曲面的分布有兩個特點：特點之一：存在平坦區(qū)域特點之一：存在平坦區(qū)域 5.3.4.5誤差曲面與誤差曲面與BP算法的局限性算法的局限性特點之二：存在多個極小點特點之二：存在多個極小點 多數(shù)極小點都是多數(shù)極小點都是局部極小局部極小，即使，即使是全局極小往往也不是唯一的，但其是全局極小往往也不是唯一的，但其特點都是誤差梯度為零。特點都是誤差梯度為零。 誤差曲面的平坦區(qū)域誤差曲面的平坦區(qū)域