1、6.2 前饋型人工神經(jīng)網(wǎng)絡(luò)如前所述，前饋型人工神經(jīng)網(wǎng)絡(luò)是多層排列的，信號由輸入層到輸出層單向傳輸?shù)木W(wǎng)絡(luò)模型。與神經(jīng)網(wǎng)絡(luò)研究初期提出的感知器模型原理上是完全一樣的。由于八十年代提出的Back Propagation 網(wǎng)絡(luò)學(xué)習(xí)算法，使之成為當(dāng)今應(yīng)用最廣泛的一種人工神經(jīng)網(wǎng)絡(luò)模型。前饋（亦稱前向）型網(wǎng)絡(luò)結(jié)構(gòu)上是分層的，其信息只能從輸入層單元向上傳輸?shù)剿厦嬉粚拥膯卧?，然后再向前，一層一層地傳輸。第一層的單元與第二層所有的單元相連，第二層又與其上一層所有的單元相連。在前饋網(wǎng)絡(luò)中的神經(jīng)單元輸入與輸出的關(guān)系，可采用線性閾值傳遞函數(shù)或單調(diào)上升的非線性傳遞函數(shù)。6.2.1 線性閾值單元 線性閾值傳遞函數(shù)是前饋網(wǎng)

2、絡(luò)中最基本的計(jì)算單元形式。圖6-8 線性閾值單元t6-8_swf.htm它具有n個(gè)輸入x1,x2,xn，一個(gè)輸出 ，n個(gè)權(quán)值w1,w2,wn，且 令X=(x1,x2,xn)T，W=(w1,w2,wn)，則 Y=sgn(WX-)其中 這里要說明一下：（1） xi一般為其它單元的輸出，值常取為1, 0.（2） 如果令X=(X,1)T且W=(W,)，則Y=sgn(WX)6.2.2 感知器 感知器（Perceptron）是由美國學(xué)者F. Rosenblatt于1957年提出的，它是一個(gè)由最簡單的線性閾值元件組成的單層（或多層）神經(jīng)元的神經(jīng)網(wǎng)絡(luò)。如右圖所示：圖6-9 感知器單元模型t6-9_swf.ht

3、m當(dāng)輸入的加權(quán)和大于或等于閾值時(shí)，輸出為1，否則為0。模型假定神經(jīng)元中間的耦合程度（即加權(quán)系數(shù)W）可變，這樣，該模型可以學(xué)習(xí)。當(dāng)它用于兩類模式的分類時(shí)，相當(dāng)于在高維樣本空間中，用一個(gè)超平面將兩類樣本分開。Rosenblatt給出了相應(yīng)的學(xué)習(xí)算法，并證明如果兩類模式是線性可分的（指存在一個(gè)超平面能夠?qū)⑺鼈兎珠_），則算法一定收斂，也就是說W一定存在；否則，判定邊界會產(chǎn)生振蕩。1957年感知器及其學(xué)習(xí)算法的提出，是人工神經(jīng)網(wǎng)絡(luò)研究的重大發(fā)現(xiàn)。F. Rosenblatt成功地用其模擬和分析了動物和人的感知、學(xué)習(xí)能力?？梢苑Q為是人類歷史上第一個(gè)真正的人工神經(jīng)網(wǎng)絡(luò)，因?yàn)镕. Rosenblatt在IBM7

4、04計(jì)算機(jī)上進(jìn)行了網(wǎng)絡(luò)模型模擬，從學(xué)習(xí)結(jié)果上可以看到感知器有能力通過學(xué)習(xí)達(dá)到正確分類的結(jié)果，可以也稱該模型為一個(gè)學(xué)習(xí)機(jī)。感知器學(xué)習(xí)算法一個(gè)神經(jīng)網(wǎng)絡(luò)模型的設(shè)計(jì)包括：決定采用何種網(wǎng)絡(luò)模型，網(wǎng)絡(luò)的結(jié)構(gòu)，神經(jīng)元的傳輸函數(shù)，如果是多層前饋網(wǎng)絡(luò)要決定網(wǎng)絡(luò)的層數(shù)，各層的神經(jīng)元個(gè)數(shù)。接下來就是采用相應(yīng)的學(xué)習(xí)算法，進(jìn)行學(xué)習(xí)（訓(xùn)練），使其具備預(yù)期的功能。學(xué)習(xí)：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是神經(jīng)網(wǎng)絡(luò)參數(shù)的設(shè)定過程。一個(gè)神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)確定之后，需要對一系列參數(shù)（權(quán)重、閾值等）進(jìn)行有效的設(shè)定。這個(gè)過程叫做學(xué)習(xí)或訓(xùn)練過程，此時(shí)的方法叫學(xué)習(xí)算法。學(xué)習(xí)算法_swf.htm這里給出的是單層網(wǎng)絡(luò)（沒有中間層）的學(xué)習(xí)算法。為方便起見，將閾

5、值（它也同樣需要學(xué)習(xí)）并入權(quán)重矩陣W中，令w0=，X向量也相應(yīng)的增加一個(gè)分量x0=-1，這樣網(wǎng)絡(luò)的輸出Y由下列公式表示：具體學(xué)習(xí)算法如下：1). 給定初始值：賦給wi(0)各一個(gè)較小的隨機(jī)非零值，這里wi(t)為t時(shí)刻第i個(gè)輸入上的權(quán)值(1in)，w0(t)為t時(shí)刻的閾值；2). 輸入一樣本X=(-1， x1, x2,xn,)和它的希望輸出D;3). 計(jì)算實(shí)際輸出4). 修正權(quán)重W 其中01用于控制修正速度。 通常不能太大，因?yàn)樘髸绊憌i(t)的穩(wěn)定，也不能太小，因?yàn)樘箇i(t)的收斂速度太慢。若實(shí)際輸出與期望的輸出值相同時(shí)，wi(t)不變；5). 轉(zhuǎn)到2)直到W對一切樣本均穩(wěn)定不變

6、為止。一般神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是在學(xué)習(xí)樣本的指導(dǎo)下進(jìn)行的。不同的學(xué)習(xí)方法對學(xué)習(xí)樣本有不同的要求。在感知器學(xué)習(xí)算法中，要求每個(gè)學(xué)習(xí)樣本要有已知的標(biāo)準(zhǔn)答案，也稱作教師信號。而參數(shù)（權(quán)值）的修正是根據(jù)實(shí)際輸出值與理想輸出值（由教師信號決定）的差值進(jìn)行。系統(tǒng)參數(shù)變化趨于穩(wěn)定標(biāo)志著學(xué)習(xí)進(jìn)程的收斂。6.2.3 前饋神經(jīng)網(wǎng)絡(luò)及BP（反向傳播）學(xué)習(xí)算法可以簡單地將前饋神經(jīng)網(wǎng)絡(luò)看作是一個(gè)多層的感知器。由于該種網(wǎng)絡(luò)多采用BP學(xué)習(xí)算法進(jìn)行訓(xùn)練，有時(shí)也被稱為BP網(wǎng)絡(luò)。前饋神經(jīng)網(wǎng)絡(luò)模型的輸入輸出關(guān)系與單層感知器完全相同。前一層的輸出是下一層的輸入。該種網(wǎng)絡(luò)多采用BP學(xué)習(xí)算法進(jìn)行訓(xùn)練， BP學(xué)習(xí)算法要求神經(jīng)元模型的傳遞函數(shù)為有

7、界連續(xù)可微函數(shù)如sigmoid函數(shù)。由具有這種傳遞函數(shù)的神經(jīng)元組成的網(wǎng)絡(luò)，通過學(xué)習(xí)可以用一個(gè)連續(xù)的超曲面（而不僅僅是一個(gè)超平面）來完成劃分輸入樣本空間的功能。在輸入樣本空間復(fù)雜的情況下，可根據(jù)要求，采用n層網(wǎng)絡(luò)結(jié)構(gòu)。此時(shí)學(xué)習(xí)后的網(wǎng)絡(luò)可以以n-1個(gè)超曲面構(gòu)成一個(gè)符合曲面，完成復(fù)雜的分類任務(wù)。彌補(bǔ)了單層感知器的缺陷。在不考慮結(jié)果規(guī)模的前提下，基于BP算法，依據(jù)大量樣本通過逐步調(diào)整神經(jīng)元之間的連接權(quán)重來構(gòu)造網(wǎng)絡(luò)，理論上，多層前饋網(wǎng)絡(luò)可以模擬任意的輸出函數(shù)的。即可以完成任意復(fù)雜的分類任務(wù)。sigmoid函數(shù)。形如：注意：理論和實(shí)際是有差距的。主要原因有：學(xué)習(xí)樣本不能保證絕對的覆蓋整個(gè)樣本空間；學(xué)習(xí)過程

8、不能保證一定收斂到系統(tǒng)的全局最小值點(diǎn)；網(wǎng)絡(luò)的規(guī)模的設(shè)計(jì)沒有理論依據(jù)，因此不能夠保證其容量一定滿足該實(shí)際應(yīng)用的需要。前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如下圖所示。 圖6-10 前饋神經(jīng)網(wǎng)絡(luò)模型前饋模型_swf.htmBP網(wǎng)絡(luò)不僅有輸入層節(jié)點(diǎn)、輸出層節(jié)點(diǎn)，而且還有隱層節(jié)點(diǎn)（可以是一層或多層）。對于輸入信號，要先向前傳播到隱節(jié)點(diǎn)，經(jīng)過轉(zhuǎn)移函數(shù)后，再把隱節(jié)點(diǎn)的輸出信息傳播到輸出節(jié)點(diǎn)，最后給出輸出結(jié)果。節(jié)點(diǎn)的轉(zhuǎn)移函數(shù)通常選取S型函數(shù)，如這個(gè)算法的學(xué)習(xí)過程，由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經(jīng)隱節(jié)點(diǎn)單元逐層處理，并傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期

9、望的輸出，則轉(zhuǎn)入反向傳播過程，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的連接權(quán)值，使得誤差信號遞減至最小。設(shè)有含n個(gè)節(jié)點(diǎn)的任意網(wǎng)絡(luò)，各節(jié)點(diǎn)的轉(zhuǎn)移函數(shù)為Sigmoid函數(shù)。為簡單起見，認(rèn)為網(wǎng)絡(luò)只有一個(gè)輸出y，任一節(jié)點(diǎn)i的輸出為Oi；并設(shè)有N個(gè)樣本(Xk,Yk)(k=1,2,N)，對某一輸入Xk，網(wǎng)絡(luò)的理想輸出為Yk，節(jié)點(diǎn)i的輸出為Oik，節(jié)點(diǎn)j的輸入為節(jié)點(diǎn)j的輸出為使用平方型誤差函數(shù)其中，為網(wǎng)絡(luò)的實(shí)際輸出，定義 于是，考慮如右頁所示的兩種情況計(jì)算jk1) 當(dāng)j為輸出節(jié)點(diǎn)時(shí)： 2) 當(dāng)j不是輸出節(jié)點(diǎn)時(shí)：因此， 我們可以采用下式修正權(quán)值：BP算法的過程如右圖6-11所示：BP算法存在的問題

10、：1) 從數(shù)學(xué)的角度，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)是一個(gè)非線性優(yōu)化問題，這就不可避免的存在有局部極小問題；2) 學(xué)習(xí)算法收斂的速度較慢，尤其是當(dāng)網(wǎng)絡(luò)規(guī)模達(dá)到一定規(guī)模之后；3) 網(wǎng)絡(luò)訓(xùn)練結(jié)束，正常運(yùn)行時(shí)，采用的是單向傳播的方式，沒有反饋機(jī)制可提供在線學(xué)習(xí)；4) 訓(xùn)練樣本的順序有可能影響學(xué)習(xí)速度和精度，新加入的樣本會影響到已經(jīng)學(xué)完的樣本。圖6-11 BP算法框圖t6-11_swf.htmBP學(xué)習(xí)算法是一個(gè)依據(jù)梯度下降理論的很有效的算法，許多問題都可由它來解決。BP算法將一組樣本的分類問題轉(zhuǎn)變?yōu)橐粋€(gè)系統(tǒng)非線性優(yōu)化問題，采用優(yōu)化中最普遍的梯度下降法，用迭代運(yùn)算求解神經(jīng)元之間的連接權(quán)值，加入隱層節(jié)點(diǎn)使優(yōu)化問題的可調(diào)參數(shù)

11、數(shù)目增加，從而可得到更精確的解。親愛的用戶：煙雨江南，畫屏如展。在那桃花盛開的地方，在這醉人芬芳的季節(jié)，愿你生活像春天一樣陽光，心情像桃花一樣美麗，感謝你的閱讀。1、最困難的事就是認(rèn)識自己。20.10.810.8.202022:4122:41:0510月-2022:412、自知之明是最難得的知識。二二二二年十月八日2020年10月8日星期四3、越是無能的人，越喜歡挑剔別人。22:4110.8.202022:4110.8.202022:4122:41:0510.8.202022:4110.8.20204、與肝膽人共事，無字句處讀書。10.8.202010.8.202022:4122:4122:41:0522:41:055、三軍可奪帥也。星期四, 十月 8, 2020十月 20星期四, 十月 8,