1、BP神經(jīng)網(wǎng)絡(luò)重難點(diǎn)BP神經(jīng)網(wǎng)絡(luò)PPT人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 是生物神經(jīng)網(wǎng)絡(luò)的某種模型是生物神經(jīng)網(wǎng)絡(luò)的某種模型( (數(shù)學(xué)模型數(shù)學(xué)模型) ) 是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模仿是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模仿 基本處理單元為人工神經(jīng)元基本處理單元為人工神經(jīng)元 大量大量的廣泛、復(fù)雜連接，形成的廣泛、復(fù)雜連接，形成實(shí)現(xiàn)各種智能活動(dòng)實(shí)現(xiàn)各種智能活動(dòng) (2)(2)生物神經(jīng)元的基本特征生物神經(jīng)元的基本特征 神經(jīng)元之間彼此神經(jīng)元之間彼此 神經(jīng)元之間的連接強(qiáng)度決定神經(jīng)元之間的連接強(qiáng)度決定的強(qiáng)弱的強(qiáng)弱 神經(jīng)元之間的神經(jīng)元之間的可以可以 學(xué)習(xí)、遺忘、疲勞學(xué)習(xí)、遺忘、疲勞 -神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間，按外部的激勵(lì)，按

2、外部的激勵(lì)信號(hào)做信號(hào)做 信號(hào)可以起信號(hào)可以起作用，也可以起作用，也可以起作用作用 一個(gè)神經(jīng)元接受信號(hào)的一個(gè)神經(jīng)元接受信號(hào)的決定該神經(jīng)元的決定該神經(jīng)元的 每個(gè)神經(jīng)元可以有一個(gè)每個(gè)神經(jīng)元可以有一個(gè)是是對(duì)對(duì)的的模模擬擬。 大大量量簡(jiǎn)簡(jiǎn)單單的的以以某某種種形形式式連連接接，形形成成一一個(gè)個(gè). . 其其中中某某些些因因素素，如如: :連連接接連連接接，其其大大小小決決定定信信號(hào)號(hào)傳傳遞遞強(qiáng)強(qiáng)弱弱) ); ; , ,神神經(jīng)經(jīng)元元的的輸輸入入輸輸出出特特性性) ); ;甚甚至至等等， 可可依依某某種種規(guī)規(guī)則則隨隨外外部部數(shù)數(shù)據(jù)據(jù) 進(jìn)進(jìn)人人工工神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò)計(jì)計(jì)算算單單元元（結(jié)結(jié)點(diǎn)點(diǎn)，神神經(jīng)經(jīng)元元）網(wǎng)網(wǎng)絡(luò)絡(luò)

3、強(qiáng)強(qiáng)度度行行適適當(dāng)當(dāng)調(diào)調(diào)整整，最最終終實(shí)實(shí)現(xiàn)現(xiàn)某某種種功功能能。 ( (權(quán)權(quán)值值結(jié)結(jié)點(diǎn)點(diǎn) 神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò)計(jì)計(jì)算算特特性性( (激激活活特特性性網(wǎng)網(wǎng)絡(luò)絡(luò)結(jié)結(jié)的的計(jì)計(jì)算算通通過過網(wǎng)網(wǎng)絡(luò)絡(luò)結(jié)結(jié)構(gòu)構(gòu)實(shí)實(shí)現(xiàn)現(xiàn)； 生生 物物神神經(jīng)經(jīng) 構(gòu)構(gòu)系系 統(tǒng)統(tǒng) 不不同同網(wǎng)網(wǎng)絡(luò)絡(luò)結(jié)結(jié)構(gòu)構(gòu)可可以以體體現(xiàn)現(xiàn)各各種種不不同同的的功功能能； 網(wǎng)網(wǎng)絡(luò)絡(luò)結(jié)結(jié)構(gòu)構(gòu)的的是是通通過過逐逐漸漸參參數(shù)數(shù)學(xué)學(xué)習(xí)習(xí)修修正正的的。McCulloch-PittsMcCulloch-Pitts神經(jīng)元模型神經(jīng)元模型輸入信號(hào)；鏈接強(qiáng)度與權(quán)向量；輸入信號(hào)；鏈接強(qiáng)度與權(quán)向量；信號(hào)累積信號(hào)累積激活與抑制激活與抑制00權(quán)值，激活 連接權(quán)值，突觸連接強(qiáng)度權(quán)值，抑

4、制 輸入信號(hào)關(guān)于神經(jīng)元突觸的線性加權(quán) 將神經(jīng)元的輸出信號(hào)限制在有限范圍內(nèi) 一組連接 一個(gè)加法器一個(gè)激勵(lì)函數(shù)人工神經(jīng)元模型的三要素 :,.,.,1n1ni= xx=,維輸入向量 是來自其它 個(gè)神經(jīng)元的輸出； 也可以是來自外部的輸入信號(hào)維權(quán)向量 相當(dāng)于突觸的連接強(qiáng)度。TTnxxnnWR輸輸 入入信信號(hào)號(hào)權(quán)權(quán)向向量量1()iinetxynet 單調(diào)增函數(shù)，通常為非線性函數(shù)網(wǎng)絡(luò)輸入 -神經(jīng)元的輸入興奮總量是多個(gè)輸入的代數(shù)和 其中輸出 標(biāo)量 -執(zhí)行該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換niW xf 轉(zhuǎn)轉(zhuǎn)移移函函數(shù)數(shù), ,激激勵(lì)勵(lì) 激激活活 函函數(shù)數(shù) 傳傳輸輸函函數(shù)數(shù)，輸輸出出函函數(shù)數(shù)，限限幅幅函函數(shù)數(shù) 將將可可

5、能能的的無無線線域域變變換換到到指指定定的的有有限限范范圍圍輸輸出出。-單單輸輸出出()()傳傳遞遞函函數(shù)數(shù)(1) (1) 基本的人工神經(jīng)元模型基本的人工神經(jīng)元模型1()iinetbpbynet若帶偏置量，則有 標(biāo)量niW pf-單單輸輸出出()()(2) (2) 輸出函數(shù)輸出函數(shù)f0,f net = k net+cnetf netnetnetnet ： 為常數(shù)，稱飽和值，是該神經(jīng)單元的最大輸出； 輸出函數(shù)值限制在范圍內(nèi)。(Ramp Function)bkbbb bA.線性函數(shù)B.非線性斜數(shù) 函 面(2) (2) 輸出函數(shù)輸出函數(shù)f, ,1 net0f net = sgn net =-1 ne

6、t 0hardlims netf net =- net 型函數(shù)，不可微；對(duì)稱硬極限函數(shù)； 雙極函數(shù) 函數(shù) 其中非負(fù)實(shí)數(shù) signmatlabC.符號(hào)函數(shù)D.閾值函數(shù)(2) (2) 輸出函數(shù)輸出函數(shù)f210112()11.11netnetnetnetnetnetlogsignetnet 一些重要的學(xué)習(xí)算法要求輸出函數(shù)可微 ， 值域， 對(duì)數(shù)S型函數(shù)雙曲 函數(shù)： 值域， 函正切S數(shù)型函數(shù)netfematlabeeftheE sigmoidSeematlab函數(shù)型函數(shù)連續(xù)可微tansig：非線性，單調(diào)； 無限次可微較小時(shí)(權(quán)值較小)，可近似線性函數(shù) -高增益區(qū)處理小信號(hào)較大時(shí)(權(quán)值較大)，可近似閾值函

7、數(shù). -低增益區(qū)處理大信號(hào)netnet()網(wǎng)絡(luò)結(jié)構(gòu)或拓?fù)?連接形式)神經(jīng)元的計(jì)算特性 傳遞函數(shù)學(xué)習(xí)規(guī)則上述要素不同組合，形成各種神經(jīng)網(wǎng)絡(luò)模型3. 人工神經(jīng)網(wǎng)絡(luò)三個(gè)要素 23HopfieldSOM.1 網(wǎng)絡(luò) 神經(jīng)網(wǎng)絡(luò)feedfroward networkfeedback networkcompetitive learning network4 神經(jīng)網(wǎng)絡(luò)三種基本前饋型模神經(jīng)網(wǎng)絡(luò)-反饋網(wǎng)絡(luò)競(jìng)爭(zhēng)學(xué)習(xí)重點(diǎn)介紹網(wǎng)絡(luò)型多多層層感感知知器器 B BP P網(wǎng)網(wǎng)絡(luò)絡(luò) R RB BF F網(wǎng)網(wǎng)絡(luò)絡(luò) 自學(xué)習(xí) 自適應(yīng) 并行處理 分布表達(dá)與計(jì)算回歸 狀態(tài)預(yù)測(cè) 可應(yīng)用到眾多領(lǐng)域,如： 優(yōu)化計(jì)算；信號(hào)處理；智能控制； 模式識(shí)別

8、；機(jī)器視覺；等等。神經(jīng)網(wǎng)絡(luò)特點(diǎn)神經(jīng)網(wǎng)絡(luò)應(yīng)用神神經(jīng)經(jīng)網(wǎng)網(wǎng)絡(luò)絡(luò)本本質(zhì)質(zhì)上上，可可以以理理解解為為函函數(shù)數(shù)逼逼近近 各神經(jīng)元接受來自前級(jí)的輸入，并產(chǎn)生輸出到下一級(jí)，各神經(jīng)元接受來自前級(jí)的輸入，并產(chǎn)生輸出到下一級(jí)，可用一有向無環(huán)圖表示。可用一有向無環(huán)圖表示。 網(wǎng)絡(luò)中的節(jié)點(diǎn)分兩類：網(wǎng)絡(luò)中的節(jié)點(diǎn)分兩類： 節(jié)點(diǎn)按層節(jié)點(diǎn)按層(layer)(layer)組織組織 ： 第第i i層的輸入只與第層的輸入只與第i i-1 -1層的輸出相連。層的輸出相連。 輸入信號(hào)由輸入層輸入輸入信號(hào)由輸入層輸入, ,由第一層節(jié)點(diǎn)輸出，傳向下層，由第一層節(jié)點(diǎn)輸出，傳向下層，。- (input layer) (input layer)

9、輸入節(jié)點(diǎn)所在層，無計(jì)算能力輸入節(jié)點(diǎn)所在層，無計(jì)算能力 (output layer) (output layer) 節(jié)點(diǎn)為神經(jīng)元節(jié)點(diǎn)為神經(jīng)元 中間層，節(jié)點(diǎn)為神經(jīng)元中間層，節(jié)點(diǎn)為神經(jīng)元2. 2. 感知器神經(jīng)網(wǎng)絡(luò)感知器神經(jīng)網(wǎng)絡(luò)( (感知器感知器) )、感知器神經(jīng)元、感知器神經(jīng)元1 net0f net = sgn net =-1 net 0hardlims1 net0hardlim net =0 net 0對(duì)稱硬極限函數(shù) 函數(shù) matlab符號(hào)函數(shù)2. 2. 感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元( (續(xù)續(xù)) ) 單個(gè)閾值神經(jīng)元可以實(shí)現(xiàn)的與與、或或及、邏輯門。 任何邏輯函數(shù)可由兩層前

10、饋網(wǎng)絡(luò)（一層計(jì)算單元）任何邏輯函數(shù)可由兩層前饋網(wǎng)絡(luò)（一層計(jì)算單元）實(shí)現(xiàn)實(shí)現(xiàn)。 多層感知器的適用范圍大大超過單層網(wǎng)絡(luò)。 0111,.,iji0ji=kk1xgygnetvv c 第 個(gè)隱含層的第 個(gè)節(jié)點(diǎn)的凈輸入輸出層的第 個(gè)節(jié)點(diǎn)的凈輸入類，c個(gè)判別函數(shù) 可表達(dá)更為復(fù)雜的非線性函數(shù)不一定為符號(hào)函數(shù) nkkjkkjjmkxxkc輸出單元的輸出隱含層單一般的前饋運(yùn)算 元 激活函數(shù) 常要求激活函數(shù)是連續(xù)可微的輸出層與隱含層的激活函數(shù)可以不同，并且輸出層各單元的激活函數(shù)可有所區(qū)別 2Kolmogorov 按照定理,任何一個(gè)判決均可用前式所示的三層神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。即： 只要給定足夠數(shù)量的隱含層單元、適當(dāng)?shù)姆蔷€

11、性函數(shù)、以及權(quán)值， 任何由輸入向輸出的連續(xù)映射函數(shù)均可用一個(gè)實(shí)現(xiàn)。三層前饋神經(jīng)多層網(wǎng)網(wǎng)絡(luò)能力絡(luò)的表達(dá) 1011,20121301,.,14B,.,P-1=維輸入向量 層神經(jīng)網(wǎng)絡(luò)層號(hào) 輸入層層號(hào) 隱含層層號(hào) 輸出層各層節(jié)點(diǎn) 輸入節(jié)點(diǎn)，計(jì)算節(jié)點(diǎn) 數(shù)目， 輸入層輸出層相鄰層連接權(quán)值 來自與第層的當(dāng)前的連接節(jié)點(diǎn)第 層節(jié)點(diǎn)權(quán)值TnlLlijnxxxLllLlLnlLnnnliljm算法訓(xùn)練過程描述約定：標(biāo)準(zhǔn)化 1115111,.,1,.,1,.,i, j,kjOijjkBP：第 層為當(dāng)前處理層； 其前一層、當(dāng)前層 、后一層的計(jì)算單元序號(hào)為； 位于當(dāng)前層第 個(gè)計(jì)算單元的輸出為， 前層第 個(gè)單元到本層第 個(gè)

12、單元的連接權(quán)值為 本層第 個(gè)單元到后層第 個(gè)單元的連接權(quán)值為注：采用修正權(quán)值，輸出函數(shù)應(yīng)連續(xù)可微，選ljllijlljkllllljninknsigm算法訓(xùn)練過程描述假假定定梯梯度度法法函數(shù)。oid 111,1,. ,111. jjnetOOn tle-=+從樣本集內(nèi)取出一個(gè)樣本,將 各分量從輸入層輸入至網(wǎng)絡(luò),由前向后，逐層得到各的：對(duì)于的第 個(gè)計(jì)算單元, 該單元的 ljlnlnllljijiilljjetllljjjx Dxyefnetf netf netnf1 1 輸入信號(hào)的正向傳遞過計(jì)算單元實(shí)際輸出當(dāng)前層凈輸入實(shí)際輸出程若當(dāng)前層為111,.,jyyydyy，則計(jì)算單元預(yù)測(cè)輸出 且給定輸出

13、 TljjmTjmlLOyD實(shí)際輸出輸輸理想出出層 122122111111,.,112211221xx-=最小誤差平方和。 某樣本在網(wǎng)絡(luò)產(chǎn)生的為 樣本集內(nèi)所有樣本關(guān)于該網(wǎng)絡(luò)的 輸出層節(jié)點(diǎn) 的 TnmjjjmmLLjjjjjjtotalLLjijxEDydydOdf netEElLjnetO2 誤差反向傳播過程I 輸出誤差準(zhǔn)則函數(shù) 輸出層 各節(jié)點(diǎn)輸出誤差總輸出誤差凈輸入2121111-+ LjLnLinetiLjeO實(shí)際輸出 2211212211111121,.,11,.,121122=隱含層 輸出層 輸出層與前一層的實(shí)際輸出 輸出誤差 輸出層誤差計(jì)算元的單LLLiLjLinLLjjiimmj

14、jjjjLjjjLjnetEnLinetLjLLOyffOdydfnmII 輸出層的權(quán)調(diào)值調(diào)整 連接整權(quán)值 111111局部梯度 LjLjLjjjLjjlljjjjjjjjjyEydfnetynetydf netf nEnetyydeyt 212111111111111211111.1= 修正應(yīng)使誤差 最快減 續(xù)小 LLijLjLiLijLjjjjjLjLjLjLjLijnLiiLijLijLLijijLijLiLjjEyydynetOEnetEnetnEAtOEeII 輸出層的權(quán)值調(diào)整權(quán)值對(duì)誤差 的影響輸出層的權(quán)值調(diào)整 修正量 221111.11 LLiiLLLLijijijijjjjjyd

15、yttyOOBt修正方式 111111111,.,1,.,11節(jié)點(diǎn)后層中的節(jié)點(diǎn) 的輸出 輸出層誤差 關(guān)于隱含層 的節(jié)點(diǎn) 凈輸入的局對(duì)后層全部節(jié)點(diǎn)部梯度：均有 影響 llllijnnlllkjkjkjjlkllllljljjjkinljljlIIInf nkOfffEnetnenelkOljEEttetne隱含層 當(dāng)前層當(dāng)調(diào)整 值前層的權(quán)111111111111111= llllljllljjlknknnllllkjkkjkkknliiljljjiljljnetOOfnetOetOOn t11111111111111111,.,1, .,1.= llllllijnljlkjnnllllkjkkj

16、kkllljllljjjlljljljknliilklkjijiinljEnetnOOneIIInnetfnetOOEnetOett當(dāng)前層隱含層的權(quán) 權(quán)值值調(diào)整 11111111 權(quán)值修正 lllilijnlllllijjjjkjlljljklkijlllijijlilijijijOEnnetOetOEEOOttt對(duì)誤差 的影響 ()11 續(xù) ijijijijjiijttttOt為為加加快快收收斂斂速速度度，往往往往在在權(quán)權(quán)值值 修修正正量量中中加加上上前前次次的的權(quán)權(quán)值值修修正正 量量，稱稱為為。2引入慣性誤差反向傳播過程慣性項(xiàng)項(xiàng)： 權(quán)值修正,00011.3.10.3.9BP 輸入向量,期望

17、輸出 ，如 小隨機(jī)數(shù) 如：之間 通常固定之間；也可動(dòng)態(tài)調(diào)整 通常之間包括 輸入層節(jié)點(diǎn)數(shù)；隱含層數(shù)目；各隱含層節(jié)點(diǎn)數(shù)目； 輸出層節(jié)點(diǎn)數(shù)；各神經(jīng)元節(jié)點(diǎn)的激活函數(shù)最大可允許迭代ppxDSTEP訓(xùn)練樣本權(quán)值初始化首先明確學(xué)習(xí)步長(zhǎng)慣性算法步驟樣本集的標(biāo)準(zhǔn)化沖量 項(xiàng)系數(shù)確定神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，設(shè)定終止條件：處理；0次數(shù) 硬條件 ； 訓(xùn)練精度 軟條件記訓(xùn)練時(shí)間時(shí)間t以小隨機(jī)數(shù)初始化網(wǎng)絡(luò)權(quán)值； 111121121,2,1mj=1yfy DBP：按隨機(jī)或任意順序從訓(xùn)練集中抽取1個(gè)訓(xùn)練樣本 計(jì)算輸入 時(shí)，當(dāng)前網(wǎng)絡(luò)的續(xù)TnnTmmTnl LlrsrjknliisjiSTEPx DxxxRddRxyyffx重復(fù)如下過程直至

18、滿足算法終止條件 樣本輸入 期望輸出 實(shí)際輸 出算法步驟 2121,.,1111 激活函數(shù)其中Lnrmfeefffe 11311,.,1,.,111,., BP -1 對(duì)于第 層，修正權(quán)值 權(quán)值修正項(xiàng) 輸出層 ，具體為 間層：中l(wèi)llijijijllllijiljjjjljjltttinjntxlLyydyjml算法步權(quán)驟調(diào)整值從從 輸輸出出層層開開始始 1111111,., lnllllljjjkjkklLxxtjn 41B1P1213 更新全部權(quán)值，對(duì)所有訓(xùn)練樣本重新計(jì)算輸出； 計(jì)算更新后網(wǎng)絡(luò)輸出與期望輸出的誤差； 檢查算法若不滿足終止條件，則 ,轉(zhuǎn)向若條件滿足，則終止，轉(zhuǎn)向：算法結(jié)束.輸

19、出各層連接權(quán)值?？梢允侨缦轮唬壕W(wǎng)絡(luò)實(shí)際輸出與期望輸出 最近 輪訓(xùn)練中所有權(quán)值變化 算法達(dá)到最大允tt +1STEP3STEP3終止條件 終止條件總誤差最大值算法步驟閾值閾值2= 許的 閾值3 總訓(xùn)練次數(shù) 建模前輸入輸出數(shù)據(jù)的預(yù)處理建模前輸入輸出數(shù)據(jù)的預(yù)處理正向標(biāo)準(zhǔn)化正向標(biāo)準(zhǔn)化 建模后輸入輸出數(shù)據(jù)的后處理建模后輸入輸出數(shù)據(jù)的后處理反向標(biāo)準(zhǔn)化反向標(biāo)準(zhǔn)化特征的平移特征的平移特征的尺度調(diào)整特征的尺度調(diào)整0,1,-1,1,-0,1,-1,1,-a,aa,a,0,a0,a 11,1,., ,1,.1.,0,1min1,.,maxminmin1maxminxxyy給定樣本集 標(biāo)準(zhǔn)化處理后的樣本集 Tdii

20、idiiTmiiimiiikjkikjkjkikjkikjkjkxRxyinyRxyinxxxkdxxyyykyyA. 線性映回歸模型中的輸入 / 輸出數(shù)射至據(jù)的預(yù)處理,.,m1,12min1,.,maxmin2min1,.,maxmin1,.,1,. 1 1 ikjkikjkjkikjkikjkjkikjkikjkikjkikjkxxxkdxxyyykmyyxmean xxkdxymean yykyB.線性映射至C.基于樣本標(biāo)準(zhǔn)差及樣本均值的線性映射,m 1,0,1 maxminmin1,.2.,yyyy給定標(biāo)準(zhǔn)化處理之后的某個(gè)輸入樣本神經(jīng)網(wǎng)絡(luò)回歸模型關(guān)于該輸入產(chǎn)生預(yù)測(cè)輸出對(duì)進(jìn)行反向標(biāo)準(zhǔn)化后處理得最終預(yù)測(cè)輸出 下面給出具體的后處理方式。 Tmkkjkjkjkxxyyyyyyykm回歸模型中的輸出A. 若標(biāo)準(zhǔn)數(shù)據(jù)化為線性后處理預(yù)處理式的模映射至 1,1maxmin 1min21,.,1,.2.