1、人工神經(jīng)網(wǎng)絡(luò) 在鋼鐵工業(yè)中的應(yīng)用東北大學(xué)信息學(xué)院人工智能所 郝培鋒重要的神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)及結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法一個(gè)簡單的BP神經(jīng)網(wǎng)絡(luò)例程一、反向傳播(BP)網(wǎng)絡(luò)的基本結(jié)構(gòu) 使用反向傳播(BP)算法的分層網(wǎng)絡(luò)稱為BP網(wǎng)絡(luò)。主要有以下特點(diǎn)： 1. 至少有一層隱單元； 2. 單元的激活值是任意實(shí)數(shù)； 3. 單元輸出函數(shù)是等價(jià)函數(shù)； 4. 網(wǎng)絡(luò)的連接權(quán)是任意實(shí)數(shù)； 5. 單元的激活函數(shù)是它總輸入的非遞減可微函數(shù)，實(shí)際應(yīng)用中常選取S型函數(shù)，如 Logsigmoid或Tansigmoid函數(shù)dbcaewvv dbcagwufe Sigmoid函數(shù)基本形式及圖形Logsigmoid函數(shù)

2、ai=Fi(neti)=1/(1+e-neti)=1/(1+e-(wij+bi) Tansigmoid函數(shù)ai = Fi(neti) = tanh(neti /2) = (1- e-neti)/(1+e-neti)011-106. BP網(wǎng)絡(luò)的學(xué)習(xí) 6.1 網(wǎng)絡(luò)學(xué)習(xí)誤差函數(shù)的定義，其根本思想是： i) 建立描述網(wǎng)絡(luò)實(shí)際輸出與目標(biāo)輸出的差值 E=(ti-ai)2 ii) 找到使E最小的一個(gè)權(quán)重集合iii) E中ai是權(quán)值wij的函數(shù)BP網(wǎng)絡(luò)權(quán)重學(xué)習(xí)算法的最一般形式 其實(shí)我們注意到E中的權(quán)重可以分為兩種，連接到隱單元的和到輸出單元的。因而從wij=-k(E/wij)中導(dǎo)出的權(quán)值計(jì)算就有兩種，一種是與

3、目標(biāo)輸出相關(guān)的，一種無關(guān)。公用的模式為： wij=iaj i) 對于輸出單元的連接權(quán)i=(ti-ai)Fi(neti) ii) 對于隱單元的連接權(quán)i=Fi(neti)kwki dbcaewvv dbcagwufe 單元的激活函數(shù)為S型函數(shù)的學(xué)習(xí)算法 Logsigmoid函數(shù)ai=Fi(neti)=1/(1+e-neti)=1/(1+e-(wij+bi) 對于 wij=iaj i) 當(dāng)權(quán)重連接輸出單元時(shí)i=(ti-ai)ai(1-ai) ii)當(dāng)權(quán)重連接隱層單元時(shí)i=ai(1-ai)kwki 包括兩個(gè)過程：i) 正向的計(jì)算傳播；ii) 逆向的誤差傳播過程。dbcaewv01三、簡單的曲線擬合例題

4、 例題參考C:matlabnnetdemobp4.m 單輸入、單輸出，輸入向量P=-1:.1:1，目標(biāo)輸出T=-.9602 -.5770,隱層單元激活函數(shù)tansig,輸出單元激活函數(shù)purelin，網(wǎng)絡(luò)結(jié)構(gòu)1:5:1 權(quán)重隨機(jī)選取，學(xué)習(xí)率設(shè)置為0.01，網(wǎng)絡(luò)誤差設(shè)置為o.o2。 例題參考C:matlabnnetdemobp4.m 訓(xùn)練后網(wǎng)絡(luò)的權(quán)重w1=3.5214,3.2603,-3.8172,-3.4945 -3.6300，w2=-0.4477,1.4937,0.9024,0.6146,-1.0095， 單元閾值B1=0.69, 2.59, -1.21, 2.48, 0.71，B2=-0.

5、97w1w2B1B2 訓(xùn)練誤差曲線及單元激活函數(shù)。 例題參考C:matlabnnetdemobp4.m 隱層單元的激活函數(shù)：F1 = (1-e-(wij+bi) /(1+e-(wij+bi) 輸出層函數(shù)的激活函數(shù)：F2= xw1w2B1B2 相關(guān)實(shí)驗(yàn)軟件及程序。 例題參考C:matlabnnetdemobp5.m 1、帶有能量因子的BP學(xué)習(xí)算法，參考demobp5。 學(xué)習(xí)時(shí)網(wǎng)絡(luò)的激活函數(shù)為 F1 = tanh(net/T) = (1-e-(wij+bi)/T) /(1+e-(wij+bi)/T) 其中 T 稱為能量，或溫度。 有時(shí)稱為模擬退火。具有的優(yōu)點(diǎn)是能夠最大可能地跳出局部極小。 相關(guān)實(shí)驗(yàn)軟件及程序。 例題參考C:matlabnnetdemobp6.m 2、自適應(yīng)學(xué)習(xí)率的BP學(xué)習(xí)算法，參考demobp6。 網(wǎng)絡(luò)學(xué)習(xí)率最大增長1.05倍 網(wǎng)絡(luò)學(xué)習(xí)率最多降低0.7倍if new_SSE SSE*er 新誤差大于上次誤差，增加學(xué)習(xí)率。 lr = lr * dm; MC = 0;else if new_SSE SSE 新誤差小于上次誤差，降低學(xué)習(xí)