1、神經(jīng)網(wǎng)絡(luò)模型擬合函數(shù)一、實(shí)驗(yàn)?zāi)康谋緦?shí)驗(yàn)要求在掌握神經(jīng)網(wǎng)絡(luò)基本工作原理和函數(shù)擬合的方法基礎(chǔ)上，針對(duì)相同的擬合目標(biāo)函數(shù)，通過(guò)利用不同的模型結(jié)構(gòu)和參數(shù)的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行擬合，對(duì)比擬合效果的好壞，進(jìn)而了解神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)與參數(shù)的影響。二、實(shí)驗(yàn)要求針對(duì)給定的目標(biāo)函數(shù).=3(1+83)利用1-6-1結(jié)構(gòu)和1-4-2-1結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行函數(shù)的擬合與逼近，對(duì)比兩種結(jié)構(gòu)模型的逼近性能。三、實(shí)驗(yàn)步驟1,選取20個(gè)訓(xùn)練樣本，即輸入了二=0,19,期望輸出為£=。手/1+8嶇).2 .選if?MLFW絡(luò)結(jié)構(gòu)為1個(gè)輸入神經(jīng)元、6個(gè)隱含層神經(jīng)元和1個(gè)輸出神經(jīng)元。神經(jīng)元的激勵(lì)函數(shù)為sigmoid函數(shù)；3,初

2、始權(quán)系數(shù)為(0,1)之間的隨機(jī)數(shù)，學(xué)習(xí)步長(zhǎng)-09;4 .利用BP算法獲得權(quán)系數(shù)的最終解；5 .按照上述方法構(gòu)造1-4-2-1結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型，并求出權(quán)系數(shù)的穩(wěn)定解；6,選才¥30個(gè)測(cè)試樣本數(shù)據(jù)集，測(cè)試兩種神經(jīng)網(wǎng)絡(luò)模型的實(shí)際輸出與期望輸出之間的誤差，工=2”巧/301=。工29公”*Q+c雙疝7,繪制兩種模型的逼近輸出曲線，并給出對(duì)比結(jié)果分析。四、實(shí)驗(yàn)結(jié)果及分析1. BP網(wǎng)絡(luò)結(jié)構(gòu)為1個(gè)輸入神經(jīng)元、6個(gè)隱含層神經(jīng)元和1個(gè)輸出神經(jīng)元，神經(jīng)元的激勵(lì)函數(shù)為sigmoid函數(shù)：1.1. 選取學(xué)習(xí)步長(zhǎng)為0.09,輸入樣本數(shù)為20,學(xué)習(xí)次數(shù)為30000,權(quán)系數(shù)隨機(jī)選取時(shí)，用matlab仿真五次，并

3、記錄學(xué)習(xí)時(shí)間，學(xué)習(xí)結(jié)果(見表1),發(fā)現(xiàn)學(xué)習(xí)時(shí)間多為7s左右，學(xué)習(xí)最終誤差大多數(shù)達(dá)不到設(shè)定的精度(ei<0,008)，但直觀感覺(jué)學(xué)習(xí)曲線還是基本吻合原函數(shù)的，若增加學(xué)習(xí)次數(shù)或樣本數(shù)也許可以使此模型更好地?cái)M合原函數(shù)。分析最終學(xué)習(xí)出的權(quán)系數(shù)發(fā)現(xiàn)學(xué)習(xí)的權(quán)系數(shù)之間沒(méi)有什么關(guān)聯(lián)，可能原因是：一、不同初始值學(xué)習(xí)出的最終權(quán)系數(shù)本來(lái)就沒(méi)有關(guān)聯(lián)；二、因?yàn)樽罱K學(xué)習(xí)誤差沒(méi)到一定精度，所以看不出關(guān)聯(lián)。表1第幾次仿真運(yùn)行時(shí)間最終權(quán)系數(shù)擬合結(jié)果圖7.767s7.602sw1=(1.4589,0.1636,-1.3342,0.1092,0.9572,-1.8571)'w2=(6.1455,-0.3605,8.1

4、985,-0.3278,4.1471,2.1016)yw1=(6.2579,-0.4063,-2.5669,-0.3627,5.4280,0.2218)'yw2=4.8779w1=(2.0482,2.3622,1.2250,-2.3501,-0.2934,2.0613)'w2=(-1.9550,-2.4554,8.4405,4.7966,-0.4549,-1.9782)yw1=(0.3576,0.6044,5.7897,-5.1541,-0.0204,0.3659)'yw2=-2.2201B箕戒:J花應(yīng)S1IS2!2E3電器技即2.878sw1=(-2.0206,-2.

5、6524,1.2468,0.6983,-0.1150,0.7635)'w2=(6.3110,3.6906,4.9476,2.8276,-0.5951,3.2270)yw1=(-4.4254,-1.2603,5.5122,3.5155,-0.1126,3.9495)'yw2=5.3352口tea4DDreaacBtr:icdxi:cco迭代產(chǎn)息7.836sw1=(-1.8007,3.1166,1.2598,0.5411,-0.2735,-0.2147)'w2=(6.6765,-3.3357,7.9065,1.4715,-0.5287,-0.2842)yw1=(-3.701

6、0,1.0896,5.8843,1.8326,-0.2481,0.0211)'yw2=1.612658.813sw1=(1.3316,-1.1620,-0.2335,-1.1645,0.5635,1.3760)'w2=(8.5691,3.0901,-0.4827,3.1438,-0.1171,-3.1291)yw1=(6.2115,-1.3614,-0.0511,-1.6251,-0.0967,2.6769)'yw2=1.3161世代5抬觀察表中運(yùn)行時(shí)間，可以發(fā)現(xiàn)第三次擬合的運(yùn)行時(shí)間明顯短于其他擬合運(yùn)行時(shí)間，并且迭代次數(shù)只有12000次，而每次運(yùn)行程序，數(shù)值都沒(méi)有人為改

7、變，只有初始權(quán)系數(shù)是隨機(jī)變化的。從中可以推測(cè)，初始權(quán)系數(shù)的取值可以影響擬合時(shí)間的多少及擬合程度。對(duì)所有仿真的運(yùn)行時(shí)間相加，減去最大值和最小值后，取平均值，即：Taverage=(7.767s+7.602s+2.878s+7.836s+8.813s)-2.878s-8.813s)/3=7.735s可以發(fā)現(xiàn)運(yùn)行時(shí)間在7.7s左右。對(duì)比最終權(quán)系數(shù)，發(fā)現(xiàn)具有隨機(jī)性，看不出其中有什么聯(lián)系。表中擬合結(jié)果圖除了第三次的圖不太一樣外，其他的擬合結(jié)果圖基本相似，都是迭代了30000次，學(xué)習(xí)誤差沒(méi)有達(dá)到設(shè)定的精度。而第三次最終只迭代學(xué)習(xí)了12000次，誤差就達(dá)到了設(shè)定精度，但看直觀的擬合圖像基本是一樣的，看不出什

8、么區(qū)別。1.2. 選取學(xué)習(xí)步長(zhǎng)為0.09,學(xué)習(xí)次數(shù)為30000,權(quán)系數(shù)隨機(jī)選取，但輸入樣本數(shù)改為100時(shí)(見表2),發(fā)現(xiàn)學(xué)習(xí)時(shí)間多為35s以上，學(xué)習(xí)最終誤差雖未達(dá)到設(shè)定的精度(ei<0.008),但直觀感覺(jué)學(xué)習(xí)曲線還是基本吻合原函數(shù)的。分析最終學(xué)習(xí)出的權(quán)系數(shù)發(fā)現(xiàn)學(xué)習(xí)的權(quán)系數(shù)之間沒(méi)有什么關(guān)聯(lián)。表2第幾次仿直運(yùn)行時(shí)間最終權(quán)系數(shù)擬合結(jié)果圖139.352sw1=(2.0181,-3.1591,-2.0850,0.5193,0.4977,1.2213)'w2=(5.1003,6.5521,6.3695,2.7038,2.4822,7.5514)yw1=(6.6049,-8.0391,-1.

9、3650,3.0031,2.7913,7.6082)'yw2=7.8514237.614sw1=(-3.1640,2.1073,1.2552,0.4190,-2.0758,0.5700)'w2=(6.5986,5.3191,7.2380,2.2673,6.2767,3.2738)yw1=(-8.1248,6.9484,7.7579,2.5368,-1.3679,3.6256)'yw2=7.8281335.207sw1=(1.3025,0.4218,-3.0477,-2.2298,2.1413,0.5459)'w2=(7.03252.27666.92955.844

10、15.54862.9856)yw1=(7.9755,2.5862,-7.8449,-1.5053,7.0819,3.4263)'yw2=7.9847430.451sw1=(-2.7814,-1.7513,1.1731,-3.2119,0.7666,2.0331)'w2=(3.5709,3.7746,6.6366,6.1380,4.5029,5.4025)yw1=(-0.7576,-1.7589,7.1772,-8.2682,4.7234,6.6557)yw2=7.3498538.875sw1=(1.1318-0.33201.8463-3.3330-1.96432.2687)&#

11、39;w2=(9.5849-1.55165.36856.03294.6742-2.5273)yw1=(6.8992,-0.8180,5.9989,-8.4456,-1.6713,0.3477)'yw2=3.7008xBP#.罰繩觀察表中運(yùn)行時(shí)間，可以發(fā)現(xiàn)第四次擬合的運(yùn)行時(shí)間稍微短于其他擬合運(yùn)行時(shí)間，迭代次數(shù)只有25000次，證明了初始權(quán)系數(shù)的取值可以影響擬合時(shí)間的多少及擬合程度。對(duì)所有仿真的運(yùn)行時(shí)間相加，減去最大值和最小值后，取平均值，即：Taverage=(39.352s+37.614s+35.207s+30.451s+38.875s)-30.451s-39.352s)/3=37.2

12、32s可以發(fā)現(xiàn)運(yùn)行時(shí)間在37s左右。對(duì)比最終權(quán)系數(shù)，發(fā)現(xiàn)前三次最終權(quán)系數(shù)的值相近,只是位置不同，但后兩次權(quán)系數(shù)并沒(méi)有發(fā)現(xiàn)與前三次相聯(lián)系的可能，也許最終學(xué)習(xí)得出的權(quán)系數(shù)真的沒(méi)有什么特點(diǎn)。表中擬合結(jié)果圖基本相似，除了第四次迭代了25000次外，學(xué)習(xí)誤差達(dá)到了設(shè)定的精度，其他都是迭代了30000次，學(xué)習(xí)誤差沒(méi)有達(dá)到設(shè)定的精度。2.選擇才造1-4-2-1結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型，神經(jīng)元的激勵(lì)函數(shù)為sigmoid函數(shù)：1400.51152253迭代次數(shù)x104x2.1. 選取學(xué)習(xí)步長(zhǎng)為0.09,輸入樣本數(shù)為20,學(xué)習(xí)次數(shù)為30000,權(quán)系數(shù)隨機(jī)選取時(shí)，用matlab仿真，記錄學(xué)習(xí)時(shí)間，學(xué)習(xí)結(jié)果（見圖1）,發(fā)現(xiàn)

13、學(xué)習(xí)時(shí)間為15.773s,學(xué)習(xí)最終誤差大多數(shù)達(dá)不到設(shè)定的精度（ei<0.008）,且通過(guò)圖像直觀發(fā)現(xiàn)擬合情況不佳。1.31.21.11圖12.1.1.增加學(xué)習(xí)次數(shù)為300000,其他不變，用MATLA的真五次（見表3）表3第幾次仿直運(yùn)行時(shí)間最終權(quán)系數(shù)擬合結(jié)果圖122.306sw1=(0.81301.52681.53003.6261)'w2=(-1.7547-2.6751-2.4102-2.5601;-5.2035-3.9733-4.2818-3.8407)w3=(7.2364-8.0701)yw1=(4.96034.08001.4395)'yw2=(-3.2993-13.

14、3778)'yw3=-4.64334.0289w1=(1.50290.53691.72050.6061)'w2=(-3.1964-2.6664-2.7390-2.4232;-3.3600-3.7732-4.0094-4.0952)31.523w3=(9.1703-9.4338)Syw1=(0.00513.41994.74223.9509)'yw2=(-3.4278-9.6349)'yw3=-5.092726.048w1=(2.34621.51110.81531.3517)'w2=(-2.7921-2.3308-1.5733-1.9519;-3.2636-

15、3.6410-5.0709-3.7608)w3=(8.2448-8.7918)yw1=(0.23614.03645.14033.4867)'yw2=(-3.3986-11.7317)'yw3=-4.9227BPI?Z-MUg時(shí)代次作aise?Mbp律很學(xué)習(xí)叫整O.E11.53344.SE西代次簽Ml相次的擬合是失敗的，所以尚未記錄其最終權(quán)系數(shù)。對(duì)所有仿真的運(yùn)行時(shí)間相加，減去最大值和最小值后，取平均值，得Taverage=32.132s。可以發(fā)現(xiàn)運(yùn)行時(shí)間在32s左右。對(duì)比最終權(quán)系數(shù)，雖然權(quán)系數(shù)的值不同，但正負(fù)號(hào)是一樣的，說(shuō)明BP網(wǎng)絡(luò)擬合最終權(quán)系數(shù)還是有些未明的關(guān)系的。表中擬合結(jié)果

16、圖基本相似，但迭代次數(shù)不同，大多數(shù)迭代次數(shù)在10的4次方數(shù)量級(jí)上。因?qū)W習(xí)次數(shù)為300000,樣本數(shù)為100時(shí)，運(yùn)行時(shí)間太慢，所以改變學(xué)習(xí)次數(shù)為30000,增加樣本數(shù)至100,觀察記錄實(shí)驗(yàn)結(jié)果（見表4）。發(fā)現(xiàn)運(yùn)行時(shí)間增加了一倍左右，且容易擬合不出原函數(shù)。表3第幾次仿直運(yùn)行時(shí)間最終權(quán)系數(shù)擬合結(jié)果圖157.229w1=(0.73382.41160.48242,4703)w2=(-4,9514-3.2205-4.1551-4.3019;-1.8855-3.7428-2.2014-3.5910)w3=(-10.7908yw1=(5.02727.1310)'yw2=(-9.3574yw3=-5.9

17、0479.9855)0.50503.7726-3.8264)'w1=(0.27492.30770.97442.4026)'w2=(2.30412.32076.08494.6401;2.95633.26580.79783.1780)246.831w3=(10.3745-10.1701)syw1=(1.17450.31616.5889yw2=(9.04044.1969)'yw3=-5.1751360.041sw1=(0.58422.51092.41840.6145)'w2=(-4.3387-4.4441-3.3150-4.4195;-2.4395-3.3548-3.

18、7811-2.3694)w3=(-10.94269.9935)yw1=(4.14597.19790.46684.3039)'yw2=(-9.7491-3.8890)'yw3=-6.07196.9511)79.550皂代zumowcw8121mnW?ivooqtsuw:況代次效相加，減去最大值和最小值后，取平均值，得TaveragF65.607s。可以發(fā)現(xiàn)運(yùn)行時(shí)間在65s左右。對(duì)比最終權(quán)系數(shù)，權(quán)系數(shù)的值不同，正負(fù)號(hào)也不一樣，BP網(wǎng)絡(luò)最終擬合的權(quán)系數(shù)似乎毫無(wú)規(guī)律。表中擬合結(jié)果圖基本相似，迭代次數(shù)大多在10的4次方數(shù)量級(jí)上。通過(guò)實(shí)驗(yàn)對(duì)比兩種結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)，發(fā)現(xiàn)1-6-1結(jié)構(gòu)的BP

19、神經(jīng)網(wǎng)絡(luò)不比1-2-4-1差，且增加樣本數(shù)并不是一定就好。在時(shí)間要求盡量短，樣本數(shù)少的情況下，1-6-1結(jié)構(gòu)的BP網(wǎng)絡(luò)模擬情況明顯好于1-4-2-1的BP網(wǎng)絡(luò)，但若給足夠長(zhǎng)的時(shí)間，1-2-4-1的BP網(wǎng)絡(luò)擬合情況還是較好的。這次實(shí)驗(yàn)，我們?cè)噲D尋找出學(xué)習(xí)出的最終的權(quán)系數(shù)之間的關(guān)系，但目前還沒(méi)發(fā)現(xiàn)這種聯(lián)系。四、實(shí)驗(yàn)程序1.1-6-1結(jié)構(gòu)：functionbpcos1%用BP神經(jīng)網(wǎng)絡(luò)擬合0.5*(1+cos(x)函數(shù)，三層神經(jīng)元，第一層一個(gè)，第二層六個(gè)，第三層一個(gè),激勵(lì)函數(shù)為sigmoid函數(shù)。%固定輸入權(quán)重為1,第一層神經(jīng)元閾值為0%*初始化*l=0.9;%學(xué)習(xí)步長(zhǎng)n=20;%輸入樣本數(shù)cell=

20、6;%第一層神經(jīng)元數(shù)times=30000;%學(xué)習(xí)次數(shù)x=(linspace(0,2*pi,n);%選取樣本點(diǎn)t=0.5*(1+cos(x);w1=rand(cell,1)*0.05;w2=rand(1,cell)*0.05;yw1=rand(cell,1)*0.05;yw2=rand*0.05;y=rand(1,n)*0.05;counts=1;e=zeros(1,times);%*fori=1:timesei=0;fora=1:n%學(xué)習(xí)擬合的函數(shù)%第一層連接權(quán)系數(shù)的初始值%第二層連接權(quán)系數(shù)的初始值%第一層閾值初始值%第二層閾值初始值%輸出初始值%計(jì)數(shù)%均方差學(xué)習(xí)過(guò)程*%遍歷樣本net1=w

21、1*x(a)-yw1;out=logsig(net1);%第一層輸出net2=w2*out-yw2;y(a)=logsig(net2);%y(a)=net2;%第二層輸出(y)det2=(t(a)-y(a)*y(a)*(1-y(a);det21=(t(a)-y(a);%det2=det21;det1=(det2*(w2)').*out).*(1-out);w1=w1+det1*x(a)*l;%更新權(quán)系數(shù)w2=w2+(det2*out)'*l;yw1=-det1*l+yw1;yw2=-det2*1+yw2;ei=ei+det21A2/2;%累積誤差e(i)=ei;endifei&

22、lt;0.008break;endcounts=counts+1;end%*逼近曲線*fora=1:nnet1=w1*x(a)-yw1;out=logsig(net1);net2=w2*out-yw2;y(a)=logsig(net2);%y(a)=net2;end%*畫圖*subplot(2,1,1)plot(x,t,'b-',x,y,'k*-');%畫原函數(shù)及bp擬合圖gridon;title('BPmethod,y=sin(x)');xlabel('x');ylabel('y=sin(x)');if(coun

23、ts<times)count=1:counts;sum=counts;elsecount=1:times;sum=times;endsubplot(2,1,2);plot(count,e(1:sum);%畫誤差圖gridon;title('BP算法學(xué)習(xí)曲線');xlabel('迭代次數(shù)');ylabel('土勻方誤差);endfunctionbpcos%用BP神經(jīng)網(wǎng)絡(luò)擬合0.5*(1+cos(x)函數(shù)，四層神經(jīng)元，第一層一個(gè)，第二層4個(gè)，第三層2個(gè),第四層一個(gè)，激勵(lì)函數(shù)為sigmoid函數(shù)。%固定輸入權(quán)重為1,第一層神經(jīng)元閾值為0%*初始化*l=0

24、.09;%學(xué)習(xí)步長(zhǎng)n=100;%輸入樣本數(shù)cell1=4;%第二層神經(jīng)元數(shù)cell2=2;%第三層神經(jīng)元數(shù)times=30000;%學(xué)習(xí)次數(shù)x二(linspace(0,2*pi,n);%選取樣本點(diǎn)t=0.5*(1+cos(x);%學(xué)習(xí)擬合的函數(shù)w1=rand(cell1,1)*0.05;%第一層連接權(quán)系數(shù)的初始值w2=rand(cell2,cell1)*0.05;%第二層連接權(quán)系數(shù)的初始值w3=rand(1,cell2)*0.05;yw1=rand(cell1,1)*0.05;%第一層閾值初始值yw2=rand(cell2,1)*0.05;yw3=rand*0.05;%第二層閾值初始值y=rand(1,n)*0.05;%輸出初始值%計(jì)數(shù)counts=1;e=zeros(1,times);%均方差%*學(xué)習(xí)過(guò)程*fori=1:times%遍歷樣本ei=0;fora=1:nnet1=w1*x(a)-yw1;out1=logsig(net1);%第一層輸出net2=w2*out1-yw2;out2=logsig(net2);net3=w3*out2-yw3;y(a)=logsi