1、第5章 線性神經(jīng)網(wǎng)絡(luò),編者,Outline,1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 2.LMS學(xué)習(xí)算法 3.LMS算法中學(xué)習(xí)率的選擇 4.線性神經(jīng)網(wǎng)絡(luò)與感知器的對比 5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解 6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例,1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),線性神經(jīng)網(wǎng)絡(luò)最典型的例子是自適應(yīng)線性元件（Adaptive Linear Element，Adaline）。 線性神經(jīng)網(wǎng)絡(luò)與感知器的主要區(qū)別在于，感知器的傳輸函數(shù)只能輸出兩種可能的值，而線性神經(jīng)網(wǎng)絡(luò)的輸出可以取任意值，其傳輸函數(shù)是線性函數(shù)。 線性神經(jīng)網(wǎng)絡(luò)在收斂的精度和速度上較感知器都有了較大提高，但由于其線性運(yùn)算規(guī)則，它也只能解決線性可分的問題。,1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)

2、構(gòu),線性神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上與感知器網(wǎng)絡(luò)非常相似，只是神經(jīng)元傳輸函數(shù)不同。,1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),若網(wǎng)絡(luò)中包含多個神經(jīng)元節(jié)點(diǎn)，就能形成多個輸出，這種線性神經(jīng)網(wǎng)絡(luò)叫Madaline網(wǎng)絡(luò)。,Madaline可以用一種間接的方式解決線性不可分的問題，方法是用多個線性函數(shù)對區(qū)域進(jìn)行劃分，然后對各個神經(jīng)元的輸出做邏輯運(yùn)算。,1.線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),線性神經(jīng)網(wǎng)絡(luò)解決線性不可分問題的另一個方法是，對神經(jīng)元添加非線性輸入，從而引入非線性成分，這樣做會使等效的輸入維度變大。,2.LMS學(xué)習(xí)算法,LMS算法與感知器網(wǎng)絡(luò)的學(xué)習(xí)算法在權(quán)值調(diào)整上都基于糾錯學(xué)習(xí)規(guī)則，但LMS更易實現(xiàn)，因此得到了廣泛應(yīng)用，成為自適應(yīng)濾波的標(biāo)

3、準(zhǔn)算法。也稱為 規(guī)則,采用均方誤差作為評價指標(biāo),是輸入訓(xùn)練樣本的個數(shù)。線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo) 是找到適當(dāng)?shù)?，使得誤差的均方差最小。只要用對 求偏導(dǎo)，再令該偏導(dǎo)等于零即可求出 的極值。顯然， 必為正值，因此二次函數(shù)是凹向上的，求得的極值必為極小值。,2.LMS學(xué)習(xí)算法,誤差表示為,求導(dǎo),誤差等于期望輸出實際輸出,求導(dǎo),代入，有：,權(quán)值的修正值正比于當(dāng)前位置上的梯度,2.LMS學(xué)習(xí)算法,（1）定義變量和參數(shù)。 （2）初始化。給向量賦一個較小的隨機(jī)初值 。 （3）輸入樣本，計算實際輸出和誤差。 （4）調(diào)整權(quán)值向量。 （5）判斷算法是否收斂。若滿足收斂條件，則算法結(jié)束 ，否則跳轉(zhuǎn)到第3步重新計算。,

4、3.LMS算法中學(xué)習(xí)率的選擇,學(xué)習(xí)率越小，算法的運(yùn)行時間就越長，算法也就記憶了更多過去的數(shù)據(jù)。因此，學(xué)習(xí)率的倒數(shù)反映了LMS算法的記憶容量大小。 1996年Hayjin證明，只要學(xué)習(xí)率滿足下式，LMS算法就是按方差收斂的,：輸入向量自相關(guān)矩陣的最大特征值,一般不可知，用矩陣的跡代替，跡就是主對角線元素之和。,3.LMS算法中學(xué)習(xí)率的選擇,自相關(guān)矩陣的主對角線元素就是各輸入向量的均方值 ，故：,在感知器學(xué)習(xí)算法中曾提到，學(xué)習(xí)率隨著學(xué)習(xí)的進(jìn)行逐漸下降比始終不變更加合理。,反比例函數(shù),指數(shù)式下降,搜索收斂方案,4.線性神經(jīng)網(wǎng)絡(luò)與感知器的對比,網(wǎng)絡(luò)傳輸函數(shù)。感知器傳輸函數(shù)是一個二值閾值元件，而線性神經(jīng)

5、網(wǎng)絡(luò)的傳輸函數(shù)是線性的。這就決定了感知器只能做簡單的分類，而線性神經(jīng)網(wǎng)絡(luò)還可以實現(xiàn)擬合或逼近。 學(xué)習(xí)算法 。LMS算法得到的分類邊界往往處于兩類模式的正中間，而感知器學(xué)習(xí)算法在剛剛能正確分類的位置就停下來了，從而使分類邊界離一些模式距離過近，使系統(tǒng)對誤差更敏感。,5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解,net=newlind(P,T) P：R*Q矩陣，包含Q個訓(xùn)練輸入向量。 T：S*Q矩陣，包含Q個期望輸出向量。 net:訓(xùn)練好的線性神經(jīng)網(wǎng)絡(luò),newlind設(shè)計一個線性層,newlind函數(shù)返回的net已經(jīng)訓(xùn)練完畢，不需要再自行調(diào)用train函數(shù)訓(xùn)練,5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解, x=-5:5; y=

6、3*x-7;% 直線方程為 randn(state,2);% 設(shè)置種子，便于重復(fù)執(zhí)行 y=y+randn(1,length(y)*1.5;% 加入噪聲的直線 plot(x,y,o); P=x;T=y; net=newlind(P,T);% 用newlind建立線性層 new_x=-5:.2:5;% 新的輸入樣本 new_y=sim(net,new_x);% 仿真 hold on;plot(new_x,new_y); legend(原始數(shù)據(jù)點(diǎn),最小二乘擬合直線); net.iw net.b title(newlind用于最小二乘擬合直線);,newlind擬合直線,5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解,

7、net=newlin(P,S,ID,LR) P：R*Q矩陣，P中包含Q個典型輸入向量，向量維數(shù)為R S：標(biāo)量，表示輸出節(jié)點(diǎn)個數(shù)。 ID：表示輸入延遲的向量，默認(rèn)值為0 LR：學(xué)習(xí)率，默認(rèn)值為0.01,newlin構(gòu)造一個線性層 。newlin函數(shù)用于創(chuàng)建一個未經(jīng)訓(xùn)練的線性神經(jīng)網(wǎng)絡(luò)。輸入?yún)?shù)格式如下,5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解, x=-5:5; y=3*x-7;% 直線方程為 randn(state,2);% 設(shè)置種子，便于重復(fù)執(zhí)行 y=y+randn(1,length(y)*1.5;% 加入噪聲的直線 plot(x,y,o); P=x;T=y; net=newlin(minmax(P),1,

8、0,maxlinlr(P);% 用newlin創(chuàng)建線性網(wǎng)絡(luò) tic;net=train(net,P,T);toc new_x=-5:.2:5; new_y=sim(net,new_x);% 仿真 hold on;plot(new_x,new_y); legend(原始數(shù)據(jù)點(diǎn),最小二乘擬合直線); title(newlin用于最小二乘擬合直線); net.iw net.b,newlin實現(xiàn)直線擬合,5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解,purelin線性傳輸函數(shù) 輸入就等于輸出，不做其他操作,5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解,learnwhLMS學(xué)習(xí)函數(shù) learnwh 是Widrow-Hoff規(guī)則（LMS

9、算法）的學(xué)習(xí)函數(shù)。 dW,LS=learnwh(W,P,Z,N,A,T,E,gW,gA,D,LP,LS) 用learnwh可以自行編寫訓(xùn)練函數(shù)。 用learwh實現(xiàn)的線性神經(jīng)網(wǎng)絡(luò)與newlin、newlind函數(shù)算得的結(jié)果是一樣的。 運(yùn)行example5_4.m,5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解,maxlinlr計算最大學(xué)習(xí)率 lr=maxlinlr(P) lr=maxlinlr(P,bias) ：包含偏置, X = 1 2 -4 7; 0.1 3 10 6 % 輸入的矩陣，由4個二維向量組成 lr = maxlinlr(X,bias)% 帶偏置時的最大學(xué)習(xí)率 lr = maxlinlr(X)%

10、不帶偏置的最大學(xué)習(xí)率 lr = 0.9999/max(eig(X*X) P=-5:5; lr = maxlinlr(P),5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解,mse均方誤差性能函數(shù) 。 rand(seed,2) a=rand(3,4) mse(a) b=a(:); sum(b.2)/length(b) mse(b),5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解,linearlayer構(gòu)造線性層的函數(shù). linearlayer 函數(shù)用于設(shè)計靜態(tài)或動態(tài)的線性系統(tǒng)，給定一個足夠小的學(xué)習(xí)率能使它穩(wěn)定收斂。 net=linearlayer(inputDelays,widrowHoffLR) inputDelays：表示輸入延

11、遲的行向量 widrowHoffLR：學(xué)習(xí)率 newlin是將被系統(tǒng)廢棄的函數(shù)，使用newlin函數(shù)的場合以后用linearlayer代替,5.線性神經(jīng)網(wǎng)絡(luò)相關(guān)函數(shù)詳解, x=-5:5; y=3*x-7; randn(state,2);% 設(shè)置種子，便于重復(fù)執(zhí)行 y=y+randn(1,length(y)*1.5;% 加入噪聲的直線 plot(x,y,o); P=x;T=y; lr=maxlinlr(P,bias)% 計算最大學(xué)習(xí)率 net=linearlayer(0,lr);% 用linearlayer創(chuàng)建線性層，輸入延遲為0 tic;net=train(net,P,T);toc% 用tra

12、in函數(shù)訓(xùn)練 new_x=-5:.2:5; new_y=sim(net,new_x);% 仿真 hold on;plot(new_x,new_y); title(linearlayer用于最小二乘擬合直線); legend(原始數(shù)據(jù)點(diǎn),最小二乘擬合直線); xlabel(x);ylabel(y); s=sprintf(y=%f * x + %f, net.iw1,1, net.b1,1) text(-2,0,s);,linearlayer實現(xiàn)直線擬合,6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例與,網(wǎng)絡(luò)的訓(xùn)練中共需確定3個自由變量，而輸入的訓(xùn)練向量則有4個，因此可以形成一個線性方程組：,由于方程的個數(shù)超過了自變量

13、的個數(shù)，因此方程沒有精確解，只有近似解，用偽逆的方法可以求得權(quán)值向量的值： P=0,0,1,1;0,1,0,1 P=ones(1,4);P d=0,0,0,1 pinv(P)*d,6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例與,手算： % 定義 P=0,0,1,1;0,1,0,1 P=ones(1,4);P % 包含偏置的輸入向量 d=0,0,0,1% 期望輸出向量 % 初始化 w=0,0,0% 權(quán)值向量初始化為零向量 lr=maxlinlr(P)% 根據(jù)輸入矩陣求解最大學(xué)習(xí)率 MAX=200;% 最大迭代次數(shù)，根據(jù)經(jīng)驗確定, for i=1:MAX. fprintf(第%d次迭代n, i); v=w*P;% 求

14、出輸出 y=v; disp(線性網(wǎng)絡(luò)的二值輸出：); yy=y=0.5% 將模擬輸出轉(zhuǎn)化為二值輸出，以0.5為閾值 e=d-y;% 誤差 m(i)=mse(e);% 均方誤差 fprintf(均方誤差： %fn,m(i); dw=lr*e*P;% 權(quán)值向量的調(diào)整量 fprintf(權(quán)值向量：n); w=w+dw% 調(diào)整權(quán)值向量 end,6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)用實例與,plot(0,0,1,0,1,0,o);hold on; plot(1,1,d); x=-2:.2:2; y=1.5-x; plot(x,y) axis(-0.5,2,-0.5,2) xlabel(x);ylabel(ylabel); title(線性神經(jīng)網(wǎng)絡(luò)用于求解與邏輯) legend(0,1,分類面);,得到的分類超平面為：,6.線性神經(jīng)網(wǎng)絡(luò)應(yīng)