神經(jīng)計(jì)算基礎(chǔ)感知器仿真程序設(shè)計(jì)演示文稿第一頁，共34頁。優(yōu)選神經(jīng)計(jì)算基礎(chǔ)感知器仿真程序設(shè)計(jì)第二頁，共34頁。3.1感知器神經(jīng)元及感知器神經(jīng)網(wǎng)絡(luò)模型3.2感知器的學(xué)習(xí)3.3感知器的局限性3.4單層感知器神經(jīng)網(wǎng)絡(luò)的MATLAB仿真程序設(shè)計(jì) 1感知器神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的基本方法 2單層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程3.5多層感知器神經(jīng)網(wǎng)絡(luò)及其MATLAB仿真

1多層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法 2多層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程3.6感知器應(yīng)用于線性分類問題的進(jìn)一步討論感知器及其MATLAB仿真程序設(shè)計(jì)第三頁，共34頁。3.1感知器神經(jīng)元及感知器神經(jīng)網(wǎng)絡(luò)模型感知器神經(jīng)元模型：將人工神經(jīng)元的一般模型中傳輸函數(shù)取為閾值型傳輸函數(shù)人工神經(jīng)元的一般模型圖3.1感知器神經(jīng)元的一般模型第四頁，共34頁。3.1感知器神經(jīng)元及感知器神經(jīng)網(wǎng)絡(luò)模型單層和多層感知器神經(jīng)網(wǎng)絡(luò)模型圖3.2單層感知器神經(jīng)網(wǎng)絡(luò)模型圖3.3多層感知器神經(jīng)網(wǎng)絡(luò)模型第五頁，共34頁。3.2感知器的學(xué)習(xí)

如何找到合適的權(quán)值和閾值?“訓(xùn)練”：不斷地調(diào)整權(quán)值和閾值的調(diào)整過程

神經(jīng)網(wǎng)絡(luò)的“學(xué)習(xí)”：訓(xùn)練過程中把輸入空間映射到輸出空間的能力

學(xué)習(xí)規(guī)則或訓(xùn)練算法：調(diào)整權(quán)值和閾值的算法

感知器的學(xué)習(xí)是一種有教師學(xué)習(xí)方式

學(xué)習(xí)規(guī)則稱之為δ規(guī)則第六頁，共34頁。t表示目標(biāo)輸出，a表示實(shí)際輸出，則e=t-a(3.1)網(wǎng)絡(luò)訓(xùn)練的目的就是要使t

a當(dāng)e=0時(shí)，得到最優(yōu)的網(wǎng)絡(luò)權(quán)值和閾值；當(dāng)e>0時(shí)，說明得到的實(shí)際輸出小于目標(biāo)輸出，應(yīng)增加網(wǎng)絡(luò)權(quán)值和閾值；當(dāng)e<0時(shí)，說明得到的實(shí)際輸出大于目標(biāo)輸出，應(yīng)減小網(wǎng)絡(luò)權(quán)值和閾值。一般感知器的傳輸函數(shù)為閾值型函數(shù)，網(wǎng)絡(luò)的輸出a只可能為0或13.2感知器的學(xué)習(xí)第七頁，共34頁。訓(xùn)練樣本集{p1,t1}，{p2,t2}，…，{pn,tn}(3.2)權(quán)值閾值調(diào)整算法W(k+1)=W(k)+epT(3.3)

b(k+1)=b(k)+e(3.4)式中：e——誤差向量，e=t-a；W——權(quán)值向量；b——閾值向量；p——輸入向量；k——表示第k步學(xué)習(xí)過程。3.2感知器的學(xué)習(xí)第八頁，共34頁。輸入向量的取值范圍很大，一些輸入的值太大，而一些輸入的值太小解決辦法：閾值調(diào)整仍然按式（3.4）進(jìn)行，而權(quán)值的調(diào)整可以采用歸一化算法，即3.2感知器的學(xué)習(xí)

（3.5）

（3.6）單層感知器網(wǎng)絡(luò)只能解決線性可分的分類問題網(wǎng)絡(luò)的實(shí)際輸出與期望輸出的誤差減小到零時(shí)完成訓(xùn)練過程訓(xùn)練的結(jié)果使網(wǎng)絡(luò)的訓(xùn)練樣本模式分布記憶在權(quán)值和閾值中第九頁，共34頁。單層感知器的學(xué)習(xí)過程例3.1試用單個(gè)感知器神經(jīng)元完成下列分類，寫出其訓(xùn)練的迭代過程，畫出最終的分類示意圖。已知：｛p1=[22]T，t1=0｝｛p2=[1-2]T，t2=1｝

｛p3=[-22]T，t3=0｝｛p4=[-10]T，t4=1｝解：據(jù)題意，神經(jīng)元有兩個(gè)輸入量，傳輸函數(shù)為閾值型函數(shù)。于是以圖3.4所示感知器神經(jīng)元完成分類圖3.4例3.1中的感知器神經(jīng)元第十頁，共34頁。單層感知器的學(xué)習(xí)過程（1）初始化：W(0)=[00],b(0)=0（2）第一次迭代：a=f(n)=f[W(0)p1+b(0)]=f([00][22]T+0)=f(0)=1e=t1-a=0-1=-1因?yàn)檩敵鯽不等于目標(biāo)值t1，所以按照相應(yīng)式調(diào)整權(quán)值和閾值W(1)=W(0)+epT=[00]+(-1)[22]=[-2-2]b(1)=b(0)+e=0+(-1)=-1（3）第二次迭代：以第二個(gè)輸入樣本作為輸入向量，以調(diào)整后的權(quán)值和閾值進(jìn)行計(jì)算a=f(n)=f[W(1)p2+b(1)]=f([-2-2][1-2]’+(-1))=f(1)=1e=t2-a=1-1=0第十一頁，共34頁。因?yàn)檩敵鯽等于目標(biāo)值t2，所以無需調(diào)整權(quán)值和閾值：W(2)=W(1)=[-2-2]b(2)=b(1)=-1（4）第三次迭代：以第三個(gè)輸入樣本作為輸入向量，以w(2)，b(2)進(jìn)行計(jì)算：a=f(n)=f[W(2)p3+b(2)]=f([-2-2][-2-2]’+(-1))=f(-1)=0e=t3-a=0-0=0因?yàn)檩敵鯽等于目標(biāo)值t3，所以無需調(diào)整權(quán)值和閾值：W(3)=W(2)=[-2-2]b(3)=b(2)=-1單層感知器的學(xué)習(xí)過程第十二頁，共34頁。（5）第四次迭代：以第四個(gè)輸入樣本作為輸入向量，以W(3)，b(3)進(jìn)行計(jì)算：a=f(n)=f[W(3)p4+b(3)]=f([-2-2][-10]’+(-1))=f(11)=1e=t4-a=1-1=0因?yàn)檩敵鯽等于目標(biāo)值t4，所以無需調(diào)整權(quán)值和閾值：W(4)=W(3)=[-2-2]b(4)=b(3)=-1（6）以后各次迭代又從以第一個(gè)輸入樣本開始，作為輸入向量，以前一次的權(quán)值和閾值進(jìn)行計(jì)算，直到調(diào)整后的權(quán)值和閾值對(duì)所有的輸入樣本，其輸出的誤差為零為止。進(jìn)行第五次迭代：a=f(n)=f[W(4)p1+b(4)]=f([-2-2][22]’+(-1))=f(-9)=0e=t1-a=0-0=0單層感知器的學(xué)習(xí)過程第十三頁，共34頁。因?yàn)檩敵鯽等于目標(biāo)值t4，所以無需調(diào)整權(quán)值和閾值：W(5)=W(4)=[-2-2]b(5)=b(4)=-1可以看出W=[-2-2]，b=-1對(duì)所有的輸入樣本，其輸出誤差為零，所以為最終調(diào)整后的權(quán)值和閾值。（7）因?yàn)閚＞0時(shí)，a=1；n≦0時(shí)，a=0，所以以n=0作為邊界,根據(jù)訓(xùn)練后的結(jié)果畫出分類示意圖，如圖所示。單層感知器的學(xué)習(xí)過程

圖3.5例3.1分類示意圖第十四頁，共34頁。3.3感知器的局限性感知器神經(jīng)網(wǎng)絡(luò)的輸出值只有兩種（0或1，-1或1）單層感知器網(wǎng)絡(luò)只能用于解決線性可分的分類問題，而對(duì)線性不可分的分類問題無能為力感知器學(xué)習(xí)算法只適于單層感知器網(wǎng)絡(luò)第十五頁，共34頁。3.4MATLAB仿真程序設(shè)計(jì)感知器神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的基本方法以newp創(chuàng)建感知器神經(jīng)網(wǎng)絡(luò)首先根據(jù)所要解決的問題，確定輸入向量的取值范圍和維數(shù)、網(wǎng)絡(luò)層的神經(jīng)元數(shù)目、傳輸函數(shù)和學(xué)習(xí)函數(shù)等；然后用創(chuàng)建函數(shù)newp創(chuàng)建網(wǎng)絡(luò)以train訓(xùn)練創(chuàng)建網(wǎng)絡(luò)構(gòu)造訓(xùn)練樣本集，確定每個(gè)樣本的輸入向量和目標(biāo)向量，調(diào)用函數(shù)train對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，根據(jù)訓(xùn)練的情況決定是否調(diào)整訓(xùn)練參數(shù)，以得到滿足誤差性能指標(biāo)的神經(jīng)網(wǎng)絡(luò)，然后進(jìn)行存儲(chǔ)以sim對(duì)訓(xùn)練后的網(wǎng)絡(luò)進(jìn)行仿真構(gòu)造測試樣本集，加載訓(xùn)練后的網(wǎng)絡(luò)，調(diào)用函數(shù)sim，以測試樣本集進(jìn)行仿真，查驗(yàn)網(wǎng)絡(luò)的性能第十六頁，共34頁。單層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程例3.2設(shè)計(jì)一單層單輸出感知器神經(jīng)網(wǎng)絡(luò)，進(jìn)行二值化圖像卡片上數(shù)字的奇偶分類解（1）問題分析數(shù)字1和0的二值化圖像卡片分成5*3的矩形方塊，每個(gè)小方塊有數(shù)字的筆畫劃過記為1，否則記為0圖像卡片上所有小方塊表達(dá)了有0，1二值組成的一個(gè)模式（或向量），該模式可以作為感知器神經(jīng)網(wǎng)絡(luò)的輸入向量圖3.6圖像數(shù)字卡片構(gòu)成模式（向量）示意圖第十七頁，共34頁。由數(shù)字0-9構(gòu)成的輸入向量見表3.1圖像卡片上的數(shù)字為奇數(shù)時(shí)感知器神經(jīng)網(wǎng)絡(luò)輸出為0圖像卡片上的數(shù)字為偶數(shù)時(shí)感知器神經(jīng)網(wǎng)絡(luò)輸出為1單層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程第十八頁，共34頁。

單層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程（2）設(shè)計(jì)感知器神經(jīng)網(wǎng)絡(luò)根據(jù)以上分析，按本題要求設(shè)計(jì)的感知器神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如下：網(wǎng)絡(luò)有1個(gè)輸入向量，輸入元素的取值范圍為[01]；為單層、單神經(jīng)元感知器神經(jīng)網(wǎng)絡(luò)；輸出是一個(gè)二值向量0或1，傳輸函數(shù)可以取為logsig函數(shù)。設(shè)計(jì)的感知器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖3.7所示圖3.7單層感知器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖第十九頁，共34頁。（3）感知器神經(jīng)網(wǎng)絡(luò)的MATLAB程序?qū)崿F(xiàn)%創(chuàng)建感知器神經(jīng)網(wǎng)絡(luò)%設(shè)置輸入向量每個(gè)元素的值域（最小值和最大值），因?yàn)橛?5個(gè)輸入，所以為15*2矩陣向量pr=[01;01;01;01;01;01;01;01;01;01;01;01;01;01;01];net=newp(pr,1);%創(chuàng)建感知器神經(jīng)網(wǎng)絡(luò)，有15個(gè)輸入元素，1個(gè)神經(jīng)元%訓(xùn)練感知器神經(jīng)網(wǎng)絡(luò)P=[……]; %定義15*10的訓(xùn)練樣本集輸入向量t=[1010101010];%定義1*10的目標(biāo)向量[net,tr]=train(net,p,t);%訓(xùn)練單層感知器神經(jīng)網(wǎng)絡(luò)iw1=net.IW{1}%輸出訓(xùn)練后的權(quán)值b1=net.b{1}%輸出訓(xùn)練后的閾值epoch1=tr.epoch%輸出訓(xùn)練過程經(jīng)過的每一步長perf1=tr.perf%輸出每一步訓(xùn)練結(jié)果的誤差%存儲(chǔ)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)savenet32net單層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程第二十頁，共34頁。單層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程運(yùn)行結(jié)果：a＝10經(jīng)過訓(xùn)練的網(wǎng)絡(luò)，對(duì)于訓(xùn)練樣本及訓(xùn)練樣本以外的輸入模式可以得到正確的分類結(jié)果，具有一定的容錯(cuò)能力圖3.8例3.2的訓(xùn)練誤差性能曲線第二十一頁，共34頁。例3.3設(shè)計(jì)一單層雙輸出感知器神經(jīng)網(wǎng)絡(luò)，進(jìn)行二值化圖像卡片上數(shù)字的奇偶分類。解（1）問題分析和神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)設(shè)a1a2=10，表示偶數(shù)；a1a2=01，表示奇數(shù)；則a1a2=00為拒識(shí)狀態(tài)；a1a2=11為錯(cuò)識(shí)狀態(tài)。而其他分析同例3.2，設(shè)計(jì)的感知器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖如圖3.9所示單層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程圖3.9例3.3單層感知器神經(jīng)網(wǎng)絡(luò)模型第二十二頁，共34頁。單層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程（2）感知器神經(jīng)網(wǎng)絡(luò)的MATLAB程序?qū)崿F(xiàn)本例的MATLAB程序只要修改例3.2中的以下兩句即可，即net=newp(pr,2);%初始化單層感知器神經(jīng)網(wǎng)絡(luò)，輸人有15個(gè)元素，2個(gè)神經(jīng)元t=[1010101010;0101010101];%定義2*10的目標(biāo)向量矩陣運(yùn)行結(jié)果顯示，經(jīng)過4步訓(xùn)練后達(dá)到誤差為0的性能指標(biāo)圖3.8例3.3的訓(xùn)練誤差性能曲線第二十三頁，共34頁。單層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程第二十四頁，共34頁。3.5

多層感知器神經(jīng)網(wǎng)絡(luò)及其MATLAB仿真多層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法把神經(jīng)網(wǎng)絡(luò)的第一層設(shè)計(jì)為隨機(jī)感知器層，且不對(duì)它進(jìn)行訓(xùn)練，而是隨機(jī)初始化它的權(quán)值和閾值以第一層的輸出作為第二感知器層的輸入，并確定第二感知器層的目標(biāo)向量，然后對(duì)第二感知器層進(jìn)行訓(xùn)練。在訓(xùn)練過程中，整個(gè)網(wǎng)絡(luò)可能達(dá)到訓(xùn)練誤差性能指標(biāo)，也可能達(dá)不到訓(xùn)練誤差性能指標(biāo)。程序一次運(yùn)行的結(jié)果往往達(dá)不到設(shè)計(jì)要求，需要反復(fù)運(yùn)行，直至達(dá)到要求為止。第二十五頁，共34頁。多層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程例3.4單層感知器網(wǎng)絡(luò)不能模擬異或函數(shù)的問題，這里用二層感知器神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)。解（1）問題分析異或問題真值表見表3.2表3.2異或問題真值表第二十六頁，共34頁。多層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程圖3.11異或問題的圖形表示若把異或問題看成p1-p2平面上的點(diǎn)，則點(diǎn)A0(0,0)，A1(1,1)表示輸出為0的兩個(gè)點(diǎn)，B0(1,0)，B1(0,1)表示輸出為1的兩個(gè)點(diǎn)，如圖3.11所示第二十七頁，共34頁。多層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程圖3.12例3.14的二層感知器神經(jīng)網(wǎng)絡(luò)模型（2）神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)以圖3.12所示二層神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)，其中隱層為隨機(jī)感知器層(net1)，神經(jīng)元數(shù)目設(shè)計(jì)為3，其權(quán)值和閾值是隨機(jī)的，它的輸出作為輸出層（分類層）的輸入；輸出層為感知器層(net2)，其神經(jīng)元數(shù)為1，僅對(duì)該層進(jìn)行訓(xùn)練。第二十八頁，共34頁。多層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程（3）多層感知器神經(jīng)網(wǎng)絡(luò)的MATLAB程序?qū)崿F(xiàn)%初始化隨機(jī)感知器層pr1=[01;01];%設(shè)置隨機(jī)感知器層輸入向量每個(gè)元素的值域net1=newp(pr1,3);%定義隨機(jī)感知器層net1.inputweights{1}.initFcn='rands';%指定隨機(jī)感知器層權(quán)值初始化函數(shù)為隨機(jī)函數(shù)net1.biases{1}.initFcn='rands';%指定隨機(jī)感知器層閾值初始化函數(shù)為隨機(jī)函數(shù)net1=init(net1);%初始化隨機(jī)感知器層iw1=net1.IW{1}%隨機(jī)感知器層的權(quán)值向量b1=net1.b{1}%隨機(jī)感知器層的閾值向量%隨機(jī)感知器層仿真p1=[00;01;10;11]';%隨機(jī)感知器層輸人向量（訓(xùn)練樣本值）[a1,pf]=sim(net1,p1);%隨機(jī)感知器層仿真第二十九頁，共34頁。%初始化第二感知器層pr2=[01;01;01];%設(shè)置第二感知器層輸入向量每個(gè)元素的值域net2=newp(pr2,1);%定義第二感知器層%訓(xùn)練第二感知器層net2.trainParam.epochs=1000;net2.trainParam.show=1;p2=ones(3,4);%初始化第二感知器層的輸入向量p2=p2.*a1;%隨機(jī)感知器層的仿真輸出結(jié)果作為第二感知器層的輸入向量t2=[0110];%第二感知器層的目標(biāo)向量[net2,tr2]=train(net2,p2,t2);%訓(xùn)練第二感知器層epoch2=tr2.epoch%輸出訓(xùn)練過程經(jīng)過的每一步長perf2=tr2.perf%輸出每一步訓(xùn)練結(jié)果的誤差iw2=net2.IW{1}%第二感知器層的權(quán)值向量b2=net2.b{1}%第二感知器層的閾值向量%存儲(chǔ)訓(xùn)練后的網(wǎng)絡(luò)savenet34net1net2多層感知器神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)例程第三十頁，共34頁。%初始化第二感知器層pr2=[01;01;01];%設(shè)置第二感知器層輸入向量每個(gè)元素的值域net2=newp(pr2,1);%定義第二感知器層%訓(xùn)練第二感知器層net2.trainParam.epochs=1000;net2.trainParam.show=1;p2=ones(3,4);%初始化第二感知器層的輸入向量p2=p2.*a1;%隨機(jī)感知器層的仿真輸出結(jié)果作為第二感知器層的輸入向量t2=[0110];%第二感知器層的目標(biāo)向