1、人工神經(jīng)網(wǎng)絡(luò)建模專題,Artificial Neural Network,1,生物神經(jīng)元之間的相互連接從而讓信息傳遞的部位披稱為突觸(Synapse)。突觸按其傳遞信息的不同機(jī)制，可分為化學(xué)突觸和電突觸、其中化學(xué)突觸占大多數(shù)，其神經(jīng)沖動(dòng)傳遞借助于化學(xué)遞質(zhì)的作用。生物神經(jīng)元的結(jié)構(gòu)大致描述如下圖所示。,2,3,什么是神經(jīng)網(wǎng)絡(luò)模型？,定義一：神經(jīng)網(wǎng)絡(luò)，有時(shí)也稱作多層感知器（MLPs），本質(zhì)上是人腦處理信息方式的簡(jiǎn)化模型。它通過模擬大量相互連接的簡(jiǎn)單處理單元工作，這些處理單元好像神經(jīng)元的抽象化版本。 定義二：神經(jīng)網(wǎng)絡(luò)是指用大量的簡(jiǎn)單計(jì)算單元（即神經(jīng)元）構(gòu)成的非線性系統(tǒng)，它在一定程度上模仿了人腦神經(jīng)系統(tǒng)

2、的信息處理、存儲(chǔ)及檢索功能。 定義三：一個(gè)神經(jīng)網(wǎng)絡(luò)是一個(gè)由簡(jiǎn)單處理元構(gòu)成的規(guī)模宏大的并行分布式處理器。天然具有存儲(chǔ)知識(shí)和使之可用的特性。神經(jīng)網(wǎng)絡(luò)在兩個(gè)方面與人腦相似： 1.神經(jīng)網(wǎng)絡(luò)獲得的知識(shí)是從外界環(huán)境中學(xué)習(xí)得到的。 2.互連神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于儲(chǔ)存獲取的知識(shí)。,4,5,多層感知器 如果在輸入和輸出層間加上一層或多層的神經(jīng)元(隱層神經(jīng)元)，就可構(gòu)成多層前向網(wǎng)絡(luò)，這里稱為多層感知器。 這里需指出的是：多層感知器只允許調(diào)節(jié)一層的連接權(quán)。這是因?yàn)榘锤兄鞯母拍?，無法給出一個(gè)有效的多層感知器學(xué)習(xí)算法。,6,上述三層感知器中，有兩層連接權(quán)，輸入層與隱層單元間的權(quán)值是隨機(jī)設(shè)置的固定值，不被調(diào)

3、節(jié)；輸出層與隱層間的連接權(quán)是可調(diào)節(jié)的。,7,1.2激活（傳遞）函數(shù)的取法,在Matlab工具箱里包括了許多激活（傳遞）函數(shù)。在“Transfer Function Graphs”中可以找到它們的完全列表 函數(shù)名 功 能 purelin 線性傳遞函數(shù) hardlim 硬限幅遞函數(shù) hardlims 對(duì)稱硬限幅遞函數(shù) satli 飽和線性傳遞函數(shù) satlins 對(duì)稱飽和線性傳遞函數(shù) logsig 對(duì)數(shù)S 形傳遞函數(shù) tansig 正切S 形傳遞函數(shù) radbas 徑向基傳遞函數(shù) compet 競(jìng)爭(zhēng)層傳遞函數(shù),8,9,1.3、網(wǎng)絡(luò)結(jié)構(gòu)以及工作方式,從連接方式看NN主要有兩種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)： 前饋型網(wǎng)

4、絡(luò)：結(jié)點(diǎn)分為輸入單元和計(jì)算單元 反饋型網(wǎng)絡(luò)：所有結(jié)點(diǎn)都是計(jì)算單元 NN的工作過程主要分為兩個(gè)階段： 第一階段：學(xué)習(xí)期，此時(shí)個(gè)計(jì)算單元狀態(tài)不變，各連線上的權(quán)值可通過學(xué)習(xí)來修改 第二階段：工作期，此時(shí)各連接權(quán)值固定，計(jì)算各單元狀態(tài)變化,10,網(wǎng)絡(luò)結(jié)構(gòu)：前饋型神經(jīng)網(wǎng)絡(luò),兩個(gè)或更多的上面所示的神經(jīng)元可以組合成一層，一個(gè)典型的網(wǎng)絡(luò)可包括一層或者多層。我們首先來研究神經(jīng)元層。 單層神經(jīng)元網(wǎng)絡(luò) 有R輸入元素和S個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò)如下圖所示,n1=net.IW1,1*p+net.b1,11,多層神經(jīng)元網(wǎng)絡(luò),上面所示的網(wǎng)絡(luò)有R1個(gè)輸入，第一層有S1個(gè)神經(jīng)元，第二層 有S2個(gè)神經(jīng)元,12,中間層的輸出就是下一

5、層的輸入。第二層可看作有S1個(gè)輸入，S2個(gè)神經(jīng)元和S1xS2 階權(quán)重矩陣W2 的單層網(wǎng)絡(luò)。第二層的輸入是a1，輸出是a2，現(xiàn)在我們已經(jīng)確定了第二層的所有向量和矩陣，我們就能把它看成一個(gè)單層網(wǎng)絡(luò)了。其他層也可以照此步驟處理。多層網(wǎng)絡(luò)的功能非常強(qiáng)大。例、一個(gè)兩層的網(wǎng)絡(luò)，第一層的轉(zhuǎn)移函數(shù)是曲線函數(shù)，第二層的轉(zhuǎn)移函數(shù)是線性函數(shù)，通過訓(xùn)練，它能夠很好的模擬任何有有限斷點(diǎn)的函數(shù)。這種兩層網(wǎng)絡(luò)集中應(yīng)用于“反向傳播網(wǎng)絡(luò)”。注意:我們把第三層的輸出a3標(biāo)記為y。我們將使用這種符號(hào)來定義這種網(wǎng)絡(luò)的輸出。,13,神經(jīng)網(wǎng)絡(luò)模型節(jié)點(diǎn),神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)過程(A) 模型的特點(diǎn)1、有指導(dǎo)的學(xué)習(xí)2、前饋網(wǎng)絡(luò)3、反向傳播算法(

6、B)可變參數(shù)1、隱含層的數(shù)目2、學(xué)習(xí)效率3、動(dòng)態(tài)常量4、停止準(zhǔn)則,14,神經(jīng)網(wǎng)絡(luò)模型節(jié)點(diǎn),神經(jīng)網(wǎng)絡(luò)的主要特點(diǎn) 并行分布處理并行結(jié)構(gòu)和并行實(shí)現(xiàn)，適于實(shí)時(shí)和動(dòng)態(tài)處理 非線性映射可以處理非線性問題 適應(yīng)和集成適用于復(fù)雜、大規(guī)模和多變量系統(tǒng)，可以在線 運(yùn)行和定性定量分析 自學(xué)習(xí)訓(xùn)練可以解決數(shù)學(xué)模型和規(guī)則難以解決的問題 Clementine中神經(jīng)網(wǎng)絡(luò)的特有功能： 敏感度分析：以輔助解釋神經(jīng)網(wǎng)絡(luò)結(jié)果 修剪和驗(yàn)證：以避免過度訓(xùn)練 動(dòng)態(tài)網(wǎng)絡(luò) ：自動(dòng)找出合適的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì),15,神經(jīng)網(wǎng)絡(luò)模型節(jié)點(diǎn),神經(jīng)網(wǎng)絡(luò)模型的主要功能 分類（Cl） 預(yù)測(cè)（Pr） 控制（Ct） 函數(shù)擬合（Ft） 神經(jīng)網(wǎng)絡(luò)的不足： 模型為黑匣子，

7、得到的結(jié)果不易解釋 模型可能會(huì)出現(xiàn)過擬合的情況 結(jié)果可能是局部最小值，而非全局最優(yōu)值,16,1.4創(chuàng)建網(wǎng)絡(luò),newp 創(chuàng)建感知器網(wǎng)絡(luò) newlind 設(shè)計(jì)一線性層 newlin 創(chuàng)建一線性層 newff 創(chuàng)建一前饋 BP 網(wǎng)絡(luò) newcf 創(chuàng)建一多層前饋 BP 網(wǎng)絡(luò) newfftd 創(chuàng)建一前饋輸入延遲 BP 網(wǎng)絡(luò) newrb 設(shè)計(jì)一徑向基網(wǎng)絡(luò) newrbe 設(shè)計(jì)一嚴(yán)格的徑向基網(wǎng)絡(luò) newgrnn 設(shè)計(jì)一廣義回歸神經(jīng)網(wǎng)絡(luò) newpnn 設(shè)計(jì)一概率神經(jīng)網(wǎng)絡(luò) newc 創(chuàng)建一競(jìng)爭(zhēng)層 newsom 創(chuàng)建一自組織特征映射 newhop 創(chuàng)建一 Hopfield 遞歸網(wǎng)絡(luò) newelm 創(chuàng)建一 Elman

8、 遞歸網(wǎng)絡(luò),17,1.5數(shù)據(jù)結(jié)構(gòu):影響網(wǎng)絡(luò)仿真的輸入數(shù)據(jù)結(jié)構(gòu)的格式,靜態(tài)網(wǎng)絡(luò)中的同步輸入仿真：,例1,18,動(dòng)態(tài)網(wǎng)絡(luò)中的異步輸入仿真：當(dāng)網(wǎng)絡(luò)中存在延遲時(shí)，順序發(fā)生的輸入向量就要按一定的序列輸入網(wǎng)絡(luò)。為了演示這種情況，我們以一個(gè)有延遲的簡(jiǎn)單網(wǎng)絡(luò)為例。,19,動(dòng)態(tài)網(wǎng)絡(luò)中的同步輸入仿真,如果我們?cè)谏侠邪演斎胱鳛橥蕉皇钱惒綉?yīng)用，我們就會(huì)得到完全不同的響應(yīng)。這就好象每一個(gè)輸入都同時(shí)加到一個(gè)單獨(dú)的并行網(wǎng)絡(luò)中。在前一個(gè)例子中，如果我們用一組同步輸入，我們有： p1=1, p2=2,p3=3, p4=4 這可用下列代碼創(chuàng)建： P =1 2 3 4; 模擬這個(gè)網(wǎng)絡(luò)，我們得到： A = sim(net,P)

9、 A = 1 2 3 4,20,在某些特定的情況下，我們可能想要在同一時(shí)間模擬一些不同序列的網(wǎng)絡(luò)響應(yīng)。這種情況我們就要給網(wǎng)絡(luò)輸入一組同步序列。比如說，我們要把下面兩個(gè)序列輸入網(wǎng)絡(luò)： p(1)=1, p(2)=2,p(3)=3, p(4)=4 p(1)=4, p(2)=3,p(3)=2, p(4)=1 輸入 P應(yīng)該是一個(gè)細(xì)胞數(shù)組，每一個(gè)數(shù)組元素都包含了兩個(gè)同時(shí)發(fā)生 的序列的元素。 P = 1 4 2 3 3 2 4 1; 現(xiàn)在我們就可以模擬這個(gè)網(wǎng)絡(luò)了： A = sim(net,P); 網(wǎng)絡(luò)輸出結(jié)果將是： A = 1 4 4 11 7 8 10 5 可以看到，每個(gè)矩陣的第一列是由第一組輸入序列產(chǎn)生

10、的輸出序列，每個(gè)矩陣的第二列是由第二組輸入序列產(chǎn)生的輸出序列。這兩組序列之間沒有關(guān)聯(lián)，好象他們是同時(shí)應(yīng)用在單個(gè)的并行網(wǎng)絡(luò)上的。,21,前面的討論中，不論是作為一個(gè)同步向量矩陣輸入還是作為一個(gè)異步向量細(xì)胞數(shù)組輸入，模擬的輸出值是一樣的。 在訓(xùn)練網(wǎng)絡(luò)時(shí)，這是不對(duì)的。當(dāng)我們使用adapt函數(shù)時(shí)，如果輸入是異步向量細(xì)胞數(shù)組，那么權(quán)重將在每一組輸入提交的時(shí)候更新（就是增加方式）；如果輸入是同步向量矩陣，那么權(quán)重將只在所有輸入提交的時(shí)候更新（就是批處理方式）。,22,1.6訓(xùn)練方式,兩種不同的訓(xùn)練方式(1)增加方式：每提交一次輸入數(shù)據(jù)，網(wǎng)絡(luò)權(quán)重和偏置都更新一次;(2)在批處理方式中：僅僅當(dāng)所有的輸入數(shù)據(jù)都

11、被提交以后，網(wǎng)絡(luò)權(quán)重和偏置才被更新. 增加方式（應(yīng)用于自適應(yīng)網(wǎng)絡(luò)和其他網(wǎng)絡(luò)） 雖然增加方式更普遍的應(yīng)用于動(dòng)態(tài)網(wǎng)絡(luò)，比如自適應(yīng)濾波，但是在靜態(tài)和動(dòng)態(tài)網(wǎng)絡(luò)中都可以應(yīng)用它。,23,靜態(tài)網(wǎng)絡(luò)中的增加方式,用增加方式來訓(xùn)練靜態(tài)同步仿真中的例1，這樣每提交一次輸入數(shù)據(jù)，網(wǎng)絡(luò)權(quán)重和偏置都更新一次。 在此我們用函數(shù)adapt，并給出輸入和目標(biāo)序列：假定我們要訓(xùn)練網(wǎng)絡(luò)建立以下線性函數(shù)： t=2p1+p2 . 我們的輸入是： 目標(biāo)輸出是： t1=4,t2=5 ,t3=7 ,t4=7 首先用0初始化權(quán)重和偏置。為了顯示增加方式的效果，先把學(xué)習(xí)速度也設(shè)為0。 net = newlin(-1 1;-1 1,1,0,0)

12、; net.IW1,1 = 0 0; net.b1 = 0; 為了用增加方式，我們把輸入和目標(biāo)輸出表示為以下序列： P = 1;2 2;1 2;3 3;1; T = 4 5 7 7;,24,用增加方式訓(xùn)練網(wǎng)絡(luò)： net = newlin(-1 1;-1 1,1,0,0); net.IW1,1 = 0 0; net.b1 = 0; P = 1;2 2;1 2;3 3;1; T = 4 5 7 7; net,a,e,pf = adapt(net,P,T); 由于學(xué)習(xí)速度為0，網(wǎng)絡(luò)輸出仍然為0，并且權(quán)重沒有被更新。錯(cuò)誤和目標(biāo)輸出相等。 a = 0 0 0 0 e = 4 5 7 7 如果我們?cè)O(shè)置學(xué)習(xí)

13、速度為0.1，我們就能夠看到當(dāng)每一組輸入提交時(shí)，網(wǎng)絡(luò)是怎么調(diào)整的了。 net.inputWeights1,1.learnParam.lr=0.1; net.biases1,1.learnParam.lr=0.1; net,a,e,pf = adapt(net,P,T); a = 0 2 6.0 5.8 e = 4 3 1.0 1.2,25,2、BP神經(jīng)網(wǎng)絡(luò),2.1、概述 BP網(wǎng)絡(luò)是采用Widrow-Hoff學(xué)習(xí)算法和非線性可微轉(zhuǎn)移函數(shù)的多層網(wǎng)絡(luò)。一個(gè)典型的BP網(wǎng)絡(luò)采用的是梯度下降算法，也就是Widrow-Hoff算法所規(guī)定的。backpropagation就是指的為非線性多層網(wǎng)絡(luò)計(jì)算梯度的方法

14、。現(xiàn)在有許多基本的優(yōu)化算法，例如變尺度算法和牛頓算法。神經(jīng)網(wǎng)絡(luò)工具箱提供了許多這樣的算法。 一個(gè)經(jīng)過訓(xùn)練的BP網(wǎng)絡(luò)能夠根據(jù)輸入給出合適的結(jié)果，雖然這個(gè)輸入并沒有被訓(xùn)練過。這個(gè)特性使得BP網(wǎng)絡(luò)很適合采用輸入/目標(biāo)對(duì)進(jìn)行訓(xùn)練，而且并不需要把所有可能的輸入/目標(biāo)對(duì)都訓(xùn)練過。為了提高網(wǎng)絡(luò)的適用性，神經(jīng)網(wǎng)絡(luò)工具箱提供了兩個(gè)特性-規(guī)則化和早期停止。,26,2.2、基礎(chǔ) 網(wǎng)絡(luò)結(jié)構(gòu) 1）常用的前饋型BP網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)有l(wèi)ogsig，tansig有時(shí)也會(huì)用到線性函數(shù)purelin。當(dāng)網(wǎng)絡(luò)的最后一層采用曲線函數(shù)時(shí)輸出被限制在一個(gè)很小的范圍內(nèi)，如果采用線性函數(shù)則輸出可為任意值。如果需要也可以創(chuàng)建其他可微的轉(zhuǎn)移函數(shù)。

15、 2）在BP網(wǎng)絡(luò)中，轉(zhuǎn)移函數(shù)可求導(dǎo)是非常重要的，tansig、logsig和purelin都有對(duì)應(yīng)的導(dǎo)函數(shù)dtansig、dlogsig和dpurelin。為了得到更多轉(zhuǎn)移函數(shù)的導(dǎo)函數(shù),可以輸入tansig(deriv) ans = dtansig,27,網(wǎng)絡(luò)構(gòu)建和初始化,訓(xùn)練前饋網(wǎng)絡(luò)的第一步是建立網(wǎng)絡(luò)對(duì)象。 函數(shù)newff建立一個(gè)可訓(xùn)練的前饋網(wǎng)絡(luò)。 net = newff(PR,S1 S2.SNl,TF1 TF2.TFNl,BTF,BLF,PF) 這里需要4個(gè)輸入?yún)?shù)。 第一個(gè)參數(shù)是一個(gè)RxS1的矩陣以定義R個(gè)輸入向量的最小值 和最大值。 第二個(gè)參數(shù)是一個(gè)每層神經(jīng)元個(gè)數(shù)的數(shù)組。 第三個(gè)參數(shù)是

16、包含每層用到的轉(zhuǎn)移函數(shù)名稱的細(xì)胞數(shù)組。 最后一個(gè)參數(shù)是用到的訓(xùn)練函數(shù)的名稱。,28,例、創(chuàng)建一個(gè)二層網(wǎng)絡(luò),它的輸入是兩個(gè)元素的向量，第一層有四個(gè)神經(jīng)元，第二層有三個(gè)神經(jīng)元。第一層的轉(zhuǎn)移函數(shù)是tan-sigmoid，輸出層的轉(zhuǎn)移函數(shù)是linear。 輸入向量的第一個(gè)元素的范圍是-1到2，輸入向量的第二個(gè)元素的范圍是0到5，訓(xùn)練函數(shù)是traingd。 net=newff(-1 2; 0 5,4,3,tansig,purelin,traingd); 這個(gè)命令建立了網(wǎng)絡(luò)對(duì)象并且初始化了網(wǎng)絡(luò)權(quán)重和偏置，因此網(wǎng)絡(luò)就可以進(jìn)行訓(xùn)練了。,29,在訓(xùn)練前饋網(wǎng)絡(luò)之前，權(quán)重和偏置必須被初始化。初始化權(quán)重和偏置的工作用

17、命令init來實(shí)現(xiàn)。net = init(net); 對(duì)前饋網(wǎng)絡(luò)來說，有兩種不同的初始化方式經(jīng)常被用到：initwb和initnw。1）initwb函數(shù)根據(jù)每一層自己的初始化參數(shù)(net.inputWeightsi,j.initFcn)初始化權(quán)重矩陣和偏置。前饋網(wǎng)絡(luò)的初始化權(quán)重通常設(shè)為rands，它使權(quán)重在-1到1之間隨機(jī)取值值，這種方式經(jīng)常用在轉(zhuǎn)換函數(shù)是線性函數(shù)時(shí)。2）initnw通常用于轉(zhuǎn)換函數(shù)是曲線函數(shù)。它根據(jù)Nguyen和WidrowNgWi90為層產(chǎn)生初始權(quán)重和偏置值，使得每層神經(jīng)元的活動(dòng)區(qū)域能大致平坦的分布在輸入空間。它比起單純的給權(quán)重和偏置隨機(jī)賦值有以下優(yōu)點(diǎn)：（1）減少神經(jīng)元的浪

18、費(fèi)（因?yàn)樗猩窠?jīng)元的活動(dòng)區(qū)域都在輸入空間內(nèi)）。（2）有更快的訓(xùn)練速度（因?yàn)檩斎肟臻g的每個(gè)區(qū)域都在活動(dòng)的神經(jīng)元范圍中）。,30,初始化函數(shù)被newff所調(diào)用。因此當(dāng)網(wǎng)絡(luò)創(chuàng)建 時(shí)，它根據(jù)缺省的參數(shù)自動(dòng)初始化。 init不需要單獨(dú)的調(diào)用?？墒俏覀兛赡芤匦鲁跏蓟瘷?quán)重和偏置或者進(jìn)行自定義的初始化。例如，我們用newff創(chuàng)建的網(wǎng)絡(luò)，它缺省用initnw來初始化第一層。如果我們想要用rands重新初始化第一層的權(quán)重和偏置，我們用以下命令： net.layers1.initFcn = initwb; net.inputWeights1,1.initFcn = rands; net.biases1,1.ini

19、tFcn = rands; net.biases2,1.initFcn = rands; net = init(net);,31,網(wǎng)絡(luò)模擬(SIM),用函數(shù)sim 模擬一個(gè)網(wǎng)絡(luò)。 sim 接收網(wǎng)絡(luò)輸入p，網(wǎng)絡(luò)對(duì)象net，返回網(wǎng)絡(luò)輸出a，這里是simuff用來模擬上面建立的帶一個(gè)輸入向量的網(wǎng)絡(luò)。 p = 1;2; a = sim(net,p) a = -0.1011 (用這段代碼得到的輸出是不一樣的，這是因?yàn)榫W(wǎng)絡(luò)初始化是隨機(jī)的。) 例、調(diào)用sim來計(jì)算一個(gè)同步輸入3向量網(wǎng)絡(luò)的輸出： p = 1 3 2;2 4 1; a=sim(net,p) a = -0.1011 -0.2308 0.4955,

20、32,增加模式訓(xùn)練法（ADAPT）,現(xiàn)在我們就可以開始訓(xùn)練網(wǎng)絡(luò)了。當(dāng)然我們要指定輸入值和目標(biāo)值如下所示： p = -1 -1 2 2;0 5 0 5;t = -1 -1 1 1; 如果我們要在每一次提交輸入后都更新權(quán)重，那么需要將輸入矩陣和目標(biāo)矩陣轉(zhuǎn)變?yōu)榧?xì)胞數(shù)組。每一個(gè)細(xì)胞都是一個(gè)輸入或者目標(biāo)向量。 p = num2cell(p,1); t = num2cell(t,1); 現(xiàn)在就可以用adapt來實(shí)現(xiàn)增加方式訓(xùn)練了: net,a,e=adapt(net,p,t); 訓(xùn)練結(jié)束以后，就可以模擬網(wǎng)絡(luò)輸出來檢驗(yàn)訓(xùn)練質(zhì)量了。 a = sim(net,p) a = -0.9995 -1.0000 1.0

21、001 1.0000,33,帶動(dòng)力的梯度下降(LEARDGDM) 批處理訓(xùn)練方式 批處理梯度下降法(TRAINGD) 帶動(dòng)量的批處理梯度下降法（ 批處理訓(xùn)練方式 TRAINGDM）,34,例1、蠓蟲分類問題,1、蠓蟲分類問題 生物學(xué)家試圖對(duì)兩種蠓蟲（Af與Apf）進(jìn)行鑒別，依據(jù)的 資料是觸角和翅膀的長(zhǎng)度，已經(jīng)測(cè)得了9支Af和6支Apf的數(shù) 據(jù)如下： Af: (1.24,1.27)，(1.36,1.74)， (1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)，(1.48,1.82)，(1.54,1.82)，(1.56,2.08)； Apf: (1.14

22、,1.82)，(1.18,1.96)，(1.20,1.86)，(1.26,2.00)，(1.28,2.00)，(1.30,1.96). （i）根據(jù)如上資料，如何制定一種方法，正確地區(qū)分兩類蠓蟲。 （ii）對(duì)觸角和翼長(zhǎng)分別為(1.24,1.80)，(1.28,1.84)與(1.40,2.04)的3個(gè)標(biāo)本，用所得到的方法加以識(shí)別。 （iii）設(shè)Af是寶貴的傳粉益蟲，Apf是某疾病的載體，是否應(yīng)該修改分類方法。,35,問題分析：要求依據(jù)已知資料（9支Af的數(shù)據(jù)和6支Apf的數(shù)據(jù)）制定一種分類方法，類別是已經(jīng)給定的（Af或Apf）。我們將9支Af及6支Apf的數(shù)據(jù)集合稱之為學(xué)習(xí)樣本。2 多層前饋網(wǎng)絡(luò)為

23、解決此問題，考慮一個(gè)其結(jié)構(gòu)如下圖所示的人工神經(jīng)網(wǎng)絡(luò),輸入層,輸出層,中間層 （隱層）,36,以s = 1,2,15，分別表示學(xué)習(xí)樣本中的15個(gè)樣品，對(duì)樣品s而言，對(duì)任何一組確定的輸入I_ks(k=1,2)隱單元j 的輸入是相應(yīng)的輸出狀態(tài)是網(wǎng)絡(luò)的最終輸出是,37,對(duì)于任何一組確定的輸入 ，輸出是所有權(quán)的函數(shù)。 如果我們能夠選定一組適當(dāng)?shù)臋?quán)值，使得對(duì)應(yīng)于學(xué)習(xí)樣本中任何一組Af樣品的輸入，輸出為(1,0) ，對(duì)應(yīng)于Apf的輸入數(shù)據(jù)，輸出為(0,1)，那么蠓蟲分類問題實(shí)際上就解決了。因?yàn)?，?duì)于任何一個(gè)未知類別的樣品，只要將其觸角及翅膀長(zhǎng)度輸入網(wǎng)絡(luò)，視其輸出模式靠近(1,0)亦或(0,1)，就可能判斷其

24、歸屬。當(dāng)然，有可能出現(xiàn)介于中間無法判斷的情況。 現(xiàn)在的問題是，如何找到一組適當(dāng)?shù)臋?quán)值，實(shí)現(xiàn)上面所設(shè)想的網(wǎng)絡(luò)功能。,38,39,4、蠓蟲分類問題求解,clear p1=1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08; p2=1.14,1.82;1.18,1.96;1.20,1.86;1.26,2.00 1.28,2.00;1.30,1.96; p=p1;p2; pr=minmax(p); goal=ones(1,9),zeros(1,6);zeros(1,9),o

25、nes(1,6); subplot(1,2,1) plot(p1(:,1),p1(:,2),h,p2(:,1),p2(:,2),o) subplot(1,2,2) net=newff(pr,3,2,logsig,logsig); net.trainParam.show = 10; net.trainParam.lr = 0.05; net.trainParam.epochs = 3000; net.trainParam.goal = 1e-10; net = train(net,p,goal); x=1.24 1.80;1.28 1.84;1.40 2.04; y0=sim(net,p) y=

26、sim(net,x),40,例2、人口預(yù)測(cè)以下是從北京統(tǒng)計(jì)年鑒中得到的 1980-2010年的北京城近郊區(qū)戶籍人口統(tǒng)計(jì)結(jié)果作為樣本數(shù)據(jù)，建立人工神經(jīng)網(wǎng)絡(luò)模型，預(yù)測(cè)、2011年的北京城近郊區(qū)戶籍人口,41,北京市人口數(shù)統(tǒng)計(jì)表：,42,數(shù)據(jù)處理后的樣本數(shù)據(jù)：,43,%樣本訓(xùn)練 net=newff(minmax(p),6,1,tansig,purelin,trainlm);%建立網(wǎng)絡(luò) inputWeights=net.IW1,1;%當(dāng)前輸入層權(quán)值和閾值 inputbias=net.b1; layerWeights=net.LW2,1;%當(dāng)前網(wǎng)絡(luò)層權(quán)值和閾值 layerbias=net.b2;,44,%網(wǎng)絡(luò)參數(shù)設(shè)置 net.performFcn=mse; net.trainParam.show = 20; net.trainParam.goal = 1e-5; net.trainParam.epochs =1000; net.trainParam.lr=0.15; net.trainParam.mc=0.9;,45,net=train(ne