1、人工神經(jīng)網(wǎng)絡(luò) (Artificial Neural Networks -ANN),楊珂玲 統(tǒng)計(jì)與應(yīng)用數(shù)學(xué)系,目錄,2、人工神經(jīng)網(wǎng)絡(luò),3、BP神經(jīng)網(wǎng)絡(luò),4、BP神經(jīng)網(wǎng)絡(luò)在實(shí)例中的應(yīng)用,1、引例,1、引例,1981年生物學(xué)家格若根（W Grogan）和維什（WWirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)他們測(cè)量了這兩類蚊子每個(gè)個(gè)體的翼長(zhǎng)和觸角長(zhǎng)，數(shù)據(jù)如下：,翼長(zhǎng) 觸角長(zhǎng) 類別 1.64 1.38 Af 1.82 1.38 Af 1.90 1.38 Af 1.70 1.40 Af 1.82 1.48 Af 1.82 1.54 Af 2.08 1.56 Af,翼長(zhǎng) 觸角長(zhǎng) 類別 1.78 1.14

2、 Apf 1.96 1.18 Apf 1.86 1.20 Apf 1.72 1.24 Af 2.00 1.26 Apf 2.00 1.28 Apf 1.96 1.30 Apf 1.74 1.36 Af,問：如果抓到三只新的蚊子，它們的觸角長(zhǎng)和翼長(zhǎng)分別為(l.24,1.80); (l.28，1.84)；（1.40，2.04）問它們應(yīng)分別屬于哪一個(gè)種類？,解法一：,把翼長(zhǎng)作縱坐標(biāo)，觸角長(zhǎng)作橫坐標(biāo)；那么每個(gè)蚊子的翼長(zhǎng)和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中 6個(gè)蚊子屬于 APf類；用黑點(diǎn)“”表示；9個(gè)蚊子屬 Af類；用小圓圈“?！北硎?得到的結(jié)果見圖1,圖1 飛蠓的觸角長(zhǎng)和翼長(zhǎng),思路：作一直線將兩類飛蠓分

3、開,例如；取A（1.44，2.10）和 B(1.10，1.16)，過A B兩點(diǎn)作一條直線： y 1.47x - 0.017， 其中X表示觸角長(zhǎng)；y表示翼長(zhǎng),分類規(guī)則：設(shè)一個(gè)蚊子的數(shù)據(jù)為（x, y）, 如果y1.47x - 0.017，則判斷蚊子屬Apf類； 如果y1.47x - 0.017；則判斷蚊子屬Af類,分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于 Apf類,圖2 分類直線圖,缺陷：根據(jù)什么原則確定分類直線？,若取A=(1.46,2.10), B=(1.1,1.6)不變，則分類直線變?yōu)?y=1.39x+0.071,分類結(jié)果變?yōu)椋?(1.2

4、4,1.80)， (1.40,2.04) 屬于Apf類； (1.28,1.84)屬于Af類,哪一分類直線才是正確的呢？,因此如何來確定這個(gè)判別直線是一個(gè)值得研究的問題一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來確定判別直線,再如，如下的情形已經(jīng)不能用分類直線的辦法：,新思路：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。,2、人工神經(jīng)網(wǎng)絡(luò),人工神經(jīng)網(wǎng)絡(luò)是由大量的、簡(jiǎn)單的處理單元（稱為神經(jīng)元）廣泛地相互連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特征，是一個(gè)高度復(fù)雜的非線性動(dòng)力學(xué)系統(tǒng)。,2.1 人工神經(jīng)網(wǎng)絡(luò)概述,2.2 神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容,（1）生物原型研究

5、：研究神經(jīng)細(xì)胞、神經(jīng)網(wǎng)絡(luò)、神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能機(jī)理。 （2）建立理論模型：根據(jù)生物圓形的研究，建立神經(jīng)元、神經(jīng)網(wǎng)絡(luò)的理論模型，其中包括概念模型、知識(shí)模型、物理化學(xué)模型、數(shù)學(xué)模型等。 （3）網(wǎng)絡(luò)模型與算法研究：在理論模型研究的基礎(chǔ)上構(gòu)成具體的神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)計(jì)算機(jī)模擬或準(zhǔn)備制作硬件，包括網(wǎng)絡(luò)學(xué)習(xí)算法的研究。 （4）神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)：在網(wǎng)絡(luò)模型與算法研究的基礎(chǔ)上，利用神經(jīng)網(wǎng)絡(luò)組成實(shí)際的應(yīng)用系統(tǒng)。,2.3 神經(jīng)網(wǎng)絡(luò)的應(yīng)用,神經(jīng)網(wǎng)絡(luò)理論特別是在人工智能、自動(dòng)控制、計(jì)算機(jī)科學(xué)、信息處理、機(jī)器人、模式識(shí)別、等方面都有重大的應(yīng)用實(shí)例。下面列出一些主要應(yīng)用領(lǐng)域： （1）模式識(shí)別和圖像處理。印刷體

6、和手寫字符識(shí)別、語音識(shí)別、指紋識(shí)別、人體病理分析、目標(biāo)檢測(cè)與識(shí)別、圖像壓縮和圖像復(fù)制等。 （2）控制和優(yōu)化。機(jī)器人運(yùn)動(dòng)控制、半導(dǎo)體生產(chǎn)過程控制、石油精煉優(yōu)化控制、超大規(guī)模集成電路布線設(shè)計(jì)等。,（3）預(yù)報(bào)和智能信息管理。股票市場(chǎng)預(yù)測(cè)、地震預(yù)報(bào)、借貸風(fēng)險(xiǎn)分析、IC卡管理和交通管理。 （4）通信。自適應(yīng)均衡、回波抵消、路由選擇和ATM網(wǎng)絡(luò)中的呼叫接納識(shí)別和控制。 （5）空間科學(xué)?？臻g交匯對(duì)接控制、導(dǎo)航信息智能管理、飛行器制導(dǎo)和飛行程序優(yōu)化管理等。,2.4 神經(jīng)元與神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),大腦可視作為1000多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò),圖1 神經(jīng)元的解剖圖,神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動(dòng)。樹突由于電化學(xué)作

7、用接受外界的刺激；通過胞體內(nèi)的活動(dòng)體現(xiàn)為軸突電位，當(dāng)軸突電位達(dá)到一定的值則形成神經(jīng)脈沖或動(dòng)作電位；再通過軸突末梢傳遞給其它的神經(jīng)元從控制論的觀點(diǎn)來看；這一過程可以看作一個(gè)多輸入單輸出非線性系統(tǒng)的動(dòng)態(tài)過程,2.5 神經(jīng)網(wǎng)絡(luò)基本模型,歸納一下生物神經(jīng)元傳遞信息的過程：生物神經(jīng)元是一個(gè)多輸入、單輸出單元。常用的人工神經(jīng)元模型可用圖2模擬。,圖2 人工神經(jīng)元（感知器）示意圖,當(dāng)神經(jīng)元j有多個(gè)輸入 (i=1，2,m)和單個(gè)輸出 時(shí)，輸入和輸出的關(guān)系可表示為:,其中 為閾值， 為從神經(jīng)元i到神經(jīng)元j的連接權(quán)重因子，f( )為傳遞函數(shù)，或稱激勵(lì)函數(shù)。,例如，若記,取激發(fā)函數(shù)為符號(hào)函數(shù),則,S型激發(fā)函數(shù)：,2

8、.6 神經(jīng)網(wǎng)絡(luò)分類,神經(jīng)網(wǎng)絡(luò)有分層網(wǎng)絡(luò)、層內(nèi)連接的分層網(wǎng)絡(luò)、反饋連接的分層網(wǎng)絡(luò)、互連網(wǎng)絡(luò)等四種結(jié)構(gòu)，其神經(jīng)網(wǎng)絡(luò)模型有感知器網(wǎng)絡(luò)，線性神經(jīng)網(wǎng)絡(luò)，BP神經(jīng)網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)，反饋神經(jīng)網(wǎng)絡(luò)等，本文主要學(xué)習(xí)研究了BP神經(jīng)網(wǎng)絡(luò)，以及BP神經(jīng)網(wǎng)絡(luò)在函數(shù)逼近和樣本含量估計(jì)等實(shí)例中的應(yīng)用分析。,3、BP神經(jīng)網(wǎng)絡(luò)（Back Propagation network）,3.1 BP神經(jīng)網(wǎng)絡(luò)概述,BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)的主要特點(diǎn)是信號(hào)前向傳遞，誤差反向傳遞。在前向傳遞中，輸入信號(hào)從輸入層經(jīng)隱 含層逐層處理，直至輸出層。每一層的神經(jīng)元狀態(tài)只影響下一層神經(jīng)元狀態(tài)。如果輸出層得不到期望輸出，則轉(zhuǎn)入反向

9、傳播，根據(jù)預(yù)測(cè)誤差調(diào)整網(wǎng)絡(luò)權(quán)值和閥值，從而使BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)輸出不斷逼近期望輸出。,3.2 BP神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用,目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中。絕大部分的神經(jīng)網(wǎng)絡(luò)模型都采用BP神經(jīng)網(wǎng)絡(luò)及其變化形式。它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的精華。BP網(wǎng)絡(luò)主要用于以下四方面： 1)函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個(gè)網(wǎng)絡(luò)以逼近一個(gè)函數(shù)。 2)模式識(shí)別：用一個(gè)待定的輸出向量將它與輸入向量聯(lián)系起來。 3)分類：把輸入向量所定義的合適方式進(jìn)行分類。 4)數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲(chǔ)。,3.3 BP神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu),BP神經(jīng)元模型,上圖給出一個(gè)基本的BP神經(jīng)元模型，它具有R

10、個(gè)輸入，每個(gè)輸入都通過一個(gè)適當(dāng)?shù)臋?quán)值w和上一層相連，網(wǎng)絡(luò)輸出可表示為： a=f (w*p+b) f就是表示輸入/輸出關(guān)系的傳遞函數(shù)。BP網(wǎng)絡(luò)中隱層神經(jīng)元的傳遞函數(shù)通常用log-sigmoid型函數(shù)logsig()、tan-sigmoid型函數(shù)tansig()以及純線性函數(shù)purelin()。 如果BP網(wǎng)絡(luò)的最后一層是sigmoid型神經(jīng)元，那么整個(gè)網(wǎng)絡(luò)的輸出就限制在一個(gè)較小的范圍內(nèi)；如果BP網(wǎng)絡(luò)的最后一層是purelin型線性神經(jīng)元，那么整個(gè)網(wǎng)絡(luò)的輸出可以取任意值。,下圖(上半部) 是一個(gè)典型的BP網(wǎng)絡(luò)結(jié)構(gòu)。具有S個(gè)神經(jīng)元，R個(gè)輸入和S個(gè)輸出，神經(jīng)元采用S型傳遞函數(shù)logsig() ?？梢姡?/p>

11、單層網(wǎng)絡(luò)而言，除傳遞函數(shù)不同外，與前面所介紹的感知器和線性神經(jīng)網(wǎng)絡(luò)沒有什么不同。,上圖(下半部) 是一個(gè)典型兩層BP網(wǎng)絡(luò) (一個(gè)隱層和一個(gè)輸出層)。前饋型網(wǎng)絡(luò)通常有一個(gè)或多個(gè)隱層，隱層中的神經(jīng)元均采用S型傳遞函數(shù)，輸出層的神經(jīng)采用線性傳遞函數(shù)。隱層的非線性傳遞函數(shù)神經(jīng)元可以學(xué)習(xí)輸入輸出之間的線性和非線性關(guān)系，線性輸出層是為了拓寬網(wǎng)絡(luò)輸出。如果需要限定網(wǎng)絡(luò)輸出(例如約束在0和1之間)，則可以采用S型傳遞函數(shù)(例如logsig()。,3.4 BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程,BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖,3.5 基于MATLAB的BP神經(jīng)網(wǎng)絡(luò)工具箱函數(shù),最新版本的神經(jīng)網(wǎng)絡(luò)工具箱幾乎涵蓋了所有的神經(jīng)網(wǎng)絡(luò)的基本常用模

12、型，如感知器和BP網(wǎng)絡(luò)等。對(duì)于各種不同的網(wǎng)絡(luò)模型，神經(jīng)網(wǎng)絡(luò)工具箱集成了多種學(xué)習(xí)算法，為用戶提供了極大的方便。Matlab R2007神經(jīng)網(wǎng)絡(luò)工具箱中包含了許多用于BP網(wǎng)絡(luò)分析與設(shè)計(jì)的函數(shù)，BP網(wǎng)絡(luò)的常用函數(shù)如表1所示。,表1 BP網(wǎng)絡(luò)的常用函數(shù)表,3.5.1 BP網(wǎng)絡(luò)創(chuàng)建函數(shù),1) newff 該函數(shù)用于創(chuàng)建一個(gè)BP網(wǎng)絡(luò)。調(diào)用格式為： net=newff net=newff(PR,S1 S2.SN1,TF1 TF2.TFN1,BTF,BLF,PF)其中： net=newff;用于在對(duì)話框中創(chuàng)建一個(gè)BP網(wǎng)絡(luò)。 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)； PR為網(wǎng)絡(luò)輸入向量取值范圍的矩陣； S1 S2SNl表

13、示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)； TFl TF2TFN1表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為tansig； BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為trainlm； BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為learngdm； PF表示性能數(shù)，默認(rèn)為mse。 2）newcf函數(shù)用于創(chuàng)建級(jí)聯(lián)前向BP網(wǎng)絡(luò)，newfftd函數(shù)用于創(chuàng)建一個(gè)存在輸入延遲的前向網(wǎng)絡(luò)。,3.5.2 神經(jīng)元上的傳遞函數(shù),傳遞函數(shù)是BP網(wǎng)絡(luò)的重要組成部分。傳遞函數(shù)又稱為激活函數(shù)，必須是連續(xù)可微的。BP網(wǎng)絡(luò)經(jīng)常采用S型的對(duì)數(shù)或正切函數(shù)和線性函數(shù)。 1) logsig：該傳遞函數(shù)為S型的對(duì)數(shù)函數(shù)。調(diào)用格式為： A=logsig（N） in

14、fo=logsig（code） 其中，N：Q個(gè)S維的輸入列向量；A：函數(shù)返回值，位于區(qū)間（0，1）； 2）tansig：該函數(shù)為雙曲正切S型傳遞函數(shù)。調(diào)用格式為： A=tansig（N） info=tansig（code） 其中，N：Q個(gè)S維的輸入列向量；A：函數(shù)返回值，位于區(qū)間（-1，1）。 3）purelin：該函數(shù)為線性傳遞函數(shù)。調(diào)用格式為： A=purelin（N） info=purelin（code） 其中，N：Q個(gè)S維的輸入列向量；A：函數(shù)返回值，A=N。,3.5.3 BP網(wǎng)絡(luò)學(xué)習(xí)函數(shù),1）learngd 該函數(shù)為梯度下降權(quán)值/閾值學(xué)習(xí)函數(shù)，它通過神經(jīng)元的輸入和誤差，以及權(quán)值和閾值

15、的學(xué)習(xí)效率，來計(jì)算權(quán)值或閾值的變化率。調(diào)用格式為： dW,ls=learngd(W,P,Z,N,A,T,E,gW,gA,D,LP,LS) db,ls=learngd(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS) info=learngd(code) 2) learngdm函數(shù)為梯度下降動(dòng)量學(xué)習(xí)函數(shù)，它利用神經(jīng)元的輸入和誤差、權(quán)值或閾值的學(xué)習(xí)速率和動(dòng)量常數(shù)，來計(jì)算權(quán)值或閾值的變化率。,3.5.4 BP網(wǎng)絡(luò)訓(xùn)練函數(shù),1）train 神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)，調(diào)用其他訓(xùn)練函數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。該函數(shù)的調(diào)用格式為： net,tr,Y,E,Pf,Af=train(NET,P,T,Pi

16、,Ai) net,tr,Y,E,Pf,Af=train(NET,P,T,Pi,Ai,VV,TV) 2) traingd函數(shù)為梯度下降BP算法函數(shù)。traingdm函數(shù)為梯度下降動(dòng)量BP算法函數(shù)。,3.6 BP神經(jīng)網(wǎng)絡(luò)在實(shí)例中的應(yīng)用,%輸入兩種飛蠓的參數(shù) p=1.78 1.96 1.86 1.72 2.00 2.00 1.96 1.74 1.64 1.82 1.90 1.70 1.82 1.82 2.08; 1.14 1.18 1.20 1.24 1.26 1.28 1.30 1.36 1.38 1.38 1.38 1.40 1.48 1.54 1.56; t=1 1 1 0 1 1 1 0 0

17、 0 0 0 0 0 0 ;%兩種飛蠓的類別 plot(p(1,find(t0.5),p(2,find(t0.5),o);hold on; plot(p(1,find(t=0.5),p(2,find(t=0.5),*);%畫出兩種飛蠓的分布圖 %建立一個(gè)具有兩層的神經(jīng)網(wǎng)絡(luò) net=newff(minmax(p),2,1,tansig,purelin); %設(shè)置訓(xùn)練參數(shù) net.trainparam.show=50; net.trainparam.epochs=300; net.trainparam.goal=1e-2; net=train(net,p,t);%對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練估計(jì)出參數(shù),pp=1

18、.80 1.84 2.04;1.24 1.28 1.40;%輸入需要判別三只飛蠓參數(shù) y=sim(net,pp);%利用已訓(xùn)練好的網(wǎng)絡(luò)識(shí)別三只飛蠓 plot(pp(1,find(y0.5),pp(2,find(y0.5),ro); plot(pp(1,find(y=0.5),pp(2,find(y=0.5),r*);%畫出三只飛蠓的分布圖 plot(1.7 2.1,1.1 1.5,k)%畫出判別直線,Matlab運(yùn)行,要求設(shè)計(jì)一個(gè)BP網(wǎng)絡(luò)，逼近以下函數(shù)：g(x)=1+sin(k*pi/4*x)，實(shí)現(xiàn)對(duì)該非線性函數(shù)的逼近。其中，分別令k=1，2，4進(jìn)行仿真，通過調(diào)節(jié)參數(shù)（如隱藏層節(jié)點(diǎn)個(gè)數(shù)等）得出

19、信號(hào)的頻率與隱層節(jié)點(diǎn)之間，隱層節(jié)點(diǎn)與函數(shù)逼近能力之間的關(guān)系。,3.6 BP神經(jīng)網(wǎng)絡(luò)在實(shí)例中的應(yīng)用,3.6.1 問題的提出,3.6.2 基于BP神經(jīng)網(wǎng)絡(luò)逼近函數(shù),步驟1：假設(shè)頻率參數(shù)k=1，繪制要逼近的非線性函數(shù)的曲線。函數(shù)的曲線如下圖所示： k=1; p=-1:.05:8; t=1+sin(k*pi/4*p); plot（p，t，-)； title(要逼近的非線性函數(shù)); xlabel(時(shí)間); ylabel(非線性函數(shù));,Matlab實(shí)現(xiàn),步驟2：網(wǎng)絡(luò)的建立 應(yīng)用newff()函數(shù)建立BP網(wǎng)絡(luò)結(jié)構(gòu)。隱層神經(jīng)元數(shù)目n可以改變，暫設(shè)為n=3，輸出層有一個(gè)神經(jīng)元。選擇隱層和輸出層神經(jīng)元傳遞函數(shù)分

20、別為tansig函數(shù)和purelin函數(shù)，網(wǎng)絡(luò)訓(xùn)練的算法采用Levenberg Marquardt算法trainlm。,n=3; net = newff(minmax(p),n,1,tansig purelin,trainlm); 對(duì)于初始網(wǎng)絡(luò)，可以應(yīng)用sim（）函數(shù)觀察網(wǎng)絡(luò)輸出。 y1=sim(net,p); figure; plot(p,t,-,p,y1,:) title(未訓(xùn)練網(wǎng)絡(luò)的輸出結(jié)果); xlabel(時(shí)間); ylabel(仿真輸出-原函數(shù)-);,Matlab實(shí)現(xiàn),其中 “ ” 代表要逼近的非線性函數(shù)曲線； “” 代表未經(jīng)訓(xùn)練的函數(shù)曲線； 因?yàn)槭褂胣ewff( )函數(shù)建立函數(shù)網(wǎng)絡(luò)時(shí)，權(quán)值和閾值的初始化是隨機(jī)的，所以網(wǎng)絡(luò)輸出結(jié)構(gòu)很差，根本達(dá)不到函數(shù)逼近的目的，每次運(yùn)行的結(jié)果也有時(shí)不同。,步驟3：網(wǎng)絡(luò)訓(xùn)練 應(yīng)用train（）函數(shù)對(duì)