1、第六章 神經(jīng)網(wǎng)絡(luò)技術(shù)及其在智能傳感器系統(tǒng)中的應(yīng)用,1,人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方式。 邏輯性的思維：是指根據(jù)邏輯規(guī)則進(jìn)行推理的過程。,神經(jīng)網(wǎng)絡(luò),2,直觀性的思維：是將分布式存儲的信息綜合起來，結(jié)果是瞬間產(chǎn)生想法或解決問題的辦法。 1.信息是通過神經(jīng)元上的興奮模式分布存儲在網(wǎng)絡(luò)上； 2.信息處理是通過神經(jīng)元之間同時相互作用的動態(tài)過程來完成的。,3,6.1 神經(jīng)網(wǎng)絡(luò)基本知識,6.1.1 人工神經(jīng)網(wǎng)絡(luò)模型,圖 6-1 基本神經(jīng)元模型,4,神經(jīng)元是神經(jīng)網(wǎng)絡(luò)的基本單元； Wli表示某一神經(jīng)元與第i個神經(jīng)元的連接權(quán)值； 閾值（偏置值）； 神經(jīng)元的輸出可

2、描述為：,5,式中：f(Ai)表示神經(jīng)元輸入輸出關(guān)系的函數(shù)，稱為作用函數(shù)或傳遞函數(shù)，常用的作用函數(shù)有如圖6-2所示的三種：閾值型、S型和分段線性型(偽線性型)。 這樣，就有三類神經(jīng)元模型。 如果有閾值，則表示當(dāng)神經(jīng)元的輸入達(dá)到一定的強(qiáng)度后才能激活。,6,圖 6-2 常見的作用函數(shù)形式 (a) 閾值型； (b) S型； (c) 偽線性型,7,一、 閾值型神經(jīng)元 閾值型神經(jīng)元是一種最簡單的神經(jīng)元，由美國心理學(xué)家Mc.Culloch和數(shù)學(xué)家Pitls共同提出，因此，通常稱為M-P模型。 M-P模型神經(jīng)元是二值型神經(jīng)元，其輸出狀態(tài)取值為1或0， 分別代表神經(jīng)元的興奮狀態(tài)和抑制狀態(tài)。 其數(shù)學(xué)表達(dá)式為,對

3、于M-P模型神經(jīng)元，權(quán)值Wji可在(-1, 1)區(qū)間連續(xù)取值。取負(fù)值表示抑制兩神經(jīng)元間的連接強(qiáng)度， 取正值表示加強(qiáng)。,8,二、S型神經(jīng)元模型 這是常用的一種連續(xù)型神經(jīng)元模型，輸出值是在某一范圍內(nèi)連續(xù)取值的。輸入輸出特性多采用指數(shù)函數(shù)表示， 用數(shù)學(xué)公式表示如下：,S型作用函數(shù)反映了神經(jīng)元的非線性輸入輸出特性。 用于多層神經(jīng)網(wǎng)絡(luò)的隱層,9,三、 分段線性型 神經(jīng)元的輸入輸出特性滿足一定的區(qū)間線性關(guān)系， 其輸出可表示為,式中, C、AC表示常量。多用于輸出層 。,10,6.1.2 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),一、 分層網(wǎng)絡(luò),圖 6-3 分層網(wǎng)絡(luò)功能層次,11,二、 相互連接型結(jié)構(gòu),圖 6-4 相互連接型網(wǎng)絡(luò),12

4、,6.1.3 學(xué)習(xí)與記憶,一、 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí) Hebb（赫布是加拿大著名生理心理學(xué)家）學(xué)習(xí)規(guī)則可以描述為：如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元間的連接強(qiáng)度應(yīng)該加強(qiáng)。用算法表達(dá)式表示為 Wji(t+1)= Wji(t)+xi(t), xj(t) 式中： Wji(t+1)修正一次后的某一權(quán)值； 常量，決定每次權(quán)值修正量， 又稱學(xué)習(xí)因子； xi(t)、xj(t)t時刻第i個、第j個神經(jīng)元的狀態(tài)。,13,誤差修正算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中另一個更重要的方法。 像感知機(jī)、BP網(wǎng)絡(luò)學(xué)習(xí)均屬此類。是最基本的誤差修正學(xué)習(xí)方法，即通常說的學(xué)習(xí)規(guī)則，可由如下四步來描述：

5、 (1) 任選一組初始權(quán)值Wji(0)。 (2) 計算某一輸入模式對應(yīng)的實(shí)際輸出與期望輸出的誤差。 (3) 更新權(quán)值 Wji(t+1) = Wji(t)+dj-yj(t)xi(t) 式中： 學(xué)習(xí)因子； dj、yj第j個神經(jīng)元的期望輸出與實(shí)際輸出； xi第i個神經(jīng)元的輸入。 (4) 返回步驟(2)，直到對所有訓(xùn)練模式、網(wǎng)絡(luò)輸出均滿足誤差要求為止。,14,二、 神經(jīng)網(wǎng)絡(luò)的記憶 神經(jīng)網(wǎng)絡(luò)記憶包含兩層含義：信息的存儲與回憶。網(wǎng)絡(luò)通過學(xué)習(xí)將所獲取的知識信息分布式存儲在連接權(quán)的變化上，并具有相對穩(wěn)定性。一般來講，存儲記憶需花較長時間，因此這種記憶稱為長期記憶，而學(xué)習(xí)期間的記憶保持時間很短， 稱為短期記憶。

6、,15,6.1.4 神經(jīng)網(wǎng)絡(luò)的信息處理功能 神經(jīng)網(wǎng)絡(luò)可以完成大量的信息處理任務(wù)，正因?yàn)檫@樣，其應(yīng)用涉及相當(dāng)廣泛的領(lǐng)域。歸納起來，神經(jīng)網(wǎng)絡(luò)的信息處理任務(wù)主要包括： 一、 數(shù)字上的映射逼近 通過一組映射樣本(x1, y1), (x2, y2), , (xn, yn)，網(wǎng)絡(luò)以自組織方式尋找輸入、輸出之間的映射關(guān)系： yi=f(xi)。 二、 聯(lián)想記憶 聯(lián)想記憶是指實(shí)現(xiàn)模式完善、恢復(fù)相關(guān)模式的相互回憶等， 典型的有如Hopfield網(wǎng)絡(luò)等。,16,6.2 前 向 網(wǎng) 絡(luò),6.2.1 感知機(jī),圖 6-5 基本感知機(jī)結(jié)構(gòu),17,感知機(jī)的學(xué)習(xí)算法為,i=1, 2, , n,式中：為學(xué)習(xí)因子，在(0, 1區(qū)間

7、取值。期望輸出與實(shí)際輸出之差為,輸入狀態(tài) xi(k) = 1 或 0,18,6.2.2 BP網(wǎng)絡(luò),一、 BP網(wǎng)絡(luò)模型 是一種多層前饋神經(jīng)網(wǎng)絡(luò)，變換函數(shù)是S型，輸出為01之間的連續(xù)量；通過網(wǎng)絡(luò)權(quán)值和偏置值調(diào)整 ，以滿足輸出要求。,圖 6-6 一個三層BP網(wǎng)絡(luò)結(jié)構(gòu),19,在實(shí)際應(yīng)用中一般為三層： 輸出層：Lwkj表示隱層第j個節(jié)點(diǎn)與輸出層第k個節(jié)點(diǎn)的連接權(quán)值； 神經(jīng)元序號k=1，2，M 隱層： Iwji表示輸入層第i個節(jié)點(diǎn)與隱層第j個節(jié)點(diǎn)的連接權(quán)值； 神經(jīng)元序號j=1，2，L 輸入層： 神經(jīng)元序號i=1，2，R,20,二、網(wǎng)絡(luò)結(jié)構(gòu)示意圖（書中圖6-9） 網(wǎng)絡(luò)的輸入層有3個節(jié)點(diǎn)；隱層有4個節(jié)點(diǎn)；輸出

8、層有2個節(jié)點(diǎn)。 三、 BP神經(jīng)網(wǎng)絡(luò)神經(jīng)元模型 BP網(wǎng)絡(luò)神經(jīng)作用函數(shù)： 1）輸入層神經(jīng)作用函數(shù)：純線性 節(jié)點(diǎn)i的輸出為：Oi=Pi 2）隱層 作用函數(shù)：對數(shù)S型，共有4*3個權(quán)值,21,輸出層神經(jīng)作用函數(shù)：對數(shù)S型，共有2*4個權(quán)值,節(jié)點(diǎn)K的總輸入,節(jié)點(diǎn)K的輸出,節(jié)點(diǎn)j的輸出,節(jié)點(diǎn)j的總輸入,22,一般選用下列S形作用函數(shù)：,且處理單元的輸入、 輸出值可連續(xù)變化。 BP網(wǎng)絡(luò)模型實(shí)現(xiàn)了多層網(wǎng)絡(luò)學(xué)習(xí)的設(shè)想。當(dāng)給定網(wǎng)絡(luò)的一個輸入模式時，它由輸入層單元傳到隱層單元，經(jīng)隱層單元逐層處理后再送到輸出層單元，由輸出層單元處理后產(chǎn)生一個輸出模式， 故稱為前向傳播。如果輸出響應(yīng)與期望輸出模式有誤差，且不滿足要求，

9、那么就轉(zhuǎn)入誤差后向傳播，即將誤差值沿連接通路逐層向后傳送，并修正各層連接權(quán)值。,23,如果任意設(shè)置網(wǎng)絡(luò)初始權(quán)值，那么對每個輸入模式p, 網(wǎng)絡(luò)輸出與期望輸出一般總有誤差。定義網(wǎng)絡(luò)誤差為,式中，dpj表示對第p個輸入模式輸出單元j的期望輸出。學(xué)習(xí)規(guī)則的實(shí)質(zhì)是利用梯度最速下降法，使權(quán)值沿誤差函數(shù)的負(fù)梯度方向改變。 若權(quán)值Wji的變化量記為Wji, 則,24,而,這里，令,于是,這就是通常所說的學(xué)習(xí)規(guī)則。,25,當(dāng)Opj表示輸出層單元的輸出時，其誤差,26,當(dāng)Opj表示隱單元輸出時，其誤差,27,故,至此，BP算法權(quán)值修正公式可統(tǒng)一表示為,對于輸出單元,對于隱單元,(6-26),28,在實(shí)際應(yīng)用中，考

10、慮到學(xué)習(xí)過程的收斂性，通常為了使學(xué)習(xí)因子取值足夠大，又不致于產(chǎn)生振蕩，在權(quán)值修正公式(6-29)中再加一個勢態(tài)項(xiàng)， 得,式中，是常數(shù)，稱勢態(tài)因子，它決定上一次學(xué)習(xí)權(quán)值對本次權(quán)值更新的影響程度。 一般地， BP網(wǎng)絡(luò)學(xué)習(xí)算法步驟描述如下： (1) 初始化網(wǎng)絡(luò)及學(xué)習(xí)參數(shù)，如設(shè)置網(wǎng)絡(luò)初始矩陣、學(xué)習(xí)因子、 參數(shù)等； (2) 提供訓(xùn)練樣本，訓(xùn)練網(wǎng)絡(luò)，直到滿足要求； (3) 前向傳播過程：對給定訓(xùn)練模式輸入，計算網(wǎng)絡(luò)的輸出模式， 并與期望模式輸出比較，若有誤差，則執(zhí)行(4)，否則，返回(2)；,29,(4) 后向傳播過程： 計算同一層單元的誤差pj。 修正權(quán)值和閾值,閾值即為i=0時的連接權(quán)值。, 返回(2

11、)。 用網(wǎng)絡(luò)的均方根值(RMS)誤差來定量反映學(xué)習(xí)性能。其定義為,30,6.4.2 神經(jīng)網(wǎng)絡(luò)在監(jiān)測材料損傷中的應(yīng)用,一、 問題提出 具有傳感、執(zhí)行、信號處理、通信與控制等功能的結(jié)構(gòu)稱之為智能結(jié)構(gòu)。這種結(jié)構(gòu)不僅具有承受載荷的能力，還具有感知和響應(yīng)內(nèi)外環(huán)境的變化，實(shí)現(xiàn)自檢測、自監(jiān)控、自校正、自適應(yīng)、自修復(fù)等功能。下面介紹利用人工神經(jīng)網(wǎng)絡(luò)和埋入偏振型光纖傳感器陣列，實(shí)時適應(yīng)監(jiān)測復(fù)合材料損傷，并指示損傷位置的智能結(jié)構(gòu)系統(tǒng)模型。,31,二、 智能結(jié)構(gòu)系統(tǒng)簡介,圖 6-15 智能結(jié)構(gòu)系統(tǒng)圖,32,三、前向BP網(wǎng)絡(luò)處理器,圖 6-16 三層BP網(wǎng)絡(luò),33,圖 6-17 BP算法流程,34,6.4.6 基于神

12、經(jīng)網(wǎng)絡(luò)的三傳感器數(shù)據(jù)融合處理法 (消除兩個非目標(biāo)參量的影響),1. 概述 傳感器靜態(tài)特性不僅受某一個環(huán)境參量的影響，即不只受一個非目標(biāo)參量的影響，有時甚至受多個非目標(biāo)參量的影響。如一個壓力傳感器， 在輸入壓力P數(shù)值不變的情況下，當(dāng)工作溫度T變化以及供電電源波動都將引起傳感器輸出電壓U發(fā)生變化， 則該壓力傳感器受兩個非目標(biāo)參量(T，)的影響。為了提高傳感器的穩(wěn)定性， 消除兩個非目標(biāo)參量對傳感器輸入輸出特性的影響，可采用多種智能化技術(shù)，如多維回歸分析法與神經(jīng)網(wǎng)絡(luò)法， 這是兩種有效的融合處理方法。,35,2. 基于神經(jīng)網(wǎng)絡(luò)法的三傳感器數(shù)據(jù)融合原理,圖 6-25 采用神經(jīng)網(wǎng)絡(luò)進(jìn)行三傳感器數(shù)據(jù)融合的智能

13、壓力傳感器系統(tǒng)框圖,36,圖 6-26 傳感器模塊電路原理圖,37,(1) 壓力傳感器：這里的壓力傳感器采用的是CYJ-101型壓阻式壓力傳感器，對應(yīng)被測壓力P(目標(biāo)參量)輸出電壓U。一個理想的壓力傳感器，其輸出U應(yīng)為輸入P的一元單值函數(shù)，即 U = f(P) 其反函數(shù)為 P = f-1(U) 但是，該傳感器受工作溫度T與供電電源波動的影響， 其輸出電壓U將發(fā)生變化，實(shí)際上是一個三元函數(shù)，即 U = f(P, T, ),38,(2) 溫度傳感器：溫度傳感器將工作溫度T轉(zhuǎn)換為電壓信號Ut, 如圖6-26。采用恒流源供電的壓力傳感器，其供電端(AC兩端)電壓UAC即為Ut。 (3) 電流傳感器：電

14、流傳感器將電流信號I轉(zhuǎn)換為電壓信號UI, 如圖6-26。采用標(biāo)準(zhǔn)恒定電阻RN與壓力傳感器相串聯(lián)，RN兩端電壓UI為 UI = IRN 則供電電源波動為,39,2) 神經(jīng)網(wǎng)絡(luò)模塊 神經(jīng)網(wǎng)絡(luò)模塊是由軟件編程實(shí)現(xiàn)的一種BP網(wǎng)絡(luò)算法。其三個輸入量X1、X2、X3分別為U、Ut、，輸出量為P。P亦是智能壓力傳感器系統(tǒng)的總輸出量?？傒敵隽縋有兩個特點(diǎn)： (1) P僅為被測壓力P的單值函數(shù)，這樣就消除了工作溫度和供電電源波動兩個非目標(biāo)參量的影響。 (2) 在工作溫度和供電電源同時波動情況下，要求系統(tǒng)輸出P以某個允許偏差逼近被測目標(biāo)參量P， 從而實(shí)現(xiàn)了系統(tǒng)測量目標(biāo)參量P的目的。要實(shí)現(xiàn)上述要求，需對神經(jīng)網(wǎng)絡(luò)進(jìn)行

15、訓(xùn)練，網(wǎng)絡(luò)訓(xùn)練樣本由三維標(biāo)定實(shí)驗(yàn)數(shù)據(jù)來提供。,40,3. 樣本庫的建立 1) 三維標(biāo)定實(shí)驗(yàn) 在不同工作溫度T(=21.5 , 44.0 , 70.0 ), 令電源電流波動分別為 =3%,-1 %, -3 %條件下，對CYJ-101型壓力傳感器的靜態(tài)輸入(P)輸出(U)特性進(jìn)行標(biāo)定。實(shí)驗(yàn)標(biāo)定數(shù)據(jù)列于表6-5。,41,表 6-5 不同工作溫度及供電電源波動下傳感器輸入輸出標(biāo)定值,42,2) 神經(jīng)網(wǎng)絡(luò)訓(xùn)練樣本數(shù)據(jù)的歸一化,表 6-6 神經(jīng)網(wǎng)絡(luò)輸入輸出標(biāo)準(zhǔn)樣本庫,43,式中: 第m個樣本神經(jīng)網(wǎng)絡(luò)輸入、輸出歸一化值； Xim、Pm第m個樣本第i個傳感器的輸入、輸出標(biāo)定值； Ximax、Ximin第i個傳

16、感器輸出最大、 最小標(biāo)定值。,(6-53),(6-52),44,如T=21.5 且當(dāng)i=1時，X1max=Umax=100.12 mV, X1min=0； 當(dāng)i=2時，X2max=Utmax=290.5 mV, X2min=184.4 mV; 又如T=70.0 且當(dāng)i=1時，X1max=Umax=78.57mV, X1min=0； 當(dāng)i=2時，X2max=Utmax=826.1mV, X2min=669.3mV。Pmax=5104 Pa、Pmin=0為被測壓力最大、最小標(biāo)定值。,45,46,4. 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練及其結(jié)構(gòu)的確定,圖 6-27 多層感知機(jī)前向神經(jīng)網(wǎng)絡(luò),47,圖中i、j和k分別是輸入

17、層、隱層和輸出層神經(jīng)元序號。同一層內(nèi)各神經(jīng)元互不相連，相鄰層之間的神經(jīng)元通過連接權(quán)值Wji、Wkj相聯(lián)系。Wji為輸入層與隱層之間的連接權(quán)值；Wkj為隱層與輸出層之間的連接權(quán)值。本例中選輸入層結(jié)點(diǎn)數(shù)為3，輸出層結(jié)點(diǎn)數(shù)為1，故i=1, 2, 3， k=1；隱層結(jié)點(diǎn)數(shù)j=1, 2, ，l。l值根據(jù)網(wǎng)絡(luò)訓(xùn)練結(jié)果而定。 采用誤差反向傳播算法(BP算法)，其目標(biāo)是使神經(jīng)網(wǎng)絡(luò)輸出y=P(本例中稱為被測壓力融合值)，與壓力傳感器系統(tǒng)目標(biāo)參量的標(biāo)定值之間的均方差e為最小， 即,48,圖 6-28 BP網(wǎng)絡(luò)訓(xùn)練過程及算法流程,49,(1) 網(wǎng)絡(luò)初始化。隨機(jī)設(shè)定連接權(quán)值Wji、Wkj, 與閾值j及k的初始值。設(shè)定

18、隱結(jié)點(diǎn)數(shù)l、步長及勢態(tài)因子; (2) 向具有上述初始值的神經(jīng)網(wǎng)絡(luò)按輸入模式提供樣本數(shù)據(jù)。 本例為三維矢量X=(X1X2X3)。如樣本m=1，輸入模式為X=(0.001.00 0.03)。 (3)計算隱層單元輸出值f(Sj)。隱層單元輸出值f(Sj)采用S型函數(shù)，其計算式為,50,(4) 計算輸出單元的輸出值f(Sk)。輸出單元的輸出值f(Sk)即網(wǎng)絡(luò)的輸出y=P。輸出值仍采用S型函數(shù)，計算式為,(5) 計算輸出層和隱層訓(xùn)練誤差k與j。,51,(6) 修正權(quán)值：,式中，和分別為步長和勢態(tài)因子。 (7) 判斷均方誤差e是否滿足給定允許偏差(本例中給定允許偏差為10-3)。當(dāng)滿足時，則轉(zhuǎn)到(8)，否

19、則轉(zhuǎn)向(5)、(6)和(7)。 (8) 結(jié)束訓(xùn)練。,52,5. 數(shù)據(jù)融合結(jié)果及評價 (1) 融合處理前傳感器輸出的相對波動情況。由表6-5可見， 對于同一被測壓力P，傳感器輸出U隨工作溫度和供電電源波動的不同而變化。由工作溫度與電源變化產(chǎn)生的傳感器輸出電壓相對波動值為,式中：P為傳感器輸出電壓波動的相對值； max|y|為傳感器輸出電壓的最大絕對波動值； yFS=97.12 mV為傳感器滿量程輸出電壓(即在T=21.5 , =0時， 傳感器的輸出電壓值)。,53,(2) 經(jīng)網(wǎng)絡(luò)融合處理后傳感器輸出的相對波動情況。,表6-7 融合處理結(jié)果,54,式中: PFS=5.0(104Pa)為滿量程壓力標(biāo)

20、定值； max|P|=0.077(104Pa)代入(6-61)式計算得P=1.5%。 可見，在相同工作溫度變化和電源波動情況下， 傳感器的輸出穩(wěn)定性比原來提高了14.7倍。神經(jīng)網(wǎng)絡(luò)法對消除傳感器在工作過程中受多種因素交叉干擾的影響十分有效。,55,6. 幾點(diǎn)說明 (1) 神經(jīng)網(wǎng)絡(luò)隱層結(jié)點(diǎn)數(shù)l的選取尚無理論上的指導(dǎo)，選取不當(dāng)時會出現(xiàn)網(wǎng)絡(luò)不收斂情況。文中通過先后取隱層結(jié)點(diǎn)數(shù)l為9、11、 31和18， 最后取l=18, 網(wǎng)絡(luò)訓(xùn)練結(jié)果令人滿意。 (2) 網(wǎng)絡(luò)訓(xùn)練步長和勢態(tài)因子的確定亦無理論依據(jù)，選取不當(dāng)時也會出現(xiàn)網(wǎng)絡(luò)訓(xùn)練發(fā)散或使網(wǎng)絡(luò)陷入局部極小點(diǎn)，訓(xùn)練中取=0.7, =0.9。 (3) 衡量訓(xùn)練好的

21、神經(jīng)網(wǎng)絡(luò)是否具有較強(qiáng)的泛化能力，除了要用測試集來測試該網(wǎng)絡(luò)的輸出結(jié)果外，很大程度上取決于網(wǎng)絡(luò)學(xué)習(xí)樣本的廣泛性與代表性。這就要求我們在確定網(wǎng)絡(luò)學(xué)習(xí)樣本時，一是要保證足夠的樣本數(shù)量；二是要使所取樣本具有代表性和廣泛性。,56,2. 人工神經(jīng)網(wǎng)絡(luò),圖 6-18 三層Back P神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖,57,BP網(wǎng)絡(luò)學(xué)習(xí)算法描述為如下步驟： (1) 初始化網(wǎng)絡(luò)及給定理想梳洗樣本。如設(shè)置網(wǎng)絡(luò)的初始權(quán)值、學(xué)習(xí)因子和修正參數(shù)以及理想輸出模式d等。 (2) 由傳感器陣列提供網(wǎng)絡(luò)的輸入模式。按下列權(quán)值修正公式訓(xùn)練網(wǎng)絡(luò)，直到滿BP算法權(quán)值修正公式表示如下：,58,其中： Wji第j個神經(jīng)元到第i個神經(jīng)元之間的連接強(qiáng)度，

22、稱為權(quán)值； Wji(t+1)第(t+1)次權(quán)值修正值； Wji(t)第t次權(quán)值修正值； dpj單元j的理想輸出； Opj單元j的輸出總和； api單元j的輸入總和； pj單元j權(quán)值修正量； f(api)作用函數(shù)f(apj)的導(dǎo)數(shù)。,59,(3) 對于給定的訓(xùn)練模式輸入，由式(6-45)計算網(wǎng)絡(luò)的輸出模式，并與理想輸出比較，即求(dpj-Opj)。若誤差不滿足要求， 則執(zhí)行步驟(4)，否則返回步驟(2)修正權(quán)值。,60,(4) 后向誤差傳播過程 計算同一層單元的誤差pj； 修正權(quán)值Wji和閾值pj。 通常，用網(wǎng)絡(luò)的均方根(RMS)誤差來定旦地反映學(xué)習(xí)的性能。 其定義為,其中： ypj第j個單元的

23、實(shí)際輸出； dpj第j個單元的理想輸出； m表示訓(xùn)練集內(nèi)模式對的個數(shù)； n表示網(wǎng)絡(luò)輸出層單元個數(shù)。,61,6.4.3 神經(jīng)網(wǎng)絡(luò)濾波 一、問題提出 通常，由信號發(fā)生器產(chǎn)生的正弦波或三角波信號都不同程度地含有噪聲干擾信號。 若我們將它作為精密測量供電信號或進(jìn)行相位檢測時，往往造成測量不精確等缺陷。消除噪聲干擾的辦法很多，下面提出一種采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)記憶功能，實(shí)現(xiàn)對含噪正弦波或三角波信號的復(fù)原，即消除噪聲干擾。,62,二、 自適應(yīng)線性函數(shù)的最小二乘法(LMS)學(xué)習(xí)算法 為了簡單起見，我們以輸入矢量為二維的情況作為示例來進(jìn)行討論。 這時輸入矢量X和權(quán)矢量W可以分別表示為,在采用線性函數(shù)的條件下，神經(jīng)網(wǎng)絡(luò)輸出為,(6-42),63,權(quán)值修正公式為,(k)為誤差，即,式中，d(k)為期望輸出；y(k)為實(shí)際輸出。,(6-43),64,三、 軟件編程及說明 實(shí)現(xiàn)上述算法的軟件編程如下(采用MATLAB語言)： disp(*歡迎使用*) disp(請輸入訓(xùn)練次數(shù)) T=input( ) disp(請輸入步長參數(shù)) l=input( ) disp(請輸入所加噪聲方差參數(shù)) m=input( ) t=0163 x=sin(t*2*pi/64) plot(t, x),65,grid x=x, -1 k=0 x1=0 for t=116