神經(jīng)網(wǎng)絡(luò)Neural

Netwroks----ANN)-----HZAU

數(shù)模基地`iji'ti'lilti'ti'_i｀1I_`i1_ ，.`F十－利用機(jī)器模仿人類的智能是長期以來人們認(rèn)識自引言[然、改造自然和認(rèn)識自身的理想。研究ANN目的：(

1

) 探索和模擬人的感覺、思維和行為的規(guī)律

，設(shè)計(jì)具有人類智能的計(jì)算機(jī)系統(tǒng)。(

2

) 探討人腦的智能活動(dòng)，

用物化了的智能來考察和研究人腦智能的物質(zhì)過程及其規(guī)律。LANN的研究內(nèi)容(

1

) 理論研究：

ANN模型及其學(xué)習(xí)算法，

試圖從數(shù)學(xué)上描述ANN的動(dòng)力學(xué)過程，

建立相應(yīng)的ANN模型，在該模型的基礎(chǔ)上，

對千給定的學(xué)習(xí)樣本

，

找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達(dá)到穩(wěn)定狀態(tài)，滿足學(xué)習(xí)要求的算法。(

2

) 實(shí)現(xiàn)技術(shù)的研究：

探討利用電子、光學(xué)、生物等技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。(

3) 應(yīng)用的研究：

探討如何應(yīng)用ANN解決實(shí)際問題，如模式識別、故障檢測、智能機(jī)器人等。－－－－－－十－研究ANN方法(

1

)

生理結(jié)構(gòu)的模擬：用仿生學(xué)觀點(diǎn)，

探索人腦的生理結(jié)構(gòu)，把對人腦的微觀結(jié)構(gòu)及其智能行為的研究

結(jié)入起來即人工神經(jīng)網(wǎng)絡(luò)

C

Artificial

NeuralNetwroks, 簡稱ANN

) 方法。(

2) 宏觀功能的模擬：從人的思維活動(dòng)和智能行為的心理學(xué)特性出發(fā)，利用計(jì)算機(jī)系統(tǒng)來對人腦智能進(jìn)行宏觀功能的模擬，

即符號處理方法。＿.

LANN研究的目的和意義(1)

通過揭示物理平面與認(rèn)知平面之間的映射，

了解它們相互聯(lián)系和相互作用的機(jī)理，

從而揭示思維的本質(zhì)，探索智能的本源。爭取構(gòu)造出盡可能與人腦具有相似功能的計(jì)算機(jī)，

即ANN計(jì)算機(jī)。研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，

將在模丸識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計(jì)算機(jī)所難以達(dá)到的效果。＿神經(jīng)網(wǎng)絡(luò)研究的發(fā)展(1)

第一次熱潮(40-

60年代未）1943年，美國心理學(xué)家W.

Mc

Cul

l

och和數(shù)學(xué)家W.

Pi

t

t

s

在提出了一個(gè)簡單的神經(jīng)元模型，

即MP模型。1958年，

F.

Ros

enbl

a

t

t

等研制出了感知機(jī)(Percept

ron

) 。(2)低潮(70-

80年代初）：

(

3)第二次熱潮1982年，

美國物理學(xué)家J.J.Hopfield

提出Hopfi

eld模型，

它是一個(gè)互聯(lián)的非線性動(dòng)力學(xué)網(wǎng)絡(luò)．他解決問題的方法是一種反復(fù)運(yùn)算的動(dòng)態(tài)過程，這是符號邏輯處理方法所不具備的性質(zhì)

.

1987

年首屆國際ANN

大會(huì)在圣地亞哥召開，國

際A"NN聯(lián)合會(huì)成立，

創(chuàng)辦了多種ANN

國際,...L..

..

人工神經(jīng)網(wǎng)絡(luò)研究的局限性ANN研究受到腦科學(xué)研究成果的限制。ANN缺少一個(gè)完整、成熟的理論體系。ANN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。ANN與傳統(tǒng)技術(shù)的接口不成熟。＿十－人工神經(jīng)網(wǎng)絡(luò)概述?:·什么是人工神經(jīng)網(wǎng)絡(luò)？?: T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的

簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，

它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實(shí)世界物體所作出的交互反應(yīng)。”＿.

L二、神經(jīng)元與神經(jīng)網(wǎng)絡(luò)大腦可視作為1000

多億神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)圖3

神經(jīng)元的解剖圖＿神經(jīng)元的信息傳遞和處理是一種電化學(xué)活動(dòng)．樹突由千電化學(xué)作用接受外界的刺激；

通過胞體內(nèi)的活動(dòng)體現(xiàn)為軸突

電位，

當(dāng)軸突電位達(dá)到一定的值則形成神經(jīng)脈沖或動(dòng)作電位；

再通過軸突末梢傳遞給其它的神經(jīng)元．從控制論的觀點(diǎn)來看；

這一過程可以看作一個(gè)多輸入單輸出非線性系

統(tǒng)的動(dòng)態(tài)過秤神經(jīng)網(wǎng)絡(luò)研究的兩個(gè)方面從生理上、解剖學(xué)上進(jìn)行研究從工程技術(shù)上、算法上進(jìn)行研究------------------------腦神經(jīng)信息活動(dòng)的特征巨量并行性。信息處理和存儲(chǔ)單元結(jié)合在一起。自組織自學(xué)習(xí)功能

。------------------------.

L神經(jīng)網(wǎng)絡(luò)基本模型輸入樹突軸突信息處理傳輸突觸輸出＿?:? 神經(jīng)元的數(shù)學(xué)模刑y丑

神經(jīng)元的數(shù)學(xué)模刑-------------------------------------------------十－其中x

==(

x1

, … Xm

)

T 輸入向量，

y為輸出，w是權(quán)系數(shù)；

輸入與輸出具有如下關(guān)系：my

=

f

心w

ix

i

-0)i=l它可以是線性

8

為闕值

，

f

C

X

)

是激發(fā)函數(shù)；函數(shù)，

也可以是非線性函數(shù)．＿，

十下了若記zm

了liw

ix

i

-

0取激發(fā)函數(shù)為符號函數(shù)sgn(x)={0

,l

，則Y

=

f

(z)

=0o'>.lx.'＜－.lx.lwwm了i

11了1I0,S型激發(fā)函數(shù)：1，f (x) ==

—...

—+e1, X>0

,X

0.Os/(x)sl;--------------------------斗Xe -e或 f(x)

=-x-x' - l<f(x)<l

.礦

+e．：．注：

若將闌值看作是一個(gè)權(quán)系數(shù)，

-1是一個(gè)固定的輸入，

另有m-1個(gè)正常的輸入，

則

(

1

)

式也可示為：my=f

心w心i=l(

1

)參數(shù)識別：

假設(shè)函數(shù)形式已知，

則可以從已有的輸入輸出數(shù)據(jù)確定出權(quán)系數(shù)及闕值。----------------------------,-;L..

..

2、神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型眾多神經(jīng)元之間組合形成神經(jīng)網(wǎng)絡(luò)，

例如下圖的含有中間層（隱層）的8-P網(wǎng)絡(luò)＿ic

la

k輸出層LeiqJ

W

pq『

w隱含層片『

v輸入層LA．．． ．．．基＿本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu),..,,L..

..

ANN類型與功能誼近m吐代責(zé)8P.CPN

?R

Bf.E

tu

tnSOM

·CP隕闈牡琶）SOM

.K

obonen8p.

BM(敷爾ttf}·CPN

·Hopr10Id·BA

MA

R

T[自適應(yīng)井振l里論模型).

Kooone

n眭暴類枕耘

．廿

opr1eld一十－一般而言，ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越

只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng)，如故障診斷、特征提取和預(yù)測等問題，ANN往往是最有利的工具。另方面

ANN對處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題，表現(xiàn)出極大的靈活性和

自適應(yīng)性。＿-上－人工神經(jīng)網(wǎng)絡(luò)(Artifi

cialNeuronNets=ANN例．1

981年生物學(xué)家格若根

c

w.Grogan)

和維什

(

W.

Wirth)

發(fā)現(xiàn)

j

兩他們測蜇了這兩類蚊子每個(gè)個(gè)體的翼長和觸角類蚊子（或飛蠓midges).上乙，

數(shù)據(jù)如下：觸角長類別觸角長類別．?

翼長．?

翼長1.64．．1.961.82．．1.901.70．1.82．1.86．1.722.002.00．1.96．1.822.08l.38

Af1.38 Af1.38 Af1.40 Af1.48 Af1.54 Af1.56 Af．1.741.78 1.14 Apf． 1.18 Apf1.20 Apf1.24 Af1.26 Apf1.28 Apf1.30 Apf1.36 Af

蛔啊蛔啊啊·-畸，哪蛔咖，．問：

如果抓到三只新的蚊子，

它們的觸角

長和翼長分別為(1.24,1.80);

(1.28, 1.84); (1

.40'2.04)

. 問它們應(yīng)分別屬于哪一個(gè)種類？解法一：把翼長作縱坐標(biāo)，觸角長作橫坐標(biāo)；那么每個(gè)蚊子的翼長

和觸角決定了坐標(biāo)平面的一

個(gè)點(diǎn)．其中

6 個(gè)蚊子屬于

APf類 用黑點(diǎn)

."

"表示；

9 個(gè)蚊子屬

Af

類；

用小圓圈“?！北硎荆?

,1得到的結(jié)果見圖1

2.01.9l呻

81

.70 afapf·貯t.

l1.6?1.

2 1

.

3 l.4 l

.li田1

肚如即觸角長和.翼,思路：

作一直線將兩類飛蠓分開例如；

取A

== (1.

44

, 2.10

) 和B==(l.10

,1.16),過A

B兩點(diǎn)作一條直線：y

== l.47x -

0.017其中X表示觸角長；

y表示翼長．分類規(guī)則：

設(shè)一個(gè)蚊子的數(shù)據(jù)為

(

x,

y

)如果y

?:::

1.47 x-0.017

,如果y

<

1.47

x -

0.017;則判斷蚊子屬Ap侈怎則判斷蚊子屬Af類．

.

...

--------

--一

-----?·:

分類結(jié)果：

(1.24

,

1.80),

(1.28,1.84)屬千Af

類；(1.40,

2.04)屬于

Apf

類．A(

l.

44,

2.10)2.12.01.91.81.7Y， ，、,II/，,fJ，，，，....，，I1.41.

5 ·1

.6，1.1 1.

2.

.

1.3B(l.1011.60)0 afapfX圖2

分類直線圖．缺陷：

根

據(jù)什么原則確定分類直線？右取A=(

l

.46,2.10),

B=(l

.1,1.6)不變，

則分類直線變?yōu)?y=l

.39x+0.071分類結(jié)果

變?yōu)椋?(1.24,1.80), (1.40,2.04)

屬于Apf類；(1.28,1.84)屬于Af類哪一分類直線才是

正確的呢？因此如何來確定這個(gè)判別直線是一個(gè)值得研究的問題．一般地講，

應(yīng)該充分利用已知的數(shù)據(jù)信息來確定判別直線．------------------------Administrator2015-04-07

02:49:37--------------------------------------------參加感知器課件。?!?

再如，

如下的情形已經(jīng)不能用分類直線的辦

法：X2105｀。510又：1為的作出據(jù)

輸數(shù)

與的入蠓

輸飛

究，研，充夕/系出個(gè)

輸—

為作

作看

型題類問

的將

蠓飛'°躋思入系新

輸關(guān)．----------------------瞿．｀，c

kkqca

k輸出層LeiqJ

W

pq『

w隱含層片『

v輸入層LA．．． ．．．基＿本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)四、反向傳播算法

(

B-

P算法）Backpropagation

algorithm算法的目的：

根據(jù)實(shí)際的輸入與輸出數(shù)

據(jù)，

計(jì)算模型的參數(shù)（權(quán)系數(shù)）1. 簡單網(wǎng)絡(luò)的B-P算法吻Z-p

皇.瓦p

2&戶..C>r.1p

之。尸陰6

簡單網(wǎng)絡(luò)--------斗一假設(shè)有P個(gè)訓(xùn)練樣本，

即有P個(gè)輸入輸出對C

IP'Tp),p=1,..

.,P,其中輸入向量為

：I p目標(biāo)輸出向量為（實(shí)際

上的）T p(iP 1'...'i

pm)T(t P l ,

...

,t pn

、

)T網(wǎng)絡(luò)輸出向量為

（理論上的）Q P = ( Op

l'

…，0 pn)

T----------------------------iCp=l,...

,P)記wij為從輸入向量的第j

(j=1'

…，m

)

個(gè)分量到輸出向里的第i

(i=1,…，n

)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤一，

網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，

并根據(jù)極小原則修改參數(shù)wij, 使誤差平方和達(dá)最小：min L c

t

pi-

o

pi)

2i=

I．Delta學(xué)習(xí)規(guī)則：記

,1

w

ij

表示遞推一次的修改量，則

有(2)ijppi

- 0 pi)i

pjw

ij +

wLl

w

ij =L17

(tp=

lt

pi- 0piw

..IJ(3)ppii

PJ=L

T/8p==1(4)Jpl.

=n

稱＿為學(xué)習(xí)的速率注：

由(

1

) 式，

第i個(gè)神經(jīng)元的輸出可表示為0

pi = f

(f wijipj

)j=

lipm=

-1

' wmi =

(第i個(gè)神經(jīng)元的闕值）(5

)llwu ip

j

) +

b( 6

)特別當(dāng)f是線性函數(shù)時(shí)o

pi =a

(Lfl/j=l曹－－－－－－－－－－－啊畸p1定理

4.1

桉上面描述的神經(jīng)網(wǎng)絡(luò)）設(shè)其中每個(gè)神經(jīng)元都是線性的取訓(xùn)練指標(biāo)為E=

L烏，p=ln烏=

-[

(如-

opi)22 i=l眭求E的最小值的梯度

最速下降祛

就是Delta學(xué)習(xí)規(guī)側(cè)，－－－－－－－－－－多層前饋網(wǎng)絡(luò)假設(shè)：C

l

)

輸入層不計(jì)在層數(shù)之內(nèi)，

它有NO個(gè)神經(jīng)元．設(shè)網(wǎng)絡(luò)7

一、

有L層；

輸出層為第L層；

第

k層有Nk個(gè)神經(jīng)元．(2)

設(shè)第

1

隱層 第L一1隱

層陽7

多層前饋網(wǎng)絡(luò)U

k (

Z

) 表示第k層第i神經(jīng)元所接收的信息w/

i,j)

表示從第k-1層第j個(gè)元到第K層第i個(gè)元的權(quán)重，a人，(i

)表第K層第i個(gè)元的輸出假設(shè)：(

3

)

設(shè)層與層間的神經(jīng)元都有信息交換（否則，

可設(shè)它們之間的權(quán)重為零）；

但同一層的神經(jīng)元之間無信息傳輸．(4)

設(shè)信息傳輸?shù)姆较蚴菑妮斎雽?/p>

到輸出層方向；

因此稱為前向網(wǎng)絡(luò)．沒有反向傳播信息．(

5

) a。(j

)表示輸入的第j個(gè)分量．---------在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：N。u1(i)=L

w1(i,j)a。())+01(i),j

=La.

(i) =f(u1

(i)),N1U2

(i)=區(qū)W2

(i,j)a1(j)+02

(i),a2

(i)j

=.l=

f(

u2

(i)),1i

N"匡i N2,(i),UL(i)=

嘰(i,j)aL-1

(j)

+

婦)

=IaL(i)=f(uL(i)),I

:::;;i

:::;;N

止其中表示第k層第i個(gè)元的闕值．(7)＿走埋2

對于具有多個(gè)隱層的前饋神經(jīng)網(wǎng)絡(luò)；設(shè)激發(fā)函數(shù)為S(8)函數(shù)；且指標(biāo)函數(shù)取 pE = L E p其中

E

P =?-f

L

(tp=

1c

Pl - al

Pl(i) (i))

2(9

)l=

l則每個(gè)訓(xùn)練循環(huán)中按梯度下降時(shí)；

其權(quán)重迭代公式為w尸(

i,

j) =

w1<-Pi

)

(i , j) +

778 /P>

a1<

!i廣(j

),C

10

)W1(p)

(i,l=1,...,

L,j

)

表示第-1層第個(gè)元對第層第個(gè)元輸入的砬次迭代時(shí)的權(quán)重5iP)(i)=

(tcP)

(i)- aiP) (i))f'(uiP)

(i))C

11)t5

/

p)

(i)

=

f

'

(

u

l(p)

(i))

L

t5

/了 歸N八

l(j)

w,-l) ( j,i

)(]2)j

=ll

L-1.Step1Step2Step3BP算法選定學(xué)習(xí)的數(shù)據(jù)，p=l

,...

,P,權(quán)矩陣W (0)用學(xué)習(xí)數(shù)據(jù)計(jì)算網(wǎng)絡(luò)輸出隨機(jī)確定初始llll用(

10

) 式反向修正，直到用完所有

學(xué)習(xí)數(shù)據(jù)w/

P)(

i

,

})

=W/p

-l

)

(i,j)

+

戒(p)l(p)a l

-

I

(]),l=

I,..., L

,----------------------------------------

, 1

沁五 ． 應(yīng)用之例：蚊子的分類已知的兩類蚊子的數(shù)據(jù)如表1:巴五Ill全日

匣翼長翼長觸角長類別目標(biāo)t0.10.10.10.10.10.10.1．?．?1.641.38Af????1.821.38Af．?．?1.901.38Af．?．?1.701.40Af．?．?1.821.48Af．?．?1.821.54Af2.081.56Af?: 1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af?: 2.001.26Apf?: 2.001.28Apt1.961.30Apf1.741.36Af觸角長 類別 目

標(biāo)值0.90.90.90.10.90.90.90.1------------------------：?

輸入數(shù)據(jù)有15個(gè)，

即

，

P=1…,

,

15;

j=1,2;

對應(yīng)15個(gè)輸出。?：?

建模：

（輸入層，

中間層，

輸出層，

每層的元素應(yīng)取多少個(gè)？）?:

? 建立神經(jīng)網(wǎng)絡(luò)·a

o(l)a。(2)a2------------------------規(guī)定目標(biāo)為： 當(dāng)t(1

)=0

.9 時(shí)表示屬千Apf類，

t{2

)

=0

.1表示屬于Af類。設(shè)兩個(gè)權(quán)重系數(shù)矩陣為：W1(1, 2

)W1

(2,2)w, = [

叭(1, 1)W1

(2,1)叭= [w2 (1,l

)w2 (1,2

)W1(,13)

]W1

(2,3)w2 (1,

3

)]其中

wi

(

j

,

3) =

叭j

)

為闕值--------U1

(1)

=

W1

(1,l)a。(1)+

w1

(l,2)a。(2)

-

Bl

(1)U1

(2)

==

W1

(2,l)a。(1)+

W1

(

2,2

)a。(2)

-

81

(2)a1(1)=f

(u1(1))為第一層的輸出，

同時(shí)作為第二層的輸入。其中，Bi 為闕值

，f

為激勵(lì)函數(shù)若令 a。(

3

)

=

-1W八j,3)

=

0)a

1

(2)=f(

u1

(2))C

作為一固定輸入）j =1,

2（闕值作為固定輸入神經(jīng)元相應(yīng)的權(quán)系數(shù)）----------------------------七-3u1

(1)

=

w1

(l

,l)

a。(1)

+

w1

(1,2)

a。(2)

+

w1

(l,3)a。(3

)

=區(qū)

W1

(1,

j

)

a。(

j

)j=

lj)a。(

j)u1

(2)

=

w1

(

2

,l

)a。(1)

+

w1

(2

,2)a0

(2) +

w1

(

2

,3)a。(3

)

=

L

w1

(2,J=I取激勵(lì)函數(shù)為

f

(x)

=干」+

e則 a1(i)=f(u1

(i))同樣，

取

a1

(3)

=—1,1=

1+ex陽

砌

）W2(1,3)=

0i=l,23u2

(1)

=

I w2

(1,

j

風(fēng)(

j

)j

=la2(1)

=l一1+

exp(-

u2

(1))具體算法如下：令p=OCl )

隨機(jī)給出兩個(gè)權(quán)矩陣的初值；

例如用MATLAB

軟件時(shí)可以用以下語旬：W尸

=rand(2,3);W尸

=rand(1,3);(2)

根據(jù)輸入數(shù)據(jù)利用公式算出網(wǎng)絡(luò)的輸出u1(1)

=

w1

(l,l)a。(1)+

w,

(l

,2)a。(2

)

+

W1

(l

,3)a。(3)

=

Lw1

(1,

j

)a。(

j

))=

!u1(2)

=

w1

(2,l)a0

(1)

+

w1(2,2)a。(2

)

+

w1

(

2,3)a。(3)

=

Lw,

c2,

J

)a。(

j

)J

ll叩(i)

=

f(ul(i))

=i=

1,2＿取 叩3)

=-1,u2

(1) =L叩1,j)a1

(j)j

=

Ila

2

(1

)

=I+exp(-u2

(1))(

3)

計(jì)算因?yàn)?f(x)

=所以 j'(x)

=1l

+

e一Xe

·(1+e-.{

)282(1)=(t(l)-a2(l))f'(u2

(1))=(t(l)-a2(1))exp(-u2

(1))/(1+exp(-

u2

(1)))2(

4

) 取7]=

0.1(

或其他正數(shù)，可調(diào)整大?。?jì)算

w2

<P+1>c1,

J)j=l,2,

3j=1,2,3w;p+I

)(1,})=Wip)(1,})+'f/J?+l

)(l

)a

p; +I

)

(j)(5)

計(jì)算 趴(p+I)

(

i) 和 w/p+I)(i,])

:8

?

+1)

(i)

=

(

J

i'

>+l

)

(l

)

W2(p

+I)

(1,i

)) exp(-u2(1))/(1+exp(-u2(1))

)2W(ip+J

)

(i,j) =W/p)

(i,j) + 'J/'51(p+l

)(i)a

p6

+l

)

(j)i

=

l

,2,3,j=

l

,2,3,------------------------.

L?: (6)

P=P+1

, 轉(zhuǎn)(2

)注：

僅計(jì)算一圈

C

p= I

, 2, ...

, 15)

是不夠的，到當(dāng)各權(quán)重變化很小時(shí)停止，本例中，共計(jì)算了147圈，

迭代了2205次。最后結(jié)果是：w=, [ -

5.59217.59760.5765-0.5787-0.2875-0.2764]0.4838

3.9829]咒=

[-8.4075一?!?

即網(wǎng)絡(luò)模型的解為：u1

(1)

=

-

5.

592la。(1)+

7.5976a。(2)

-

0.5765u1

(2)

=

-

0.5787a。(1)

-

0.2875a。(2)

+

0.2764a1(i)=f(u1(i))

=1+exp(-

u1

(i))li=

1,2u2

(1)=-8.4075a1(1)+0.4838a,(2)

-3.9829la2

(1)=1+

exp(-u2

(1))凈－－BP網(wǎng)絡(luò)建模特

點(diǎn)：八

n能力：

神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù)。在建模過程中的許多問題正是具有高度的非線性。．并行分布處理力式：

在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處理的，這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度。．自學(xué)習(xí)和自適應(yīng)能力：

神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，

能從輸入、輸出的數(shù)據(jù)中提取出規(guī)律性的知識，

記憶千網(wǎng)絡(luò)的權(quán)值中

，

并具有泛化能力，

即將這組權(quán)值應(yīng)用于一般情形的能力。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也日以在線進(jìn)行。．?dāng)?shù)據(jù)融合的能力：

神經(jīng)網(wǎng)絡(luò)可以同時(shí)處理定噩信息和定性信息，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù)（符號處理）。．多變獄系統(tǒng)：

神經(jīng)網(wǎng)絡(luò)的輸入和輸出變噩的數(shù)目是懺意的

，

對單變量系統(tǒng)與多變量系統(tǒng)提

供了一種通用的描述方式，

不必考慮各子系統(tǒng)間的解耦問題。神經(jīng)網(wǎng)絡(luò)的應(yīng)用人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實(shí)際應(yīng)用中，

80%90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型（簡稱BP網(wǎng)絡(luò)），

目前主要應(yīng)用于函數(shù)逼近、模式識別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。------------------------------.-.-------------

-----

_.

J._基本BP網(wǎng)k絡(luò)的拓?fù)浣Y(jié)構(gòu)

kIc

.Cq.I?C,

kl?r 、\

THHT r

------ /一、輸出層LewcI,隱含層片V．．．\￡1L

/

．．．\￡1

_

I輸C,

入

層LAII

,a

k1＿L 樣本數(shù)據(jù)1.1

收集和整理分組采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。而且，為監(jiān)控訓(xùn)練（學(xué)習(xí)）過程使之不發(fā)生“過擬合”和評價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本

(

10%以上）和測試樣本(

10%以上）3部分。此外，

數(shù)據(jù)分組時(shí)還應(yīng)盡可能考慮樣本模式間的平衡。勹

.2

輸入靡

出變量的確定及其數(shù)據(jù)的預(yù)處理一般地，

B

P網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù)，

一般根據(jù)專業(yè)知識確定。若輸入變量較多，

一般可通過主成份分析方法壓減輸入變最，

也可根據(jù)剔除某一變暈引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變輩。輸出變景即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），

可以是個(gè)，

也可以是多個(gè)。一般將一個(gè)具有多個(gè)輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個(gè)

具有一個(gè)輸出的網(wǎng)絡(luò)模型效果會(huì)更好

，訓(xùn)練也更方便。一.于.. BP神經(jīng)網(wǎng)絡(luò)的

隱層一般采用Sigmoid轉(zhuǎn)換函數(shù)，為提高訓(xùn)練速度和靈敏性以及有效避開Sigmoid函數(shù)的飽和區(qū)，

一般要求輸入數(shù)據(jù)的值在O~

l

之間。因此，

要對輸入數(shù)據(jù)進(jìn)行預(yù)處理。一般要求對不同變量分別進(jìn)行預(yù)處理，

也可以對類似性質(zhì)

的變量進(jìn)行統(tǒng)一的預(yù)處理。如果輸出層節(jié)點(diǎn)也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預(yù)處理，

否則，

輸出變量也可以不做預(yù)處理。預(yù)處理的方法有多種多樣，

各文獻(xiàn)采用的公式也不盡相同。但必須注意的是，

預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，

網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)行反變換才能得到實(shí)際值。再者，

為保證建立的模型具有一定的外推能力，

最好使數(shù)據(jù)預(yù)處理后的值在0.-2--

0.8之間。2.神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定2. 隱層數(shù)般認(rèn)為，

增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為不一定能有效降低），

提高精度，

但也使網(wǎng)絡(luò)復(fù)雜化，

從而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過擬合”

的傾向。Hornik等早已證明：

若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，

隱層采用Sigmoid轉(zhuǎn)換函數(shù)，

則含一個(gè)隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，

這定一個(gè)存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，

應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。一般地，

靠增加隱層節(jié)點(diǎn)數(shù)來獲得較低的誤差，

其訓(xùn)練效果要比增加隱－數(shù)更容易實(shí)現(xiàn)。對千沒有隱層的神經(jīng)網(wǎng)絡(luò)模型，

實(shí)際上就是一個(gè)線性或非線性（取決千輸出層采用線性或非線性轉(zhuǎn)換

函數(shù)型式）回歸模型。因此，

一般認(rèn)為，

應(yīng)將不含隱層的網(wǎng)絡(luò)模型歸入回歸分析中，

技術(shù)已很成熟，沒有必要在神經(jīng)網(wǎng)絡(luò)理論中再討論之。2.2

隱層節(jié)點(diǎn)數(shù)在BP

網(wǎng)絡(luò)中，

隱層節(jié)點(diǎn)數(shù)的選擇非常重要，

它不僅對建立的｀＼神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過擬合”的直接原因，

但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。目前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點(diǎn)數(shù)的計(jì)算公式都是針

對訓(xùn)練樣本任意多的情況

，

而且多數(shù)是針對最不利的情況

，

一般工程實(shí)踐中很難滿足，不宜采用。事實(shí)上，各種計(jì)算公式得到的隱層節(jié)點(diǎn)數(shù)有時(shí)相差兒倍甚至上百倍。為盡可能避免訓(xùn)練 時(shí)出現(xiàn)“過擬合“現(xiàn)象，

保證足夠高的網(wǎng)絡(luò)性能和泛化能力，

確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：

在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)

。研究表明，

隱層節(jié)點(diǎn)數(shù)不僅與輸入／輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性與匹人 。在確定隱層節(jié)點(diǎn)數(shù)時(shí)必須滿足下列條件：隱層節(jié)點(diǎn)數(shù)必須小于N-1

(

其中N為訓(xùn)練

樣本數(shù)），

否則，

網(wǎng)絡(luò)模型的系統(tǒng)誤差與訓(xùn)練樣本的特性無關(guān)而趨千零，

即建立的網(wǎng)絡(luò)模型沒有泛化能力，

也沒有任但l頭用價(jià)值。同理可推得：

輸入層的節(jié)點(diǎn)數(shù)（變量數(shù)）必須小千N-l

。訓(xùn)練樣本數(shù)必須多千網(wǎng)絡(luò)模型的連接權(quán)數(shù)，

一般為2~10倍，

否則，

樣本必須分成幾部分并采用“

輪流訓(xùn)練”的方法才可能得到可靠的神經(jīng)網(wǎng)絡(luò)模型。總之，若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練旦網(wǎng)絡(luò)性能很差；

若 隱層節(jié)點(diǎn)數(shù)太多，

雖

然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，

但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長，

另

一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，

也是訓(xùn)練時(shí)出現(xiàn)“過擬合”的

內(nèi)在原因。因此，

合理隱層節(jié)點(diǎn)數(shù)應(yīng)在綜合考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的情況下用節(jié)八、、刪除法和擴(kuò)張法確定。＿3.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練3.1!

訓(xùn)紛BP網(wǎng)絡(luò)的訓(xùn)練就是通過應(yīng)用誤

差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓(xùn)練樣本輸出值之間的誤差平方和達(dá)到最小或小千某一期望值。雖然理論上早已經(jīng)證明：

具有1個(gè)隱層（采用Sigmoid轉(zhuǎn)換函數(shù)

）的BP網(wǎng)絡(luò)可實(shí)現(xiàn)對任意

函數(shù)的任意逼近。但遺憾的延

，迄今為止還沒有構(gòu)造性結(jié)論，

即在給定有限個(gè)（訓(xùn)練）樣本的情況下，

如何設(shè)計(jì)一個(gè)合理的BP網(wǎng)絡(luò)模型并通過向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來滿意地逼近樣本所蘊(yùn)含的規(guī)律（函數(shù)關(guān)系

，

不僅僅是使訓(xùn)練樣本的誤差達(dá)到很?。┑膯栴}，

目前在很大程度上還需要依靠經(jīng)驗(yàn)知識和設(shè)計(jì)者的經(jīng)驗(yàn)。因此，通過訓(xùn)練樣本的學(xué)習(xí)（訓(xùn)練）建立合理的BP神經(jīng)網(wǎng)絡(luò)模型的過程

，

在國外被稱為“

藝術(shù)創(chuàng)造的過程”，

是一個(gè)復(fù)雜而又十分煩瑣和困難的過程。由于BP網(wǎng)絡(luò)采用誤差反傳算法，

其實(shí)質(zhì)是一個(gè)無約束的非線性最優(yōu)化計(jì)算過程，

在網(wǎng)絡(luò)結(jié)構(gòu)較大時(shí)不僅計(jì)算時(shí)間長，而且很容易限入局部極小點(diǎn)而得不到最優(yōu)結(jié)果。目前雖已有改進(jìn)BP法、遺傳算法

(

GA) 和模擬退火算法等多種優(yōu)化方法用于BP網(wǎng)絡(luò)的訓(xùn)練（這些方法從原理上講可通過調(diào)整某些參數(shù)求得全局極小點(diǎn)），

但在應(yīng)用中，這些參數(shù)的調(diào)整往往因問題不同而異，沖量（動(dòng)量＿）項(xiàng)的改進(jìn)BP算法。較難求得全局極小點(diǎn)。這些方法中應(yīng)用最廣的是增加.2 學(xué)習(xí)率和沖量系數(shù)學(xué)習(xí)率影響系統(tǒng)學(xué)習(xí)過程的穩(wěn)定性。大的學(xué)習(xí)率可能使網(wǎng)絡(luò)權(quán)值每一次的修正量過大，

甚至?xí)?dǎo)致權(quán)值在修正過程中超出某個(gè)誤差的極小值呈不規(guī)則跳躍而不收斂；

但過小的學(xué)習(xí)率導(dǎo)致學(xué)習(xí)時(shí)間過長，

不過能保證收斂于某個(gè)極小值。所以，

一般傾向選取較小的學(xué)習(xí)率以保證學(xué)之過程的收斂性（穩(wěn)定性），

通常在0.01-

0.8之間。增加沖量項(xiàng)的目的是為了避免

網(wǎng)絡(luò)訓(xùn)練陷千較淺的局部極小點(diǎn)。理論上其值大小應(yīng)與權(quán)值修正景的大小有關(guān)，但實(shí)際應(yīng)用中一般取常量。通常在0-

1之間，

而且一般比學(xué)習(xí)率要大。－－4

網(wǎng)絡(luò)的初始連接權(quán)值BP算法決定了誤差函數(shù)小點(diǎn)，

不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個(gè)局部極小點(diǎn)或是全局極小點(diǎn)。因此，要求計(jì)算程序（議采用標(biāo)準(zhǔn)通用軟件，

如Statsoft公司出品的StatisticaNeural

Networks

軟件和Matlab

軟件）

必須能夠自由改變網(wǎng)絡(luò)初始連接權(quán)值。由于Sigmoid轉(zhuǎn)換函數(shù)的特性，

一般要求初始權(quán)值分布在-0.5-

0.5之間比較有效。5.網(wǎng)絡(luò)模型的性能和泛化能力訓(xùn)練神經(jīng)網(wǎng)絡(luò)的首要和根本任務(wù)是確保訓(xùn)練好的網(wǎng)｀絡(luò)模型對非訓(xùn)練樣本具有好的泛化能力（推廣性）

，

即效逼近樣本蘊(yùn)含的內(nèi)在規(guī)律，

而不是看網(wǎng)絡(luò)模型對訓(xùn)練樣本的擬合能力。從存在性結(jié)論可知，

即使每個(gè)訓(xùn)練樣本的誤差都很

?。梢詾榱悖?/p>

，

并不意味著建立的模型已逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律。因

此，

僅給出訓(xùn)練樣本誤差（通常是指均方根誤差RSME或均方誤差、AAE或MAPE等）的大小而不給出非訓(xùn)練樣本誤差的大

小定沒有任何意義的。～一

--一-----要分析建立的網(wǎng)絡(luò)模型對樣本所蘊(yùn)含的規(guī)律的逼近情況（能力），即泛化能力，應(yīng)該也必須用非訓(xùn)練樣本I（本文稱為檢驗(yàn)樣本和測試樣本）誤差的大小來表示和評價(jià)，這也是之所以必須將總樣本分成訓(xùn)練樣本和非訓(xùn)練樣本而絕不能將全部樣本用千網(wǎng)絡(luò)訓(xùn)練的主要原因之。判斷建立的模犁是否已有效逼近樣本所蘊(yùn)含的規(guī)律取直接和客觀的指標(biāo)是從總樣本中隨機(jī)抽取的非訓(xùn)練樣本（檢驗(yàn)樣本和測試樣本）誤差是否和訓(xùn)練樣本的誤差一樣小或稍大。非訓(xùn)練樣本誤差很接近訓(xùn)練樣本誤差式比其小，

一般可認(rèn)為建立的網(wǎng)絡(luò)模型已有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，

否則，

若相差很多（如幾倍、幾十什甚至上千倍）就說明建立的網(wǎng)絡(luò)模型并沒有有效逼近訓(xùn)練樣本所蘊(yùn)含的規(guī)律，而只是在這些訓(xùn)練樣本點(diǎn)上逼近而已，

而建立的網(wǎng)絡(luò)模型是對訓(xùn)練樣本所蘊(yùn)含規(guī)律的錯(cuò)誤反臚\.

0 ----------------------------i 因?yàn)橛?xùn)練樣本的誤差可以達(dá)到很小，因此，用從總樣本中隨機(jī)抽取的一部分測試樣本的誤差表示網(wǎng)絡(luò)模型計(jì)算和預(yù)測所具有的精度（網(wǎng)絡(luò)性能）是合理的和可靠的。值得注意的是，判斷網(wǎng)絡(luò)模型泛化能力的好壞，主要不是看測試樣本誤差大小的本身，而是要看測試樣本的誤差是否接近于訓(xùn)練樣本和檢驗(yàn)樣本的誤差。＿6.合理網(wǎng)絡(luò)模型的確定對詞

一結(jié)構(gòu)的網(wǎng)絡(luò)，

由千BP算法存在（很）多個(gè)尸部極小點(diǎn)，因此，必須通過多次（通常是幾十次）改變網(wǎng)絡(luò)初始連接權(quán)值求得相應(yīng)的極小點(diǎn)，才能通過比較這些極小點(diǎn)的網(wǎng)絡(luò)誤差的大小，

確定全局極小點(diǎn)，

從而得到該網(wǎng)絡(luò)結(jié)構(gòu)的最佳網(wǎng)絡(luò)連接權(quán)值。必須注意的是，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程本質(zhì)上是求非線性函數(shù)的極小點(diǎn)問題，因此，在全局極小點(diǎn)鄰域內(nèi)（即使網(wǎng)絡(luò)誤差相同），

各個(gè)網(wǎng)絡(luò)連接權(quán)值也可能有較大的差異，

這有時(shí)也會(huì)使各個(gè)輸入變罹的重要性發(fā)生變化，

但這與具有多個(gè)零極小點(diǎn)（一般稱為多模式現(xiàn)象） （如訓(xùn)練樣本數(shù)少于連接權(quán)數(shù)時(shí)）的情況是截然不同的。此外，在不滿足隱層節(jié)點(diǎn)數(shù)條件時(shí)，總也可以求得訓(xùn)練樣本誤差很小或?yàn)榱愕臉O小點(diǎn)，

但此時(shí)檢驗(yàn)樣本和測試樣本的誤差可能要大得多；

若改變網(wǎng)絡(luò)連接權(quán)初始值，

檢驗(yàn)樣本和測試樣本的網(wǎng)絡(luò)計(jì)算結(jié)果會(huì)產(chǎn)生很大變化，即多模式現(xiàn)象。5寸 不同的網(wǎng)絡(luò)結(jié)構(gòu)，

網(wǎng)絡(luò)模型的誤差或性能和泛化能力也一樣。因此，

還必須比較不同網(wǎng)絡(luò)結(jié)構(gòu)的模型的

優(yōu)劣。一般地，隨著網(wǎng)絡(luò)結(jié)構(gòu)的變大，

誤差變小。通常，

在網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)大（隱層節(jié)點(diǎn)數(shù)增加）的過程中，

網(wǎng)絡(luò)誤差會(huì)出現(xiàn)迅速減小然后趨于穩(wěn)走的一個(gè)階段，

因此，合理隱層節(jié)點(diǎn)數(shù)應(yīng)取誤差迅速減小后基本穩(wěn)一時(shí)的隱層節(jié)點(diǎn)數(shù)?？傊?，合理網(wǎng)絡(luò)模型是必須在具有合理隱層節(jié)點(diǎn)數(shù)、訓(xùn)練時(shí)沒有發(fā)生“過擬合“現(xiàn)象、求得全局極小點(diǎn)和同時(shí)考慮網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜程度和誤差大小的綜合結(jié)果。設(shè)計(jì)合理

BP網(wǎng)絡(luò)模型的過程曰個(gè)不斷調(diào)整參數(shù)的過程，

也是一個(gè)不斷對比結(jié)果的過程，

比較復(fù)雜且有時(shí)還帶有經(jīng)驗(yàn)性。這個(gè)過程并不是有些作者想象的（實(shí)際也是這么做的）那樣，

隨便套用一個(gè)公式確定隱層節(jié)點(diǎn)數(shù)，

經(jīng)過一次訓(xùn)練就能得到合理的網(wǎng)絡(luò)模型（這樣建立的模型極有可能延訓(xùn)練樣本的錯(cuò)誤反映，

沒有任何實(shí)用價(jià)值J 。雖然神經(jīng)網(wǎng)絡(luò)的類型很多

，

建立神經(jīng)網(wǎng)絡(luò)模型時(shí)，

根據(jù)研究向象的特點(diǎn)，

可以考慮不同的神經(jīng)網(wǎng)絡(luò)模型。

前饋型BP網(wǎng)絡(luò)即誤差逆?zhèn)鞑ド窠?jīng)網(wǎng)絡(luò)是最常用、最流行的神經(jīng)網(wǎng)絡(luò)。BP網(wǎng)絡(luò)的輸入和輸出關(guān)系可以看成是一種映射關(guān)系，

即每一組輸入對應(yīng)一組輸出。由千網(wǎng)絡(luò)中神經(jīng)

元作用函數(shù)的非線性，網(wǎng)絡(luò)實(shí)現(xiàn)是復(fù)雜的非線性映射

。關(guān)于這類網(wǎng)絡(luò)對非線性的逼近能力，

Hornikl等分別利用不同的方法證明了如下一個(gè)事實(shí)：

僅含有一個(gè)隱層的前向網(wǎng)絡(luò)能以任意精度逼近定義在Rn的一個(gè)緊集上的任

意非線性函數(shù)。誤差反向算法是最著名的多層前向網(wǎng)絡(luò)訓(xùn)練算法，

盡管存在收斂速度慢、局部極值等缺點(diǎn)，

但可通過各種改進(jìn)措施來提高它的收斂速度、克服局部極值現(xiàn)象，

而且具有簡單、易行、計(jì)算鼠小、并行性強(qiáng)等特

點(diǎn)，

目

前仍是多層前向網(wǎng)絡(luò)的首選算法,...L.

. 神經(jīng)網(wǎng)絡(luò)模型參數(shù)的確定

：由于傳統(tǒng)的誤差反傳

BP算法較為成

熟，

且應(yīng)用廣泛，因此努力提高該方法的學(xué)習(xí)速度具有

較高的實(shí)用價(jià)值。BP算法中有幾個(gè)常用的參數(shù)

，

包括學(xué)習(xí)率11' 動(dòng)最因子a'形狀因子入及收斂誤差界值E等。這些參數(shù)對訓(xùn)練速度的影響最為關(guān)鍵。一,...上.,..

-...

-.MATLAB神經(jīng)網(wǎng)絡(luò)工具箱的應(yīng)用在網(wǎng)絡(luò)訓(xùn)練過程中使用的是Matlab

7.0

for

Windows軟件，對千BP神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練可以使用Neural

Networks

Toolbox

forMatlab。美國的Mathwork公司推出的MATLAB軟件包既是一種非常實(shí)用有效的科研編程軟件環(huán)境，

又是一種進(jìn)行科學(xué)和工程計(jì)算的交互式程序。MATLAB本身帶有神經(jīng)

網(wǎng)絡(luò)工具箱

，

可以大方便權(quán)值訓(xùn)練，

減少訓(xùn)練程序工作量，

有效的提高工作效率．＿隱層的數(shù)目：理論上雖然證明了這類

網(wǎng)絡(luò)的逼近能力

，

對于網(wǎng)絡(luò)結(jié)構(gòu)的要求，

并沒有給出明確的說明。

厭而在應(yīng)用中神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)確定常常有 人為的主觀性和藝術(shù)性，

缺乏一個(gè)指導(dǎo)原則。而網(wǎng)絡(luò)訓(xùn)練與結(jié)構(gòu)緊密相關(guān)，

太大的網(wǎng)絡(luò)結(jié)構(gòu)在訓(xùn)練時(shí)效率不高，

而且還會(huì)由于過擬合(ove

rfittin

g)造成網(wǎng)絡(luò)的性能脆弱，

泛化能力(generalization

ability)下降；

太小的網(wǎng)絡(luò)可能就根本不收斂。當(dāng)選取隱層數(shù)為1時(shí)，B

P網(wǎng)絡(luò)不收斂，

而當(dāng)選取隱層數(shù)為

2時(shí)，

B

P網(wǎng)絡(luò)訓(xùn)練較好?？紤]到本研究的特

爾，結(jié)合不同隱層網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練結(jié)果

，

本文選擇了隱層數(shù)

L=2的網(wǎng)絡(luò)結(jié)構(gòu)模型。10｀

Pe命l!Tli

ncei,

6666.84,

Goal

is

0 ,。1n-DC今IUUBI』L」4oIj01礦o，lfrl1OI301401品芘一，'WlBI",

OU-u-e

』L氏，1盯的沉e190.UJ11負(fù)川3,Go?I190.U:ll1。｀矗。，巒 1(

J;I)"總"尼'仰數(shù)為

1節(jié)點(diǎn)數(shù)61邸礎(chǔ)

10"'

0 1 2 3 4 5 6 7 8 9 iO1中00

E

poch? :,10

?隱層故為2節(jié)A數(shù)12

X

6不同隱層奻認(rèn)1紈

誤差曲線--------- -----斗一、t,

催化臭氧氧化處理自來水工藝神經(jīng)網(wǎng)絡(luò)模型例：

B

P神經(jīng)網(wǎng)絡(luò)水（處理）系統(tǒng)的模擬與預(yù)測等方面獲得了廣泛

的應(yīng)用。一樣本實(shí)驗(yàn)號臭氧濃度

(mg/L)入口UV254UV生

去除率(%

)11.160.11650.221.350.10459.531.720.07858.841.860.10766.251.970.13665.562.150.08264.572.230.12573.682.480.07676.492.790.12278.5102.850.09279.2113.070.08181.4123.450.06890.3133.590.07793.1143.800.10898.2153.930.12897.3164.140.06398.1174.460

.13597

.3184.550.07098.8194.8

40.12696.9205.030.08798.6矗.

L檢驗(yàn)樣本實(shí)驗(yàn)號臭氧濃度(mg/L)入口uv2

4suv2

4s

去除率(%

)11.420.086？22.510.071？33.210.107？44.290.096？55.240.65？＿隱層神經(jīng)元數(shù)的選擇隱層神經(jīng)元數(shù)的選擇是一個(gè)十分復(fù)雜的問題。因?yàn)闆]有很

女的解析式表示，

可以說隱層神經(jīng)元數(shù)與問題的要求、輸入層與輸出'

層神經(jīng)元的數(shù)景、訓(xùn)練樣本的數(shù)最等都有直接關(guān)系。事實(shí)上隱層神經(jīng)元太少不可能將網(wǎng)絡(luò)訓(xùn)練出來，但太多又使學(xué)習(xí)時(shí)間過長，

使網(wǎng)絡(luò)不“不強(qiáng)壯”， 泛化能力下降

，

即不能識別以前沒有直接接收到的樣本，

容錯(cuò)性差。、I

/

隱層數(shù)為20

X

10和8

X

4時(shí)的訓(xùn)練結(jié)果：10JP?riom,anc?is沾

7E5o,Goali侖

010.10，Pttdnrm

a.n

c憊

，o

3

出

句1,

Go引

ls

ll1。仁1，。ani8ii分」百8

仁1

0

'010:021)00 刃ooico

o虹

060001-Ql

。l印I

0

10I00

15I00

20們XI

2SOD

----

----

---邸

數(shù)為2

節(jié)點(diǎn)數(shù)2

J婺俙Epoc

怡蘭 淮如

2

節(jié)點(diǎn)改&X

4砬SEpoc

h?神經(jīng)員絡(luò)模型的各層節(jié)點(diǎn)數(shù)分別為：

輸入層2個(gè)；

第一隱層12俏；

第二隱層6個(gè)；

輸出層l

個(gè)。綜合以上研究內(nèi)容

，

建立光催化臭氧氧化處理自來水工藝神經(jīng)網(wǎng)絡(luò)模型如圖

6-3所7J'

0入口UV

立0 "'

立去除豐0 - 0 -兒氫濃度紡入聰層給出層圖6-3

BP網(wǎng)絡(luò)桯型－－1

.

r學(xué)習(xí)率n和動(dòng)量因丁UBP算法本質(zhì)上是優(yōu)化

計(jì)算中的梯度下降法

，

利用誤差對千權(quán)、閥值的一階導(dǎo)數(shù)信息來指導(dǎo)下一步的權(quán)值調(diào)整方向，

以求最終得到誤差最小。為了保證算法的收斂 性，

學(xué)習(xí)率n必須小于某一上限，一般取0<11<]

而且越接近極小值，

由千梯度變化值逐漸趨千零，

算法的收斂就越來越慢。在

網(wǎng)絡(luò)參數(shù)中

，學(xué)習(xí)率n和動(dòng)量因子a是很要的，

它們的取值直接影響到網(wǎng)絡(luò)的

性能

，

主要是收斂速度。為提高學(xué)習(xí)速度，

應(yīng)采用大的n。但

n太大卻可能導(dǎo)致在穩(wěn)定點(diǎn)附近振初，乃至不收斂。針對具體的網(wǎng)絡(luò)結(jié)構(gòu)模型和學(xué)習(xí)樣本，

都存在一個(gè)最佳的學(xué)習(xí)率門和動(dòng)量因子a

, 它們的取值范圍一般0 1之間，

視實(shí)際情況而定。在上述范圍內(nèi)通過對不同的葉加的取值進(jìn)行了考察，文神經(jīng)網(wǎng)絡(luò)模型的參數(shù)為：

11

=

0.

7, a

=

0.9。--------．

初始權(quán)值的選擇在前饋多層神經(jīng)網(wǎng)絡(luò)的BP算法中，

初始權(quán)、闕值一般是在個(gè)固定范圍內(nèi)按均勻分布隨機(jī)產(chǎn)生的。一般文獻(xiàn)認(rèn)為初始值范圍為-1 +

1之間，

初始權(quán)值的選擇對千局部極小點(diǎn)的防止和網(wǎng)絡(luò)收斂速度的提高均有一定程度的影響，

如果初始權(quán)值范圍選擇不當(dāng)，

學(xué)習(xí)過程一開始就可能進(jìn)入“

假飽和“

現(xiàn)象，

匹進(jìn)入局部極小點(diǎn)，

網(wǎng)絡(luò)根本不收斂。初始權(quán)、闕值的選擇/、

體的網(wǎng)絡(luò)結(jié)構(gòu)模式和訓(xùn)練樣本不同而有所差別，

一般應(yīng)視實(shí)際情況而定。本文考察了不同初始權(quán)、闕值的賦值范圍對網(wǎng)絡(luò)收斂速度的影響，確定本文神經(jīng)網(wǎng)絡(luò)模型的初始權(quán)和闕值的隨機(jī)賦值范圍為—0.5,...

,

+0.5

。--------3. 收斂誤差界值Emin在網(wǎng)絡(luò)訓(xùn)練過程中應(yīng)根據(jù)實(shí)際情況預(yù)先確定誤差界值。誤差界值的選擇完全根據(jù)網(wǎng)絡(luò)模型的收斂速度大小和具體樣本的學(xué)習(xí)精度來確定

。當(dāng)Emin值選擇較小時(shí)，

學(xué)習(xí)效果好，

但收斂速度慢，

訓(xùn)練次數(shù)增加。如果Emin值取得較大時(shí)