1、人工神經(jīng)網(wǎng)絡(luò)理論的現(xiàn)狀及發(fā)展,人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)或稱作連接模型，早在1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作提出形式神經(jīng)元的數(shù)學(xué)模型（稱之為MP模型），從此開創(chuàng)了神經(jīng)科學(xué)理論研究的時(shí)代；1957年Rosenblatt提出的感知器(Perception)模型，它由閾值性神經(jīng)元組成，試圖模擬動(dòng)物和人腦的感知和學(xué)習(xí)能力.,神經(jīng)網(wǎng)絡(luò)幾乎與AI同時(shí)起步，但30余年來卻并未取得人工智能那樣巨大的成功，中間經(jīng)歷了一段長(zhǎng)時(shí)間的蕭條。直到80年代，獲得了關(guān)于人工神經(jīng)網(wǎng)絡(luò)切實(shí)可行的算法，以及以Von Neumann體系為依托的傳統(tǒng)算法在知識(shí)處理方面日益顯露出其力不從心后，人們才重新對(duì)人

2、工神經(jīng)網(wǎng)絡(luò)發(fā)生了興趣，才是神經(jīng)網(wǎng)絡(luò)理論得到復(fù)興。,到目前為止，已經(jīng)出現(xiàn)許多神經(jīng)網(wǎng)絡(luò)模型及相應(yīng)的學(xué)習(xí)算法。其中誤差逆?zhèn)鞑ィ‥rror Back-propagation）算法（簡(jiǎn)稱BP算法）是一種較常用的算法。人工神經(jīng)網(wǎng)絡(luò)可用于對(duì)物群的目標(biāo)擬合、模式分類和預(yù)測(cè)。,神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)神經(jīng)元 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和基本原理基本上是以人腦的組織結(jié)構(gòu)和活動(dòng)規(guī)律為背景，它反映料人腦的某些基本特征，是人腦的某些抽象、簡(jiǎn)化或模仿。神經(jīng)網(wǎng)絡(luò)有許多并行運(yùn)算的功能簡(jiǎn)單的單元組成，每個(gè)神經(jīng)元有一個(gè)輸出，它可以連接到許多其它神經(jīng)元，每個(gè)神經(jīng)元輸入有多個(gè)連接通路，每個(gè)連接通路對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。,X1,X2,Xn,y1,y2,y

3、m,輸入層節(jié)點(diǎn),隱層節(jié)點(diǎn),輸出層節(jié)點(diǎn),這個(gè)算法的學(xué)習(xí)過程，由正向傳播和反相傳播組成，在正向傳播過程中，輸入信息從輸入層經(jīng)隱單元層逐層處理，并傳向輸入層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望得輸出，則轉(zhuǎn)入反向傳播，將誤差信號(hào)沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號(hào)減小，然后再轉(zhuǎn)入正向傳播過程，反復(fù)迭代，直到誤差小于給定的值為止。,BP網(wǎng)絡(luò)的學(xué)習(xí)過程主要由四部分組成：輸入模式順傳播、輸出誤差逆?zhèn)鞑?、循環(huán)記憶訓(xùn)練、學(xué)習(xí)結(jié)果判別。,（1）輸入模式順傳播,根據(jù)神經(jīng)元模型原理，計(jì)算中間層各神經(jīng)元的激活值： （j=1，2，p） 式中：wij-輸入層至中間層

4、連接權(quán)； -中間層單元閥值； P中間層單元數(shù)。,激活函數(shù)采用S型函數(shù)，即 這里之所以選S型函數(shù)作為BP神經(jīng)元網(wǎng)絡(luò)的激活函數(shù)是因?yàn)樗沁B續(xù)可微分的，而且更接近于生物神經(jīng)元的信號(hào)輸入形式。,閥值在學(xué)習(xí)過程中和權(quán)值一樣也不斷的被修正。 同理可求出輸出端的激活值和輸出值。 設(shè)輸出層第t個(gè)單元的激活值為則 設(shè)輸出層第t個(gè)單元的實(shí)際輸出值為則 （t=1,2,q）,(2) 輸出誤差的逆?zhèn)鞑?在第一步的模式順傳播計(jì)算中我們得到了網(wǎng)絡(luò)的實(shí)際輸出值，當(dāng)這些實(shí)際輸出值與希望的輸出值不一樣時(shí)或其誤差大于所限定的數(shù)值時(shí)，就要對(duì)網(wǎng)絡(luò)進(jìn)行校正。 這里的校正是從后向前進(jìn)行的，所以叫做誤差逆?zhèn)鞑?，?jì)算時(shí)是從輸出層到中間層，再?gòu)?/p>

5、中間層到輸入層。,（3）循環(huán)記憶訓(xùn)練,為使網(wǎng)絡(luò)的輸出誤差趨于極小值。對(duì)于BP網(wǎng)輸入的每一組訓(xùn)練模式，一般要經(jīng)過數(shù)百次甚至上萬次的循環(huán)記憶訓(xùn)練，才能使網(wǎng)絡(luò)記住這一模式。這種循環(huán)記憶訓(xùn)練實(shí)際上就是反復(fù)重復(fù)上面介紹的輸入模式順傳播和輸出誤差逆?zhèn)鞑ミ^程，使網(wǎng)絡(luò)記住訓(xùn)練過程中權(quán)值的變化。,（4）學(xué)習(xí)結(jié)果的判別,BP算法存在的缺陷 BP模型把一組樣本的I/O問題變?yōu)橐粋€(gè)非線性優(yōu)化問題，使用了優(yōu)化中最普通的梯度下降法，用迭代運(yùn)算求解權(quán)相應(yīng)于學(xué)習(xí)記憶問題，加入隱節(jié)點(diǎn)使優(yōu)化問題的可調(diào)參數(shù)增加，從而可得到更精確的解。神經(jīng)網(wǎng)絡(luò)是一種映射表示方法，它是對(duì)簡(jiǎn)單的非線性函數(shù)進(jìn)行復(fù)合，經(jīng)過少數(shù)復(fù)合后，則可實(shí)現(xiàn)復(fù)雜的函數(shù)，這對(duì)數(shù)學(xué)映射方法有著重要的啟事。 但正因?yàn)樗捎玫牡氖欠蔷€性規(guī)劃中的最速下降法，按誤差的負(fù)梯度方向修改權(quán)值，因而通常存在著一些問題。,1由于學(xué)習(xí)速率是固定的，因此網(wǎng)絡(luò)的收斂速度較慢，需要較長(zhǎng)的收斂時(shí)間。這主要是由于學(xué)習(xí)速率太小造成的可采用變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率加以改進(jìn)。 2由于是一個(gè)非線性優(yōu)化問題，則不可避免地存在有局部極小的問題。通常，在BP算法中，隨機(jī)設(shè)置初始權(quán)值時(shí)，網(wǎng)絡(luò)的訓(xùn)練一般較難達(dá)到全局最優(yōu)。 3網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇尚無理論上的指導(dǎo)，一般是根據(jù)經(jīng)驗(yàn)或者是通過反復(fù)實(shí)驗(yàn)來確定。因此網(wǎng)絡(luò)