1、基于MATLAB神經(jīng)網(wǎng)絡(luò)仿真摘 要隨著人工神經(jīng)網(wǎng)絡(luò)的研究和應(yīng)用越來(lái)越廣泛，誤差反向傳播算法BP算法的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整問(wèn)題，BP神經(jīng)網(wǎng)絡(luò)如今成為最廣泛使用的網(wǎng)絡(luò)，研究它對(duì)探索非線性復(fù)雜問(wèn)題具有重要意義，而且它具有廣泛的應(yīng)用前景。以BP神經(jīng)網(wǎng)絡(luò)為例，討論了BP神經(jīng)網(wǎng)絡(luò)及幾種改良BP神經(jīng)網(wǎng)絡(luò)性能的算法；通過(guò)BP學(xué)習(xí)算法的推導(dǎo)和分析得知BP網(wǎng)絡(luò)是一種多層前饋網(wǎng)絡(luò)，采用最小均方差的學(xué)習(xí)方式，缺點(diǎn)是僅為有導(dǎo)師訓(xùn)練，訓(xùn)練時(shí)間長(zhǎng)，易限于局部極??；運(yùn)用MATLAB來(lái)實(shí)現(xiàn)各種BP神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)的設(shè)計(jì)與訓(xùn)練，比擬不同BP神經(jīng)網(wǎng)絡(luò)的性能，驗(yàn)證改良BP網(wǎng)絡(luò)的優(yōu)勢(shì)，得出如何根

2、據(jù)對(duì)象選取神經(jīng)網(wǎng)絡(luò)的結(jié)論。關(guān)鍵詞：人工神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、誤差反向傳播算法、MATLAB、仿真AbstractWith the artificial neural network of research and application of more and more widely, the error back-propagation algorithm (BP algorithm) is proposed, successfully resolved the continuous function for solving nonlinear multi-layer feed-forwa

3、rd neural network weights adjustment, BP network has become now the most widely used networks, Study to explore its complicated nonlinear problem has important significance, but also has broad application prospects. BP neural network is discussed and several improvements in the performance of BP neu

4、ral network algorithm. BP learning algorithm through the derivation and analysis that the BP network is a multi-layer feedforward networks, the use of least-mean-variance approach to learning, there is only disadvantage is that the training instructors, training time, limited to local minimum easily

5、. The use of MATLAB to achieve a variety of BP neural network to achieve the design and training, to compare the performance of BP neural network to verify the advantages of improving the BP network, how to draw the object selected in accordance with the conclusions of neural networks.Key words: Art

6、ificial neural network, BP neural networks, error back-propagation algorithm, MATLAB, simulation目 錄 TOC o 1-3 h z u HYPERLINK l _Toc231979677 1.緒論 PAGEREF _Toc231979677 h 5 HYPERLINK l _Toc231979678 1.1 引言 PAGEREF _Toc231979678 h 5 HYPERLINK l _Toc231979681 1.2 神經(jīng)網(wǎng)絡(luò)概述 PAGEREF _Toc231979681 h 5 HYPER

7、LINK l _Toc231979682 121 神經(jīng)網(wǎng)絡(luò)起源 PAGEREF _Toc231979682 h 5 HYPERLINK l _Toc231979684 122 神經(jīng)網(wǎng)絡(luò)的開(kāi)展歷程 PAGEREF _Toc231979684 h 5 HYPERLINK l _Toc231979700 123 神經(jīng)網(wǎng)絡(luò)國(guó)內(nèi)開(kāi)展概況 PAGEREF _Toc231979700 h 6 HYPERLINK l _Toc231979701 124 神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀 PAGEREF _Toc231979701 h 7 HYPERLINK l _Toc231979706 研究目的、方法和問(wèn)題BP神經(jīng)網(wǎng)絡(luò) P

8、AGEREF _Toc231979706 h 8 HYPERLINK l _Toc231979707 131 研究目的 PAGEREF _Toc231979707 h 8 HYPERLINK l _Toc231979710 132 研究方法 PAGEREF _Toc231979710 h 8 HYPERLINK l _Toc231979712 133 研究問(wèn)題 PAGEREF _Toc231979712 h 8 HYPERLINK l _Toc231979718 神經(jīng)網(wǎng)絡(luò) PAGEREF _Toc231979718 h 10 HYPERLINK l _Toc231979719 2.1 BP神經(jīng)

9、網(wǎng)絡(luò)相關(guān)原理 PAGEREF _Toc231979719 h 10 HYPERLINK l _Toc231979720 211 神經(jīng)元非線性模型 PAGEREF _Toc231979720 h 10 HYPERLINK l _Toc231979726 212 有教師監(jiān)督學(xué)習(xí) PAGEREF _Toc231979726 h 10 HYPERLINK l _Toc231979728 213 神經(jīng)元數(shù)學(xué)模型 PAGEREF _Toc231979728 h 11 HYPERLINK l _Toc231979736 214 Delta學(xué)習(xí)規(guī)那么 PAGEREF _Toc231979736 h 11 HY

10、PERLINK l _Toc231979750 215 神經(jīng)元激活函數(shù) PAGEREF _Toc231979750 h 12 HYPERLINK l _Toc231979753 216 BP神經(jīng)網(wǎng)絡(luò)收斂準(zhǔn)那么 PAGEREF _Toc231979753 h 12 HYPERLINK l _Toc231979765 2.2 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程描述 PAGEREF _Toc231979765 h 13 HYPERLINK l _Toc231979766 221 BP神經(jīng)網(wǎng)絡(luò)計(jì)算模型建立 PAGEREF _Toc231979766 h 13 HYPERLINK l _Toc231979772 22

11、2 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程描述 PAGEREF _Toc231979772 h 14 HYPERLINK l _Toc231979775 223 BP神經(jīng)網(wǎng)絡(luò)方框圖 PAGEREF _Toc231979775 h 14 HYPERLINK l _Toc231979777 2.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法 PAGEREF _Toc231979777 h 14 HYPERLINK l _Toc231979778 231 BP神經(jīng)網(wǎng)絡(luò)信號(hào)流程 PAGEREF _Toc231979778 h 14 HYPERLINK l _Toc231979781 232 誤差反向傳播計(jì)算 PAGEREF _Toc2319

12、79781 h 15 HYPERLINK l _Toc231979840 233 BP神經(jīng)網(wǎng)絡(luò)算法描述 PAGEREF _Toc231979840 h 18 HYPERLINK l _Toc231979851 2.4 影響因素分析 PAGEREF _Toc231979851 h 19 HYPERLINK l _Toc231979852 241 權(quán)值初始值設(shè)置影響分析 PAGEREF _Toc231979852 h 19 HYPERLINK l _Toc231979855 242 權(quán)值調(diào)整方法影響分析 PAGEREF _Toc231979855 h 19 HYPERLINK l _Toc2319

13、79862 243 激活函數(shù)選擇影響分析 PAGEREF _Toc231979862 h 20 HYPERLINK l _Toc231979873 244 學(xué)習(xí)率選擇影響分析 PAGEREF _Toc231979873 h 20 HYPERLINK l _Toc231979881 245 輸入輸出歸一化影響分析 PAGEREF _Toc231979881 h 21 HYPERLINK l _Toc231979885 246 其他影響因素分析 PAGEREF _Toc231979885 h 22 HYPERLINK l _Toc231979894 2.5 BP學(xué)習(xí)算法的改良 PAGEREF _T

14、oc231979894 h 22 HYPERLINK l _Toc231979895 251 BP學(xué)習(xí)算法的優(yōu)缺點(diǎn) PAGEREF _Toc231979895 h 22 HYPERLINK l _Toc231979901 252 增加動(dòng)量項(xiàng) PAGEREF _Toc231979901 h 23 HYPERLINK l _Toc231979905 253 彈性BP學(xué)習(xí)算法 PAGEREF _Toc231979905 h 23 HYPERLINK l _Toc231979908 254 自適應(yīng)學(xué)習(xí)速率法 PAGEREF _Toc231979908 h 24 HYPERLINK l _Toc2319

15、79909 255 共軛梯度法 PAGEREF _Toc231979909 h 25 HYPERLINK l _Toc231979910 256 Levenberg-Marquardt算法 PAGEREF _Toc231979910 h 25 HYPERLINK l _Toc231979911 神經(jīng)網(wǎng)絡(luò)仿真 PAGEREF _Toc231979911 h 27 HYPERLINK l _Toc231979912 3.1 仿真平臺(tái)MATLAB PAGEREF _Toc231979912 h 27 HYPERLINK l _Toc231979913 311 MATLAB簡(jiǎn)介 PAGEREF _To

16、c231979913 h 27 HYPERLINK l _Toc231979915 312 仿真平臺(tái)的構(gòu)建和策略 PAGEREF _Toc231979915 h 27 HYPERLINK l _Toc231979925 3.2 仿真實(shí)驗(yàn) PAGEREF _Toc231979925 h 28 HYPERLINK l _Toc231979926 321 BP神經(jīng)網(wǎng)絡(luò)MATLAB設(shè)計(jì) PAGEREF _Toc231979926 h 28 HYPERLINK l _Toc231980016 322 各種BP學(xué)習(xí)算法MATLAB仿真 PAGEREF _Toc231980016 h 29 HYPERLIN

17、K l _Toc231980039 323 各種算法仿真結(jié)果比擬與分析 PAGEREF _Toc231980039 h 32 HYPERLINK l _Toc231980075 324 調(diào)整初始權(quán)值和閾值的仿真 PAGEREF _Toc231980075 h 33 HYPERLINK l _Toc231980101 325 其他影響因素仿真 PAGEREF _Toc231980101 h 35 HYPERLINK l _Toc231980112 神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例 PAGEREF _Toc231980112 h 37 HYPERLINK l _Toc231980113 4.1 實(shí)例概述 PAGE

18、REF _Toc231980113 h 37 HYPERLINK l _Toc231980204 網(wǎng)絡(luò)設(shè)計(jì) PAGEREF _Toc231980204 h 37 HYPERLINK l _Toc231980220 4.3 網(wǎng)絡(luò)訓(xùn)練 PAGEREF _Toc231980220 h 38 HYPERLINK l _Toc231980240 4.4 網(wǎng)絡(luò)測(cè)試 PAGEREF _Toc231980240 h 39 HYPERLINK l _Toc231980262 4.5 實(shí)例總結(jié) PAGEREF _Toc231980262 h 40 HYPERLINK l _Toc231980265 5.總結(jié)與展望

19、 PAGEREF _Toc231980265 h 41 HYPERLINK l _Toc231980266 5.1 BP神經(jīng)網(wǎng)絡(luò)研究總結(jié) PAGEREF _Toc231980266 h 41 HYPERLINK l _Toc231980274 5.2 神經(jīng)網(wǎng)絡(luò)研究展望 PAGEREF _Toc231980274 h 42 HYPERLINK l _Toc231980278 致謝 PAGEREF _Toc231980278 h 43 HYPERLINK l _Toc231980280 參考文獻(xiàn) PAGEREF _Toc231980280 h 44 HYPERLINK l _Toc23198028

20、2 附錄461.緒論1.1 引言隨著計(jì)算機(jī)的問(wèn)世與開(kāi)展，人們?cè)O(shè)法了解人的大腦，進(jìn)而構(gòu)造具有人類智能的智能計(jì)算機(jī)。在具有人腦邏輯推理能力延伸的計(jì)算機(jī)戰(zhàn)勝人類棋手的同時(shí)引發(fā)人們對(duì)模擬人腦信息處理的人工神經(jīng)網(wǎng)絡(luò)的研究。人工神經(jīng)網(wǎng)絡(luò)Artificial Neural Networks, ANN注：簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)，一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而到達(dá)處理信息的目的。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力，可以通過(guò)預(yù)先提供的一批相互對(duì)應(yīng)的輸入輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新

21、的輸入數(shù)據(jù)來(lái)推算輸出結(jié)果，這種學(xué)習(xí)分析的過(guò)程被稱為“訓(xùn)練。引自?環(huán)球科學(xué)?2007年第一期?神經(jīng)語(yǔ)言：老鼠胡須下的秘密?1.2 神經(jīng)網(wǎng)絡(luò)概述121神經(jīng)網(wǎng)絡(luò)起源早在1890年，美國(guó)心理學(xué)家William James1842-1910出版了?Principles of Psychology?專著，本書(shū)研究了心理活動(dòng)與大腦神經(jīng)生理活動(dòng)的關(guān)系,開(kāi)創(chuàng)性提出學(xué)習(xí)、聯(lián)想記憶的根本原理。指出：“讓我們假設(shè)所有后繼推理的根底遵循這樣的規(guī)那么：當(dāng)兩個(gè)根本的腦細(xì)胞曾經(jīng)一起或相繼被激活過(guò)，其中一個(gè)受刺激激活時(shí)會(huì)將刺激傳播到另一個(gè)。他還認(rèn)為在大腦皮層上的任意一點(diǎn)的刺激量是其他所有發(fā)射點(diǎn)進(jìn)入該點(diǎn)刺激總和。1943年，心理

22、學(xué)家W.S.McCulloch和數(shù)理邏輯學(xué)家W.A.Pitts建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為M-P模型。他們通過(guò)M-P模型提出了神經(jīng)元的形式化數(shù)學(xué)描述和網(wǎng)絡(luò)結(jié)構(gòu)方法，證明了單個(gè)神經(jīng)元能執(zhí)行邏輯功能，從而開(kāi)創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)研究的時(shí)代。122 神經(jīng)網(wǎng)絡(luò)的開(kāi)展歷程1943年，心理學(xué)家W.S.McCulloch和數(shù)理邏輯學(xué)家W.Pitts建立了神經(jīng)網(wǎng)絡(luò)和數(shù)學(xué)模型，稱為M-P模型；1949年，心理學(xué)家Donald Olding Hebb出版了?Organization of Behavior?，在該書(shū)他首先提出了連接權(quán)訓(xùn)練算法，即如今人們稱為的Hebb算法；1958年，計(jì)算機(jī)科學(xué)家Frank Rosen

23、blatt，在一篇著名的文章中提出了一種具有三層網(wǎng)絡(luò)特性的“感知器perceptron神經(jīng)網(wǎng)絡(luò)； 1960年，電機(jī)工程師Bernard Widrow和Marcian Hoff發(fā)表了?Adaptive Switching Circuits?文章，不僅把人工神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)上仿真，而且用硬件電路實(shí)現(xiàn)了它。因此Widrow-Hoff的學(xué)習(xí)訓(xùn)練算法也稱誤差大小算法或最小均方LMS算法也應(yīng)運(yùn)而生；1969年，人工智能的創(chuàng)始人之一，MMinsky和S.Papert經(jīng)過(guò)數(shù)年研究，仔細(xì)分析了以感知器為代表的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的功能及局限后，出版了?Perceptron?一書(shū)，指出感知器不能解決高階謂詞問(wèn)題；1969

24、年，美國(guó)波士頓大學(xué)自適應(yīng)系統(tǒng)中心的S.Grossberg教授及其夫人G.A.Carpenter提出了著名的自適應(yīng)共振理論adaptive resonance theory模型；1972年，芬蘭的T.Kohonen教授提出了自組織映射SOM理論，并稱其神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為“associative memory；與此同時(shí)，美國(guó)的神經(jīng)生理學(xué)家和心理學(xué)家J.Anderson，提出了一個(gè)類似的神經(jīng)網(wǎng)絡(luò)“interactive memory；1980年，日本東京NHK播送科學(xué)研究實(shí)驗(yàn)室的福島邦彥Kunihiko Fukushima，發(fā)表了?Neocognitron?，開(kāi)發(fā)了一些神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練算法，還有一系列

25、的改良的文章，新認(rèn)知機(jī)在于視覺(jué)模式識(shí)別機(jī)制的模型；博士發(fā)表一篇著名的文章，吸收前人的研究成果，把各種結(jié)構(gòu)和算法概括綜合起來(lái)建立起新穎而有力的Hopfield網(wǎng)絡(luò)；1985年，提出了波耳茲曼模型，在學(xué)習(xí)中采用統(tǒng)計(jì)熱力學(xué)模擬退火技術(shù)，保證整個(gè)系統(tǒng)趨于全局穩(wěn)定點(diǎn)；1986年進(jìn)行認(rèn)知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論；1987年首屆國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議在美國(guó)加州圣地亞哥召開(kāi)，成立了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)INNS；1987年以來(lái)，神經(jīng)網(wǎng)絡(luò)理論、應(yīng)用、實(shí)現(xiàn)和相關(guān)開(kāi)發(fā)工具開(kāi)展迅速，涉及神經(jīng)生理學(xué)、認(rèn)知科學(xué)、心理學(xué)、數(shù)理科學(xué)、信息科學(xué)、計(jì)算機(jī)科學(xué)、微電子學(xué)、光學(xué)、生物電子學(xué)等多學(xué)科交叉、綜合的前沿科學(xué)。應(yīng)用于

26、各個(gè)領(lǐng)域，如自動(dòng)控制領(lǐng)域、處理組合優(yōu)化問(wèn)題、模式識(shí)別、圖像處理、機(jī)器人控制、醫(yī)療等?？梢?jiàn)人工神經(jīng)網(wǎng)絡(luò)具有廣泛的研究和應(yīng)用前景；以下是1987年后的一些開(kāi)展歷程：1988年，Broomhead Lower提出徑向基函數(shù)網(wǎng)絡(luò)Radial Basis Function，RBF，網(wǎng)絡(luò)設(shè)計(jì)采用原理化方法，有堅(jiān)實(shí)的數(shù)學(xué)根底；1992-1998年，Vapnik提出了支持向量機(jī)Support Vector Machine，SVM，在模式分類問(wèn)題上能提供良好的泛化能力。123 神經(jīng)網(wǎng)絡(luò)國(guó)內(nèi)開(kāi)展概況1980年，涂序言教授等出版了?生物控制論?一書(shū)，“神經(jīng)系統(tǒng)控制論一章系統(tǒng)地介紹了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、功能和模型

27、，是我國(guó)最早涉及神經(jīng)網(wǎng)絡(luò)的著作；因此到80年代中期，我國(guó)學(xué)術(shù)界掀起了研究神經(jīng)網(wǎng)絡(luò)的熱潮；1988年北京大學(xué)非線性研究中心舉辦了Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach；1989年召開(kāi)可全國(guó)非正式的神經(jīng)網(wǎng)絡(luò)會(huì)議，于1990年在北京召開(kāi)了中國(guó)神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)大會(huì)，第二年在南京召開(kāi)了第二屆，并成立了中國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)；1992年國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)和IEEE神經(jīng)網(wǎng)絡(luò)委員會(huì)在北京召開(kāi)神經(jīng)網(wǎng)絡(luò)的國(guó)際性會(huì)議；自此中國(guó)神經(jīng)網(wǎng)絡(luò)研究在國(guó)家研究方案的支持和學(xué)術(shù)及工程人員的

28、開(kāi)展與應(yīng)用下取得一系列豐碩成果。124 神經(jīng)網(wǎng)絡(luò)研究現(xiàn)狀神經(jīng)網(wǎng)絡(luò)是可大規(guī)模并行處理和分布式信息存儲(chǔ)，具有良好的自學(xué)習(xí)、自適應(yīng)、自組織性，以及很強(qiáng)的聯(lián)想記憶和容錯(cuò)功能，可以充分逼近任意復(fù)雜的非線性關(guān)系，可有很強(qiáng)的信息綜合能力，能同時(shí)處理定量和定性信息，能很好的協(xié)調(diào)多種輸入信息關(guān)系，適用于處理復(fù)雜非線性和不確定對(duì)象。目前的神經(jīng)網(wǎng)絡(luò)的研究中主要有以下幾種類型：松耦合模型：符號(hào)機(jī)制的專家系統(tǒng)和聯(lián)接機(jī)制的神經(jīng)網(wǎng)絡(luò)通過(guò)一個(gè)中間媒介如數(shù)據(jù)文件進(jìn)行通信；緊耦合模型：其通信數(shù)據(jù)是直接的內(nèi)部數(shù)據(jù)，具有很高的效率；轉(zhuǎn)換模型：將專家系統(tǒng)知識(shí)轉(zhuǎn)換成神經(jīng)網(wǎng)絡(luò)，或把神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換成專家系統(tǒng)知識(shí)，轉(zhuǎn)換需要在兩種機(jī)制之間，確定結(jié)

29、構(gòu)上的一致性，目前主要問(wèn)題還沒(méi)有一種能夠精確而完備的實(shí)現(xiàn)二者轉(zhuǎn)換；綜合模型：將具有符號(hào)機(jī)制的邏輯功能和具有聯(lián)接機(jī)制的自適應(yīng)和容錯(cuò)性結(jié)合為一個(gè)整體，共享數(shù)據(jù)結(jié)構(gòu)和知識(shí)表示；混沌理論：是系統(tǒng)從有序突然變?yōu)闊o(wú)序狀態(tài)的一種演化理論，是對(duì)確定性系統(tǒng)中出現(xiàn)的內(nèi)在“隨機(jī)過(guò)程形成的途徑、機(jī)制的研討，從而與神經(jīng)網(wǎng)絡(luò)融合，到達(dá)取長(zhǎng)補(bǔ)短的效果；模糊集理論：用語(yǔ)言和概念代表腦的宏觀功能，按照人為引入的隸屬度，將模糊性的語(yǔ)言信息進(jìn)行邏輯處理，與神經(jīng)網(wǎng)絡(luò)結(jié)合，取長(zhǎng)補(bǔ)短；遺傳算法：模擬達(dá)爾文生物進(jìn)化論的自然選擇和遺傳學(xué)機(jī)理的生物進(jìn)化過(guò)程的計(jì)算模型，是一種通過(guò)模擬自然進(jìn)化過(guò)程搜索最優(yōu)解的方法，從而與神經(jīng)網(wǎng)絡(luò)融合，到達(dá)取長(zhǎng)補(bǔ)短

30、的效果；混合神經(jīng)網(wǎng)絡(luò)：把神經(jīng)網(wǎng)絡(luò)與混沌理論、模糊集理論和遺傳算法相互結(jié)合的網(wǎng)絡(luò)模型。人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)問(wèn)題展望，目前主要有以下三種方法：基于搜索機(jī)制的學(xué)習(xí)方法、基于規(guī)劃的學(xué)習(xí)方法和構(gòu)造性學(xué)習(xí)方法。如今也有其綜合方法，各有特點(diǎn)。其中基于搜索的方法，假設(shè)不從根本上進(jìn)行改變，很難克服其內(nèi)在固有的缺點(diǎn)，如基于局部最小的搜索算法，其中BP算法就有易限于局部極小的固有缺點(diǎn)；規(guī)劃方法因?yàn)槠渲杏小皟?yōu)化的步驟，從理論上看其所得網(wǎng)絡(luò)性能要比其他方法要好，但如何確定核函數(shù)形式和參數(shù)問(wèn)題一直是未能很好解決的問(wèn)題，當(dāng)數(shù)據(jù)規(guī)模極大會(huì)引起計(jì)算量過(guò)大問(wèn)題；構(gòu)造性方法，因?yàn)檫M(jìn)行了局部化，計(jì)算量要小，由于未進(jìn)行全局優(yōu)化，故性能不及

31、規(guī)劃方法，不需要確定映射關(guān)系就沒(méi)有了確定核函數(shù)的困難問(wèn)題；如果能夠?qū)⑷呦嗷ソY(jié)合，將規(guī)劃方法中優(yōu)化過(guò)程合理地引入到構(gòu)造方法中，也許即可克服規(guī)劃方法計(jì)算量大的問(wèn)題，核函數(shù)和參數(shù)確定問(wèn)題，也可以克服構(gòu)造性方法未進(jìn)行全局優(yōu)化的缺點(diǎn)；這些將是值得研究的問(wèn)題。隨著更多數(shù)學(xué)方法的引入，如模擬退火算法、商空間即線性空間理論、統(tǒng)計(jì)推斷方法與啟發(fā)式搜索技術(shù)及其結(jié)合產(chǎn)物的引入，促進(jìn)各種學(xué)習(xí)方法的改良，將有力的推進(jìn)神經(jīng)網(wǎng)絡(luò)的進(jìn)一步開(kāi)展。隨著神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，具有以下研究趨勢(shì)：增強(qiáng)對(duì)智能和機(jī)器的關(guān)系問(wèn)題的認(rèn)識(shí)，開(kāi)展神經(jīng)計(jì)算與進(jìn)化計(jì)算的理論與應(yīng)用，擴(kuò)大神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和神經(jīng)元芯片的作用，促進(jìn)信息科學(xué)與生命科學(xué)的相互融合，

32、進(jìn)行與其他智能方法融合技術(shù)研究。、方法和問(wèn)題BP神經(jīng)網(wǎng)絡(luò)131研究目的在人工神經(jīng)網(wǎng)絡(luò)開(kāi)展歷史中，很長(zhǎng)一段時(shí)間里沒(méi)有找到隱含層的連接權(quán)值調(diào)整問(wèn)題的有效算法。直到誤差反向傳播算法BP神經(jīng)網(wǎng)絡(luò)算法的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整問(wèn)題。目前，BP神經(jīng)網(wǎng)絡(luò)已成為廣泛使用的網(wǎng)絡(luò)，可用于語(yǔ)言綜合、語(yǔ)言識(shí)別、自適應(yīng)控制等。它是一種多層前饋網(wǎng)絡(luò)，采用最小均方差的學(xué)習(xí)方式，缺點(diǎn)是僅為有導(dǎo)師訓(xùn)練，訓(xùn)練時(shí)間長(zhǎng)，易限于局部極小。鑒于神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用，特別是BP神經(jīng)網(wǎng)絡(luò)的開(kāi)展，對(duì)于神經(jīng)網(wǎng)絡(luò)比方BP神經(jīng)網(wǎng)絡(luò)的研究具有重要意義。研究的主要目的是：理解BP網(wǎng)絡(luò)結(jié)構(gòu)模型；學(xué)習(xí)誤差反向傳播算法和B

33、P神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法；分析關(guān)鍵因素，得出BP網(wǎng)絡(luò)的優(yōu)缺點(diǎn)；綜合各種因素并使用啟發(fā)式方法對(duì)BP神經(jīng)網(wǎng)絡(luò)算法進(jìn)行改良；應(yīng)用數(shù)學(xué)軟件MATLAB對(duì)BP神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)算法和改良算法進(jìn)行仿真編程；利用仿真結(jié)果和圖表得出各個(gè)算法適用條件；進(jìn)而研究實(shí)際問(wèn)題的BP神經(jīng)網(wǎng)絡(luò)構(gòu)建和仿真。132研究方法通過(guò)參考研究學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)研究和工作者的著作和文章，理解神經(jīng)網(wǎng)絡(luò)，特別是BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型和理論；利用現(xiàn)有的數(shù)學(xué)理論知識(shí)和方法，推導(dǎo)反向傳播算法計(jì)算；利用計(jì)算機(jī)程序設(shè)計(jì)理論編寫(xiě)B(tài)P神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的步驟和流程；分析BP標(biāo)準(zhǔn)算法關(guān)鍵因素，利用現(xiàn)有數(shù)學(xué)相關(guān)方法如啟發(fā)式方法，MATLAB中幾種典型的BP神經(jīng)網(wǎng)絡(luò)算法：tra

34、ingdm，增加動(dòng)量法；trainrp，彈性BP算法；traingda，traingdx，自適應(yīng)學(xué)習(xí)速率法；traincgf，共軛梯度法；trainbfg，擬牛頓法；trainlm，Levenberg-Marquardt算法對(duì)BP神經(jīng)網(wǎng)絡(luò)算法改良和理論推導(dǎo)；利用優(yōu)秀數(shù)學(xué)軟件MATLAB進(jìn)行BP網(wǎng)絡(luò)學(xué)習(xí)算法的仿真編程，分別建立BP神經(jīng)網(wǎng)絡(luò)標(biāo)準(zhǔn)算法、改良算法的編程程序，利用MATLAB得出相關(guān)圖表，分析其關(guān)鍵因素；應(yīng)用實(shí)例對(duì)BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用和仿真進(jìn)行驗(yàn)證；通過(guò)自己的理解和學(xué)習(xí)得出自己對(duì)神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)的思考。133研究問(wèn)題研究問(wèn)題1：BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，工作信號(hào)正向傳播，誤差信號(hào)反向傳播

35、。得到如下列圖1-1示意模型：多層前饋型網(wǎng)絡(luò)輸入層隱含層輸出層誤 差 信 號(hào)圖1.1 BP神經(jīng)網(wǎng)絡(luò)示意模型輸 入 信 號(hào)研究問(wèn)題2：BP神經(jīng)網(wǎng)絡(luò)的缺乏，訓(xùn)練時(shí)間較長(zhǎng)，有時(shí)完全不能訓(xùn)練，失敗的可能性也較大，易陷于局部極小而得不到全局最優(yōu)，隱含節(jié)點(diǎn)個(gè)數(shù)難以確定，訓(xùn)練過(guò)程有暫時(shí)遺忘的現(xiàn)象即學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。研究問(wèn)題3：BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的改良有MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中：增加動(dòng)量法(traingdm)、彈性BP算法trainrp，自適應(yīng)學(xué)習(xí)速率法(traingdx)、共軛梯度法 (traincgf)、擬牛頓法 (trainbfg)以及Levenberg-Marquardt算法trai

36、nlm等。注：在MATLAB R2007版本中traingdx為動(dòng)量及自適應(yīng)lrBP的梯度遞減訓(xùn)練函數(shù)。研究問(wèn)題4：誤差要求和網(wǎng)絡(luò)復(fù)雜程度將影響B(tài)P各種算法的選擇；比方擬牛頓法需要Hessian矩陣，不適用于復(fù)雜的大型網(wǎng)絡(luò)，但對(duì)于中型網(wǎng)絡(luò)其收斂效果僅次于LM算法，且需要的內(nèi)存也相對(duì)較小，但對(duì)于小型網(wǎng)絡(luò)LM算法最好最快，仿真效果要好；又如當(dāng)誤差要求比擬高時(shí)，彈性BP算法和自適應(yīng)學(xué)習(xí)速率法需要很長(zhǎng)的訓(xùn)練時(shí)間，在設(shè)定的訓(xùn)練步驟范圍內(nèi)不能到達(dá)期望誤差。研究問(wèn)題5：在實(shí)例的網(wǎng)絡(luò)模型的建立和MATLAB仿真的過(guò)程中，發(fā)現(xiàn)沒(méi)有確定隱含層神經(jīng)元數(shù)目的有效方法，隱含層神經(jīng)元的數(shù)目直接影響分類精度，神經(jīng)元數(shù)目過(guò)多

37、或過(guò)少都會(huì)使網(wǎng)絡(luò)性能下降，一般只能由經(jīng)驗(yàn)設(shè)定，再經(jīng)過(guò)屢次調(diào)試確定最正確數(shù)目。其次網(wǎng)絡(luò)的泛化能力與訓(xùn)練能力的矛盾，一般情況下，訓(xùn)練能力差時(shí)，預(yù)測(cè)能力也差，并且一定程度上隨訓(xùn)練能力地提高，泛化能力也提高。但這種趨勢(shì)有一個(gè)極限，當(dāng)?shù)竭_(dá)此極限時(shí)，隨訓(xùn)練能力的提高，泛化能力反而下降，即出現(xiàn)所謂“過(guò)擬合現(xiàn)象。此時(shí)，網(wǎng)絡(luò)學(xué)習(xí)了過(guò)多的樣本細(xì)節(jié)，而不能反映樣本內(nèi)含的規(guī)律。 2.BP神經(jīng)網(wǎng)絡(luò) BP神經(jīng)網(wǎng)絡(luò)相關(guān)原理211神經(jīng)元非線性模型f kwk1wk2wkI固定輸入x0=+1x1x2閾值kk激活函數(shù)輸出yk圖 神經(jīng)元非線性模型加法器xI加法器，也稱線性組合器，將求輸入信號(hào)突觸權(quán)值被神經(jīng)元的相應(yīng)突觸加權(quán)和；激活函數(shù)

38、是用來(lái)限制神經(jīng)元的振幅，主要有0,1或-1,+1；閾值的作用是根據(jù)其為正或負(fù)，相應(yīng)的增加或減低激活函數(shù)的網(wǎng)絡(luò)輸入。注：這里的K為實(shí)例。模擬的是生物神經(jīng)元的電位脈沖原理。環(huán)境教師學(xué)習(xí)系統(tǒng)實(shí)際響應(yīng)描述環(huán)境狀態(tài)向量期望模式輸入模式+-誤差信號(hào)ek圖 有教師學(xué)習(xí)方框圖期望響應(yīng)212 有教師監(jiān)督學(xué)習(xí)有教師學(xué)習(xí)采用的是糾錯(cuò)規(guī)那么，在網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過(guò)程給神經(jīng)網(wǎng)絡(luò)一個(gè)期望模式和輸入模式，所期望的模式就是教師信號(hào)，因此可以將輸入模式所得的結(jié)果與期望模式的結(jié)果相比擬，當(dāng)不相符時(shí)，可以根據(jù)相關(guān)規(guī)那么進(jìn)行權(quán)值調(diào)整，比方上述的Delta規(guī)那么，直到滿足一定誤差范圍內(nèi)，這將更接近期望模式結(jié)果。由此可見(jiàn)，在執(zhí)行具體任務(wù)之前

39、必須經(jīng)過(guò)學(xué)習(xí)，直到“學(xué)會(huì)為止。213 神經(jīng)元數(shù)學(xué)模型設(shè)在n時(shí)刻，神經(jīng)元i到神經(jīng)元j的信息傳遞，其輸入信息為xi(n),輸出為Oj(n)，那么神經(jīng)元j的數(shù)學(xué)表達(dá)式為(式2.1)其中 是神經(jīng)元i到j(luò)的突觸連接權(quán)值 是輸入和輸出間的突觸時(shí)延 是神經(jīng)元j的閾值 是神經(jīng)元激活函數(shù)如果,又=-1,=可得：。214 Delta學(xué)習(xí)規(guī)那么Delta學(xué)習(xí)規(guī)那么，也稱連續(xù)感知器學(xué)習(xí)規(guī)那么，與離散感知器學(xué)習(xí)規(guī)那么并行。其規(guī)那么的學(xué)習(xí)信號(hào)規(guī)定為：(式2.2)為了方便計(jì)算，定義神經(jīng)元j的期望誤差與實(shí)際輸出之間的計(jì)算誤差為(式2.3)按照誤差的負(fù)梯度修正權(quán)值，即：(式2.4)(式2.5)其中是學(xué)習(xí)率，01，在多層前饋網(wǎng)絡(luò)

40、中，權(quán)值可以初始化為任意值。由式2.5可以看出Delta規(guī)那么要求連續(xù)可導(dǎo)的激活函數(shù)，如Sigmoid函數(shù)。綜合式2.1至式2.5得：(式2.6)其中 式2.3中包括和為n學(xué)習(xí)時(shí)刻的計(jì)算誤差，Delta學(xué)習(xí)規(guī)那么的學(xué)習(xí)信號(hào)也為在n時(shí)刻。215 神經(jīng)元激活函數(shù)O+1+1-1+1+1-1OOOa階躍閾值函數(shù)b符號(hào)閾值函數(shù)cS型對(duì)數(shù)函數(shù)dS型正切函數(shù)圖 神經(jīng)元激活函數(shù)圖形在神經(jīng)元的激活函數(shù)中分為閾值激活函數(shù)包括階躍型和符號(hào)型，線性激活函數(shù)包括純線性型和分段線性型，在圖中未標(biāo)識(shí)，非線性激活函數(shù)主要是S型函數(shù)，分為S型對(duì)數(shù)函數(shù)和S型正切函數(shù)，這兩種是BP神經(jīng)網(wǎng)絡(luò)主要使用的，即Sigmoid函數(shù)及其改良，

41、還有一種概率型激活函數(shù)其神經(jīng)元狀態(tài)分布與熱力學(xué)的Boltzmann分布相似，故稱這種模型為神經(jīng)網(wǎng)絡(luò)熱力學(xué)模型。216 BP神經(jīng)網(wǎng)絡(luò)收斂準(zhǔn)那么在實(shí)際問(wèn)題上，實(shí)際輸出往往很難到達(dá)期望輸出，因此需要一個(gè)準(zhǔn)那么停止權(quán)值的調(diào)整，這就需要考慮關(guān)于誤差曲面的局部或全局最小的性質(zhì)。以下有兩種收斂準(zhǔn)那么：Kramer & Sangiovanni-Vincentelli準(zhǔn)那么:當(dāng)梯度向量的歐幾里德范數(shù)到達(dá)一個(gè)充分小的梯度閾值時(shí)，認(rèn)為反向傳播算法已經(jīng)收斂。注：歐幾里德Euclidean范數(shù)指得就是通常意義上的距離范數(shù)，比方Simon Haykin建議準(zhǔn)那么：當(dāng)每一個(gè)回合的均方差的變化的絕對(duì)速率足夠小時(shí)，認(rèn)為反向傳播

42、算法已經(jīng)收斂。分析：第一個(gè)準(zhǔn)那么為了到達(dá)期望值，學(xué)習(xí)時(shí)間可能會(huì)很長(zhǎng)，而第二個(gè)準(zhǔn)那么那么有可能過(guò)早的終止學(xué)習(xí)。然而都需要計(jì)算一個(gè)梯度或變化率。然而根據(jù)網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)集合參數(shù)化的學(xué)習(xí)過(guò)程，我們可以通過(guò)網(wǎng)絡(luò)的泛化能力即預(yù)測(cè)能力判斷網(wǎng)絡(luò)的收斂，當(dāng)泛化能力到達(dá)了比擬強(qiáng)的一個(gè)標(biāo)準(zhǔn)時(shí)，可以認(rèn)為學(xué)習(xí)過(guò)程的停止，即已經(jīng)收斂。關(guān)于泛化方法如結(jié)構(gòu)設(shè)計(jì)方法、主動(dòng)學(xué)習(xí)、在樣本隨機(jī)輸入中添加隨機(jī)噪聲、表決網(wǎng)、基于先驗(yàn)知識(shí)、最優(yōu)停止法等內(nèi)容請(qǐng)參考相關(guān)文獻(xiàn)。 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程描述輸入層隱含層輸出層誤 差 信 號(hào)圖 BP神經(jīng)網(wǎng)絡(luò)計(jì)算模型輸 入 信 號(hào)x1O層x22xIy1y2yOQ層P 層I層12I123P123Q12Ow

43、qowpq221 BP神經(jīng)網(wǎng)絡(luò)計(jì)算模型建立注：Wpq是隱含層P中p輸出神經(jīng)元到隱含層Q中q輸入神經(jīng)元的連接權(quán)值。神經(jīng)元輸入用，鼓勵(lì)輸出用，鼓勵(lì)函數(shù)用Sigmoid，Ii表示I層的第i個(gè)神經(jīng)元輸入,在這里即xi；訓(xùn)練樣本集X=x1,x2,xIT，訓(xùn)練實(shí)例K樣本集Xk=xk1,xk2,xkIT；實(shí)際輸出Yk=yk1,yk2,ykOT,期望輸出dk=dk1,dk2,dkOT；假設(shè)n為迭代次數(shù)，即訓(xùn)練步長(zhǎng)，權(quán)值和實(shí)際輸出是n的函數(shù)。222 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程描述工作信號(hào)正向傳播。輸入信號(hào)從輸入層經(jīng)隱含層傳向輸出層，在輸出端產(chǎn)生輸出信號(hào)，在信號(hào)的向前傳遞過(guò)程中網(wǎng)絡(luò)的權(quán)值是固定不變的，沒(méi)一層神經(jīng)元的狀態(tài)

44、只影響下一層的神經(jīng)元的狀態(tài)。如果在輸出曾不能得到期望的輸出那么會(huì)轉(zhuǎn)入誤差反向傳播；誤差信號(hào)反向傳播。網(wǎng)絡(luò)誤差信號(hào)即網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間的差值，該信號(hào)由輸出端逐層向前傳播。在誤差信號(hào)的反向傳播過(guò)程中，網(wǎng)絡(luò)的權(quán)值由誤差反響進(jìn)行調(diào)節(jié)，即權(quán)值修正，經(jīng)過(guò)不斷的修正直到允許的誤差范圍。223 BP神經(jīng)網(wǎng)絡(luò)方框圖一層或多層隱藏神經(jīng)元輸出神經(jīng)元KYk(n)dk(n)ek(n)輸入向量Xk(n)圖 BP神經(jīng)網(wǎng)絡(luò)方框圖該圖僅給出了輸出層的一個(gè)神經(jīng)元K，焦點(diǎn)集中在該神經(jīng)元周圍活動(dòng)：2.3 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法231 BP神經(jīng)網(wǎng)絡(luò)信號(hào)流程dj(n)y0=+1 閾值0ej(n)j(n)yi(n)f()yj(n)

45、-+n+1圖2.6aBP神經(jīng)網(wǎng)絡(luò)信號(hào)流圖神經(jīng)元j是輸出節(jié)點(diǎn)(從yi(n)開(kāi)始到y(tǒng)j(n)是神經(jīng)元j)圖2.6bBP神經(jīng)網(wǎng)絡(luò)信號(hào)流圖y0=+1 閾值0y0=+1 閾值0yi(n)j(n)yj(n)f()yk(n)k(n)f()dk(n)ek(n)n+1-+神經(jīng)元j是隱含層節(jié)點(diǎn)(從yj(n)開(kāi)始到y(tǒng)k(n)是神經(jīng)元k)以單個(gè)神經(jīng)元輸出為例。232 誤差反向傳播計(jì)算根據(jù)圖2.6a可以初步寫(xiě)出下面的式子：(式2.7)(式2.8)根據(jù)圖2.6b可以初步寫(xiě)出下面的式子：(式2.9)(式2.10)其中i=1，2，,I；j=1,2,J；k=1,2,K；n為學(xué)習(xí)步長(zhǎng)。在圖2.6a中，神經(jīng)元j在迭代n時(shí)，即訓(xùn)練第

46、n個(gè)例子時(shí)，輸出誤差信號(hào)定義如下：此時(shí)j為輸出節(jié)點(diǎn)(式2.11)定義神經(jīng)元j的誤差瞬時(shí)值為 因此，整個(gè)誤差瞬時(shí)值(式2.12)即為輸出層的所有神經(jīng)元的誤差瞬時(shí)值之和。注：此定義式這是個(gè)均方差式，求得實(shí)際輸出和期望輸出的誤差值，二分之一是為了方便計(jì)算。(式2.13)計(jì)算：(式2.14)根據(jù)式2.7至式2.12可得下式結(jié)果，再由下面的式子可以得出式2.14的計(jì)算結(jié)果： (式2.15)如果令該為負(fù)向局向梯度取鼓勵(lì)函數(shù)為：sigmoid函數(shù)，或稱邏輯函數(shù)(式2.16)令a=1，對(duì)該鼓勵(lì)函數(shù)并代入求導(dǎo)：因此(式2.17)在圖2.6b中，隱含層I和J，輸出層為k：(式2.18)由式2.9至式2.17和上述

47、推導(dǎo)過(guò)程可得：(式2.19)(式2.20)又根據(jù)反向傳播定義可知：(式2.21)代入式可得：(式)向梯度為：根據(jù)在圖a中替換下標(biāo)j可以得出k的局向梯度：因此，注：(注意換j與k下標(biāo))前面計(jì)算有：如此反向向前逐層傳播計(jì)算。233 BP神經(jīng)網(wǎng)絡(luò)算法描述 以上的反向傳播算法計(jì)算過(guò)程是BP算法的根底算法，下面是其算法描述：初始化輸入樣本計(jì)算各層輸出及輸出誤差計(jì)算各層誤差信號(hào)調(diào)整各層權(quán)值mME結(jié)束n=n+1,m=m+1E=0m=1圖2.7 BP根本算法流程圖開(kāi)始初始化，設(shè)置樣本計(jì)數(shù)器m和訓(xùn)練迭代次數(shù)計(jì)數(shù)器n,其最大值分別為(M,N)；并將權(quán)值矩陣設(shè)立隨機(jī)數(shù)，誤差E置為0，允許誤差值為，學(xué)習(xí)率00常數(shù)，通

48、常a=1.7159.b=2/3。2/3=1.1424,斜率接近單位1，在x=1時(shí)二階導(dǎo)數(shù)最大。在誤差反向傳播計(jì)算中所用的是S型對(duì)數(shù)函數(shù)，同理可以使用S型正切函數(shù)，并對(duì)其求導(dǎo)推導(dǎo)。S型對(duì)數(shù)函數(shù)不是奇函數(shù)，工作范圍是0，1。而雙極性S型正切函數(shù)除了本身符合連續(xù)可微的條件外，具有雙極性輸出，它常常被選用為要求輸入是1范圍的信號(hào)，關(guān)于它們的選擇主要從函數(shù)自身的工作范圍及其導(dǎo)數(shù)值的大小范圍以及結(jié)構(gòu)簡(jiǎn)單和運(yùn)算速度快等思想考慮。由此可見(jiàn)，研究BP神經(jīng)網(wǎng)絡(luò)激活函數(shù)是今后研究的一個(gè)重要課題。244 學(xué)習(xí)率選擇影響分析首先，學(xué)習(xí)率是隨時(shí)間改變的，為了方便，在反向傳播算法計(jì)算過(guò)程中采用的是不變的學(xué)習(xí)率。下面是理想學(xué)

49、習(xí)率示意圖和一些規(guī)那么：迭代次數(shù)nE(n)收斂速率 圖2.8 理想學(xué)習(xí)率示意圖 根據(jù)反向傳播計(jì)算式得知，學(xué)習(xí)率越大權(quán)值的變化就越大，那么BP算法的學(xué)習(xí)收斂速度就越快，過(guò)大那么引起網(wǎng)絡(luò)的振蕩，導(dǎo)致網(wǎng)絡(luò)的不穩(wěn)定以及性能低下，當(dāng)超過(guò)某一極值容易引起算法不穩(wěn)定。相反學(xué)習(xí)率小可以防止網(wǎng)絡(luò)的振蕩，但導(dǎo)致學(xué)習(xí)收斂速度的下降。經(jīng)過(guò)實(shí)踐證明來(lái)說(shuō)，輸出單元的局向梯度比輸入端大，為此輸出單元的應(yīng)小些；有較多輸入端的神經(jīng)元的要比有較少的輸入端的神經(jīng)元的小些；對(duì)于一個(gè)給定的神經(jīng)元，其學(xué)習(xí)率應(yīng)與神經(jīng)元的突觸連接的平方根成反比。在BP改良算法中引入了動(dòng)量法解決的學(xué)習(xí)過(guò)程變化問(wèn)題，增加網(wǎng)絡(luò)的穩(wěn)定性，加快學(xué)習(xí)收斂速度，如MAT

50、LAB中使用動(dòng)量及自適應(yīng)lrBP的梯度遞減訓(xùn)練函數(shù)。此外有很多研究人員采用遺傳算法和免疫算法BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)率進(jìn)行優(yōu)化設(shè)計(jì)并簡(jiǎn)歷數(shù)學(xué)模型，下面是一個(gè)簡(jiǎn)單的優(yōu)化的學(xué)習(xí)率變化公式：其中n為迭代次數(shù)，A和根據(jù)工程應(yīng)用的復(fù)雜性和結(jié)構(gòu)優(yōu)化的模糊性，對(duì)不同的系統(tǒng)和要求取不同的范圍，一般情況下，1A0.001。參考文獻(xiàn)10245 輸入輸出歸一化影響分析在輸入樣本訓(xùn)練網(wǎng)絡(luò)時(shí)，如果所有輸入樣本的輸入信號(hào)都為正值或負(fù)值，那么與第一隱含層的神經(jīng)元權(quán)值只能同時(shí)增加或減小，從而導(dǎo)致學(xué)習(xí)速度很慢。因此需要對(duì)輸入信號(hào)進(jìn)行歸一化處理，使得所有樣本的輸入信號(hào)均值接近零或者其標(biāo)準(zhǔn)方差比擬小。歸一化的問(wèn)題旨在是歸納統(tǒng)一樣本的統(tǒng)計(jì)

51、分布性，改善其分布規(guī)律，具體是消除均值，去相關(guān)性以及均方差均衡。歸一化在0,1之間是統(tǒng)計(jì)的概率分布，歸一化在-1,+1之間是統(tǒng)計(jì)的坐標(biāo)分布。網(wǎng)絡(luò)的各個(gè)輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，為此需要使網(wǎng)絡(luò)訓(xùn)練一開(kāi)始就給各訓(xùn)練輸入向量以同等的身份地位。BP神經(jīng)網(wǎng)絡(luò)的神經(jīng)元一般采用sigmoid激活函數(shù)，歸一化可以防止輸入信號(hào)數(shù)據(jù)絕對(duì)值過(guò)大進(jìn)入飽和區(qū)。另外，期望輸出數(shù)據(jù)不進(jìn)行歸一化會(huì)導(dǎo)致數(shù)值大的分量絕對(duì)誤差大，數(shù)值小的絕對(duì)誤差小，網(wǎng)絡(luò)訓(xùn)練時(shí)只針對(duì)輸出的總誤差調(diào)整權(quán)值，因此在總誤差中所占份額少的輸出分量相對(duì)誤差較大。這些都將影響學(xué)習(xí)的速度。處理的方法有，利用合理的變換等式將輸入輸出的數(shù)據(jù)變換為0

52、,1或-1,+1其選擇主要看激活函數(shù)的選擇之間的數(shù)據(jù)；當(dāng)輸入輸出向量中某個(gè)分量的取值過(guò)于密集時(shí)，由此可以將數(shù)據(jù)的點(diǎn)拉開(kāi)一定距離，適當(dāng)變換分布，改善分布規(guī)律。使用主分量分析法使訓(xùn)練樣本的輸入向量互不相關(guān)，去相關(guān)后的輸入變量應(yīng)調(diào)整其長(zhǎng)度使它們的方差近似相等，因此可以使網(wǎng)絡(luò)中不同權(quán)值以大約相等的速度進(jìn)行學(xué)習(xí)。246 其他影響因素分析關(guān)于能夠改善BP神經(jīng)網(wǎng)絡(luò)性能和學(xué)習(xí)收斂速度的影響因素還有很多，比方輸入樣本信息內(nèi)容的選擇問(wèn)題、允許誤差的選擇問(wèn)題，從提示中學(xué)習(xí)的問(wèn)題以及改良誤差函數(shù)等。在輸入樣本信息選擇問(wèn)題上，為能在對(duì)權(quán)空間進(jìn)行更多的搜索，需要以下兩個(gè)原那么選擇輸入樣本，使用訓(xùn)練誤差最大的樣本，使用的樣

53、本要與以前使用的有根本區(qū)別。此外，在一個(gè)迭代過(guò)程給網(wǎng)絡(luò)的訓(xùn)練樣本分布是變形的，如果含有例外點(diǎn)或錯(cuò)誤標(biāo)記的訓(xùn)練樣本將會(huì)損壞輸入空間更大區(qū)域的泛化能力，降低網(wǎng)絡(luò)的性能。允許誤差的選擇也會(huì)影響學(xué)習(xí)的收斂速度和學(xué)習(xí)精度，我們一般采取一開(kāi)始將允許誤差取大些，然后逐漸減少的做法，這樣是對(duì)網(wǎng)絡(luò)訓(xùn)練的寬容，也是因?yàn)榫W(wǎng)絡(luò)的訓(xùn)練往往很難到達(dá)期望的值，也是為了加快學(xué)習(xí)速度，也要參考具體問(wèn)題所要求的精度。提示學(xué)習(xí)是利用現(xiàn)有的關(guān)于函數(shù)的先驗(yàn)知識(shí)如函數(shù)的不變性、對(duì)成性以及其他特性來(lái)提高函數(shù)的逼近能力，這就需要從學(xué)習(xí)樣本中提取有關(guān)輸入輸出函數(shù)的信息，推斷出能夠逼近輸入輸出函數(shù)的函數(shù)，在學(xué)習(xí)中嵌入這樣的提示，使用統(tǒng)計(jì)分布的方

54、法建立虛擬樣本，也增加了網(wǎng)絡(luò)的泛化能力，加快了學(xué)習(xí)速度。改良誤差函數(shù)，標(biāo)準(zhǔn)的誤差函數(shù)采用的是這也是為了方便計(jì)算隨著學(xué)習(xí)次數(shù)的增加， 越來(lái)越小，使函數(shù)逼近速度減慢，這樣對(duì)高度非線性樣本的逼近精度得不到保證，為此用絕對(duì)和相對(duì)逼近精度來(lái)描述次誤差函數(shù)，即其中和是常量系數(shù)。在樣本學(xué)習(xí)初期，以絕對(duì)形式的誤差函數(shù)來(lái)指導(dǎo)權(quán)值的修正；學(xué)習(xí)后期，以相對(duì)形式函數(shù)誤差為主：那么隨著學(xué)習(xí)次數(shù)的增加而減少，那么隨學(xué)習(xí)次數(shù)的增加而增加。有的學(xué)者提出采用熵類準(zhǔn)那么函數(shù)或分類啟發(fā)準(zhǔn)那么參見(jiàn)參考文獻(xiàn)11。2.5 BP學(xué)習(xí)算法的改良251 BP學(xué)習(xí)算法的優(yōu)缺點(diǎn)BP學(xué)習(xí)算法優(yōu)點(diǎn)：BP學(xué)習(xí)算法具有數(shù)學(xué)理論依據(jù)可靠，推導(dǎo)過(guò)程嚴(yán)謹(jǐn)，通用

55、性好，解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整問(wèn)題，具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能，特別適合求解內(nèi)部機(jī)制的復(fù)雜問(wèn)題。它具有自學(xué)習(xí)、自組織、自適應(yīng)性和很強(qiáng)的信息綜合能力，能夠同時(shí)處理定量和定性信息，協(xié)調(diào)多種輸入的關(guān)系并進(jìn)行推廣概括，實(shí)行并行處理，適用于處理復(fù)雜非線性和不確定的對(duì)象。BP學(xué)習(xí)算法缺點(diǎn)：基于梯度下降法及目標(biāo)函數(shù)復(fù)雜，導(dǎo)致訓(xùn)練次數(shù)多，訓(xùn)練時(shí)間較長(zhǎng)，收斂緩慢；基于局部搜索的優(yōu)化方法，導(dǎo)致有時(shí)完全不能訓(xùn)練，失敗的可能性也較大，易陷于局部極小而得不到全局最優(yōu)；網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無(wú)統(tǒng)一完整的理論指導(dǎo)，隱含節(jié)點(diǎn)個(gè)數(shù)難以確定，而網(wǎng)絡(luò)的結(jié)構(gòu)直接影響網(wǎng)絡(luò)的逼近能力及推廣性質(zhì)；訓(xùn)練過(guò)程有暫時(shí)遺

56、忘的現(xiàn)象即學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)；學(xué)習(xí)復(fù)雜性問(wèn)題，即網(wǎng)絡(luò)容量的可能性與可行性的關(guān)系問(wèn)題，難以解決應(yīng)用問(wèn)題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模的矛盾問(wèn)題；還有諸如新參加訓(xùn)練樣本的要求及對(duì)已學(xué)習(xí)成功網(wǎng)絡(luò)的影響，網(wǎng)絡(luò)泛化能力和訓(xùn)練能力的極限問(wèn)題等。鑒于BP學(xué)習(xí)算法的優(yōu)缺點(diǎn)，增強(qiáng)BP神經(jīng)網(wǎng)絡(luò)的性能和應(yīng)用，目前主要有如下幾種改良方法。此外還有一些諸如增加遺忘因子、誤差曲面陡度因子的方法，以及將多種方法和相關(guān)數(shù)學(xué)原理相結(jié)合的方法具體請(qǐng)參考相關(guān)文獻(xiàn)。252 增加動(dòng)量項(xiàng)在前面提到學(xué)習(xí)率的變化會(huì)影響網(wǎng)絡(luò)的性能，為此在權(quán)值調(diào)整公式中增加一個(gè)動(dòng)量項(xiàng)，到達(dá)微調(diào)權(quán)值修正量防止振蕩的效果。這樣通過(guò)動(dòng)量法不僅考慮了誤差在梯度上的作用

57、，而且考慮了誤差曲面上變化的方向。其中是動(dòng)量因子，一般有0，1動(dòng)量項(xiàng)反響了以前的調(diào)整經(jīng)驗(yàn)，對(duì)下一時(shí)刻的調(diào)整起到一定阻尼作用。因此可以減小振蕩的趨勢(shì)，促使權(quán)值的調(diào)節(jié)向著誤差曲面的底部的平均方向變化，降低了網(wǎng)絡(luò)對(duì)誤差曲面在局部細(xì)節(jié)的敏感性，在一定程度上緩解局部極小問(wèn)題，但是難以防止收斂緩慢問(wèn)題。253 彈性BP學(xué)習(xí)算法BP學(xué)習(xí)算法常用sigmoid函數(shù)，即其特點(diǎn)是可以把無(wú)限的輸入映射到有限的輸出，如果函數(shù)的輸入很大或很小的時(shí)候，函數(shù)的斜率接近于零，這樣采用梯度下降法使用sigmoid函數(shù)的網(wǎng)絡(luò)就帶來(lái)一個(gè)問(wèn)題：梯度幅度的不利影響，即盡管權(quán)值和闞值離其最正確值相差甚遠(yuǎn)，但此時(shí)梯度的幅度非常小，導(dǎo)致權(quán)值

58、和閾值的修正量也很小，使得訓(xùn)練時(shí)間變得很長(zhǎng)。所以在權(quán)值修正的時(shí)候僅僅用偏導(dǎo)的符號(hào)，而其幅值不影響權(quán)值的修正，即權(quán)值的修正取決于與幅值無(wú)關(guān)的修正值。當(dāng)連續(xù)兩次迭代的梯度方向相同時(shí)，可將權(quán)值和閾值的修正值乘以一個(gè)增量因子。使其修正值增加；當(dāng)連續(xù)兩次迭代的梯度方向相反時(shí)，可將權(quán)值和閾值的修正值乘以一個(gè)減量因子，使其修正值減小；當(dāng)梯度為零時(shí)，權(quán)值和閾值的修正值保持不變；當(dāng)權(quán)值的修正發(fā)生振蕩時(shí)，其修正值將會(huì)減小。如果權(quán)值在相同的梯度上連續(xù)被修正，那么其幅度必將增加，從而克服了梯度幅度的不利影響，即當(dāng)連續(xù)兩次迭代的梯度方向相同時(shí)當(dāng)連續(xù)兩次迭代的梯度方向相反時(shí)當(dāng)局向梯度g(n)為零時(shí)其中是第n次迭代的權(quán)值或

59、閾值的幅度修正值，為增量因子，為減量因子，sign(g(n)代表局向梯度g(n)的符號(hào)函數(shù)。254 自適應(yīng)學(xué)習(xí)速率法在BP學(xué)習(xí)算法中，網(wǎng)絡(luò)權(quán)值調(diào)整取決于學(xué)習(xí)率和局向梯度，首先要說(shuō)明的是學(xué)習(xí)率是隨時(shí)間改變的，只是在上面的反向傳播算法推導(dǎo)過(guò)程采用的是不變的值。在自適應(yīng)的學(xué)習(xí)速率法中學(xué)習(xí)率的調(diào)整規(guī)那么有很多種方法，目的是為了把學(xué)習(xí)率在整個(gè)訓(xùn)練過(guò)程得到合理的調(diào)節(jié)。第一種方法是將動(dòng)量因子和學(xué)習(xí)率同時(shí)調(diào)整，其中動(dòng)量因子的調(diào)整倍率要大些。根本思想：當(dāng)前誤差與前一次誤差比擬，如果誤差出現(xiàn)反彈或持平，說(shuō)明學(xué)習(xí)率過(guò)大，那么將學(xué)習(xí)率降到原來(lái)的60%，然后再按5%的速度遞增；如果誤差持續(xù)下降，學(xué)習(xí)率繼續(xù)遞增；當(dāng)誤差再

60、出現(xiàn)反彈或持平時(shí)，再將學(xué)習(xí)率下調(diào)40%；這樣反復(fù)跳躍以刺激收斂速度，同時(shí)這種跳躍還可以防止尋優(yōu)搜索陷入局部極小值。誤差反彈或持平誤差持續(xù)下降第二種方法是設(shè)一個(gè)初始學(xué)習(xí)率，假設(shè)在一批權(quán)值調(diào)整后總誤差升高，那么本次的調(diào)整無(wú)效，并且令；假設(shè)總誤差下降，那么本次調(diào)整有效，并且令。通過(guò)學(xué)習(xí)率的自適應(yīng)調(diào)整，使學(xué)習(xí)過(guò)程中從誤差曲面中找到適宜的學(xué)習(xí)率，在平坦區(qū)域加速，在凹處減速，防止出現(xiàn)振蕩導(dǎo)致的迭代次數(shù)增加，加快收斂速度。如果將增加動(dòng)量法和自適應(yīng)學(xué)習(xí)速率法結(jié)合起來(lái)，既可抑制網(wǎng)絡(luò)陷入局部極小，又加快學(xué)習(xí)。但都是基于梯度下降法，它們只利用了目標(biāo)函數(shù)對(duì)網(wǎng)絡(luò)權(quán)值和閾值的一階導(dǎo)數(shù)信息。因此，對(duì)于復(fù)雜問(wèn)題還存在收斂速度