安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第1頁裝訂線摘要隨著人工神經(jīng)網(wǎng)絡的研究和應用越來越廣泛，誤差反向傳播算法（BP算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡權(quán)值調(diào)整問題，BP神經(jīng)網(wǎng)絡如今成為最廣泛使用的網(wǎng)絡，研究它對探索非線性復雜問題具有重要意義，而且它具有廣泛的應用前景。以BP神經(jīng)網(wǎng)絡為例，討論了BP神經(jīng)網(wǎng)絡及幾種改進BP神經(jīng)網(wǎng)絡性能的算法；通過BP學習算法的推導和分析得知BP網(wǎng)絡是一種多層前饋網(wǎng)絡，采用最小均方差的學習方式，缺點是僅為有導師訓練，訓練時間長，易限于局部極??；運用MATLAB來實現(xiàn)各種BP神經(jīng)網(wǎng)絡的實現(xiàn)的設計與訓練，比較不同BP神經(jīng)網(wǎng)絡的性能，驗證改進BP網(wǎng)絡的優(yōu)勢，得出如何根據(jù)對象選取神經(jīng)網(wǎng)絡的結(jié)論。關鍵詞人工神經(jīng)網(wǎng)絡、BP神經(jīng)網(wǎng)絡、誤差反向傳播算法、MATLAB、仿真安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第2頁裝訂線ABSTRACTWITHTHEARTIFICIALNEURALNETWORKOFRESEARCHANDAPPLICATIONOFMOREANDMOREWIDELY,THEERRORBACKPROPAGATIONALGORITHMBPALGORITHMISPROPOSED,SUCCESSFULLYRESOLVEDTHECONTINUOUSFUNCTIONFORSOLVINGNONLINEARMULTILAYERFEEDFORWARDNEURALNETWORKWEIGHTSADJUSTMENT,BPNETWORKHASBECOMENOWTHEMOSTWIDELYUSEDNETWORKS,STUDYTOEXPLOREITSCOMPLICATEDNONLINEARPROBLEMHASIMPORTANTSIGNIFICANCE,BUTALSOHASBROADAPPLICATIONPROSPECTSBPNEURALNETWORKISDISCUSSEDANDSEVERALIMPROVEMENTSINTHEPERFORMANCEOFBPNEURALNETWORKALGORITHMBPLEARNINGALGORITHMTHROUGHTHEDERIVATIONANDANALYSISTHATTHEBPNETWORKISAMULTILAYERFEEDFORWARDNETWORKS,THEUSEOFLEASTMEANVARIANCEAPPROACHTOLEARNING,THEREISONLYDISADVANTAGEISTHATTHETRAININGINSTRUCTORS,TRAININGTIME,LIMITEDTOLOCALMINIMUMEASILYTHEUSEOFMATLABTOACHIEVEAVARIETYOFBPNEURALNETWORKTOACHIEVETHEDESIGNANDTRAINING,TOCOMPARETHEPERFORMANCEOFBPNEURALNETWORKTOVERIFYTHEADVANTAGESOFIMPROVINGTHEBPNETWORK,HOWTODRAWTHEOBJECTSELECTEDINACCORDANCEWITHTHECONCLUSIONSOFNEURALNETWORKSKEYWORDSARTIFICIALNEURALNETWORK,BPNEURALNETWORKS,ERRORBACKPROPAGATIONALGORITHM,MATLAB,SIMULATION安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第3頁裝訂線目錄1緒論511引言512神經(jīng)網(wǎng)絡概述5121神經(jīng)網(wǎng)絡起源5122神經(jīng)網(wǎng)絡的發(fā)展歷程5123神經(jīng)網(wǎng)絡國內(nèi)發(fā)展概況6124神經(jīng)網(wǎng)絡研究現(xiàn)狀713研究目的、方法和問題（BP神經(jīng)網(wǎng)絡）8131研究目的8132研究方法8133研究問題82BP神經(jīng)網(wǎng)絡1021BP神經(jīng)網(wǎng)絡相關原理10211神經(jīng)元非線性模型10212有教師監(jiān)督學習10213神經(jīng)元數(shù)學模型11214DELTA學習規(guī)則11215神經(jīng)元激活函數(shù)12216BP神經(jīng)網(wǎng)絡收斂準則1222BP神經(jīng)網(wǎng)絡學習過程描述13221BP神經(jīng)網(wǎng)絡計算模型建立13222BP神經(jīng)網(wǎng)絡學習過程描述14223BP神經(jīng)網(wǎng)絡方框圖1423BP神經(jīng)網(wǎng)絡學習方法14231BP神經(jīng)網(wǎng)絡信號流程14232誤差反向傳播計算15233BP神經(jīng)網(wǎng)絡算法描述1824影響因素分析19241權(quán)值初始值設置影響分析19242權(quán)值調(diào)整方法影響分析19243激活函數(shù)選擇影響分析20244學習率選擇影響分析20245輸入輸出歸一化影響分析21246其他影響因素分析2225BP學習算法的改進22251BP學習算法的優(yōu)缺點22252增加動量項23253彈性BP學習算法23254自適應學習速率法24255共軛梯度法25安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第4頁裝訂線256LEVENBERGMARQUARDT算法253BP神經(jīng)網(wǎng)絡仿真2731仿真平臺MATLAB27311MATLAB簡介27312仿真平臺的構(gòu)建和策略2732仿真實驗28321BP神經(jīng)網(wǎng)絡MATLAB設計28322各種BP學習算法MATLAB仿真29323各種算法仿真結(jié)果比較與分析32324調(diào)整初始權(quán)值和閾值的仿真33325其他影響因素仿真354BP神經(jīng)網(wǎng)絡應用實例3741實例概述3742網(wǎng)絡設計3743網(wǎng)絡訓練3844網(wǎng)絡測試3945實例總結(jié)405總結(jié)與展望4151BP神經(jīng)網(wǎng)絡研究總結(jié)4152神經(jīng)網(wǎng)絡研究展望42致謝43參考文獻44附錄46安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第5頁裝訂線1緒論11引言隨著計算機的問世與發(fā)展，人們設法了解人的大腦，進而構(gòu)造具有人類智能的智能計算機。在具有人腦邏輯推理能力延伸的計算機戰(zhàn)勝人類棋手的同時引發(fā)人們對模擬人腦信息處理的人工神經(jīng)網(wǎng)絡的研究。人工神經(jīng)網(wǎng)絡（ARTIFICIALNEURALNETWORKS,ANN）（注簡稱為神經(jīng)網(wǎng)絡），一種模仿動物神經(jīng)網(wǎng)絡行為特征，進行分布式并行信息處理的算法數(shù)學模型。這種網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。人工神經(jīng)網(wǎng)絡具有自學習和自適應的能力，可以通過預先提供的一批相互對應的輸入輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結(jié)果，這種學習分析的過程被稱為“訓練”。（引自環(huán)球科學2007年第一期神經(jīng)語言老鼠胡須下的秘密）12神經(jīng)網(wǎng)絡概述121神經(jīng)網(wǎng)絡起源早在1890年，美國心理學家WILLIAMJAMES（18421910）出版了PRINCIPLESOFPSYCHOLOGY專著，本書研究了心理活動與大腦神經(jīng)生理活動的關系,開創(chuàng)性提出學習、聯(lián)想記憶的基本原理。指出“讓我們假設所有后繼推理的基礎遵循這樣的規(guī)則當兩個基本的腦細胞曾經(jīng)一起或相繼被激活過，其中一個受刺激激活時會將刺激傳播到另一個”。他還認為在大腦皮層上的任意一點的刺激量是其他所有發(fā)射點進入該點刺激總和。1943年，心理學家WSMCCULLOCH和數(shù)理邏輯學家WAPITTS建立了神經(jīng)網(wǎng)絡和數(shù)學模型，稱為MP模型。他們通過MP模型提出了神經(jīng)元的形式化數(shù)學描述和網(wǎng)絡結(jié)構(gòu)方法，證明了單個神經(jīng)元能執(zhí)行邏輯功能，從而開創(chuàng)了人工神經(jīng)網(wǎng)絡研究的時代。122神經(jīng)網(wǎng)絡的發(fā)展歷程1943年，心理學家WSMCCULLOCH和數(shù)理邏輯學家WPITTS建立了神經(jīng)網(wǎng)絡和數(shù)學模型，稱為MP模型；1949年，心理學家DONALDOLDINGHEBB出版了ORGANIZATIONOFBEHAVIOR，在該書他首先提出了連接權(quán)訓練算法，即如今人們稱為的HEBB算法；1958年，計算機科學家FRANKROSENBLATT，在一篇著名的文章中提出了一種具有三層網(wǎng)絡特性的“感知器”（PERCEPTRON）神經(jīng)網(wǎng)絡；安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第6頁裝訂線1960年，電機工程師BERNARDWIDROW和MARCIANHOFF發(fā)表了ADAPTIVESWITCHINGCIRCUITS文章，不僅把人工神經(jīng)網(wǎng)絡在計算機上仿真，而且用硬件電路實現(xiàn)了它。因此WIDROWHOFF的學習訓練算法（也稱（誤差大?。┧惴ɑ蜃钚【剑↙MS）算法）也應運而生；1969年，人工智能的創(chuàng)始人之一，MMINSKY和SPAPERT經(jīng)過數(shù)年研究，仔細分析了以感知器為代表的神經(jīng)網(wǎng)絡系統(tǒng)的功能及局限后，出版了PERCEPTRON一書，指出感知器不能解決高階謂詞問題；1969年，美國波士頓大學自適應系統(tǒng)中心的SGROSSBERG教授及其夫人GACARPENTER提出了著名的自適應共振理論（ADAPTIVERESONANCETHEORY）模型；1972年，芬蘭的TKOHONEN教授提出了自組織映射（SOM）理論，并稱其神經(jīng)網(wǎng)絡結(jié)構(gòu)為“ASSOCIATIVEMEMORY”；與此同時，美國的神經(jīng)生理學家和心理學家JANDERSON，提出了一個類似的神經(jīng)網(wǎng)絡“INTERACTIVEMEMORY”；1980年，日本東京NHK廣播科學研究實驗室的福島邦彥（KUNIHIKOFUKUSHIMA），發(fā)表了NEOCOGNITRON，開發(fā)了一些神經(jīng)網(wǎng)絡結(jié)構(gòu)和訓練算法，還有一系列的改進的文章，新認知機在于視覺模式識別機制的模型；1982年，美國加州理工學院的優(yōu)秀物理學家JOHNJHOPFIELD博士發(fā)表一篇著名的文章，吸收前人的研究成果，把各種結(jié)構(gòu)和算法概括綜合起來建立起新穎而有力的HOPFIELD網(wǎng)絡；1985年，GEHINTON和TJSEJNOWSKI借助統(tǒng)計物理學概念和方法提出了波耳茲曼模型，在學習中采用統(tǒng)計熱力學模擬退火技術，保證整個系統(tǒng)趨于全局穩(wěn)定點；1986年進行認知微觀結(jié)構(gòu)地研究，提出了并行分布處理的理論；1987年首屆國際神經(jīng)網(wǎng)絡學術會議在美國加州圣地亞哥召開，成立了國際神經(jīng)網(wǎng)絡學會（INNS）；1987年以來，神經(jīng)網(wǎng)絡理論、應用、實現(xiàn)和相關開發(fā)工具發(fā)展迅速，涉及神經(jīng)生理學、認知科學、心理學、數(shù)理科學、信息科學、計算機科學、微電子學、光學、生物電子學等多學科交叉、綜合的前沿科學。應用于各個領域，如自動控制領域、處理組合優(yōu)化問題、模式識別、圖像處理、機器人控制、醫(yī)療等?？梢娙斯ど窠?jīng)網(wǎng)絡具有廣泛的研究和應用前景；以下是1987年后的一些發(fā)展歷程1988年，BROOMHEADLOWER提出徑向基函數(shù)網(wǎng)絡（RADIALBASISFUNCTION，RBF），網(wǎng)絡設計采用原理化方法，有堅實的數(shù)學基礎；19921998年，VAPNIK提出了支持向量機（SUPPORTVECTORMACHINE，SVM），在模式分類問題上能提供良好的泛化能力。123神經(jīng)網(wǎng)絡國內(nèi)發(fā)展概況1980年，涂序言教授等出版了生物控制論一書，“神經(jīng)系統(tǒng)控制論”一章系統(tǒng)地介紹了神經(jīng)元和神經(jīng)網(wǎng)絡的結(jié)構(gòu)、功能和模型，是我國最早涉及神經(jīng)網(wǎng)絡的著作；因此到80年代中期，我國學術界掀起了研究神經(jīng)網(wǎng)絡的熱潮；1988年北京大學非線性研究中心舉辦了BEIJINGINTERNATIONALWORKSHOPONNEURALNETWORKSLEARNING安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第7頁裝訂線ANDRECOGNITION,AMODERNAPPROACH；1989年召開可全國非正式的神經(jīng)網(wǎng)絡會議，于1990年在北京召開了中國神經(jīng)網(wǎng)絡首屆學術大會，第二年在南京召開了第二屆，并成立了中國神經(jīng)網(wǎng)絡學會；1992年國際神經(jīng)網(wǎng)絡學會和IEEE神經(jīng)網(wǎng)絡委員會在北京召開神經(jīng)網(wǎng)絡的國際性會議；自此中國神經(jīng)網(wǎng)絡研究在國家研究計劃的支持和學術及工程人員的發(fā)展與應用下取得一系列豐碩成果。124神經(jīng)網(wǎng)絡研究現(xiàn)狀神經(jīng)網(wǎng)絡是可大規(guī)模并行處理和分布式信息存儲，具有良好的自學習、自適應、自組織性，以及很強的聯(lián)想記憶和容錯功能，可以充分逼近任意復雜的非線性關系，可有很強的信息綜合能力，能同時處理定量和定性信息，能很好的協(xié)調(diào)多種輸入信息關系，適用于處理復雜非線性和不確定對象。目前的神經(jīng)網(wǎng)絡的研究中主要有以下幾種類型松耦合模型符號機制的專家系統(tǒng)和聯(lián)接機制的神經(jīng)網(wǎng)絡通過一個中間媒介如數(shù)據(jù)文件進行通信；緊耦合模型其通信數(shù)據(jù)是直接的內(nèi)部數(shù)據(jù)，具有很高的效率；轉(zhuǎn)換模型將專家系統(tǒng)知識轉(zhuǎn)換成神經(jīng)網(wǎng)絡，或把神經(jīng)網(wǎng)絡轉(zhuǎn)換成專家系統(tǒng)知識，轉(zhuǎn)換需要在兩種機制之間，確定結(jié)構(gòu)上的一致性，目前主要問題還沒有一種能夠精確而完備的實現(xiàn)二者轉(zhuǎn)換；綜合模型將具有符號機制的邏輯功能和具有聯(lián)接機制的自適應和容錯性結(jié)合為一個整體，共享數(shù)據(jù)結(jié)構(gòu)和知識表示；混沌理論是系統(tǒng)從有序突然變?yōu)闊o序狀態(tài)的一種演化理論，是對確定性系統(tǒng)中出現(xiàn)的內(nèi)在“隨機過程”形成的途徑、機制的研討，從而與神經(jīng)網(wǎng)絡融合，達到取長補短的效果；模糊集理論用語言和概念代表腦的宏觀功能，按照人為引入的隸屬度，將模糊性的語言信息進行邏輯處理，與神經(jīng)網(wǎng)絡結(jié)合，取長補短；遺傳算法模擬達爾文生物進化論的自然選擇和遺傳學機理的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優(yōu)解的方法，從而與神經(jīng)網(wǎng)絡融合，達到取長補短的效果；混合神經(jīng)網(wǎng)絡把神經(jīng)網(wǎng)絡與混沌理論、模糊集理論和遺傳算法相互結(jié)合的網(wǎng)絡模型。人工神經(jīng)網(wǎng)絡學習問題展望，目前主要有以下三種方法基于搜索機制的學習方法、基于規(guī)劃的學習方法和構(gòu)造性學習方法。如今也有其綜合方法，各有特點。其中基于搜索的方法，若不從根本上進行改變，很難克服其內(nèi)在固有的缺點，如基于局部最小的搜索算法，其中BP算法就有易限于局部極小的固有缺點；規(guī)劃方法因為其中有“優(yōu)化的步驟”，從理論上看其所得網(wǎng)絡性能要比其他方法要好，但如何確定核函數(shù)形式和參數(shù)問題一直是未能很好解決的問題，當數(shù)據(jù)規(guī)模極大會引起計算量過大問題；構(gòu)造性方法，因為進行了局部化，計算量要小，由于未進行全局優(yōu)化，故性能不及規(guī)劃方法，不需要確定映射關系就沒有了確定核函數(shù)的困難問題；如果能夠?qū)⑷呦嗷ソY(jié)合，將規(guī)劃方法中優(yōu)化過程合理地引入到構(gòu)造方法中，也許即可克服規(guī)劃方法計算量大的問題，核函數(shù)和參數(shù)確定問題，也可以克服構(gòu)造性方法未進行全局優(yōu)化的缺點；這些將是值得研究的問題。隨著更多數(shù)學方法的引入，如模擬退火算法、商空間（即線性空間）理論、統(tǒng)計推斷方法與啟發(fā)式搜索技術及其結(jié)合產(chǎn)物的引入，促進各種學習方法的改進，將有力的推進神經(jīng)網(wǎng)絡的進一步發(fā)展。安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第8頁裝訂線隨著神經(jīng)網(wǎng)絡的廣泛應用，具有以下研究趨勢增強對智能和機器的關系問題的認識，發(fā)展神經(jīng)計算與進化計算的理論與應用，擴大神經(jīng)網(wǎng)絡結(jié)構(gòu)和神經(jīng)元芯片的作用，促進信息科學與生命科學的相互融合，進行與其他智能方法融合技術研究。13研究目的、方法和問題（BP神經(jīng)網(wǎng)絡）131研究目的在人工神經(jīng)網(wǎng)絡發(fā)展歷史中，很長一段時間里沒有找到隱含層的連接權(quán)值調(diào)整問題的有效算法。直到誤差反向傳播算法（BP神經(jīng)網(wǎng)絡算法）的提出，成功地解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡權(quán)值調(diào)整問題。目前，BP神經(jīng)網(wǎng)絡已成為廣泛使用的網(wǎng)絡，可用于語言綜合、語言識別、自適應控制等。它是一種多層前饋網(wǎng)絡，采用最小均方差的學習方式，缺點是僅為有導師訓練，訓練時間長，易限于局部極小。鑒于神經(jīng)網(wǎng)絡的廣泛應用，特別是BP神經(jīng)網(wǎng)絡的發(fā)展，對于神經(jīng)網(wǎng)絡（比如BP神經(jīng)網(wǎng)絡）的研究具有重要意義。研究的主要目的是理解BP網(wǎng)絡結(jié)構(gòu)模型；學習誤差反向傳播算法和BP神經(jīng)網(wǎng)絡的學習算法；分析關鍵因素，得出BP網(wǎng)絡的優(yōu)缺點；綜合各種因素并使用啟發(fā)式方法對BP神經(jīng)網(wǎng)絡算法進行改進；應用數(shù)學軟件MATLAB對BP神經(jīng)網(wǎng)絡標準算法和改進算法進行仿真編程；利用仿真結(jié)果和圖表得出各個算法適用條件；進而研究實際問題的BP神經(jīng)網(wǎng)絡構(gòu)建和仿真。132研究方法通過參考研究學習神經(jīng)網(wǎng)絡研究和工作者的著作和文章，理解神經(jīng)網(wǎng)絡，特別是BP神經(jīng)網(wǎng)絡的結(jié)構(gòu)模型和理論；利用現(xiàn)有的數(shù)學理論知識和方法，推導反向傳播算法計算；利用計算機程序設計理論編寫B(tài)P神經(jīng)網(wǎng)絡學習算法的步驟和流程；分析BP標準算法關鍵因素，利用現(xiàn)有數(shù)學相關方法（如啟發(fā)式方法，MATLAB中幾種典型的BP神經(jīng)網(wǎng)絡算法TRAINGDM，增加動量法；TRAINRP，彈性BP算法；TRAINGDA，TRAINGDX，自適應學習速率法；TRAINCGF，共軛梯度法；TRAINBFG，擬牛頓法；TRAINLM，LEVENBERGMARQUARDT算法）對BP神經(jīng)網(wǎng)絡算法改進和理論推導；利用優(yōu)秀數(shù)學軟件MATLAB進行BP網(wǎng)絡學習算法的仿真編程，分別建立BP神經(jīng)網(wǎng)絡標準算法、改進算法的編程程序，利用MATLAB得出相關圖表，分析其關鍵因素；應用實例對BP神經(jīng)網(wǎng)絡的應用和仿真進行驗證；通過自己的理解和學習得出自己對神經(jīng)網(wǎng)絡（BP神經(jīng)網(wǎng)絡）的思考。133研究問題研究問題1BP神經(jīng)網(wǎng)絡的學習過程，工作信號正向傳播，誤差信號反向傳播。得到如下圖11示意模型（多層前饋型網(wǎng)絡）安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第9頁裝訂線輸入層隱含層輸出層誤差信號圖11BP神經(jīng)網(wǎng)絡示意模型輸入信號研究問題2BP神經(jīng)網(wǎng)絡的不足，訓練時間較長，有時完全不能訓練，失敗的可能性也較大，易陷于局部極小而得不到全局最優(yōu)，隱含節(jié)點個數(shù)難以確定，訓練過程有暫時遺忘的現(xiàn)象即學習新樣本有遺忘舊樣本的趨勢。研究問題3BP神經(jīng)網(wǎng)絡學習算法的改進有（MATLAB神經(jīng)網(wǎng)絡工具箱中）增加動量法TRAINGDM、彈性BP算法（TRAINRP），自適應學習速率法TRAINGDX、共軛梯度法TRAINCGF、擬牛頓法TRAINBFG以及LEVENBERGMARQUARDT算法（TRAINLM）等。注在MATLABR2007版本中TRAINGDX為動量及自適應LRBP的梯度遞減訓練函數(shù)。研究問題4誤差要求和網(wǎng)絡復雜程度將影響B(tài)P各種算法的選擇；比如擬牛頓法需要HESSIAN矩陣，不適用于復雜的大型網(wǎng)絡，但對于中型網(wǎng)絡其收斂效果僅次于LM算法，且需要的內(nèi)存也相對較小，但對于小型網(wǎng)絡LM算法最好最快，仿真效果要好；又如當誤差要求比較高時，彈性BP算法和自適應學習速率法需要很長的訓練時間，在設定的訓練步驟范圍內(nèi)不能達到期望誤差。研究問題5在實例的網(wǎng)絡模型的建立和MATLAB仿真的過程中，發(fā)現(xiàn)沒有確定隱含層神經(jīng)元數(shù)目的有效方法，隱含層神經(jīng)元的數(shù)目直接影響分類精度，神經(jīng)元數(shù)目過多或過少都會使網(wǎng)絡性能下降，一般只能由經(jīng)驗設定，再經(jīng)過多次調(diào)試確定最佳數(shù)目。其次網(wǎng)絡的泛化能力與訓練能力的矛盾，一般情況下，訓練能力差時，預測能力也差，并且一定程度上隨訓練能力地提高，泛化能力也提高。但這種趨勢有一個極限，當達到此極限時，隨訓練能力的提高，泛化能力反而下降，即出現(xiàn)所謂“過擬合”現(xiàn)象。此時，網(wǎng)絡學習了過多的樣本細節(jié)，而不能反映樣本內(nèi)含的規(guī)律。安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第10頁裝訂線2BP神經(jīng)網(wǎng)絡21BP神經(jīng)網(wǎng)絡相關原理211神經(jīng)元非線性模型F（）KWK1WK2WKI固定輸入X01X1X2閾值KK激活函數(shù)輸出YK圖21神經(jīng)元非線性模型加法器XI加法器，也稱線性組合器，將求輸入信號突觸權(quán)值被神經(jīng)元的相應突觸加權(quán)和；激活函數(shù)是用來限制神經(jīng)元的振幅，主要有0,1或1,1；閾值的作用是根據(jù)其為正或負，相應的增加或減低激活函數(shù)的網(wǎng)絡輸入。注這里的K為實例。模擬的是生物神經(jīng)元的電位脈沖原理。212有教師監(jiān)督學習環(huán)境教師學習系統(tǒng)實際響應描述環(huán)境狀態(tài)向量期望模式輸入模式誤差信號EK圖22有教師學習方框圖期望響應安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第11頁裝訂線有教師學習采用的是糾錯規(guī)則，在網(wǎng)絡的學習訓練過程給神經(jīng)網(wǎng)絡一個期望模式和輸入模式，所期望的模式就是教師信號，因此可以將輸入模式所得的結(jié)果與期望模式的結(jié)果相比較，當不相符時，可以根據(jù)相關規(guī)則進行權(quán)值調(diào)整，比如上述的DELTA規(guī)則，直到滿足一定誤差范圍內(nèi)，這將更接近期望模式結(jié)果。由此可見，在執(zhí)行具體任務之前必須經(jīng)過學習，直到“學會”為止。213神經(jīng)元數(shù)學模型設在N時刻，神經(jīng)元I到神經(jīng)元J的信息傳遞，其輸入信息為XIN,輸出為OJN，則神經(jīng)元J的數(shù)學表達式為式21其中IJW是神經(jīng)元I到J的突觸連接權(quán)值IJ是輸入和輸出間的突觸時延J是神經(jīng)元J的閾值F是神經(jīng)元激活函數(shù)如果TIJJJJWWWW,21,TIXXXX,21,又0X1,JW0J（KB）可得XWFOTJJ。214DELTA學習規(guī)則DELTA學習規(guī)則，也稱連續(xù)感知器學習規(guī)則，與離散感知器學習規(guī)則并行。其規(guī)則的學習信號規(guī)定為式22為了方便計算，定義神經(jīng)元J的期望誤差與實際輸出之間的計算誤差為式23按照誤差的負梯度修正權(quán)值，即式24式25其中是學習率，00常數(shù)，通常A17159B2/3。因此，F(xiàn)11,F11,F0AB171592/311424,斜率接近單位1，在X1時二階導數(shù)最大。在誤差反向傳播計算中所用的是S型對數(shù)函數(shù)，同理可以使用S型正切函數(shù)，并對其求導推導。S型對數(shù)函數(shù)不是奇函數(shù)，工作范圍是0，1。而雙極性S型正切函數(shù)除了本身符合連續(xù)可微的條件外，具有雙極性輸出，它常常被選用為要求輸入是1范圍的信號，關于它們的選擇主要從函數(shù)自身的工作范圍及其導數(shù)值的大小范圍以及結(jié)構(gòu)簡單和運算速度快等思想考慮。由此可見，研究BP神經(jīng)網(wǎng)絡激活函數(shù)是今后研究的一個重要課題。244學習率選擇影響分析首先，學習率是隨時間改變的，為了方便，在反向傳播算法計算過程中采用的是不變的學習率。下面是理想學習率示意圖和一些規(guī)則XAEXFAX,011AEAEEABXAXFBXBXBX1211TANH安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第21頁裝訂線根據(jù)反向傳播計算式得知，學習率越大權(quán)值的變化就越大，則BP算法的學習收斂速度就越快，過大則引起網(wǎng)絡的振蕩，導致網(wǎng)絡的不穩(wěn)定以及性能低下，當超過某一極值容易引起算法不穩(wěn)定。相反學習率小可以避免網(wǎng)絡的振蕩，但導致學習收斂速度的下降。經(jīng)過實踐證明來說，輸出單元的局向梯度比輸入端大，為此輸出單元的應小些；有較多輸入端的神經(jīng)元的要比有較少的輸入端的神經(jīng)元的小些；對于一個給定的神經(jīng)元，其學習率應與神經(jīng)元的突觸連接的平方根成反比。在BP改進算法中引入了動量法解決的學習過程變化問題，增加網(wǎng)絡的穩(wěn)定性，加快學習收斂速度，如MATLAB中使用動量及自適應LRBP的梯度遞減訓練函數(shù)。此外有很多研究人員采用遺傳算法和免疫算法BP神經(jīng)網(wǎng)絡的學習率進行優(yōu)化設計并簡歷數(shù)學模型，下面是一個簡單的優(yōu)化的學習率變化公式其中N為迭代次數(shù)，A和根據(jù)工程應用的復雜性和結(jié)構(gòu)優(yōu)化的模糊性，對不同的系統(tǒng)和要求取不同的范圍，一般情況下，1A50，000010001。（參考文獻10）245輸入輸出歸一化影響分析在輸入樣本訓練網(wǎng)絡時，如果所有輸入樣本的輸入信號都為正值或負值，則與第一隱含層的神經(jīng)元權(quán)值只能同時增加或減小，從而導致學習速度很慢。因此需要對輸入信號進行歸一化處理，使得所有樣本的輸入信號均值接近零或者其標準方差比較小。歸一化的問題旨在是歸納統(tǒng)一樣本的統(tǒng)計分布性，改善其分布規(guī)律，具體是消除均值，去相關性以及均方差均衡。歸一化在0,1之間是統(tǒng)計的概率分布，歸一化在1,1之間是統(tǒng)計的坐標分布。網(wǎng)絡的各個輸入數(shù)據(jù)常常具有不同的物理意義和不同的量綱，為此需要使網(wǎng)絡訓練一開始就給各訓練輸入向量以同等的身份地位。BP神經(jīng)網(wǎng)絡的神經(jīng)元一般采用SIGMOID激活函數(shù)，歸一化可以防止輸入信號數(shù)據(jù)絕對值過大進入飽和區(qū)。另外，期望輸出數(shù)據(jù)不進行歸一化會導致數(shù)值大的分量絕對誤差大，數(shù)值小的絕對誤差小，網(wǎng)絡訓練時只針對輸出的總誤差調(diào)整權(quán)值，因此在總誤差中所占份額少的輸出分量相對誤差較大。這些都將影響學習的速度。處理的方法有，利用合理的變換等式將輸入輸出的數(shù)據(jù)變換為0,1或1,1（其迭代次數(shù)NEN收斂速率圖28理想學習率示意圖NAE安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第22頁裝訂線選擇主要看激活函數(shù)的選擇）之間的數(shù)據(jù)；當輸入輸出向量中某個分量的取值過于密集時，由此可以將數(shù)據(jù)的點拉開一定距離，適當變換分布，改善分布規(guī)律。使用主分量分析法使訓練樣本的輸入向量互不相關，去相關后的輸入變量應調(diào)整其長度使它們的方差近似相等，因此可以使網(wǎng)絡中不同權(quán)值以大約相等的速度進行學習。246其他影響因素分析關于能夠改善BP神經(jīng)網(wǎng)絡性能和學習收斂速度的影響因素還有很多，比如輸入樣本信息內(nèi)容的選擇問題、允許誤差的選擇問題，從提示中學習的問題以及改進誤差函數(shù)等。在輸入樣本信息選擇問題上，為能在對權(quán)空間進行更多的搜索，需要以下兩個原則選擇輸入樣本，使用訓練誤差最大的樣本，使用的樣本要與以前使用的有根本區(qū)別。此外，在一個迭代過程給網(wǎng)絡的訓練樣本分布是變形的，如果含有例外點或錯誤標記的訓練樣本將會損壞輸入空間更大區(qū)域的泛化能力，降低網(wǎng)絡的性能。允許誤差的選擇也會影響學習的收斂速度和學習精度，我們一般采取一開始將允許誤差取大些，然后逐漸減少的做法，這樣是對網(wǎng)絡訓練的寬容，也是因為網(wǎng)絡的訓練往往很難達到期望的值，也是為了加快學習速度，也要參考具體問題所要求的精度。提示學習是利用現(xiàn)有的關于函數(shù)的先驗知識（如函數(shù)的不變性、對成性以及其他特性）來提高函數(shù)的逼近能力，這就需要從學習樣本中提取有關輸入輸出函數(shù)的信息，推斷出能夠逼近輸入輸出函數(shù)的函數(shù)，在學習中嵌入這樣的提示，使用統(tǒng)計分布的方法建立虛擬樣本，也增加了網(wǎng)絡的泛化能力，加快了學習速度。改進誤差函數(shù)，標準的誤差函數(shù)采用的是（這也是為了方便計算）隨著學習次數(shù)的增加，越來越小，使函數(shù)逼近速度減慢，這樣對高度非線性樣本的逼近精度得不到保證，為此用絕對和相對逼近精度來描述次誤差函數(shù)，即其中1和2是常量系數(shù)。在樣本學習初期，以絕對形式的誤差函數(shù)來指導權(quán)值的修正；學習后期，以相對形式函數(shù)誤差為主則1隨著學習次數(shù)的增加而減少，則2隨學習次數(shù)的增加而增加。有的學者提出采用熵類準則函數(shù)或分類啟發(fā)準則（參見參考文獻11）。25BP學習算法的改進251BP學習算法的優(yōu)缺點JJJJYDNE221JJYD2221144JJJJJJJJYDYDNE安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第23頁裝訂線BP學習算法優(yōu)點BP學習算法具有數(shù)學理論依據(jù)可靠，推導過程嚴謹，通用性好，解決了求解非線性連續(xù)函數(shù)的多層前饋神經(jīng)網(wǎng)絡權(quán)值調(diào)整問題，具有實現(xiàn)任何復雜非線性映射的功能，特別適合求解內(nèi)部機制的復雜問題。它具有自學習、自組織、自適應性和很強的信息綜合能力，能夠同時處理定量和定性信息，協(xié)調(diào)多種輸入的關系并進行推廣概括，實行并行處理，適用于處理復雜非線性和不確定的對象。BP學習算法缺點基于梯度下降法及目標函數(shù)復雜，導致訓練次數(shù)多，訓練時間較長，收斂緩慢；基于局部搜索的優(yōu)化方法，導致有時完全不能訓練，失敗的可能性也較大，易陷于局部極小而得不到全局最優(yōu)；網(wǎng)絡結(jié)構(gòu)的選擇尚無統(tǒng)一完整的理論指導，隱含節(jié)點個數(shù)難以確定，而網(wǎng)絡的結(jié)構(gòu)直接影響網(wǎng)絡的逼近能力及推廣性質(zhì)；訓練過程有暫時遺忘的現(xiàn)象即學習新樣本有遺忘舊樣本的趨勢；學習復雜性問題，即網(wǎng)絡容量的可能性與可行性的關系問題，難以解決應用問題的實例規(guī)模和網(wǎng)絡規(guī)模的矛盾問題；還有諸如新加入訓練樣本的要求及對已學習成功網(wǎng)絡的影響，網(wǎng)絡泛化能力和訓練能力的極限問題等。鑒于BP學習算法的優(yōu)缺點，增強BP神經(jīng)網(wǎng)絡的性能和應用，目前主要有如下幾種改進方法。此外還有一些諸如增加遺忘因子、誤差曲面陡度因子的方法，以及將多種方法和相關數(shù)學原理相結(jié)合的方法（具體請參考相關文獻）。252增加動量項在前面提到學習率的變化會影響網(wǎng)絡的性能，為此在權(quán)值調(diào)整公式中增加一個動量項，達到微調(diào)權(quán)值修正量防止振蕩的效果。這樣通過動量法不僅考慮了誤差在梯度上的作用，而且考慮了誤差曲面上變化的方向。其中是動量因子，一般有（0，1）動量項反應了以前的調(diào)整經(jīng)驗，對下一時刻的調(diào)整起到一定阻尼作用。因此可以減小振蕩的趨勢，促使權(quán)值的調(diào)節(jié)向著誤差曲面的底部的平均方向變化，降低了網(wǎng)絡對誤差曲面在局部細節(jié)的敏感性，在一定程度上緩解局部極小問題，但是難以避免收斂緩慢問題。253彈性BP學習算法BP學習算法常用SIGMOID函數(shù)，即其特點是可以把無限的輸入映射到有限的輸出，如果函數(shù)的輸入很大或很小的時候，函數(shù)的斜率接近于零，這樣采用梯度下降法使用SIGMOID函數(shù)的網(wǎng)絡就帶來一個問題梯度幅度的不利影響，即盡管權(quán)值和闞值離其最佳值相差甚遠，但此時梯度的幅度非常小，導致權(quán)值和閾值的修正量也很小，使得訓練時間變得很長。所以在權(quán)值修正的111NWNYNNWIJIJIJXEXF11安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第24頁裝訂線時候僅僅用偏導的符號，而其幅值不影響權(quán)值的修正，即權(quán)值的修正取決于與幅值無關的修正值。當連續(xù)兩次迭代的梯度方向相同時，可將權(quán)值和閾值的修正值乘以一個增量因子。使其修正值增加；當連續(xù)兩次迭代的梯度方向相反時，可將權(quán)值和閾值的修正值乘以一個減量因子，使其修正值減?。划斕荻葹榱銜r，權(quán)值和閾值的修正值保持不變；當權(quán)值的修正發(fā)生振蕩時，其修正值將會減小。如果權(quán)值在相同的梯度上連續(xù)被修正，則其幅度必將增加，從而克服了梯度幅度的不利影響，即（當連續(xù)兩次迭代的梯度方向相同時）（當連續(xù)兩次迭代的梯度方向相反時）（當局向梯度GN為零時）其中NX是第N次迭代的權(quán)值或閾值的幅度修正值，INCK為增量因子，DECK為減量因子，SIGNGN代表局向梯度GN的符號函數(shù)。254自適應學習速率法在BP學習算法中，網(wǎng)絡權(quán)值調(diào)整取決于學習率和局向梯度，首先要說明的是學習率是隨時間改變的，只是在上面的反向傳播算法推導過程采用的是不變的值。在自適應的學習速率法中學習率的調(diào)整規(guī)則有很多種辦法，目的是為了把學習率在整個訓練過程得到合理的調(diào)節(jié)。第一種方法是將動量因子和學習率同時調(diào)整，其中動量因子的調(diào)整倍率要大些?；舅枷氘斍罢`差與前一次誤差比較，如果誤差出現(xiàn)反彈或持平，說明學習率過大，那么將學習率降到原來的60，然后再按5的速度遞增；如果誤差持續(xù)下降，學習率繼續(xù)遞增；當誤差再出現(xiàn)反彈或持平時，再將學習率下調(diào)40；這樣反復跳躍以刺激收斂速度，同時這種跳躍還可以避免尋優(yōu)搜索陷入局部極小值。（誤差反彈或持平）（誤差持續(xù)下降）第二種方法是設一個初始學習率，若在一批權(quán)值調(diào)整后總誤差升高，則本次的調(diào)整無效，并且令11NN；若總誤差下降，則本次調(diào)整有效，并且令11NN。通過學習率的自適應調(diào)整，使學習過程中從誤差曲面中找到合適的學習率，在平坦區(qū)域加速，在凹處減速，避免出現(xiàn)振蕩導致的迭代次數(shù)增加，加快收斂速度。如果將增加動量法和自適應學習速率法結(jié)合起來，既可抑制網(wǎng)絡陷入局部極小，又加快學習。但都是基于梯度下降法，它們只利用了目標函數(shù)對網(wǎng)絡權(quán)值和閾值的一階導數(shù)信息。因此，對于復雜問題還存在收斂速度緩慢的問題。1NXKNGSIGNNXKNGSIGNNXNXDECINC11105116011NENENENENNNNNWNYNNWNWNWNWIJIJIJIJIJIJ安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第25頁裝訂線255共軛梯度法在基本的BP學習算法中，相鄰迭代的搜索方向是正交的，當接近極值時會發(fā)生振蕩。共軛梯度法是利用正交性構(gòu)成的共軛搜索方向，使得在最速下降方向（誤差曲面中對權(quán)值向量調(diào)整是在最速下降的方向，與梯度向量方向相反）通過把過去的梯度和現(xiàn)在某點的梯度信息線性組合起來（前一點的梯度乘以適當系數(shù)加到該點的梯度）構(gòu)造更好的搜索的方向，搜索目標函數(shù)極值，沿共軛方向達到全局最優(yōu)，為此這種無約束最優(yōu)化方法能有效提高算法性能。為了確保搜索方向的共軛性，初始搜索方向取負梯度方向，當由于誤差積累使得搜索方向變得非下降時，可以以負梯度方向重新開始搜索。BP算法改進如下其中N為共軛因子，NDIR為共軛方向（設W是NN的正定矩陣，如果存在兩個方向DIR1和DIR2使得DIR1WDIR20，則這兩個方向關于W共軛），NG為當前梯度，N為迭代次數(shù)。最后一個式子是基于共軛方向的權(quán)值修正。上述式子在初始時如此迭代而已。在試驗中得知在高維函數(shù)或向量的訓練將會達到更好的效果。請參考323仿真結(jié)果比較與分析。256LEVENBERGMARQUARDT算法LM算法（也稱阻尼最小二乘法）較上面基于梯度下降法的算法要快的多，但需要更多的內(nèi)存存儲雅可比（JACOBIAN）矩陣，對于中等規(guī)模的網(wǎng)絡是一種很好的選擇，對于大型網(wǎng)絡可以將雅可比矩陣分為多個小矩陣的方法，減少了內(nèi)存卻增加了學習時間。權(quán)值調(diào)整量為其中JE為誤差向量，J為網(wǎng)絡誤差對權(quán)值偏導的雅可比矩陣，I是單位矩陣，為阻尼因子（是自適應調(diào)整的，使得該方法在GAUSSNEWTON法（0時）和梯度下降法（時）之間光滑變化），N為學習步長。1111NWNNGNNWNWNNGNDIRNGNGNGNGNIJIJIJTTDIRNG0DIRN1圖29共軛梯度向量示意圖11120111101WIJGDIRGDIRWGDIRIJ1NENJINNJNJNWJTTIJ安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第26頁裝訂線分析LM算法根據(jù)迭代的結(jié)果動態(tài)地調(diào)整阻尼因子,即動態(tài)地調(diào)整迭代的收斂方向,可使每次的迭代誤差函數(shù)值都有所下降。它是GAUSSNEWTON法和梯度下降法的結(jié)合,收斂速度較快。但LM算法在計算過程中有雅可比矩陣會產(chǎn)生大量的中間結(jié)果,因此,需要較大的內(nèi)存空間。在MATLAB神經(jīng)網(wǎng)絡工具箱中，該算法被作為默認的訓練函數(shù)。在上面的分析可以得出，該算法的基本思想是使其每次迭代不再沿著單一的負梯度方向，而是允許誤差沿著惡化的方向進行搜索，同時通過在和GAUSSNEWTON法和梯度下降法之間自適應來優(yōu)化網(wǎng)絡權(quán)值，使網(wǎng)絡能夠有效的收斂，大大提高了網(wǎng)絡的收斂速度和泛化能力。具體迭代步驟如下1將所有輸入送到網(wǎng)絡并計算出網(wǎng)絡輸出，用誤差函數(shù)計算出所有的誤差平方和2計算出誤差對權(quán)值偏導的雅可比矩陣34用WW重復計算誤差平方和（如果新的和小于中計算的和，則用除以（1），并有WW轉(zhuǎn)；否則用乘以，轉(zhuǎn)；當誤差平方和減小到某一目標誤差時，算法即被認為收斂）注從252至256參考大量學術論文及文獻，由于參考的文獻眾多，在這里就不一一指明，但大都附在論文后面的參考文獻中，在此對參考文獻的作者表示感謝和歉意。MMMWNEWNEWNEWEWEWEWEWEWEMNJ222111212121NIIELME12211NENJINNJNJNWJTTIJ安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第27頁裝訂線3BP神經(jīng)網(wǎng)絡仿真31仿真平臺MATLAB311MATLAB簡介MATLAB是MATRITLABORATORY的英文縮寫，中文意思是矩陣實驗室，是美國MATHWORKS公司出品的商業(yè)數(shù)學軟件，它的內(nèi)核是采用C語言編寫，是一種以矩陣為基本數(shù)據(jù)元素，面向科學計算與工程計算的可視化軟件。MATLAB可以進行矩陣運算、繪制函數(shù)和數(shù)據(jù)、實現(xiàn)算法、創(chuàng)建用戶界面、連接其他編程語言的程序等，主要應用于工程計算、控制設計、信號處理與通訊、圖像處理、魯棒控制、信號檢測、金融建模設計與分析等領域。在新的版本中也加入了對C，F(xiàn)ORTRAN，C，JAVA的支持?？梢灾苯诱{(diào)用,用戶也可以將自己編寫的實用程序?qū)氲組ATLAB函數(shù)庫中方便自己以后調(diào)用，此外許多的MATLAB愛好者都編寫了一些經(jīng)典的程序，用戶可以直接進行下載就可以用。312仿真平臺的構(gòu)建和策略由于MATLAB的諸多優(yōu)點，BP神經(jīng)網(wǎng)絡的仿真采用MATLAB數(shù)學軟件，安裝在單機WINDOWSXP系統(tǒng)中，所使用的MATLAB版本為R2007B。應用MATLAB中神經(jīng)網(wǎng)絡工具箱函數(shù)使用MATLAB自身語言進行編程。仿真的具體步驟為確定信息的表達方式將實際問題抽象成神經(jīng)網(wǎng)絡所能接受的數(shù)據(jù)形式；確定網(wǎng)絡結(jié)構(gòu)模型，本仿真將選取輸入層，一個隱含層和輸出層的BP網(wǎng)絡模型；選擇網(wǎng)絡參數(shù)如神經(jīng)元數(shù)，隱含層數(shù)等；確定訓練模式，選擇訓練算法，確定訓練步數(shù)，指定訓練目標誤差等；網(wǎng)絡測試選擇合適的樣本進行網(wǎng)絡測試。本仿真需要使用到的訓練算法并進行比較的MATLAB神經(jīng)網(wǎng)絡工具箱函數(shù)為增加動量法TRAINGDM、彈性BP算法（TRAINRP），自適應學習速率法TRAINGDA，注意TRAINGDX是動量及自適應學習速率法，本仿真實驗將使用TRAINGDX、共軛梯度法TRAINCGF以及LEVENBERGMARQUARDT算法（TRAINLM）。其中LEVENBERGMARQUARDT算法（TRAINLM）是MATLAB中BP算法的默認訓練函數(shù)。此外，在后續(xù)的實驗中，通過調(diào)整隱含層數(shù)及其神經(jīng)元個數(shù)、調(diào)整學習率大小、調(diào)整初始權(quán)值、選擇不同的激活函數(shù)、修改學習步長和目標誤差等觀察對仿真曲線的影響程度，記錄相關數(shù)據(jù)，得出相關結(jié)論。所采用的數(shù)據(jù)和編程來自或參考于參考文獻2，該網(wǎng)絡的輸入層和輸出層的神經(jīng)元個數(shù)均為1，隱含層設計可以根據(jù)下面的經(jīng)驗，這里采用的是設計一個隱含層神經(jīng)元數(shù)目可變的BP神經(jīng)網(wǎng)絡，通過誤差對比，確定最佳的隱含層神經(jīng)元個數(shù)，并檢驗隱含層神經(jīng)元個數(shù)對網(wǎng)絡性能的影響。下面有三個參考公式（來自參考文獻2）可以參考確定隱含層神經(jīng)元個數(shù)安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第28頁裝訂線，其中，K為樣本數(shù)，N1為隱含層神經(jīng)元個數(shù)，N為輸入單元數(shù)；如果IN1則；AMNN1,其中M為輸出神經(jīng)元數(shù)，N為輸入單元數(shù)，A為1,10之間常數(shù)。NN21LOG，其中N為輸入單元數(shù)。32仿真實驗321BP神經(jīng)網(wǎng)絡MATLAB設計由于在隱含層的神經(jīng)元個數(shù)可以隨意調(diào)整的前提下，單隱含層的BP神經(jīng)網(wǎng)絡可以逼近任意的非線性映射。輸入層和輸出層神經(jīng)元個數(shù)為1，只有一個隱含層，其個數(shù)根據(jù)上述的設計經(jīng)驗公式和本例的實際情況，選取916之間。下面的隱含層神經(jīng)元個數(shù)可變的BP神經(jīng)網(wǎng)絡，通過誤差和訓練步數(shù)對比確定隱含層個數(shù)，并檢驗隱含層神經(jīng)元個數(shù)對網(wǎng)絡性能的影響。下面是相關MATLAB程序段選取輸入變量X取值范圍X40014輸入目標函數(shù)Y1SIN1/2PIXSINPIX隱含層的神經(jīng)元數(shù)目范圍S916歐氏距離RES18選取不同的隱含層神經(jīng)元個數(shù)，進行網(wǎng)絡測試FORI18建立前向型BP神經(jīng)網(wǎng)絡，輸入層和隱含層激勵函數(shù)為TANSIG，輸出層為PURELIN訓練函數(shù)為TRAINLM，也是默認函數(shù)NETNEWFFMINMAXX,1,SI,1,TANSIG,TANSIG,PURELIN,TRAINLM訓練步數(shù)最大為2000NETTRAINPARAMEPOCHS2000設定目標誤差為000001NETTRAINPARAMGOAL000001進行函數(shù)訓練NETTRAINNET,X,Y1對訓練后的神經(jīng)網(wǎng)絡進行仿真Y2SIMNET,X求歐式距離，判定隱含層神經(jīng)元個數(shù)及網(wǎng)絡性能ERRY2Y1NIINKC0101INC安徽工業(yè)大學管理科學與工程學院基于MATLAB神經(jīng)網(wǎng)絡仿真共45頁第29頁裝訂線RESINORMERREND用該同一程序在三個不同時刻，運行結(jié)果及分析如下表31隱含層不同神經(jīng)元個數(shù)網(wǎng)絡訓練誤差及學習步長某時刻一神經(jīng)元個數(shù)910111213141516網(wǎng)絡誤差0143231806486240088000867008840085900841學習步長2000200020002756402416625某時刻二神經(jīng)元個數(shù)910111213141516網(wǎng)絡誤差0089501068008950101600894008890088148423學習步長1156200011462000287102792000某時刻三神經(jīng)元個數(shù)910111213141516網(wǎng)絡誤差0089500867008781073400895008900089500886學習步長4496660200015125674253由此可見，選擇隱含層神經(jīng)元數(shù)目為15是最佳選擇，不僅誤差小、學習步長短，而且性能穩(wěn)定。也可以看出并非隱含層神經(jīng)元的數(shù)目越多，網(wǎng)絡的性能就越好。322各種BP學習算法MATLAB仿真根據(jù)上面一節(jié)對BP神經(jīng)網(wǎng)絡的MATLAB設計，可以得出下面的通用的MATLAB程序段，由于各種BP學習算法采用了不同的學習函數(shù)，所以只需要更改學習函數(shù)即可。MATLAB程序段如下X40014Y1SIN1/2PIXSINPIXTRAINLM函數(shù)可以選擇替換NETNEWFFMINMAXX,1,15,1,TANSIG,TANSIG,PURELIN,TRAINLMNETTRAINPARAMEPOCHS2000NETTRAINPARAMGOAL000001NETTRAINNET,X,Y1Y2SIMN