《神經(jīng)網(wǎng)絡(luò)實用教程》

學(xué)習(xí)資料與課程內(nèi)容神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第1頁2023/4/252教材書名：《神經(jīng)網(wǎng)絡(luò)實用教程》出版社：機械工業(yè)出版社出版日期：年2月作者：張良均曹晶蔣世忠神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第2頁2023/4/253神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第3頁2023/4/254課件、試驗及學(xué)習(xí)支持網(wǎng)站1、智能中國網(wǎng)：

2、神經(jīng)網(wǎng)絡(luò)在線：

/神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第4頁2023/4/255課程目標(biāo)和基本要求熟悉人工神經(jīng)網(wǎng)絡(luò)基本理論，應(yīng)用人工神經(jīng)網(wǎng)絡(luò)處理實際應(yīng)用中問題。介紹人工神經(jīng)網(wǎng)絡(luò)及其基本網(wǎng)絡(luò)模型了解人工神經(jīng)網(wǎng)絡(luò)相關(guān)研究思想，從中學(xué)習(xí)先行者們問題求解方法。經(jīng)過仿真試驗深入體會相關(guān)模型使用方法和性能，能將其應(yīng)用到讀者各自領(lǐng)域。掌握混合編程方法，能應(yīng)用此方法編寫實際問題處理方案。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第5頁第1章人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第6頁2023/4/257第1章人工神經(jīng)網(wǎng)絡(luò)1.1神經(jīng)網(wǎng)絡(luò)基本概念1.2神經(jīng)網(wǎng)絡(luò)特點及應(yīng)用神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第7頁2023/4/258

1.1.1生物神經(jīng)元結(jié)構(gòu)與功效特點

生物神經(jīng)元在結(jié)構(gòu)上由四部分組成:細胞體(Cellbody)樹突(Dendrite)軸突(Axon)突觸(Synapse)

用來完成神經(jīng)元間信息接收、傳遞和處理。人類大腦皮層約有100億個神經(jīng)元，60億個神經(jīng)突觸以及它們連接體神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第8頁2023/4/259神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第9頁2023/4/25101.1.1生物神經(jīng)元結(jié)構(gòu)與功效特點人腦與計算機信息處理比較：記憶與聯(lián)想能力學(xué)習(xí)與認知能力信息加工能力信息綜合能力信息處理速度

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第10頁2023/4/25111.1.2人工神經(jīng)元模型人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)操作基本信息處理單位,是神經(jīng)網(wǎng)絡(luò)設(shè)計基礎(chǔ)。人工神經(jīng)元模型能夠看成是由三種基本元素組成：(1)一組連接連接強度由各連接上權(quán)值表示，權(quán)值能夠取正值也能夠取負值，權(quán)值為正表示激活，權(quán)值為負表示抑制。(2)一個加法器用于求輸入信號對神經(jīng)元對應(yīng)突觸加權(quán)之和。(3)一個激活函數(shù)用來限制神經(jīng)元輸出振幅。激活函數(shù)也稱為壓制函數(shù)，因為它將輸入信號壓制(限制)到允許范圍之內(nèi)一定值。另外，能夠給一個神經(jīng)元模型加一個外部偏置，其作用是增加或降低激活函數(shù)網(wǎng)絡(luò)輸入。

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第11頁2023/4/25121.1.2人工神經(jīng)元模型神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第12頁2023/4/25131.1.2人工神經(jīng)元模型一個神經(jīng)元能夠用以下公式表示：神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第13頁2023/4/25141.1.2人工神經(jīng)元模型激活函數(shù)主要三種形式：階梯函數(shù)分段線性函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第14頁2023/4/25151.1.2人工神經(jīng)元模型非線性函數(shù)單極S型函數(shù)雙極S型函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第15頁2023/4/25161.1.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及工作方式人工神經(jīng)網(wǎng)絡(luò)是一個由許多簡單并行工作處理單元組成系統(tǒng)，其功效取決于網(wǎng)絡(luò)結(jié)構(gòu)、連接強度以及各單元處理方式依據(jù)神經(jīng)元不一樣連接方式，可將神經(jīng)網(wǎng)絡(luò)分為兩大類：分層網(wǎng)絡(luò)相互連接型網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第16頁2023/4/25171.1.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及工作方式分層網(wǎng)絡(luò)單純前向網(wǎng)絡(luò)含有反饋前向網(wǎng)絡(luò)層內(nèi)互聯(lián)前向網(wǎng)絡(luò)相互連接型網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第17頁2023/4/25181.1.3神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及工作方式神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第18頁2023/4/25191.1.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)方式有導(dǎo)師學(xué)習(xí)（有監(jiān)督學(xué)習(xí)）無導(dǎo)師學(xué)習(xí)（無監(jiān)督學(xué)習(xí)）再勵學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第19頁2023/4/25201.1.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)算法：學(xué)習(xí)算法是指針對學(xué)習(xí)問題明確規(guī)則，不一樣學(xué)習(xí)算法對神經(jīng)元權(quán)值調(diào)整表示式是不一樣。算法分類Hebb學(xué)習(xí)算法學(xué)習(xí)算法隨機學(xué)習(xí)算法競爭學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第20頁2023/4/25211.1.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)Hebb學(xué)習(xí)算法由DonaldO.Hebb提出。假如兩個神經(jīng)元同時興奮，則它們之間突觸連接加強。假如神經(jīng)元是神經(jīng)元上層結(jié)點，用分別表示兩神經(jīng)元激活值(輸出)，表示兩個神經(jīng)元之間連接權(quán)，則Hebb學(xué)習(xí)規(guī)則能夠表示為:

式中表示學(xué)習(xí)速率Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)基本規(guī)則，幾乎全部神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則都能夠看作Hebb學(xué)習(xí)規(guī)則變形神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第21頁2023/4/25221.1.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

學(xué)習(xí)算法誤差校正學(xué)習(xí)算法是依據(jù)神經(jīng)網(wǎng)絡(luò)輸出誤差對神經(jīng)元連接強度進行修正，屬于有導(dǎo)師學(xué)習(xí)權(quán)值調(diào)整公式：調(diào)整目標(biāo)是使下述公式所表示誤差為最小神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第22頁2023/4/25231.1.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)隨機學(xué)習(xí)算法誤差學(xué)習(xí)算法通常采取梯度下降法，所以存在局部最小問題，隨機學(xué)習(xí)算法經(jīng)過引入不穩(wěn)定因子來處理這種情況。經(jīng)典隨機學(xué)習(xí)算法模擬退化算法遺傳算法。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第23頁2023/4/25241.1.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)競爭學(xué)習(xí)算法競爭學(xué)習(xí)屬于無導(dǎo)師算法神經(jīng)元經(jīng)過相互競爭來做出不一樣響應(yīng)競爭獲勝神經(jīng)元按規(guī)則修正權(quán)值經(jīng)典競爭學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)(Self-OrganizationMap，SOM)自適應(yīng)共振網(wǎng)絡(luò)(AdaptiveResonaceTheory，ART)

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第24頁2023/4/25251.2神經(jīng)網(wǎng)絡(luò)特點及其應(yīng)用神經(jīng)網(wǎng)絡(luò)特點并行分布式處理非線性處理含有自學(xué)習(xí)功效神經(jīng)網(wǎng)絡(luò)可采取硬件實現(xiàn)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第25頁2023/4/25261.2神經(jīng)網(wǎng)絡(luò)特點及其應(yīng)用神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域語音識別語音識別娃娃圖像識別與了解人臉檢測神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第26頁2023/4/25271.2神經(jīng)網(wǎng)絡(luò)特點及其應(yīng)用神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域機器人智能故障檢測醫(yī)學(xué)應(yīng)用醫(yī)學(xué)圖像處理神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第27頁2023/4/2528神經(jīng)網(wǎng)絡(luò)應(yīng)用領(lǐng)域國防軍事應(yīng)用航天器姿態(tài)控制導(dǎo)彈智能引導(dǎo)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第28頁2023/4/2529小結(jié)生物神經(jīng)網(wǎng)絡(luò)組成人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及工作方式人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法人工神經(jīng)網(wǎng)絡(luò)特點人工神經(jīng)網(wǎng)絡(luò)應(yīng)用神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第29頁2.1MATLAB快速入門神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第30頁2023/4/25312.1MATLAB快速入門2.1.1MATLAB界面組成2.1.2MATLAB基本運算2.1.3MATLAB繪圖函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第31頁2023/4/25322.1.1MATLAB界面組成工作空間瀏覽器窗命令行窗口命令歷史窗口當(dāng)前目錄窗口神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第32頁2023/4/25332.1.1MATLAB界面組成MATLAB界面組成命令行窗口命令歷史窗口工作空間瀏覽器窗口當(dāng)前目錄窗口編輯調(diào)試窗口神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第33頁2023/4/25342.1.1MATLAB界面組成在MATLAB主窗口中，點擊“Start”“DesktopTools”“Editor”即可打開編輯調(diào)試窗口。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第34頁2023/4/25352.1.2MATLAB基本運算基本運算>>(5*2+1.3-0.8)*10/25ans=4.>>x=(5*2+1.3-0.8)*10^2/25x= 42

變量命名規(guī)則第一個字母必須是英文字母；字母間不可留空格；最多只能有19個字母，MATLAB會忽略多出字母。

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第35頁2023/4/25362.1.2MATLAB基本運算基本運算若不想讓MATLAB每次都顯示運算結(jié)果，只需在運算式最終加上“;”即可MATLAB可同時執(zhí)行數(shù)個命令，只要以逗號或分號將命令隔開：

>>x=sin(pi/3);y=x^2;z=y*10,z= 7.5000若一個數(shù)學(xué)運算式太長，可用三個句點將其延伸到下一行：>>z=10*sin(pi/3)*...>>sin(pi/3);神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第36頁2023/4/25372.1.2MATLAB基本運算MATLAB查詢命令鍵入helpinv即可得知相關(guān)inv命令使用方法向量與矩陣表示及運算向量表示方法與運算

>>x=[1352];%表示一個行向量

>>y=2*x+1y= 37115

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第37頁2023/4/25382.1.2MATLAB基本運算向量與矩陣表示及運算更改、增加或刪除向量中元素>>y(3)=2%更改第三個元素y=%更改第三個元素后結(jié)果

3725>>y(6)=10 %加入第六個元素y=%加入第六個元素后結(jié)果

3725010>>y(4)=[]%刪除第四個元素y=%刪除第四個元素后結(jié)果

372010

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第38頁2023/4/25392.1.2MATLAB基本運算向量與矩陣表示及運算向量一個元素或一部分向量運算

>>x(2)*3+y(4)%取出x第二個元素和y第四個元素來做運算

ans= 9 >>y(2:4)-1%用y第二至第四個元素分別做減1運算，2:4代表向量中 第2、3、4號元素

ans= 61-1轉(zhuǎn)置>>z=x'z= 1352

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第39頁2023/4/25402.1.2MATLAB基本運算矩陣表示方法和各種處理方式表示 在命令窗口中輸入

A=[1234;5678;9101112]

結(jié)果為：

A=123456789101112

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第40頁2023/4/25412.1.2MATLAB基本運算矩陣表示方法和各種處理方式運算>>A(2,3)=5%將矩陣第二行，第三列元素值置為5A=%置值后矩陣

1234 5658 9101112>>B=A(2,1:3)%取出矩陣A中第二行第一個到第三個元素，組成 矩陣BB= 565>>A=[AB']%將B轉(zhuǎn)置后，再以列向量并入AA= 12345 56586 91011125神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第41頁2023/4/25422.1.2MATLAB基本運算矩陣表示方法和各種處理方式運算>>A(:,2)=[]%刪除第二列，符號＂：＂代表全部列A= 1345 5586 911125>>A=[A;4321]%加入第四行A= 1345 5586 911125 4321>>A([14],:)=[]%刪除第一和第四行，符號＂:＂代表全部行A= 5586 911125神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第42頁2023/4/25432.1.3MATLAB繪圖函數(shù)二維繪圖函數(shù)plotplot(x)當(dāng)x為向量時，則以x元素為縱坐標(biāo)，以對應(yīng)元素下標(biāo)作為橫坐標(biāo)來繪圖。當(dāng)x為實數(shù)矩陣時，則按列繪制每列元素值相對其下標(biāo)連線圖，圖中曲線x陣列數(shù)。plot(x,y)假如x、y為同維向量，則繪制以x、y為橫縱坐標(biāo)連線圖。假如x是向量，y是一個與x同維矩陣，則繪制多條不一樣色彩連線圖，連線條數(shù)等于y陣另一維數(shù)。假如x和y是同維矩陣，則以x、y對應(yīng)元素為橫縱坐標(biāo)分別繪制曲線，曲線條數(shù)等于矩陣行數(shù)。plot(x,y,s)s表示線條顏色和類型，如s=’r+’，表示各點是由紅色+號繪制，假如沒有尤其說明，默認類型為藍色線條。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第43頁2023/4/25442.1.3MATLAB繪圖函數(shù)二維繪圖函數(shù)plotholdon設(shè)置在同一張圖上繪制多條曲線holdoff取消在同一張圖上繪制多條曲線設(shè)置Figure下次圖和已經(jīng)繪制圖將不在同一張圖上神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第44頁2023/4/25452.1.3MATLAB繪圖函數(shù)繪圖函數(shù)使用示例>>%橫坐標(biāo)改變范圍為[-66]，每間隔0.1個單位繪制一次x=-6:0.1:6;y1=cos(x);y2=cos(2*x);y3=cos(3*x);%以x、y為橫縱坐標(biāo)繪圖plot(x,y1);%保留繪圖句柄，使下一次圖和已經(jīng)繪制圖在同一張圖上holdonplot(x,y2,'r+');%關(guān)閉繪圖句柄下次圖和已經(jīng)繪制圖將不在現(xiàn)一張圖上holdoff%打開一張新繪圖面figure%以x、y為橫縱坐標(biāo)，以藍色＂*＂繪圖plot(x,y3,'b*');神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第45頁2023/4/25462.1.3MATLAB繪圖函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第46頁2023/4/25472.1.3MATLAB繪圖函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第47頁2023/4/2548小結(jié)MATLAB快速入門MATLAB界面組成MATLAB基本運算MATLAB繪圖函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第48頁2.2感知器神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第49頁2023/4/252.2.1單層感知器概述由美國學(xué)者Rosenblatt在1957年首次提出學(xué)習(xí)算法是Rosenblatt在1958年提出包含一個突觸權(quán)值可調(diào)神經(jīng)元屬于前向神經(jīng)網(wǎng)絡(luò)類型只能區(qū)分線性可分模式IEEE設(shè)置以其名字命名獎項神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第50頁2023/4/252.2.1單層感知器單層感知器模型神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第51頁2023/4/252.2.1單層感知器單層感知器工作原理

單層感知器可將外部輸入分為兩類和。當(dāng)感知器輸出為+1時，輸入屬于類，當(dāng)感知器輸出為-1時，輸入屬于類，從而實現(xiàn)兩類目標(biāo)識別。在維空間，單層感知器進行模式識別判決超平面由下式?jīng)Q定：

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第52頁2023/4/252.2.1單層感知器單層感知器工作原理對于只有兩個輸入判別邊界是直線（以下式所表示）,選擇適當(dāng)學(xué)習(xí)算法可訓(xùn)練出滿意和，當(dāng)它用于兩類模式分類時，相當(dāng)于在高維樣本空間中，用一個超平面將兩類樣本分開。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第53頁2023/4/252.2.2單層感知器學(xué)習(xí)算法單層感知器學(xué)習(xí)算法思想基于迭代思想，通常是采取誤差校正學(xué)習(xí)規(guī)則學(xué)習(xí)算法。能夠?qū)⑵钭鳛樯窠?jīng)元突觸權(quán)值向量第一個分量加到權(quán)值向量中輸入向量和權(quán)值向量可分別寫成以下形式：令上式等于零，可得到在維空間單層感知器判別超平面。

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第54頁2023/4/252.2.2單層感知器學(xué)習(xí)算法單層感知器學(xué)習(xí)算法第一步,設(shè)置變量和參量。為激活函數(shù),為網(wǎng)絡(luò)實際輸出，為期望輸出，為學(xué)習(xí)速率，為迭代次數(shù)，為實際輸出與期望輸出誤差。第二步,初始化給權(quán)值向量各個分量賦一個較小隨機非零值，置第三步,輸入一組樣本，并給出 它期望輸出。第四步,計算實際輸出:第五步,求出期望輸出和實際輸出求出差依據(jù)誤差判斷當(dāng)前輸出是否滿足條件，普通為對全部樣本誤差為零或者均小于預(yù)設(shè)值，則算法結(jié)束，不然將值增加1，并用下式調(diào)整權(quán)值：然后轉(zhuǎn)到第三步，進入下一輪計算過程

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第55頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)MATLAB中單層感知器慣用工具函數(shù)名稱和基本功效函數(shù)名功能newp()生成一個感知器hardlim()硬限幅激活函數(shù)learnp()感知器學(xué)習(xí)函數(shù)train()神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)sim()神經(jīng)網(wǎng)絡(luò)仿真函數(shù)mae()平均絕對誤差性能函數(shù)plotpv()在坐標(biāo)圖上繪出樣本點plotpc()在已繪制圖上加分類線神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第56頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)newp()功效：創(chuàng)建一個感知器神經(jīng)網(wǎng)絡(luò)函數(shù)格式：net=newp(PR，S，TF，LF)說明：net為生成感知機神經(jīng)網(wǎng)絡(luò)；PR為一個R2矩陣，由R組輸入向量中最大值和最小值組成；S表示神經(jīng)元個數(shù)；TF表示感知器激活函數(shù)，缺省值為硬限幅激活函數(shù)hardlim；LF表示網(wǎng)絡(luò)學(xué)習(xí)函數(shù)，缺省值為learnphardlim()功效硬限幅激活函數(shù)格式A=hardlim(N)說明函數(shù)hardlim(N)在給定網(wǎng)絡(luò)輸入矢量矩陣N時，返回該層輸出矢量矩陣A。當(dāng)N中元素大于等于零時，返回值為l；不然為0。也就是說，假如網(wǎng)絡(luò)輸入到達閾值，則硬限幅傳輸函數(shù)輸出為1；不然，為0。learnp()功效感知機權(quán)值和閾值學(xué)習(xí)函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第57頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)train()功效神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)格式

[net，tr，Y，E，Pf，Af]=train(NET，P，T，Pi，Ai，VV，TV)說明

net為訓(xùn)練后網(wǎng)絡(luò)；tr為訓(xùn)練統(tǒng)計；Y為網(wǎng)絡(luò)輸出矢量；E為誤差矢量；Pf為訓(xùn)練終止時輸入延遲狀態(tài)；Af為訓(xùn)練終止時層延遲狀態(tài)；NET為訓(xùn)練前網(wǎng)絡(luò)；P為網(wǎng)絡(luò)輸入向量矩陣；T表示網(wǎng)絡(luò)目標(biāo)矩陣，缺省值為0；Pi表示初始輸入延時，缺省值為0；Ai表示初始層延時，缺省值為0；VV為驗證矢量（可省略）；TV為測試矢量（可省略）。網(wǎng)絡(luò)訓(xùn)練函數(shù)是一個通用學(xué)習(xí)函數(shù)，訓(xùn)練函數(shù)重復(fù)地把一組輸入向量應(yīng)用到一個網(wǎng)絡(luò)上，每次都更新網(wǎng)絡(luò)，直到抵達了某種準(zhǔn)則，停頓準(zhǔn)則可能是抵達最大學(xué)習(xí)步數(shù)、最小誤差梯度或誤差目標(biāo)等。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第58頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)sim()功效對網(wǎng)絡(luò)進行仿真格式(1)[Y，Pf，Af，E，perf]=sim(NET，P，Pi，Ai，T)(2)[Y，Pf，Af，E，perf]=sim(NET，{QTS}，Pi，Ai，T)(3)[Y，Pf，Af，E，perf]=sim(NET，Q，Pi，Ai，T)說明Y為網(wǎng)絡(luò)輸出；Pf表示最終輸入延時狀態(tài)；Af表示最終層延時狀態(tài)；E為實際輸出與目標(biāo)矢量之間誤差；perf為網(wǎng)絡(luò)性能值；NET為要測試網(wǎng)絡(luò)對象；P為網(wǎng)絡(luò)輸入向量矩陣；Pi為初始輸入延時狀態(tài)（可省略）；Ai為初始層延時狀態(tài)（可省略）；T為目標(biāo)矢量（可省略）。式(1)、(2)用于沒有輸入網(wǎng)絡(luò)，其中Q為批處理數(shù)據(jù)個數(shù)，TS為網(wǎng)絡(luò)仿真時間步數(shù)。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第59頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)mae()功效平均絕對誤差性能函數(shù)格式perf=mae(E，w，pp)說明perf表示平均絕對誤差和，E為誤差矩陣或向量(網(wǎng)絡(luò)目標(biāo)向量與輸出向量之差)，w為全部權(quán)值和偏值向量(可忽略)，pp為性能參數(shù)(可忽略)。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第60頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)plotpv()功效繪制樣本點函數(shù)格式(1)plotpv(P，T)(2)plotpv(P，T，V)說明P定義了n個2或3維樣本，是一個2n維或3n維矩陣；T表示各樣本點類別，是一個n維向量；V=[x_minx_maxy_miny_max]，為一設(shè)置繪圖坐標(biāo)值范圍向量。利用plotpv()函數(shù)可在坐標(biāo)圖中繪出給定樣本點及其類別，不一樣類別使用不一樣符號。假如T只含一元矢量，則目標(biāo)為0輸入矢量在坐標(biāo)圖中用符號＂o＂表示：目標(biāo)為1輸入矢量在坐標(biāo)圖中用符號＂+＂表示。假如T含二元矢量，則輸入矢量在坐標(biāo)圖中所采取符號分別以下：[00]用＂o＂表示；[01]用＂+＂表示：[10]用＂*＂表示；[11]用＂＂表示。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第61頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)plotpc()功效在存在圖上繪制出感知器分類線函數(shù)格式(1)plotpc(W，B)(2)plotpc(W，B，H)說明硬特征神經(jīng)元可將輸入空間用一條直線(假如神經(jīng)元有兩個輸入)，或用一個平面(假如神經(jīng)元有三個輸入)，或用一個超平面(假如神經(jīng)元有三個以上輸入)分成兩個區(qū)域。plotpc(w，b)對含權(quán)矩陣w和偏差矢量b硬特征神經(jīng)元兩個或三個輸入畫一個分類線。這一函數(shù)返回分類線句柄方便以后調(diào)用。plotpc(W，B，H)包含從前一次調(diào)用中返回句柄。它在畫新分類線之前，刪除舊線。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第62頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)使用MATLAB實現(xiàn)神經(jīng)網(wǎng)絡(luò)步驟以下：第一步依據(jù)應(yīng)用創(chuàng)建一個神經(jīng)網(wǎng)絡(luò)；第二步設(shè)定神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)，利用給定樣本對創(chuàng)建神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練；第三步輸入測試數(shù)據(jù)，測試訓(xùn)練好神經(jīng)網(wǎng)絡(luò)性能。例2-1：見《神經(jīng)網(wǎng)絡(luò)實用教程》第22頁神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第63頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)P=[-0.4-0.50.6;0.900.1];%給定訓(xùn)練樣本數(shù)據(jù)T=[110];%給定樣本數(shù)據(jù)所對應(yīng)類別，用1和0來表示兩種類別%創(chuàng)建一個有兩個輸入、樣本數(shù)據(jù)取值范圍都在[-1，1]之間，而且%網(wǎng)絡(luò)只有一個神經(jīng)元感知器神經(jīng)網(wǎng)絡(luò)net=newp([-11;-11],1); net.trainParam.epochs=20;%設(shè)置網(wǎng)絡(luò)最大訓(xùn)練次數(shù)為20次net=train(net,P,T);%使用訓(xùn)練函數(shù)對創(chuàng)建網(wǎng)絡(luò)進行訓(xùn)練Y=sim(net,P)%對訓(xùn)練后網(wǎng)絡(luò)進行仿真E1=mae(Y-T)%計算網(wǎng)絡(luò)平均絕對誤差，表示網(wǎng)絡(luò)錯誤分類Q=[0.60.9-0.1;-0.1-0.50.5];%檢測訓(xùn)練好神經(jīng)網(wǎng)絡(luò)性能Y1=sim(net,Q)%對網(wǎng)絡(luò)進行仿真，仿真輸出即為分類結(jié)果figure;%創(chuàng)建一個新繪圖窗口plotpv(Q,Y1);%在坐標(biāo)圖中繪制測試數(shù)據(jù)plotpc(net.iw{1},net.b{1})%在坐標(biāo)圖中繪制分類線神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第64頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)例2-1運行后在命令行窗口中得到結(jié)果以下：>>TRAINC,Epoch0/20%使用TRAINC作為神經(jīng)網(wǎng)絡(luò)訓(xùn)練函數(shù)，第0次訓(xùn)練，最%大訓(xùn)練次數(shù)為20TRAINC,Epoch3/20%到達目標(biāo)誤差要求，結(jié)束訓(xùn)練TRAINC,Performancegoalmet.Y=110E1=0Y1=001神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第65頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)例2-1訓(xùn)練誤差曲線神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第66頁2023/4/252.2.3單層感知器MATLAB實現(xiàn)例2-1訓(xùn)練后分類線神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第67頁2023/4/252.2.4多層感知機單層感知器缺點是只能處理線性可分分類模式問題采取多層網(wǎng)絡(luò)結(jié)構(gòu)能夠增強網(wǎng)絡(luò)分類能力，即在輸入層與輸出層之間增加一個隱含層，從而組成多層感知器(MultilayerPerceprons，MLP)。由輸入層、隱含層(能夠是一層或者多層)和輸出層組成神經(jīng)網(wǎng)絡(luò)稱為多層前向神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第68頁2023/4/252.2.4多層感知機多層感知器拓撲結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第69頁2023/4/252.2.4多層感知機多層感知器特點含有一層或多層隱單元,從輸入模式中取得了更多有用信息，使網(wǎng)絡(luò)能夠完成更復(fù)雜任務(wù)。每個神經(jīng)元激活函數(shù)采取可微函數(shù)sigmoid函數(shù)多個突觸使得網(wǎng)絡(luò)更具連通性含有獨特學(xué)習(xí)算法BP算法神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第70頁2023/4/25小結(jié)單層感知器模型及工作原理單層感知器學(xué)習(xí)算法單層感知器MATLAB實現(xiàn)單層感知器應(yīng)用示例多層感知器概述神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第71頁2.3線性神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第72頁2.3.1線性神經(jīng)元網(wǎng)絡(luò)模型線性神經(jīng)元模型它與感知器主要不一樣之處于于其神經(jīng)元有一個線性激活函數(shù)，這允許輸出能夠是任意值，而不但僅只是像感知器中那樣只能取0或1。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第73頁2.3.1線性神經(jīng)元網(wǎng)絡(luò)模型線性神經(jīng)元激活函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第74頁2.3.1線性神經(jīng)元網(wǎng)絡(luò)模型線性神經(jīng)元網(wǎng)絡(luò)分類圖示雙輸入輸出以下式所表示神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第75頁2.3.1線性神經(jīng)元網(wǎng)絡(luò)模型線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第76頁2.3.2線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法Widrow-Hoff學(xué)習(xí)規(guī)則又稱為最小均方誤差LMS（LeastMeanSquareError）學(xué)習(xí)算法，由Widrow-Hoff提出，屬于有導(dǎo)師學(xué)習(xí)算法LMS學(xué)習(xí)規(guī)則定義以下:目標(biāo)是經(jīng)過調(diào)整權(quán)值，使mse從誤差空間某點開始，沿著mse斜面向下滑行,最終使mse到達最小值。BernardWidrow神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第77頁2.3.2線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法算法實現(xiàn)步驟第一步:初始化給各個連接賦一個較小隨機值第二步：輸入一個樣本，計算連接權(quán)值調(diào)整量神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第78頁2.3.2線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法其中表示第次循環(huán)中第個輸入向量。則有：第三步：調(diào)整連接權(quán)值依據(jù)負梯度下降標(biāo)準(zhǔn)，網(wǎng)絡(luò)權(quán)值和閾值修正公式以下式中為學(xué)習(xí)率,當(dāng)其取較大值時，能夠加緊網(wǎng)絡(luò)訓(xùn)練速度，不過假如其值太大，會造成網(wǎng)絡(luò)穩(wěn)定性降低和訓(xùn)練誤差增加。所以，為了確保網(wǎng)絡(luò)進行穩(wěn)定訓(xùn)練，學(xué)習(xí)率值必須選擇一個適當(dāng)值。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第79頁2.3.2線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法第四步：計算均方誤差第五步：判斷誤差是否為零或者是否到達預(yù)先設(shè)定要求。假如是，則結(jié)束算法，不然輸入下一個樣本，返回第二步進入下一輪求解過程神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第80頁2.3.3線性神經(jīng)網(wǎng)絡(luò)MATLAB實現(xiàn)

MATLAB中線性神經(jīng)網(wǎng)絡(luò)相關(guān)慣用函數(shù)和基本功效函數(shù)名功能newlin()新建一個線性層learnwh()Widrow-Hoff學(xué)習(xí)函數(shù)purelin()線性傳輸函數(shù)mse()最小均方誤差性能函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第81頁2.3.3線性神經(jīng)網(wǎng)絡(luò)MATLAB實現(xiàn)MATLAB中線性神經(jīng)網(wǎng)絡(luò)相關(guān)慣用函數(shù)和基本功效newlin()功效新建一個線性神經(jīng)網(wǎng)絡(luò)函數(shù)。格式

(1)net=newlin(2)net=newlin(PR，S，ID，LR)說明式(1)返回一個沒有定義結(jié)構(gòu)空對象，并顯示圖形用戶界面函數(shù)nntool幫助文字；式(2)中net為生成線性神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入向量中最大值和最小值組成矩陣[Pmin，Pmax]；S為輸出向量個數(shù)；ID為輸入延時向量（可省略）；LR為學(xué)習(xí)速率（可省略），默認值為0.01。

learnwh()功效線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)函數(shù)格式(1)[dW,LS]=learnwh(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)(2)[db,LS]=learnwh(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS)

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第82頁2.3.3線性神經(jīng)網(wǎng)絡(luò)MATLAB實現(xiàn)MATLAB中線性神經(jīng)網(wǎng)絡(luò)相關(guān)慣用函數(shù)和基本功效Purelin()功效純線性傳輸函數(shù)格式A=purelin(N)說明函數(shù)purelin(N)為返回網(wǎng)絡(luò)輸入向量N輸出矩陣a；神經(jīng)元最簡單傳輸函數(shù)是簡單地從神經(jīng)元輸入到輸出線性傳輸函數(shù)，輸出僅僅被神經(jīng)元所附加偏差所修正，newlin和newlind函數(shù)建立網(wǎng)絡(luò)都能夠用該函數(shù)做為傳遞函數(shù)。mse()功效均方誤差性能函數(shù)格式perf=mae(E，w，pp)說明perf表示均方誤差,E為誤差矩陣或向量(網(wǎng)絡(luò)目標(biāo)向量與輸出向量之差),w為全部權(quán)值和偏值向量(可忽略)，pp為性能參數(shù)(可忽略)。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第83頁2.3.3線性神經(jīng)網(wǎng)絡(luò)MATLAB實現(xiàn)例2-2要求設(shè)計一個線性神經(jīng)網(wǎng)絡(luò)，尋找給定數(shù)據(jù)之間線性關(guān)系。P=[1.1-1.3];T=[0.61];%創(chuàng)建一個只有一個輸出，輸入延時為0，學(xué)習(xí)速率為0.01線性神經(jīng)網(wǎng)絡(luò)，minmax(P)表示樣%本數(shù)據(jù)取值范圍net=newlin(minmax(P),1,0,0.01);%對創(chuàng)建線性神經(jīng)網(wǎng)絡(luò)進行初始化，設(shè)置權(quán)值和閾值初始值net=init(net);net.trainParam.epochs=500;%設(shè)置網(wǎng)絡(luò)訓(xùn)練后目標(biāo)誤差為0.0001net.trainParam.goal=0.0001;net=train(net,P,T);y=sim(net,P)%求解網(wǎng)絡(luò)均方誤差值E=mse(y-T)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第84頁2.3.3線性神經(jīng)網(wǎng)絡(luò)MATLAB實現(xiàn)例2-2輸出結(jié)果%使用TRAINB作為訓(xùn)練函數(shù)，最大訓(xùn)練次數(shù)為500，開始訓(xùn)練時均方誤差值為0.68，%目標(biāo)誤差為0.0001>>TRAINB,Epoch0/500,MSE0.68/0.0001.......TRAINB,Epoch200/500,MSE0.000193748/0.0001.TRAINB,Epoch217/500,MSE9.87777e-005/0.0001.%訓(xùn)練到217次時，到達目標(biāo)誤差要求，結(jié)束訓(xùn)練TRAINB,Performancegoalmet.y=0.58830.9922E=9.8778e-005神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第85頁2.3.3線性神經(jīng)網(wǎng)絡(luò)MATLAB實現(xiàn)例2-2訓(xùn)練誤差曲線神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第86頁2.3.3線性神經(jīng)網(wǎng)絡(luò)MATLAB實現(xiàn)原數(shù)據(jù)關(guān)系與線性神經(jīng)網(wǎng)絡(luò)迫近關(guān)系對比注：二者仍存在誤差，能夠經(jīng)過修改訓(xùn)練步數(shù)或精度來降低二者誤差神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第87頁小結(jié)線性神經(jīng)網(wǎng)絡(luò)模型線性神經(jīng)網(wǎng)絡(luò)激活函數(shù)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法線性神經(jīng)網(wǎng)絡(luò)MATLAB實現(xiàn)線性神經(jīng)網(wǎng)絡(luò)不足神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第88頁2.4BP神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第89頁概述Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)誤差反向后傳BP(BackPropagation)學(xué)習(xí)算法BP算法基本原理利用輸出后誤差來預(yù)計輸出層直接前導(dǎo)層誤差，再用這個誤差預(yù)計更前一層誤差，如此一層一層反傳下去，就取得了全部其它各層誤差預(yù)計。J.McClelland

DavidRumelhart

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第90頁2.4.1BP神經(jīng)網(wǎng)絡(luò)模型三層BP網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第91頁2.4.1BP神經(jīng)網(wǎng)絡(luò)模型激活函數(shù)必須處處可導(dǎo)普通都使用S型函數(shù)使用S型激活函數(shù)時BP網(wǎng)絡(luò)輸入與輸出關(guān)系輸入輸出神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第92頁2.4.1BP神經(jīng)網(wǎng)絡(luò)模型輸出導(dǎo)數(shù)依據(jù)S型激活函數(shù)圖形可知,對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，應(yīng)該將net值盡可能控制在收斂比較快范圍內(nèi)

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第93頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法學(xué)習(xí)過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本刺激下不停改變網(wǎng)絡(luò)連接權(quán)值,以使網(wǎng)絡(luò)輸出不停地靠近期望輸出。學(xué)習(xí)本質(zhì)：對各連接權(quán)值動態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元連接權(quán)改變所依據(jù)一定調(diào)整規(guī)則。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第94頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法-算法思想學(xué)習(xí)類型：有導(dǎo)師學(xué)習(xí)關(guān)鍵思想：將輸出誤差以某種形式經(jīng)過隱層向輸入層逐層反傳學(xué)習(xí)過程：信號正向傳輸誤差反向傳輸將誤差分攤給各層全部單元－－－各層單元誤差信號修正各單元權(quán)值神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第95頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法-學(xué)習(xí)過程正向傳輸：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉(zhuǎn)入反向傳輸階段：若輸出層實際輸出與期望輸出（教師信號）不符誤差反傳誤差以某種形式在各層表示－－－－修正各層單元權(quán)值網(wǎng)絡(luò)輸出誤差降低到可接收程度進行到預(yù)先設(shè)定學(xué)習(xí)次數(shù)為止神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第96頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法網(wǎng)絡(luò)結(jié)構(gòu)輸入層有n個神經(jīng)元，隱含層有p個神經(jīng)元,

輸出層有q個神經(jīng)元變量定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第97頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法輸入層與中間層連接權(quán)值:隱含層與輸出層連接權(quán)值:隱含層各神經(jīng)元閾值:輸出層各神經(jīng)元閾值:樣本數(shù)據(jù)個數(shù):激活函數(shù):誤差函數(shù)：神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第98頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法第一步，網(wǎng)絡(luò)初始化給各連接權(quán)值分別賦一個區(qū)間（-1，1）內(nèi)隨機數(shù)，設(shè)定誤差函數(shù)e，給定計算精度值和最大學(xué)習(xí)次數(shù)M。第二步,隨機選取第個輸入樣本及對應(yīng)期望輸出神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第99頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法第三步，計算隱含層各神經(jīng)元輸入和輸出神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第100頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法第四步，利用網(wǎng)絡(luò)期望輸出和實際輸出，計算誤差函數(shù)對輸出層各神經(jīng)元偏導(dǎo)數(shù)。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第101頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法第五步，利用隱含層到輸出層連接權(quán)值、輸出層和隱含層輸出計算誤差函數(shù)對隱含層各神經(jīng)元偏導(dǎo)數(shù)。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第102頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第103頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法第六步，利用輸出層各神經(jīng)元和隱含層各神經(jīng)元輸出來修正連接權(quán)值。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第104頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法第七步，利用隱含層各神經(jīng)元和輸入層各神經(jīng)元輸入修正連接權(quán)。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第105頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法第八步，計算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差到達預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定最大次數(shù)，則結(jié)束算法。不然，選取下一個學(xué)習(xí)樣本及對應(yīng)期望輸出，返回到第三步，進入下一輪學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第106頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直觀解釋情況一直觀表示當(dāng)誤差對權(quán)值偏導(dǎo)數(shù)大于零時，權(quán)值調(diào)整量為負，實際輸出大于期望輸出，權(quán)值向降低方向調(diào)整，使得實際輸出與期望輸出差降低。whoe>0，此時Δwho<0神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第107頁2.4.2BP網(wǎng)絡(luò)標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直解釋情況二直觀表示當(dāng)誤差對權(quán)值偏導(dǎo)數(shù)小于零時，權(quán)值調(diào)整量為正，實際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實際輸出與期望輸出差降低。e<0,此時Δwho>0who神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第108頁2.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)

MATLAB中BP神經(jīng)網(wǎng)絡(luò)主要函數(shù)和基本功效函數(shù)名功能newff()生成一個前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第109頁2.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)主要函數(shù)和基本功效newff()功效建立一個前向BP網(wǎng)絡(luò)格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說明net為創(chuàng)建新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍矩陣；[S1S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元個數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層傳輸函數(shù)，默認為‘tansig’；BTF表示網(wǎng)絡(luò)訓(xùn)練函數(shù)，默認為‘trainlm’；BLF表示網(wǎng)絡(luò)權(quán)值學(xué)習(xí)函數(shù)，默認為‘learngdm’；PF表示性能數(shù)，默認為‘mse’。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第110頁2.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)主要函數(shù)和基本功效tansig()功效正切sigmoid激活函數(shù)格式a=tansig(n)說明雙曲正切Sigmoid函數(shù)把神經(jīng)元輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導(dǎo)函數(shù)，適合用于BP訓(xùn)練神經(jīng)元。logsig()功效對數(shù)Sigmoid激活函數(shù)格式a=logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元輸入范圍從(-∞，+∞)映射到(0，1)。它是可導(dǎo)函數(shù)，適合用于BP訓(xùn)練神經(jīng)元。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第111頁2.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)例2-3，下表為某藥品銷售情況，現(xiàn)構(gòu)建一個以下三層BP神經(jīng)網(wǎng)絡(luò)對藥品銷售進行預(yù)測：輸入層有三個結(jié)點，隱含層結(jié)點數(shù)為5，隱含層激活函數(shù)為tansig；輸出層結(jié)點數(shù)為1個，輸出層激活函數(shù)為logsig，并利用此網(wǎng)絡(luò)對藥品銷售量進行預(yù)測，預(yù)測方法采取滾動預(yù)測方式，即用前三個月銷售量來預(yù)測第四個月銷售量，如用1、2、3月銷售量為輸入預(yù)測第4個月銷售量，用2、3、4月銷售量為輸入預(yù)測第5個月銷售量.如此重復(fù)直至滿足預(yù)測精度要求為止。月份123456銷量205623952600229816341600月份789101112銷量187314781900150020461556神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第112頁2.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)%以每三個月銷售量經(jīng)歸一化處理后作為輸入P=[0.5152 0.8173 1.0000;0.8173 1.0000 0.7308;1.0000 0.7308 0.1390;0.7308 0.1390 0.1087;0.1390 0.1087 0.3520;0.1087 0.3520 0.0000;]';%以第四個月銷售量歸一化處理后作為目標(biāo)向量T=[0.73080.13900.10870.35200.00000.3761];%創(chuàng)建一個BP神經(jīng)網(wǎng)絡(luò)，每一個輸入向量取值范圍為[0,1]，隱含層有5個神經(jīng)%元，輸出層有一個神經(jīng)元，隱含層激活函數(shù)為tansig，輸出層激活函數(shù)為%logsig，訓(xùn)練函數(shù)為梯度下降函數(shù)，即2.3.2節(jié)中所描述標(biāo)準(zhǔn)學(xué)習(xí)算法net=newff([01;01;01],[5,1],{'tansig','logsig'},'traingd');net.trainParam.epochs=15000;net.trainParam.goal=0.01;%設(shè)置學(xué)習(xí)速率為0.1LP.lr=0.1;net=train(net,P,T);神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第113頁2.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)BP網(wǎng)絡(luò)應(yīng)用于藥品預(yù)測對比圖由對比圖能夠看出預(yù)測效果與實際存在一定誤差，此誤差能夠經(jīng)過增加運行步數(shù)和提升預(yù)設(shè)誤差精度業(yè)深入縮小神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第114頁BP神經(jīng)網(wǎng)絡(luò)特點非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系數(shù)學(xué)方程。只要能提供足夠多樣本模式對供網(wǎng)絡(luò)進行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間非線性映射。泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大誤差甚至個別錯誤對網(wǎng)絡(luò)輸入輸出規(guī)律影響很小。

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第115頁小結(jié)BP算法背景BP神經(jīng)網(wǎng)絡(luò)模型BP算法基本思想推導(dǎo)過程實現(xiàn)BP神經(jīng)網(wǎng)絡(luò)MATLAB函數(shù)BP神經(jīng)網(wǎng)絡(luò)應(yīng)用實例BP神經(jīng)網(wǎng)絡(luò)與感知器神經(jīng)網(wǎng)絡(luò)對比神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第116頁2.5徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第117頁概述

1985年，Powell提出了多變量插值徑向基函數(shù)(RadicalBasisFunction，RBF)方法1988年，Moody和Darken提出了一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即RBF神經(jīng)網(wǎng)絡(luò)RBF網(wǎng)絡(luò)是一個三層前向網(wǎng)絡(luò)RBF網(wǎng)絡(luò)基本思想用RBF作為隱單元“基”組成隱含層空間，將輸入矢量直接(即不需要經(jīng)過權(quán)連接)映射到隱空間當(dāng)RBF中心點確定后，映射關(guān)系也就確定隱含層空間到輸出空間映射是線性

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第118頁2.5.1RBF神經(jīng)網(wǎng)絡(luò)模型

徑向基神經(jīng)網(wǎng)絡(luò)神經(jīng)元結(jié)構(gòu)激活函數(shù)采取徑向基函數(shù)

以輸入和權(quán)值向量之間距離作為自變量神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第119頁2.5.1RBF神經(jīng)網(wǎng)絡(luò)模型徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第120頁2.5.1RBF神經(jīng)網(wǎng)絡(luò)模型RBF網(wǎng)絡(luò)與BP網(wǎng)絡(luò)比較：RBF網(wǎng)絡(luò)輸出是隱單元輸出線性加權(quán)和，學(xué)習(xí)速度加緊BP網(wǎng)絡(luò)使用sigmoid()函數(shù)作為激活函數(shù)，這么使得神經(jīng)元有很大輸入可見區(qū)域徑向基神經(jīng)網(wǎng)絡(luò)使用徑向基函數(shù)（普通使用高斯函數(shù)）作為激活函數(shù)，神經(jīng)元輸入空間區(qū)域很小，所以需要更多徑向基神經(jīng)元

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第121頁2.5.2RBF網(wǎng)絡(luò)學(xué)習(xí)算法

學(xué)習(xí)算法需要求解參數(shù)徑向基函數(shù)中心方差隱含層到輸出層權(quán)值學(xué)習(xí)方法分類（按RBF中心選取方法不一樣分）隨機選取中心法自組織選取中心法有監(jiān)督選取中心法正交最小二乘法等神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第122頁2.5.2RBF網(wǎng)絡(luò)學(xué)習(xí)算法自組織選取中心學(xué)習(xí)方法第一步，自組織學(xué)習(xí)階段無導(dǎo)師學(xué)習(xí)過程，求解隱含層基函數(shù)中心與方差；第二步，有導(dǎo)師學(xué)習(xí)階段求解隱含層到輸出層之間權(quán)值。高斯函數(shù)作為徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第123頁2.5.2RBF網(wǎng)絡(luò)學(xué)習(xí)算法網(wǎng)絡(luò)輸出(網(wǎng)絡(luò)結(jié)構(gòu)如圖2-21所表示)設(shè)d是樣本期望輸出值，那么基函數(shù)方差可表示為:神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第124頁2.5.2RBF網(wǎng)絡(luò)學(xué)習(xí)算法自組織選取中心算法步驟1.基于K-均值聚類方法求取基函數(shù)中心（1）網(wǎng)絡(luò)初始化。隨機選取個訓(xùn)練樣本作為聚類中心。（2）將輸入訓(xùn)練樣本集合按最近鄰規(guī)則分組。按照與中心為之間歐氏距離將分配到輸入樣本各個聚類集合中。（3）重新調(diào)整聚類中心。計算各個聚類集合中訓(xùn)練樣本平均值，即新聚類中心，假如新聚類中心不再發(fā)生改變，則所得到即為RBF神經(jīng)網(wǎng)絡(luò)最終基函數(shù)中心，不然返回（2），進入下一輪中心求解。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第125頁2.5.2RBF網(wǎng)絡(luò)學(xué)習(xí)算法2.求解方差RBF神經(jīng)網(wǎng)絡(luò)基函數(shù)為高斯函數(shù)時，方差可由下式求解：式中為中所選取中心之間最大距離。3.計算隱含層和輸出層之間權(quán)值隱含層至輸出層之間神經(jīng)元連接權(quán)值能夠用最小二乘法直接計算得到，計算公式以下：神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第126頁2.5.3RBF網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)

函數(shù)名功能newrb()新建一個徑向基神經(jīng)網(wǎng)絡(luò)newrbe()新建一個嚴(yán)格徑向基神經(jīng)網(wǎng)絡(luò)newgrnn()新建一個廣義回歸徑向基神經(jīng)網(wǎng)絡(luò)newpnn()新建一個概率徑向基神經(jīng)網(wǎng)絡(luò)RBF網(wǎng)絡(luò)MATLAB函數(shù)及功效神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第127頁2.5.3RBF網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)newrb()功效建立一個徑向基神經(jīng)網(wǎng)絡(luò)格式

net=newrb(P，T，GOAL，SPREAD，MN，DF)說明P為輸入向量，T為目標(biāo)向量，GOAL為圴方誤差，默認為0，SPREAD為徑向基函數(shù)分布密度，默認為1，MN為神經(jīng)元最大數(shù)目，DF為兩次顯示之間所添加神經(jīng)元神經(jīng)元數(shù)目。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第128頁2.5.3RBF網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)newrbe()功效建立一個嚴(yán)格徑向基神經(jīng)網(wǎng)絡(luò),嚴(yán)格是指徑向基神經(jīng)網(wǎng)絡(luò)神經(jīng)元個數(shù)與輸入值個數(shù)相等。格式(1)net=newrb(P，T，SPREAD)說明各參數(shù)含義見Newrb。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第129頁2.5.3RBF網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)例2-4建立一個徑向基神經(jīng)網(wǎng)絡(luò)，對非線性函數(shù)y=sqrt(x)進行迫近，并作出網(wǎng)絡(luò)迫近誤差曲線。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第130頁2.5.3RBF網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)例2-4誤差曲線和迫近曲線神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第131頁小結(jié)背景RBF網(wǎng)絡(luò)基本思想RBF神經(jīng)網(wǎng)絡(luò)模型高斯函數(shù)RBF網(wǎng)絡(luò)學(xué)習(xí)算法RBF網(wǎng)絡(luò)MATLAB實現(xiàn)RBF網(wǎng)絡(luò)應(yīng)用神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第132頁2.6自組織神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第133頁概述自組織神經(jīng)網(wǎng)絡(luò)，又稱為自組織競爭神經(jīng)網(wǎng)絡(luò),尤其適合于處理模式分類和識別方面應(yīng)用問題。自組織神經(jīng)網(wǎng)絡(luò)屬于前向神經(jīng)網(wǎng)絡(luò)類型，采取無導(dǎo)師學(xué)習(xí)算法，自組織特征映射神經(jīng)網(wǎng)絡(luò)不但能夠像自組織競爭神經(jīng)網(wǎng)絡(luò)一樣學(xué)習(xí)輸入分布情況，而且能夠?qū)W習(xí)神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)。

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第134頁概述自組織競爭神經(jīng)網(wǎng)絡(luò)類型自適應(yīng)共振理論(AdaptiveResonanceTheory，ART)網(wǎng)絡(luò)自組織特征映射(self-OrganizingMap，SOM)網(wǎng)絡(luò)對傳(CounterPropagation，CP)網(wǎng)絡(luò)協(xié)同神經(jīng)網(wǎng)絡(luò)(SynergeticNeuralNetwork．SNN)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第135頁2.6.1自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)由芬蘭學(xué)者TeuvoKohonen于1981年提出基本上為輸入層和映射層雙層結(jié)構(gòu),映射層神經(jīng)元相互連接，每個輸出神經(jīng)元連接至全部輸入神經(jīng)元I’mTeuvoKohonen神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第136頁2.6.1自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)競爭層輸入層SOM神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第137頁2.6.1自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)SOM神經(jīng)網(wǎng)絡(luò)平面示意圖競爭層輸入層神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第138頁2.6.1自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)SOM神經(jīng)網(wǎng)絡(luò)立體示意圖競爭層輸入層神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第139頁

2.6.2自組織特征映射網(wǎng)絡(luò)學(xué)習(xí)算法

自組織特征映射學(xué)習(xí)算法原理Kohonen自組織特征映射算法，能夠自動找出輸入數(shù)據(jù)之間類似度，將相同輸入在網(wǎng)絡(luò)上就近配置。所以是一個能夠組成對輸入數(shù)據(jù)有選擇地給予響應(yīng)網(wǎng)絡(luò)。類似度準(zhǔn)則歐氏距離

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第140頁2.6.2自組織特征映射網(wǎng)絡(luò)學(xué)習(xí)算法自組織特征映射學(xué)習(xí)算法步驟(1)網(wǎng)絡(luò)初始化用隨機數(shù)設(shè)定輸入層和映射層之間權(quán)值初始值(2)輸入向量把輸入向量輸入給輸入層(3)計算映射層權(quán)值向量和輸入向量距離映射層神經(jīng)元和輸入向量距離，按下式給出神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第141頁2.6.2自組織特征映射網(wǎng)絡(luò)學(xué)習(xí)算法自組織特征映射學(xué)習(xí)算法步驟(4)選擇與權(quán)值向量距離最小神經(jīng)元計算并選擇使輸入向量和權(quán)值向量距離最小神經(jīng)元，把其稱為勝出神經(jīng)元并記為，并給出其鄰接神經(jīng)元集合。

(5)調(diào)整權(quán)值勝出神經(jīng)元和位于其鄰接神經(jīng)元權(quán)值，按下式更新：

(6)是否到達預(yù)先設(shè)定要求如到達要求則算法結(jié)束，不然返回(2)，進入下一輪學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第142頁2.6.2自組織特征映射網(wǎng)絡(luò)學(xué)習(xí)算法鄰域函數(shù)由鄰域函數(shù)能夠看到，以獲勝神經(jīng)元為中心設(shè)定了一個鄰域半徑，稱為勝出鄰域。學(xué)習(xí)早期，勝出神經(jīng)元和其附近神經(jīng)元全部靠近當(dāng)初輸入向量，形成粗略映射。伴隨學(xué)習(xí)進行而減小，勝出鄰域變窄，勝出神經(jīng)元附近神經(jīng)元數(shù)變少。所以，學(xué)習(xí)方法是一個從粗調(diào)整向微調(diào)整改變，最終到達預(yù)定目標(biāo)過程。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第143頁2.6.3自組織網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)MATLAB中自組織神經(jīng)網(wǎng)絡(luò)主要函數(shù)和基本功效函數(shù)名功能newsom()創(chuàng)建一個自組織特征映射神經(jīng)網(wǎng)絡(luò)plotsom()繪制自組織特征映射網(wǎng)絡(luò)權(quán)值矢量vec2ind()將單值矢量組變換成下標(biāo)矢量compet()競爭傳輸函數(shù)midpoint()中點權(quán)值初始化函數(shù)learnsom()自組織特征映射權(quán)值學(xué)習(xí)規(guī)則函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第144頁2.6.3自組織網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)MATLAB中自組織神經(jīng)網(wǎng)絡(luò)主要函數(shù)和基本功效newsom()功效創(chuàng)建一個自組織特征映射網(wǎng)絡(luò)函數(shù)格式net=newsom(PR，[D1，D2，...]，TFCN，DFCN，OLR，OSTEPS，TLR，TND)說明net為生成新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入矢量取值范圍矩陣[PminPmax]；[D1，D2，...]為神經(jīng)元在多維空間中排列時各維個數(shù)；TFCN為拓撲函數(shù)，缺省值為hextop；DFCN為距離函數(shù)，缺省值為linkdist；OLR為排列階段學(xué)習(xí)速率，缺省值為0.9；OSTEPS為排列階段學(xué)習(xí)次數(shù)，缺省值為1000；TLR為調(diào)整階段學(xué)習(xí)速率，缺省值為0.02，TND為調(diào)整階段領(lǐng)域半徑，缺省值為1。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第145頁2.6.3自組織網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)plotsom()功效繪制自組織特征映射網(wǎng)絡(luò)圖權(quán)值向量 函數(shù)格式(1)plotsom(pos)(2)plotsom(W，D，ND)說明式中pos是網(wǎng)絡(luò)中各神經(jīng)元在物理空間分布位置坐標(biāo)矩陣；函數(shù)返回神經(jīng)元物理分布拓撲圖，圖中每兩個間距小于1神經(jīng)元以直線連接；W為神經(jīng)元權(quán)值矩陣；D為依據(jù)神經(jīng)元位置計算出間接矩陣；ND為領(lǐng)域半徑，缺省值為1；函數(shù)返回神經(jīng)元權(quán)值分布圖，圖中每兩個間距小于ND神經(jīng)元以直線連接。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第146頁2.6.3自組織網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)yec2ind()功效將單值向量組變換成下標(biāo)向量格式

ind=vec2ind(vec)說明式中，vec為m行n列向量矩陣x，x中每個列向量i，除包含一個1外，其余元素均為0，ind為n個元素值為1所在行下標(biāo)值組成一個行向量。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第147頁2.6.3自組織網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)例2-5人口分類是人口統(tǒng)計中一個主要指標(biāo)，現(xiàn)有1999共10個地域人口出生百分比情況以下： 出生男性百分比分別為：0.5512 0.5123 0.5087 0.5001 0.6012 0.5298 0.5000 0.4965 0.5103 0.5003;出生女性百分比分別為：0.44880.4877 0.4913 0.4999 0.3988 0.4702 0.5000 0.5035 0.4897 0.4997神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第148頁2.6.3自組織網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)例2-5源程序神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第149頁例2-5SOM網(wǎng)絡(luò)權(quán)值分布圖神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第150頁例2-5SOM網(wǎng)絡(luò)數(shù)據(jù)分類圖類別1類別2類別5類別4類別3測試數(shù)據(jù)屬于類別5神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第151頁小結(jié)概述自組織特征映射神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自組織特征映射網(wǎng)絡(luò)學(xué)習(xí)算法自組織網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)自組織特征映射網(wǎng)絡(luò)特點神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第152頁2.7學(xué)習(xí)向量量化神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第153頁2.7.1LVQ神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)向量量化LVQ(LearningVectorQuantization)神經(jīng)網(wǎng)絡(luò)，屬于前向有監(jiān)督神經(jīng)網(wǎng)絡(luò)類型，在模式識別和優(yōu)化領(lǐng)域有著廣泛應(yīng)用由芬蘭學(xué)者TeuvoKohonen提出LVQ神經(jīng)網(wǎng)絡(luò)由輸入層、隱含層和輸出層三層組成，輸入層與隱含層間為完全連接，每個輸出層神經(jīng)元與隱含層神經(jīng)元不一樣組相連接。隱含層和輸出層神經(jīng)元之間連接權(quán)值固定為１。在網(wǎng)絡(luò)訓(xùn)練過程中，輸入層和隱含層神經(jīng)元間權(quán)值被修改。當(dāng)某個輸入模式被送至網(wǎng)絡(luò)時，最靠近輸入模式隱含神經(jīng)元因取得激發(fā)而贏得競爭，因而允許它產(chǎn)生一個＂１＂，而其它隱含層神經(jīng)元都被迫產(chǎn)生＂０＂。與包含獲勝神經(jīng)元隱含層神經(jīng)元組相連接輸出神經(jīng)元也發(fā)出＂１＂，而其它輸出神經(jīng)元均發(fā)出＂０＂。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第154頁2.7.1LVQ神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第155頁LVQ1算法詳細步驟以下：（1）網(wǎng)絡(luò)初始化用較小隨機數(shù)設(shè)定輸人層和隱含層之間權(quán)值初始值。（2）輸入向量輸入將輸人向量送入到輸入層。（3）計算隱含層權(quán)值向量與輸入向量距離隱含層神經(jīng)元和輸入向量距離，與自組織化映射情況相同，由下式給出：2.7.2LVQ神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第156頁2.7.2LVQ神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

（4）選擇與權(quán)值向量距離最小神經(jīng)元計算并選擇輸入向量和權(quán)值向量距離最小神經(jīng)元，并把其稱為勝出神經(jīng)元，記為。（5）更新連接權(quán)值假如勝出神經(jīng)元和預(yù)先指定分類一致，稱為正確分類，不然稱為不正確分類。正確分類和不正確分類時權(quán)值調(diào)整量分別使用公式2-3、2-4：（6）判斷是否滿足預(yù)先設(shè)定最大迭代次數(shù)，滿足時算法結(jié)束，不然返回2，進入下一輪學(xué)習(xí)。（2-4）

（2-3）

神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第157頁2.7.2LVQ神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法LVQ2算法（1）~（4）與LVQl算法相同(5)更新連接權(quán)值假如勝出神經(jīng)元1屬于正確分類時，則權(quán)值更新與LVQ1情況相同，依據(jù)式（2-3）進行權(quán)值更新。當(dāng)勝出神經(jīng)元1屬于不正確分類時，則另選取一個神經(jīng)元2，它權(quán)值向量和輸入向量距離僅比勝出神經(jīng)元1大一點，且滿足以下條件時時：1）神經(jīng)元2屬于正確分類；2）神經(jīng)元2、勝出神經(jīng)元1與輸入向量之間距離差值很小。則勝出神經(jīng)元1權(quán)值改變量按公式2-3計算，而神經(jīng)元2權(quán)值改變量則按公式（2-3）進行計算。（6）判斷算法是否結(jié)束假如迭代次數(shù)大于預(yù)先設(shè)定次數(shù)，算法結(jié)束，不然返回第（2）步，進入下一輪學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第158頁2.7.3LVQ神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)

MATLAB中與LVQ相關(guān)主要函數(shù)和功效

函數(shù)名功能newlvq()建立一個LVQ神經(jīng)網(wǎng)絡(luò)函數(shù)learnlv1()LVQ1權(quán)值學(xué)習(xí)函數(shù)vec2ind()將單值矢量組變換成下標(biāo)矢量plotvec()用不一樣顏色畫矢量函數(shù)神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第159頁2.7.3LVQ神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)newlvq()功效建立一個向量量化神經(jīng)網(wǎng)絡(luò)函數(shù)格式(1)net=newlvq(2)net=newlvq(PR，S1，PC，LR，LF)說明式(1)返回一個沒有定義結(jié)構(gòu)空對象，并顯示函數(shù)nntool幫助文字；式(2)中，net為生成學(xué)習(xí)向量量化網(wǎng)絡(luò)；PR為一個Rx2維網(wǎng)絡(luò)輸入向量取值范圍矩陣[PminPmax]；Sl表示隱含層神經(jīng)元數(shù)目；PC表示在第二層權(quán)值中列所屬類別百分比；LR表示學(xué)習(xí)速率，默認值為0.01；Lf表示學(xué)習(xí)函數(shù)，默認值為learnlv1。神經(jīng)網(wǎng)絡(luò)實用教程講義專家講座第160頁2.7.3LVQ神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法MATLAB實現(xiàn)ind2vec()功效將下標(biāo)矢量變換成單值矢量組函數(shù)格式vec=ind2vec(ind)說明ind為包含n個下標(biāo)行向量x；vec為m行n列向量組矩陣，矩陣中每個向量i，除了由x中第i個元素指定位置為l外，其余元素均為0，矩陣行數(shù)m等于x中最大下標(biāo)值。C=[1112222111]

(1,1)1(1,2)1(1,3)1(2,4)1(2,5)1(2,6)1(2,7)1