智能控制技術(shù)中國計(jì)量學(xué)院自動(dòng)化教研室謝敏1智能控制技術(shù)第4章人工神經(jīng)元網(wǎng)絡(luò)模型4.1引言4.2常見神經(jīng)網(wǎng)絡(luò)模型24.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器（Perceptron）模型由美國心理學(xué)家Rosenblatt于1958年提出，其簡化模型如下圖：4.2常見神經(jīng)網(wǎng)絡(luò)模型3一、感知器4.2常見神經(jīng)網(wǎng)絡(luò)模型感知器的數(shù)學(xué)模型：其中：f[.]是階躍函數(shù)或符號(hào)函數(shù)，并且有θ是閾值。

4感知器的最大作用就是可以對(duì)輸入的樣本分類，故它可作分類器，感知器對(duì)輸入信號(hào)的分類如下：即：當(dāng)感知器的輸出為1時(shí)，輸入樣本稱為A類；輸出為0時(shí)，輸入樣本稱為B類。感知器的分類邊界是：4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器5在輸入樣本只有兩個(gè)分量x1，x2時(shí)，則有分類邊界條件：即

w1x1+w2x2-θ=0

4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器6感知器的學(xué)習(xí)算法：感知器的學(xué)習(xí)算法目的在于找尋恰當(dāng)?shù)臋?quán)系數(shù)w＝(w1，w2，…，wn)，使系統(tǒng)對(duì)一個(gè)特定的樣本x＝(x1，x2，…，xn)能產(chǎn)生期望輸出y。當(dāng)x分類為A類時(shí)，期望值y＝1；X為B類時(shí)，y=0。4.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器74.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器的學(xué)習(xí)算法：1、初始化：置權(quán)系數(shù)w為最小的隨機(jī)數(shù)；2、訓(xùn)練：輸入一樣本x＝(x1，x2，…，xn)以及它的期望輸出y*；3、計(jì)算實(shí)際輸出：；4、計(jì)算誤差：；5、修改權(quán)系數(shù)和閾值；6、轉(zhuǎn)2，直到誤差滿足要求。

84.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器例：有一組訓(xùn)練向量，對(duì)單輸出感知器有：X1=[-1，1，-2，0]T，X2=[-1，0，1.5，-0.5]T，X3=[-1，-1，1，0.5]T，設(shè)初始權(quán)值為Wi（0）=[0.5，1，-1，0]T,η=0.3，期望輸出為Y1=0，Y2=0，Y3=1，試訓(xùn)練感知器網(wǎng)絡(luò)。

94.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器從感如器的學(xué)習(xí)算法可知，學(xué)習(xí)的目的是在于修改網(wǎng)絡(luò)中的權(quán)系數(shù)，使網(wǎng)絡(luò)對(duì)于所輸入的模式樣本能正確分類。當(dāng)學(xué)習(xí)結(jié)束時(shí)，也即神經(jīng)網(wǎng)絡(luò)能正確分類時(shí)，顯然權(quán)系數(shù)就反映了同類輸人模式樣本的共同特征。換句話講，權(quán)系數(shù)就是存儲(chǔ)了的輸入模式。由于權(quán)系數(shù)是分散存在的，故神經(jīng)網(wǎng)絡(luò)自然而然就有分布存儲(chǔ)的特點(diǎn)。

104.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器感知器實(shí)質(zhì)是一個(gè)分類器，可以用于實(shí)現(xiàn)邏輯函數(shù)。其分類條件是樣本是線性可分的。例：用感知器實(shí)現(xiàn)邏輯函數(shù)X1UX2的真值：

X10011X20101X1UX20111114.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器以X1UX2＝1為A類，以X1UX2=0為B類，則有方程組：

令W1=1，W2=2，則有：θ≤1取

θ=0.5，則有：X1+X2-0.5=0124.2常見神經(jīng)網(wǎng)絡(luò)模型一、感知器x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）邏輯與邏輯或邏輯異或x1x2（0,0）（0,1）（1,0）（1,1）x1x2（0,0）（0,1）（1,0）（1,1）13二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型1986年，Rumelhart提出了一種利用誤差反向傳播（BackPropagation）訓(xùn)練算法的神經(jīng)網(wǎng)絡(luò)，簡稱BP網(wǎng)絡(luò)，是一種多層前向網(wǎng)絡(luò)，其特征為：1、由輸入層、隱含層、輸出層組成；2、同層節(jié)點(diǎn)之間沒有互連；3、每層節(jié)點(diǎn)的輸出只影響下層節(jié)點(diǎn)；4、激勵(lì)函數(shù)多為S型。14二、BP網(wǎng)絡(luò)4.2常見神經(jīng)網(wǎng)絡(luò)模型BP網(wǎng)絡(luò)的數(shù)學(xué)模型：設(shè)有一個(gè)m層的神經(jīng)網(wǎng)絡(luò)，并在輸入層加有樣本X；第k層的i神經(jīng)元的輸入總和表示為Uik，輸出Xik；從第k-1層的第j個(gè)神經(jīng)元到第k層的第i個(gè)神經(jīng)元的權(quán)系數(shù)為Wij，各神經(jīng)元的激勵(lì)函數(shù)為f，則各個(gè)變量的關(guān)系可用下面有關(guān)數(shù)學(xué)式表示：15二、BP網(wǎng)絡(luò)4.壯2常見悠神經(jīng)攀網(wǎng)絡(luò)魯模型BP網(wǎng)絡(luò)礦的學(xué)充習(xí)算甚法：反向癥傳播抓算法愧分二核步進(jìn)反行，歌即輸入碗信號(hào)倆正向忽傳播和誤差罰信號(hào)筑反向魂傳播。1．灘輸入爐信號(hào)他正向努傳播輸入枯的樣崗本從掉輸入貍層經(jīng)企過隱怒層單尤元一螞層一炸層進(jìn)肯行處貌理，鞋通過秒所有嘆的隱攝層之不后，垃則傳臥向輸電出層得，每祝一層咸神經(jīng)但元的燒狀態(tài)燙只對(duì)或下一負(fù)層神階經(jīng)元愛的狀涌態(tài)產(chǎn)垂生影閘響。2．極誤差悔信號(hào)償反向包傳播在輸貿(mào)出層辣把現(xiàn)句行輸福出和殘期望極輸出默進(jìn)行矩比較羅，如業(yè)果現(xiàn)任行輸置出不賤等于吉期望您輸出江，則桿進(jìn)入概反向總傳播侮過程意。誤甲差信翼號(hào)按哲原來鑼正向遮傳播立的通虧路反浩向傳繭回，嚴(yán)并對(duì)駝每個(gè)情隱層服的各滑個(gè)神執(zhí)經(jīng)元伏的權(quán)票系數(shù)塔進(jìn)行姑修改添，以缺望誤眉差信熟號(hào)趨旱向最扔小。16二、BP網(wǎng)絡(luò)4.霞2常見似神經(jīng)刺網(wǎng)絡(luò)倚模型BP網(wǎng)絡(luò)羽的學(xué)擠習(xí)算民法：1、繩初始慮化：腫置權(quán)圓系數(shù)w為最速小的濱隨機(jī)償數(shù)；2、亦訓(xùn)練濱：給靠出輸怎入樣藥本x=如（x1，x2，…帝，xn）以及脾期望援輸出y=立（y1，y2,…yn）；3、計(jì)算陣輸出卷：按怕順序無計(jì)算祖隱含竟層、撿輸出首層各纖神經(jīng)惜元輸均出；4、召計(jì)算映期望鹿輸出訂與實(shí)共際輸釘出的刺誤差納；5、旅修改各輸出項(xiàng)層的納權(quán)系稀數(shù)和辦閾值喬；6、坑修改洗隱含蜓層的匠權(quán)系永數(shù)和昏閾值馳；7、充轉(zhuǎn)3葬，直陰到誤丑差滿連足要宅求。17二、BP網(wǎng)絡(luò)4.角2常見流神經(jīng)扯網(wǎng)絡(luò)袋模型BP網(wǎng)絡(luò)陜的學(xué)參習(xí)算殲法：例：P.殲77圈4因-118二、BP網(wǎng)絡(luò)4.梯2常見斜神經(jīng)費(fèi)網(wǎng)絡(luò)拌模型車牌計(jì)數(shù)字貝識(shí)別神經(jīng)配網(wǎng)絡(luò)店對(duì)圖嶄形的腦旋轉(zhuǎn)化、平鞏移敏霧感，潑車牌計(jì)照數(shù)贈(zèng)字的摘獲取衰中不安可避啟免的神存在饒這一扶類問勞題，辜所以頸要首寒先對(duì)揀圖形炸進(jìn)行匹處理察。分割敢后的芬數(shù)字坡圖像：原始膏圖像：19二、BP網(wǎng)絡(luò)4.盛2常見狠神經(jīng)拔網(wǎng)絡(luò)喚模型車牌難數(shù)字憐識(shí)別BP神經(jīng)鐵網(wǎng)絡(luò)禾采用秀三層俘結(jié)構(gòu)肝，輸朋入層認(rèn)、隱造含層尖、輸碼出層竟神經(jīng)著元個(gè)合數(shù)分焦別為檔16則、2遣4、石10忽。取0-賄9共十租個(gè)數(shù)捕字作牌為待降識(shí)別根數(shù)字屈，每含個(gè)數(shù)獎(jiǎng)字取6個(gè)樣計(jì)本進(jìn)址行訓(xùn)樓練，坊共有60個(gè)訓(xùn)尾練樣鼓本，精另取10個(gè)樣物本作憶為識(shí)浙別樣肺本。天取最悅大輸伍出端歡對(duì)應(yīng)蕩的數(shù)甚字作業(yè)為識(shí)笨別結(jié)愈果，膠如果搖所有氏輸出特端的兵結(jié)果易都小劍于0.察5，則帽認(rèn)為絨系統(tǒng)跳無法草識(shí)別松。該網(wǎng)自絡(luò)采聚用BP算法扎，能查正確娘識(shí)別紀(jì)車牌泰數(shù)字慌：7305120三、Ho輸pf厘ie贏ld網(wǎng)絡(luò)4.罪2常見雷神經(jīng)嚴(yán)網(wǎng)絡(luò)所模型19粘82番年，Ho講pf閣ie惜ld提出陰了可族用作努聯(lián)想虛存儲(chǔ)憑器的州互連藍(lán)網(wǎng)絡(luò)笑，這挎?zhèn)€網(wǎng)館絡(luò)稱炭為Ho西pf絨ie怒ld網(wǎng)絡(luò)烤模型缺，也話稱Ho美pf胸ie藝ld模型揭。Ho奸pf腸ie革ld反饋俱神經(jīng)岡網(wǎng)絡(luò)鍛由于鏈其輸面出端深有反錢饋到虧其輸禮入端伶，所茄以，Ho仔pf廟ie鵲ld網(wǎng)絡(luò)寒在輸合入的舅激勵(lì)奮下，盛會(huì)產(chǎn)這生不感斷的伍狀態(tài)特變化侄。一怨旦到慈達(dá)了百穩(wěn)定寨平衡瀉狀態(tài)警，那擔(dān)么Ho晨pf泰ie慮ld網(wǎng)絡(luò)隱就會(huì)尋輸出顛一個(gè)砌穩(wěn)定斤的恒旁值。對(duì)于沃一個(gè)Ho旗pf訊ie音ld網(wǎng)絡(luò)蔑來說鋼，關(guān)宗鍵是災(zāi)在于晝確定博它在修穩(wěn)定接條件鍋下的來權(quán)系酷數(shù)。21三、Ho乎pf糾ie蔥ld網(wǎng)絡(luò)4.此2常見榴神經(jīng)鳳網(wǎng)絡(luò)主模型Ho司pf質(zhì)ie濤ld最早吳提出跪的網(wǎng)鉗絡(luò)是含二值消神經(jīng)杏網(wǎng)絡(luò)曾，神丹經(jīng)元守的輸歡出只拐取1固和0挑這兩濟(jì)個(gè)值絡(luò)，所耳以，喘也稱陜離散Ho妥pf加ie勢ld神經(jīng)潛網(wǎng)絡(luò)評(píng)。所權(quán)輸出崖的離身散值杜1和噴0分沖別表蕩示神趁經(jīng)元溜處于已激活疤和抑誤制狀遷態(tài)。離散Ho釣pf冊(cè)ie幅ld網(wǎng)絡(luò)22三、Ho凡pf擁ie鑰ld網(wǎng)絡(luò)4.飯2常見碧神經(jīng)鐘網(wǎng)絡(luò)亭模型離散Ho悔pf悔ie玻ld網(wǎng)絡(luò)對(duì)于且一個(gè)贈(zèng)離散殼的Ho析pf持ie擔(dān)ld網(wǎng)絡(luò)達(dá)，其黎網(wǎng)絡(luò)鄉(xiāng)豐狀態(tài)樹是輸惑出神厲經(jīng)元緣瑞信息含的集俱合。遣對(duì)于濫一個(gè)袋輸出聲層是n個(gè)神喂經(jīng)元啟的網(wǎng)榆絡(luò)，辨則其t時(shí)刻考的狀溪態(tài)為天一個(gè)n維向程量：Y(液t)夢(mèng)=[教Y1(t象),盆Y2(t敘),..恭.,Yn(t優(yōu))]T因?yàn)閅j(t滲)(床j＝激1…泥…n吉)可以字取值兔為1嘴或0江，故n維向佩量Y(理t)有2n種狀辣態(tài)，測即是烈網(wǎng)絡(luò)秩狀態(tài)歷。23三、Ho捐pf任ie損ld網(wǎng)絡(luò)4.絮2常見依神經(jīng)抬網(wǎng)絡(luò)斧模型幾個(gè)與概念習(xí)：1、DH黑NN的狀借態(tài)：單臘個(gè)神利經(jīng)元側(cè)有興書奮和混抑制肝兩種帥狀態(tài)揉，DH床NN的狀伶態(tài)是塔一個(gè)氣包含耗所有歡單個(gè)啊神經(jīng)比元狀袍態(tài)的懲矢量飛。2、穩(wěn)定將狀態(tài)：神經(jīng)揮網(wǎng)絡(luò)繩從任燦一初母態(tài)Y(臭0)開始控運(yùn)動(dòng)宅，并他存在議某一哲有限慢時(shí)刻ts，從ts以后雹神經(jīng)雹網(wǎng)絡(luò)冷的狀升態(tài)不樸再發(fā)急生變費(fèi)化，匆則稱尸網(wǎng)絡(luò)赴是穩(wěn)彈定的態(tài)。處毯于穩(wěn)蘇定時(shí)堪刻的賓網(wǎng)絡(luò)坡狀態(tài)頑叫穩(wěn)樂定狀芝態(tài)，堤又稱悅定點(diǎn)秋吸引傲子。24三、Ho惰pf緒ie速ld網(wǎng)絡(luò)4.其2常見湖神經(jīng)繳網(wǎng)絡(luò)蒼模型狀態(tài)吉轉(zhuǎn)移：單個(gè)貓神經(jīng)褲元：售激活竄：0釀→1攏，1章→風(fēng)0未激是活：皆狀態(tài)辰保持整個(gè)葵網(wǎng)絡(luò)半：某頁一時(shí)金刻只骨有一雖個(gè)神榨經(jīng)元率被選思擇進(jìn)膜行狀擺態(tài)更援新，紛該節(jié)株點(diǎn)的累狀態(tài)倍變化某時(shí)，尤整個(gè)但網(wǎng)絡(luò)甚狀態(tài)嫂以某皇一概跡率轉(zhuǎn)閑移到息另一顯狀態(tài)護(hù)。25三、Ho暮pf頂ie萬ld網(wǎng)絡(luò)4.潔2常見然神經(jīng)國網(wǎng)絡(luò)蘇模型離散Ho煮pf姿ie多l(xiāng)d網(wǎng)絡(luò)對(duì)于蒼三個(gè)勝神經(jīng)顧元的盆離散Ho悔pf奧ie忍ld網(wǎng)絡(luò)假，它憤的輸色出層絡(luò)就是斜三位涌二進(jìn)義制數(shù)瞞，從孔而共斬有8穿個(gè)網(wǎng)徹絡(luò)狀鍛態(tài)。祥在圖雪中，耍立方唱體的部每一按個(gè)頂賀角表會(huì)示一逮種網(wǎng)損絡(luò)狀兆態(tài)。狐如果Ho膝pf徹ie巾ld網(wǎng)絡(luò)膊是一貸個(gè)穩(wěn)鍵定網(wǎng)秤絡(luò)，晴那么巧在網(wǎng)黑絡(luò)的畫輸入臟端加裳入一突個(gè)輸扒入向勾量，溫則網(wǎng)嫩絡(luò)的性狀態(tài)熟會(huì)產(chǎn)臂生變桌化，律也就馬是從籠立方駛體的集一個(gè)禽頂角容轉(zhuǎn)移映向另封一個(gè)依頂角董，并醉且最錄終穩(wěn)兼定于冒一個(gè)艦特定鋸的頂胳角。26三、Ho達(dá)pf訓(xùn)ie忌ld網(wǎng)絡(luò)4.群2常見時(shí)神經(jīng)搶網(wǎng)絡(luò)亦模型狀態(tài)外轉(zhuǎn)移殃舉例：P.披82例郵4-騰3問題：為從什么錄各個(gè)付狀態(tài)嚴(yán)的排累列有相層次掘呢？27三、Ho刃pf并ie上ld網(wǎng)絡(luò)4.輕2常見杏神經(jīng)淺網(wǎng)絡(luò)馳模型能量漢函數(shù)頃：能量舊函數(shù)觀是一牲個(gè)Li甲ap程un朽ov函數(shù)槳。定理叔4-幟1離散Ho鮮pf借ie掘ld神經(jīng)木網(wǎng)絡(luò)薪的穩(wěn)巖定狀粱態(tài)與蘭能量提函數(shù)E在狀糧態(tài)空撲間的上局部充極小葛狀態(tài)跳是一稿一對(duì)趟應(yīng)的賄。給定夜一個(gè)挎初始景狀態(tài)逆，則DH耍NN網(wǎng)絡(luò)染的狀厚態(tài)總關(guān)是沿插著能果量減哨小的法方向恒變化獨(dú)，最滿終收癢斂到安穩(wěn)定批狀態(tài)歇。例：犬4-各4檔計(jì)算貌網(wǎng)絡(luò)乒中各泰狀態(tài)底的能血量。28三、Ho撈pf鄭ie碑ld網(wǎng)絡(luò)4.惹2常見佛神經(jīng)睬網(wǎng)絡(luò)含模型Ho侮pf腹ie瓜ld網(wǎng)絡(luò)畢的一鳳個(gè)功壁能是征可用駛于聯(lián)吵想記涼憶，網(wǎng)這是頃人類華的智走能特藍(lán)點(diǎn)之挽一。檔人類稀的所蘇謂“干觸景焦生情胖”就廚是見技到一液些類貫同過四去接西觸的奇景物貪，容尾易產(chǎn)糊生對(duì)意過去盒情景顫的回肺味和截思憶隔。DH處NN網(wǎng)絡(luò)杜的能端量極贊小狀標(biāo)態(tài)又虛稱為瞞能量唐井，堪為信鼠息的宗存儲(chǔ)俱記憶缸提供漁了基撲礎(chǔ)。綁將要攝記憶起的信賣息與章能量亂井一敗一對(duì)乞應(yīng)，話則當(dāng)炸輸入校某一圖模式樂時(shí)，回神經(jīng)伯網(wǎng)絡(luò)惠就能跳通過蘋狀態(tài)弊轉(zhuǎn)移化實(shí)現(xiàn)穗聯(lián)想恢記憶接。29三、Ho越pf歸ie侮ld網(wǎng)絡(luò)4.護(hù)2常見于神經(jīng)籮網(wǎng)絡(luò)蜂模型學(xué)習(xí)示記憶閉階段波：對(duì)于Ho罪pf杰ie趴ld網(wǎng)絡(luò)喊，用廚它作渠聯(lián)想彈記憶哭時(shí)，諸首先維通過除一個(gè)臟學(xué)習(xí)檢訓(xùn)練底過程左確定老網(wǎng)絡(luò)培中的盛權(quán)系虧數(shù)，陜使所細(xì)記憶傍的信推息在槽網(wǎng)絡(luò)暢的n維超覽立方擋體的抄某一歲個(gè)頂切角的數(shù)能量忍最小診。聯(lián)想要會(huì)議虜階段覆：當(dāng)網(wǎng)茫絡(luò)的煮權(quán)系懼?jǐn)?shù)確訂定之持后，乒只要模向網(wǎng)惠絡(luò)給騾出輸暈入向刑量，丹這個(gè)街向量橋可能惑是局左部數(shù)蛙據(jù)，厘但是氣通過捉狀態(tài)襖不斷青變化焦，最按后狀贊態(tài)會(huì)狼穩(wěn)定辟下來牙，最響終的慮狀態(tài)懷是和桶給定申向量撕最接鉛近的遍樣本益向量樣。30三、Ho牌pf朗ie認(rèn)ld網(wǎng)絡(luò)4.家2常見啦神經(jīng)涼網(wǎng)絡(luò)欣模型舉例虛：設(shè)