第8章神經(jīng)網(wǎng)絡(luò)模式識別法介紹第1頁8.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況8.2神經(jīng)網(wǎng)絡(luò)基本概念8.3前饋神經(jīng)網(wǎng)絡(luò)8.4反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)第8章神經(jīng)網(wǎng)絡(luò)模式識別法神經(jīng)網(wǎng)絡(luò)模式識別法介紹第2頁8.1人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，ANN)：簡稱神經(jīng)網(wǎng)絡(luò)。模擬人腦神經(jīng)細胞工作特點：與當(dāng)前按串行安排程序指令計算機結(jié)構(gòu)截然不一樣。*單元間廣泛連接；*并行分布式信息存貯與處理；*自適應(yīng)學(xué)習(xí)能力等。優(yōu)點：(1)較強容錯性;(2)很強自適應(yīng)學(xué)習(xí)能力；(3)可將識別和若干預(yù)處理融為一體進行；神經(jīng)網(wǎng)絡(luò)模式識別法介紹第3頁(4)并行工作方式；(5)對信息采取分布式記憶，含有魯棒性。四個發(fā)展階段：第一階段：啟蒙期，始于1943年。形式神經(jīng)元數(shù)學(xué)模型提出。第二階段：低潮期，始于1969年?！陡兄鳌?Perceptions)一書出版，指出不足。第三階段：復(fù)興期，從1982年到1986年。Hopfield兩篇論文提出新神經(jīng)網(wǎng)絡(luò)模型；《并行分布處理》出版，提出反向傳輸算法。第四個階段：1987年至今，趨于平穩(wěn)?；仡櫺跃C述文章“神經(jīng)網(wǎng)絡(luò)與人工智能”。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第4頁8.2神經(jīng)網(wǎng)絡(luò)基本概念8.2.1生物神經(jīng)元1．生物神經(jīng)元結(jié)構(gòu)細胞體、樹突、軸突和突觸。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第5頁2．生物神經(jīng)元工作機制興奮和抑制兩種狀態(tài)。抑制狀態(tài)神經(jīng)元由樹突和細胞體接收傳來興奮電位不應(yīng)期產(chǎn)生輸出脈沖輸入興奮總量超出閾值神經(jīng)元被激發(fā)進入興奮狀態(tài)由突觸傳遞給其它神經(jīng)元神經(jīng)網(wǎng)絡(luò)模式識別法介紹第6頁8.2.2人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元：生物神經(jīng)元簡化模擬。人工神經(jīng)元間互連：信息傳遞路徑軸突-突觸-樹突簡化；連接權(quán)值：兩個互連神經(jīng)元之間相互作用強弱。圖8.2人工神經(jīng)元模型接收信息(其它神經(jīng)元輸出)

互連強度作比較閾值n維輸入向量X

輸出輸出函數(shù)神經(jīng)網(wǎng)絡(luò)模式識別法介紹第7頁神經(jīng)元動作：輸出函數(shù)f：也稱作用函數(shù)，非線性。閾值型S型偽線性型f為閾值型函數(shù)時：設(shè)，點積形式：式中，神經(jīng)網(wǎng)絡(luò)模式識別法介紹第8頁8.2.3神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)：同一個訓(xùn)練集樣本輸入輸出模式重復(fù)作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定訓(xùn)練規(guī)則自動調(diào)整神經(jīng)元之間連接強度或拓撲結(jié)構(gòu)，使實際輸出滿足期望要求或者趨于穩(wěn)定。實質(zhì)：1．Hebb學(xué)習(xí)規(guī)則經(jīng)典權(quán)值修正方法：Hebb學(xué)習(xí)規(guī)則、誤差修正學(xué)習(xí)假如神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連神經(jīng)元同時處于興奮狀態(tài)，那么這兩個神經(jīng)元之間連接強度應(yīng)該加強。神經(jīng)網(wǎng)絡(luò)最主要特征之一。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第9頁wij(t+1)：修正一次后某一權(quán)值；η：學(xué)習(xí)因子，表示學(xué)習(xí)速率百分比常數(shù)；yj(t)，yi(t)：分別表示t時刻第j個和第i個神經(jīng)元狀態(tài)（輸出）。由有：神經(jīng)元間連接神經(jīng)網(wǎng)絡(luò)模式識別法介紹第10頁2.δ學(xué)習(xí)規(guī)則（3）更新權(quán)值，閾值可視為輸入恒為（－1）一個權(quán)值；（1）選擇一組初始權(quán)值wij(1)；（2）計算某一輸入模式對應(yīng)實際輸出與期望輸出誤差；式中，（4）返回(2)，直到對全部訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。dj，yj(t)：第j個神經(jīng)元期望輸出與實際輸出；xi(t)：第j個神經(jīng)元第i個輸入。神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)表達在：η：學(xué)習(xí)因子；權(quán)值改變；網(wǎng)絡(luò)結(jié)構(gòu)改變。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第11頁8.2.4神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分類分層結(jié)構(gòu)有顯著層次，信息流向由輸入層到輸出層?！梆伨W(wǎng)絡(luò)沒有顯著層次，任意兩個神經(jīng)元之間可達，含有輸出單元到隱層單元或輸入單元反饋連接?！答伨W(wǎng)絡(luò)相互連接結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)模式識別法介紹第12頁8.3前饋神經(jīng)網(wǎng)絡(luò)8.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。感知器結(jié)構(gòu)示意圖*雙層（輸入層、輸出層）；*兩層單元之間為全互連；*連接權(quán)值可調(diào)。結(jié)構(gòu)特點：*輸出層神經(jīng)元個數(shù)等于類別數(shù)（兩類問題時輸出層為一個神經(jīng)元）。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第13頁設(shè)輸入模式向量，，共M類。輸出層第j個神經(jīng)元對應(yīng)第j個模式類，θj：第j個神經(jīng)元閾值；wij：輸入模式第i個分量與輸出層第j個神經(jīng)元間連接權(quán)。令。取

有輸出為輸出單元對全部輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù)產(chǎn)生一組輸出模式。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第14頁M類問題判決規(guī)則(神經(jīng)元輸出函數(shù))為*正確判決關(guān)鍵：輸出層每個神經(jīng)元必須有一組適當(dāng)權(quán)值。*感知器采取監(jiān)督學(xué)習(xí)算法得到權(quán)值；*權(quán)值更新方法：δ學(xué)習(xí)規(guī)則。算法描述第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個神經(jīng)元閾值。第二步：輸入新模式向量。第三步：計算神經(jīng)元實際輸出。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第15頁設(shè)第k次輸入模式向量為Xk，與第j個神經(jīng)元相連權(quán)向量為第j個神經(jīng)元實際輸出為第四步：修正權(quán)值。dj：第j個神經(jīng)元期望輸出。第五步：轉(zhuǎn)到第二步。當(dāng)全部學(xué)習(xí)樣本都能正確分類時，學(xué)習(xí)過程結(jié)束。經(jīng)驗證實，當(dāng)η隨k增加而減小時，算法一定收斂。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第16頁8.3.2BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)：采取BP算法（Back-PropagationTrainingAlgorithm）多層感知器。誤差反向傳輸算法認識最清楚、應(yīng)用最廣泛。性能優(yōu)勢：識別、分類1．多層感知器針對感知器學(xué)習(xí)算法不足：模式類必須線性可分。輸入層第一隱層第二隱層輸出層中間層為一層或多層處理單元；前饋網(wǎng)絡(luò)；結(jié)構(gòu)：只允許一層連接權(quán)可調(diào)。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第17頁2．BP算法兩個階段正向傳輸階段：逐層狀態(tài)更新反向傳輸階段：誤差BP算法學(xué)習(xí)過程設(shè)：某層任一神經(jīng)元j輸入為netj，輸出為yj；相鄰低一層中任一神經(jīng)元i輸出為yi。jiwij：神經(jīng)元i與j之間連接權(quán)；f(?)：神經(jīng)元輸出函數(shù)。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第18頁S型輸出函數(shù)：θj：神經(jīng)元閾值；h0：修改輸出函數(shù)形狀參數(shù)。設(shè)：輸出層中第k個神經(jīng)元實際輸出為yk，輸入為netk；與輸出層相鄰隱層中任一神經(jīng)元j輸出為yj。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第19頁對輸入模式Xp，若輸出層中第k個神經(jīng)元期望輸出為dpk，實際輸出為ypk。輸出層輸出方差：若輸入N個模式，網(wǎng)絡(luò)系統(tǒng)均方差為：當(dāng)輸入Xp時，wjk修正增量：其中，由式得到：神經(jīng)網(wǎng)絡(luò)模式識別法介紹第20頁令，可得輸出單元誤差：輸出單元修正增量：對于與輸出層相鄰隱層中神經(jīng)元j和該隱層前低一層中神經(jīng)元i：輸出層中神經(jīng)元輸出誤差反向傳輸?shù)角懊娓鲗?，對各層之間權(quán)值進行修正。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第21頁BP算法步驟：第一步：對權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布隨機數(shù)。第二步：輸入樣本，指定輸出層各神經(jīng)元希望輸出值。第三步：依次計算每層神經(jīng)元實際輸出，直到輸出層。第四步：從輸出層開始修正每個權(quán)值，直到第一隱層。若j是輸出層神經(jīng)元，則：若j是隱層神經(jīng)元，則：第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第22頁改進權(quán)值修正：——收斂快、權(quán)值平滑改變α：平滑因子，0<α<1。BP算法存在問題：*存在局部極小值問題；*算法收斂速度慢；*隱層單元數(shù)目標(biāo)選取無普通指導(dǎo)標(biāo)準；*新加入學(xué)習(xí)樣本影響已學(xué)完樣本學(xué)習(xí)結(jié)果。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第23頁*輸出層各單元之間相互用較大負權(quán)值輸入對方，組成正反饋。8.3.3競爭學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)1．競爭學(xué)習(xí)經(jīng)典非監(jiān)督學(xué)習(xí)策略。與二層前饋網(wǎng)絡(luò)類似；結(jié)構(gòu)特點：輸出層含有側(cè)抑制。競爭層：競爭學(xué)習(xí)網(wǎng)絡(luò)關(guān)鍵側(cè)抑制：加強本身*含有最高輸入總和單元輸出狀態(tài)為1，其它單元為0。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第24頁2．漢明(Hamming)網(wǎng)分類器結(jié)構(gòu)：仿效生物神經(jīng)網(wǎng)“中心激勵，側(cè)向抑制”功效。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第25頁工作原理：*每個模式類由一個經(jīng)典樣本代表；*匹配網(wǎng)計算輸入樣本與各類經(jīng)典樣本匹配度，由匹配度決定匹配網(wǎng)輸出；*由最大網(wǎng)給出輸入樣本所在類別號（分類）。匹配度=n－輸入樣本與經(jīng)典樣本之間漢明距離xij：第j類經(jīng)典樣本第i個分量；xi：輸入樣本第i個分量；n：樣本向量維數(shù)。輸入樣本與典型樣本越相同：漢明距離越小，匹配度越大。二值模式向量(分量：+1,-1)分類準則：樣本間漢明距離最小。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第26頁匹配網(wǎng)上層每個神經(jīng)元輸出：：輸入樣本第i個分量與匹配網(wǎng)上層第j個神經(jīng)元連接權(quán)；：第j個神經(jīng)元閾值。

wij由第j類經(jīng)典樣本各分量確定。匹配網(wǎng)輸出函數(shù)f(?)：神經(jīng)網(wǎng)絡(luò)模式識別法介紹第27頁漢明網(wǎng)算法步驟：第一步：設(shè)置權(quán)值和神經(jīng)元閾值。wlk：最大網(wǎng)中第l個神經(jīng)元和第k個神經(jīng)元連接權(quán)；最大網(wǎng)中神經(jīng)元閾值為零。xij：第j類經(jīng)典樣本第i個分量；wij：匹配網(wǎng)上層神經(jīng)元j和輸入樣本第i個分量連接權(quán);θj

：神經(jīng)元j閾值。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第28頁第三步，進行迭代運算直到收斂。第四步：轉(zhuǎn)到第二步。第二步：輸入未知樣本，計算匹配網(wǎng)上層各神經(jīng)元輸出sj，設(shè)置最大網(wǎng)中神經(jīng)元輸出初始值。設(shè)最大網(wǎng)中第j個神經(jīng)元在t時刻輸出為y(t)，則神經(jīng)網(wǎng)絡(luò)模式識別法介紹第29頁3．自組織特征映射神經(jīng)網(wǎng)絡(luò)

（SOM網(wǎng)絡(luò)）圖8.10神經(jīng)元之間相互作用與距離關(guān)系神經(jīng)網(wǎng)絡(luò)中鄰近各神經(jīng)元經(jīng)過側(cè)向交互作用彼此相互競爭，自適應(yīng)地發(fā)展成檢測不一樣信號特殊檢測器。T.Kohonen關(guān)于自組織特征映射含義：神經(jīng)網(wǎng)絡(luò)模式識別法介紹第30頁輸入層：每個神經(jīng)元與輸出層全部神經(jīng)元連接。輸入連續(xù)值模式向量。SOM網(wǎng)絡(luò)結(jié)構(gòu)：輸出層：廣泛連接，格陣形式。競爭學(xué)習(xí)算法：由交互作用函數(shù)取代簡單側(cè)抑制。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第31頁自組織特征映射算法步驟：第一步：設(shè)置初始權(quán)值，定義輸出層神經(jīng)元鄰域。第二步：輸入新模式向量。第三步：計算輸入模式到每個輸出層神經(jīng)元j距離dj。wij(t)：t時刻輸入層神經(jīng)元i到輸出層神經(jīng)元j之間連接權(quán)。第四步：選擇與輸入模式距離最小輸出層神經(jīng)元j*。第五步：修改與j*及其鄰域中神經(jīng)元連接權(quán)值。設(shè)t時刻神經(jīng)元j*鄰域用表示，權(quán)值修改為：：修正參數(shù)，，隨t增加而減小。第六步：轉(zhuǎn)到第二步。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第32頁聚類中心：存放在與神經(jīng)元j*連接權(quán)值上。輸出層神經(jīng)元鄰域選擇：初始鄰域選擇大些，隨算法進行逐步收縮。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第33頁8.4反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)尋找記憶：模擬人腦聯(lián)想記憶功效神經(jīng)網(wǎng)絡(luò)模型。網(wǎng)絡(luò)由初始狀態(tài)向穩(wěn)定狀態(tài)演化過程。初始輸出模式向量單層全互連、權(quán)值對稱神經(jīng)網(wǎng)絡(luò)。結(jié)構(gòu)：Hopfield網(wǎng)絡(luò)（HNN）離散型HNN(DHNN)：M-P模型二值神經(jīng)元連續(xù)型HNN(CHNN)：神經(jīng)元為連續(xù)時間輸出。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第34頁*每個神經(jīng)元輸出經(jīng)過加權(quán)與其余神經(jīng)元輸入端連接；*輸入模式向量各分量及神經(jīng)元輸出值取(+1)或(-1)；*神經(jīng)元個數(shù)與輸入模式向量維數(shù)相同；*記憶樣本記憶在神經(jīng)元之間連接權(quán)上。DHNN：*每個模式類有一個記憶樣本，是網(wǎng)絡(luò)一個穩(wěn)定輸出狀態(tài)。神經(jīng)網(wǎng)絡(luò)模式識別法介紹第35頁設(shè)是第s類記憶樣本。為了存放M個記憶樣本，神經(jīng)元i和神經(jīng)元j之間權(quán)值wij為設(shè)有M類模式，則有M個記憶樣本，分別是網(wǎng)絡(luò)M個穩(wěn)定輸出狀態(tài)。若神經(jīng)元i輸入為ui，輸出為，則式中，神經(jīng)網(wǎng)絡(luò)模式識別法介紹第36頁