1、.,人工神經(jīng)網(wǎng)絡(luò),.,人工神經(jīng)網(wǎng)絡(luò)概述 前向多層網(wǎng)絡(luò) 自組織特征映射網(wǎng)絡(luò)（SOFM）,.,一 人工神經(jīng)網(wǎng)絡(luò)發(fā)展 二 生物學(xué)基礎(chǔ) 三 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 四 神經(jīng)網(wǎng)絡(luò)基本學(xué)習(xí)算法,人工神經(jīng)網(wǎng)絡(luò)概述,.,一 人工神經(jīng)網(wǎng)絡(luò)發(fā)展,最早的研究可以追溯到20世紀(jì)40年代。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作提出了形式神經(jīng)元的數(shù)學(xué)模型。這一模型一般被簡稱M-P神經(jīng)網(wǎng)絡(luò)模型，至今仍在應(yīng)用，可以說，人工神經(jīng)網(wǎng)絡(luò)的研究時代，就由此開始了。 1949年，心理學(xué)家Hebb提出神經(jīng)系統(tǒng)的學(xué)習(xí)規(guī)則，為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法奠定了基礎(chǔ)?，F(xiàn)在，這個規(guī)則被稱為Hebb規(guī)則，許多人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)還遵循這一規(guī)則

2、。,.,1957年，F(xiàn).Rosenblatt提出“感知器”(Perceptron) 模型，第一次把神經(jīng)網(wǎng)絡(luò)的研究從純理論的探討付諸工程實踐，掀起了人工神經(jīng)網(wǎng)絡(luò)研究的第一次高潮。 1969年，人工智能學(xué)者專著感知機(jī)的發(fā)表，從數(shù)學(xué)上嚴(yán)格論證了簡單的線性感知機(jī)不能解決“異或”（XOR）問題。同時也指出如果在感知器中引入隱含神經(jīng)元，增加神經(jīng)網(wǎng)絡(luò)的層次，可以提高神經(jīng)網(wǎng)絡(luò)的處理能力，但是卻無法給出相應(yīng)的網(wǎng)絡(luò)學(xué)習(xí)算法。于是，從20世紀(jì)60年代末期起，人工神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了低潮。,一 人工神經(jīng)網(wǎng)絡(luò)發(fā)展,.,1982年，美國加州工學(xué)院物理學(xué)家Hopfield提出了離散的神經(jīng)網(wǎng)絡(luò)模型，標(biāo)志著神經(jīng)網(wǎng)絡(luò)的研究又進(jìn)入

3、了一個新高潮。1984年，Hopfield又提出連續(xù)神經(jīng)網(wǎng)絡(luò)模型，開拓了計算機(jī)應(yīng)用神經(jīng)網(wǎng)絡(luò)的新途徑。 1986年，Rumelhart和Meclelland提出多層網(wǎng)絡(luò)的誤差反傳(back propagation)學(xué)習(xí)算法，簡稱BP算法。解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強的學(xué)習(xí)能力，它可以完成許多學(xué)習(xí)任務(wù)，解決許多實際問題。,一 人工神經(jīng)網(wǎng)絡(luò)發(fā)展,.,自20世紀(jì)80年代中期以來，世界上許多國家掀起了神經(jīng)網(wǎng)絡(luò)的研究熱潮，可以說神經(jīng)網(wǎng)絡(luò)已成為國際上的一個研究熱點。,一 人工神經(jīng)網(wǎng)絡(luò)發(fā)展,.,神經(jīng)網(wǎng)絡(luò)研究的兩大派： 主要包括:生物學(xué)家、物理學(xué)家和心理學(xué)家 研究目的：給出大腦活

4、動的精細(xì)模型和描述。 主要包括:工程技術(shù)人員 主要目的：怎樣利用神經(jīng)網(wǎng)絡(luò)的基本原理，來構(gòu)造解決實際問題的算法，使得這些算法具有有趣的和有效的計算能力。 人工神經(jīng)網(wǎng)絡(luò)屬于此類,一 人工神經(jīng)網(wǎng)絡(luò)發(fā)展,.,人工神經(jīng)網(wǎng)絡(luò)概念： 人工神經(jīng)網(wǎng)絡(luò)： 就是把一個描述生物神經(jīng)網(wǎng)絡(luò)運行機(jī)理和工作過程的抽象和簡化了的數(shù)學(xué)-物理模型，表達(dá)成為一個以其中的人工神經(jīng)元為節(jié)點、以神經(jīng)元之間的連接關(guān)系為路徑權(quán)值的有向圖，再用硬件或軟件程序?qū)崿F(xiàn)該有向圖的運行，其穩(wěn)態(tài)運行結(jié)果體現(xiàn)生物神經(jīng)系統(tǒng)的某種特殊能力。,一 人工神經(jīng)網(wǎng)絡(luò)發(fā)展,.,人工神經(jīng)網(wǎng)絡(luò)是近年來得到迅速發(fā)展的一個前沿課題。神經(jīng)網(wǎng)絡(luò)由于其大規(guī)模并行處理、容錯性、自組織和自

5、適應(yīng)能力和聯(lián)想功能強等特點，已成為解決很多問題的有力工具。,一 人工神經(jīng)網(wǎng)絡(luò)發(fā)展,.,二 生物學(xué)基礎(chǔ),生物神經(jīng)元 突觸信息處理 信息傳遞功能與特點,.,1、生物神經(jīng)元,神經(jīng)元是大腦處理信息的基本單元 人腦約由101l-1012個神經(jīng)元組成，其中，每個神經(jīng)元約與104-105個神經(jīng)元通過突觸聯(lián)接，形成極為錯縱復(fù)雜而且又靈活多變的神經(jīng)網(wǎng)絡(luò) 神經(jīng)元以細(xì)胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構(gòu)成的神經(jīng)細(xì)胞，其形狀很像一棵枯樹的枝干 主要由細(xì)胞體、樹突、軸突組成,.,樹突是樹狀的神經(jīng)纖維接收網(wǎng)絡(luò)，它將電信號傳送到細(xì)胞體 細(xì)胞體對這些輸入信號進(jìn)行整合并進(jìn)行閾值處理 軸突是單根長纖維，它把細(xì)胞體的輸

6、出信號導(dǎo)向其他神經(jīng)元,神經(jīng)元的排列和突觸的強度(由復(fù)雜的化學(xué)過程決定)確立了神經(jīng)網(wǎng)絡(luò)的功能。,1、生物神經(jīng)元,.,生物學(xué)研究表明一些神經(jīng)結(jié)構(gòu)是與生俱來的，而其他部分則是在學(xué)習(xí)的過程中形成的。 在學(xué)習(xí)的過程中，可能會產(chǎn)生一些新的連接，也可能會使以前的一些連接消失。這個過程在生命早期最為顯著。,1、生物神經(jīng)元,.,2、突觸的信息處理,生物神經(jīng)元傳遞信息的過程為多輸入、單輸出； 神經(jīng)元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近； 當(dāng)神經(jīng)元細(xì)胞體通過軸突傳到突觸前膜的脈沖幅度達(dá)到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)； 突觸有兩種類型，興奮性突觸和抑制性

7、突觸。前者產(chǎn)生正突觸后電位，后者產(chǎn)生負(fù)突觸后電位。,.,3、信息傳遞功能與特點,具有時空整合能力 不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞 神經(jīng)纖維傳導(dǎo)的速度，即脈沖沿神經(jīng)纖維傳遞的速度，在1150ms之間 信息傳遞時延和不應(yīng)期，一般為0.3lms 可塑性，突觸傳遞信息的強度是可變的，即具有學(xué)習(xí)功能 存在學(xué)習(xí)、遺忘或疲勞（飽和）效應(yīng) 對應(yīng)突觸傳遞作用增強、減弱和飽和,.,三 人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),人工神經(jīng)網(wǎng)絡(luò) 人工神經(jīng)元模型 常見的神經(jīng)元激發(fā)函數(shù) 人工神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu),.,1943，神經(jīng)生理學(xué)家 McCulloch 和數(shù)學(xué)家 Pitts 基于早期神經(jīng)元學(xué)說，歸納總結(jié)了生物神經(jīng)元的基本特性，建

8、立了具有邏輯演算功能的神經(jīng)元模型以及這些人工神經(jīng)元互聯(lián)形成的人工神經(jīng)網(wǎng)絡(luò)，即所謂的 McCulloch-Pitts 模型。,McCulloch-Pitts 模型（MP模型）是世界上第一個神經(jīng)計算模型，即人工神經(jīng)系統(tǒng)。,二、人工神經(jīng)元模型,.,MP模型：,稱為輸出函數(shù)或激活函數(shù),.,激活函數(shù),求和操作,MP模型：,.,f(x)是激活函數(shù)(Activation Function)，也稱輸出函數(shù)。MP神經(jīng)元模型中的輸出函數(shù)為階躍函數(shù)：,其表達(dá)式為：,MP模型：,.,激活函數(shù)的基本作用 控制輸入對輸出的激活作用 對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換 將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出,可知當(dāng)神經(jīng)元i的

9、輸入信號加權(quán)和超過閾值時，輸出為“1”，即“興奮”狀態(tài)；反之輸出為“0”，是“抑制”狀態(tài)。,MP模型：,.,例：實現(xiàn)邏輯函數(shù)“與門”（AND gate）運算。 1 真，0假,.,例：實現(xiàn)邏輯函數(shù)“與門”（AND gate）運算。 1 真，0假,.,3、常見的神經(jīng)元激活函數(shù),MP 神經(jīng)元模型是人工神經(jīng)元模型的基礎(chǔ)，也是神經(jīng)網(wǎng)絡(luò)理論的基礎(chǔ)。在神經(jīng)元模型中，激活函數(shù)除了階躍函數(shù)之外，還有其它形式。不同的激活函數(shù)，可構(gòu)成不同的神經(jīng)元模型。,., 對稱型Sigmoid函數(shù),或,., 非對稱型Sigmoid函數(shù),或,., 對稱型階躍函數(shù),采用階躍作用函數(shù)的神經(jīng)元，稱為閾值邏輯單元。,., 線性函數(shù),（1）

10、線性作用函數(shù)：輸出等于輸入，即,（2）飽和線性作用函數(shù),（3）對稱飽和線性作用函數(shù),., 高斯函數(shù),反映出高斯函數(shù)的寬度,., 雙曲正切函數(shù),.,眾所周知，神經(jīng)網(wǎng)絡(luò)強大的計算功能是通過神經(jīng)元的互連而達(dá)到的。根據(jù)神經(jīng)元的拓?fù)浣Y(jié)構(gòu)形式不同，神經(jīng)網(wǎng)絡(luò)可分成以下兩大類：,4、人工神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu),目前，神經(jīng)網(wǎng)絡(luò)模型的種類比較多，已有近40余種神經(jīng)網(wǎng)絡(luò)模型，其中典型的有BP網(wǎng)絡(luò)、Hopfield網(wǎng)絡(luò)、CMAC小腦模型、ART自適應(yīng)共振理論和Blotzman機(jī)網(wǎng)絡(luò)等,., 層次型神經(jīng)網(wǎng)絡(luò),（1）前向神經(jīng)網(wǎng)絡(luò) 神經(jīng)元分層排列，順序連接。由輸入層施加輸入信息，通過中間各層，加權(quán)后傳遞到輸出層后輸出。每層的神

11、經(jīng)元只接受前一層神經(jīng)元的輸入，各神經(jīng)元之間不存在反饋。,.,（2）層內(nèi)有互聯(lián)的前向神經(jīng)網(wǎng)絡(luò) 在前向神經(jīng)網(wǎng)絡(luò)中有的在同一層中的各神經(jīng)元相互有連接,通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮機(jī)制，這樣可以限制每層內(nèi)能同時動作的神經(jīng)元數(shù)，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每組作為一個整體來動作。, 層次型神經(jīng)網(wǎng)絡(luò),.,（3）有反饋的前向神經(jīng)網(wǎng)絡(luò) 在層次網(wǎng)絡(luò)結(jié)構(gòu)中，只在輸出層到輸入層存在反饋，即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種模式可用來存儲某種模式序列，如神經(jīng)認(rèn)知機(jī)即屬于此類，也可以用于動態(tài)時間序列過程的神經(jīng)網(wǎng)絡(luò)建模。, 層次型神經(jīng)網(wǎng)絡(luò),.

12、, 互聯(lián)型神經(jīng)網(wǎng)絡(luò),在互連網(wǎng)絡(luò)模型中，任意兩個神經(jīng)元之間都可能有相互連接的關(guān)系。其中，有的神經(jīng)元之間是雙向的，有的是單向的。 Hopfield網(wǎng)絡(luò)、Boltzman機(jī)網(wǎng)絡(luò)屬于這一類。,., 互聯(lián)型神經(jīng)網(wǎng)絡(luò),在無反饋的前向網(wǎng)絡(luò)中，信號一旦通過某個神經(jīng)元，過程就結(jié)束了。而在互連網(wǎng)絡(luò)中，信號要在神經(jīng)元之間反復(fù)往返傳遞，神經(jīng)網(wǎng)絡(luò)處在一種不斷改變狀態(tài)的動態(tài)之中。從某個初始狀態(tài)開始，經(jīng)過若干次的變化，才會到達(dá)某種平衡狀態(tài)，根據(jù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和神經(jīng)元的特性，還有可能進(jìn)入周期振蕩或其它如渾沌等平衡狀態(tài)。,.,2、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 聯(lián)想式學(xué)習(xí) Hebb學(xué)習(xí)規(guī)則 誤差糾正式學(xué)習(xí)Delta ()學(xué)習(xí)規(guī)則,三 神經(jīng)

13、網(wǎng)絡(luò)的基本學(xué)習(xí)方式和學(xué)習(xí)規(guī)則,1 、神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式 有監(jiān)督（誤差校正）學(xué)習(xí)方式 無監(jiān)督學(xué)習(xí)方式,.,人工神經(jīng)網(wǎng)絡(luò)連接權(quán)的確定通常有兩種方法 根據(jù)具體要求，直接計算，如Hopfield網(wǎng)絡(luò)作優(yōu)化計算 通過學(xué)習(xí)得到的。大多數(shù)人工神經(jīng)網(wǎng)絡(luò)都采用這種方法,學(xué)習(xí)是改變各神經(jīng)元連接權(quán)值的有效方法，也是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性最主要的標(biāo)志。離開了學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)就失去了誘人的自適應(yīng)、自組織能力,學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題,三 神經(jīng)網(wǎng)絡(luò)的基本學(xué)習(xí)方式和學(xué)習(xí)規(guī)則,.,1、有監(jiān)督學(xué)習(xí)方式,特點： 不能保證得到全局最優(yōu)解 要求大量訓(xùn)練樣本，收斂速度慢 對樣本地表示次序變化比較敏感,神經(jīng)網(wǎng)絡(luò)根據(jù)實際輸出

14、與期望輸出的偏差，按照一定的準(zhǔn)則調(diào)整各神經(jīng)元連接的權(quán)系數(shù)，見下圖。期望輸出又稱為導(dǎo)師信號，是評價學(xué)習(xí)的標(biāo)準(zhǔn)，故這種學(xué)習(xí)方式又稱為有導(dǎo)師學(xué)習(xí)。, 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式,.,無導(dǎo)師信號提供給網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)僅僅根據(jù)其輸入調(diào)整連接權(quán)系數(shù)和閾值，此時，網(wǎng)絡(luò)的學(xué)習(xí)評價標(biāo)準(zhǔn)隱含于內(nèi)部。其結(jié)構(gòu)見下圖。這種學(xué)習(xí)方式主要完成聚類操作。,2、無監(jiān)督學(xué)習(xí)方式, 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式,.,Donall Hebb根據(jù)生理學(xué)中的條件反射機(jī)理，于1949年提出的神經(jīng)元連接強度變化的規(guī)則： 如果兩個神經(jīng)元同時興奮(即同時被激活)，則它們之間的突觸連接加強 為學(xué)習(xí)速率，oi、oj為神經(jīng)元 i 和 j 的輸出,1、聯(lián)想式學(xué)習(xí) Hebb

15、學(xué)習(xí)規(guī)則,Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形, 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則,.,2、糾錯式學(xué)習(xí) Delta()學(xué)習(xí)規(guī)則,首先我們考慮一個簡單的情況：設(shè)某神經(jīng)網(wǎng)絡(luò)的輸出層中只有一個神經(jīng)元i，給該神經(jīng)網(wǎng)絡(luò)加上輸入，這樣就產(chǎn)生了輸出yi(n)，稱該輸出為實際輸出。 對于所加上的輸入，我們期望該神經(jīng)網(wǎng)絡(luò)的輸出為d(n),稱為期望輸出或目標(biāo)輸出（樣本對里面包含輸入和期望輸出）。實際輸出與期望輸出之間存在著誤差，用e(n)表示：, 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則,現(xiàn)在要調(diào)整權(quán)值，是誤差信號e(n)減小到一個范圍。為此，可設(shè)定代價函數(shù)或性能指數(shù)E(n)：,.

16、,反復(fù)調(diào)整突觸權(quán)值使代價函數(shù)達(dá)到最小或者使系統(tǒng)達(dá)到一個穩(wěn)定狀態(tài)（及突觸權(quán)值穩(wěn)定不變），就完成了該學(xué)習(xí)過程。,該學(xué)習(xí)過程成為糾錯學(xué)習(xí)，或Delta學(xué)習(xí)規(guī)則。,wij 表示神經(jīng)元xi到xj學(xué)的突觸權(quán)值，在學(xué)習(xí)步驟為n時對突觸權(quán)值的調(diào)整為：,學(xué)習(xí)速率參數(shù),則, 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則,.,網(wǎng)絡(luò)的運行一般分為訓(xùn)練和仿真兩個階段。 訓(xùn)練的目的是為了從訓(xùn)練數(shù)據(jù)中提取隱含的知識和規(guī)律，并存儲于網(wǎng)絡(luò)中供仿真工作階段使用,神經(jīng)網(wǎng)絡(luò)的仿真過程實質(zhì)上是神經(jīng)網(wǎng)絡(luò)根據(jù)網(wǎng)絡(luò)輸入數(shù)據(jù)，通過數(shù)值計算得出相應(yīng)網(wǎng)絡(luò)輸出的過程。通過仿真，我們可以及時了解當(dāng)前神經(jīng)網(wǎng)絡(luò)的性能從而決定是否對網(wǎng)絡(luò)進(jìn)行進(jìn)一步的訓(xùn)練。,人工神經(jīng)網(wǎng)絡(luò)的運行,.,感

17、知器模型是美國學(xué)者羅森勃拉特（Rosenblatt）為研究大腦的存儲、學(xué)習(xí)和認(rèn)知過程而提出的一類具有自學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)模型，它把神經(jīng)網(wǎng)絡(luò)的研究從純理論探討引向了從工程上的實現(xiàn)。 Rosenblatt提出的感知器模型是一個只有單層計算單元的前向神經(jīng)網(wǎng)絡(luò)，稱為單層感知器。 感知器特別適合于簡單的模式分類問題，模式分類的學(xué)習(xí)控制和多模態(tài)控制中,感知器神經(jīng)網(wǎng)絡(luò),.,采用階躍函數(shù)作為神經(jīng)元的激活函數(shù)是感知器神經(jīng)元的典型特征,p為輸入矢量，學(xué)習(xí)誤差e為目標(biāo)矢 量t和網(wǎng)絡(luò)實際輸出矢量a之間的差值,感知器神經(jīng)網(wǎng)絡(luò),.,感知器神經(jīng)網(wǎng)絡(luò)的訓(xùn)練,感知器的訓(xùn)練主要是反復(fù)對感知器神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真和學(xué)習(xí)， 最終得到最優(yōu)

18、的網(wǎng)絡(luò)閥值和權(quán)值,1） 確定我們所解決的問題的輸入向量P、目標(biāo)向量t，并確定 各向量的維數(shù)，以及網(wǎng)絡(luò)結(jié)構(gòu)大小、神經(jīng)元數(shù)目。 2）初始化：權(quán)值向量w和閥值向量b分別賦予1,+1之間的 隨機(jī)值，并且給出訓(xùn)練的最大次數(shù)。 3）根據(jù)輸入向量P、最新權(quán)值向量w和閥值向量b，計算網(wǎng)絡(luò) 輸出向量a。 4）檢查感知器輸出向量與目標(biāo)向量是否一致，或者是否達(dá)到 了最大的訓(xùn)練次數(shù)，如果是則結(jié)束訓(xùn)練，否則轉(zhuǎn)入（5）。 5）根據(jù)感知器學(xué)習(xí)規(guī)則調(diào)查權(quán)向量，并返回3）。,.,感知器神經(jīng)網(wǎng)絡(luò)應(yīng)用舉例,兩種蠓蟲Af和Apf已由生物學(xué)家W.L.Grogan與w. w. Wirth(1981) 根據(jù)它們觸角長度和翼長以區(qū)分。 見下表中9只Af蠓和6只Apf蠓的數(shù)據(jù)。 根據(jù)給出的觸角長度和翼長可識別出一只標(biāo)本是Af還是Apf。 1給定一只Af或者Apf族的蒙，你如何正確地區(qū)分它屬于哪一族？ 2將你的方法用于觸角長和翼長分別為（1.24,1.80）、 （1.28,1.84）、(1.40,2.04)的三個標(biāo)本,.,輸入向量為： p=1.24