第三篇人工神經(jīng)網(wǎng)絡(luò)

第1頁第一章概論

1.1

神經(jīng)網(wǎng)絡(luò)生物學(xué)基礎(chǔ)1.2

人工神經(jīng)網(wǎng)絡(luò)1.3人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況1.4神經(jīng)網(wǎng)絡(luò)在各領(lǐng)域應(yīng)用

第2頁1.1神經(jīng)網(wǎng)絡(luò)生物學(xué)基礎(chǔ)

神經(jīng)元學(xué)說起源于19世紀(jì)末，于1889年Caial所創(chuàng)建，他指出神經(jīng)系統(tǒng)是由相對獨(dú)立神經(jīng)細(xì)胞組成。神經(jīng)細(xì)胞也稱神經(jīng)元，具有信息處理功能，是人體神經(jīng)系統(tǒng)基本單元，大約有103～105個左右。 每個神經(jīng)元與大約103～105個其他神經(jīng)元相連接，按不一樣形式結(jié)合方式組成一種極其龐大而又復(fù)雜網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)。 通過神經(jīng)元及其聯(lián)接可塑性，使人類大腦具有學(xué)習(xí)、記憶、結(jié)識和決策等智能。 生物神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間連接強(qiáng)弱，根據(jù)外部鼓勵信號作適應(yīng)性變化；每個神經(jīng)元又伴隨所接收多種鼓勵信號，將其綜合而展現(xiàn)出興奮與抑制狀態(tài)。第3頁1、生物神經(jīng)元構(gòu)造1．細(xì)胞體:由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜三部分組成，細(xì)胞體是神經(jīng)元主體，它是接收與處理信息部件。2．樹突：在細(xì)胞體周圍向外伸出許多突起神經(jīng)纖維。它是細(xì)胞體信息輸入端。

3．軸突：也稱神經(jīng)纖維，它是由細(xì)胞體向外延伸最長突起纖維體，是細(xì)胞體信息輸出端。4．突觸：是一種神經(jīng)元神經(jīng)末梢與另一種神經(jīng)元樹突或細(xì)胞體連接，這種連接相稱于神經(jīng)元之間信息傳遞輸入與輸出接口。

第4頁2、生物神經(jīng)元產(chǎn)生信息傳輸過程 由前介紹,生物神經(jīng)元中細(xì)胞體相稱一種處理器，樹突為輸入端，軸突為輸出端，突觸為輸入輸出接口。 該處理器對各樹突收到來自其他神經(jīng)元輸入信號進(jìn)行組合，并在一定條件下觸發(fā)，產(chǎn)生一種輸出信號，輸出信號又傳向其他神經(jīng)元樹突和細(xì)胞體。這樣，信息通過神經(jīng)元在網(wǎng)絡(luò)中一種個傳下去，直到最復(fù)雜部分是處于大腦最外層大腦皮層。 當(dāng)神經(jīng)末梢沒有受到外界刺激時，細(xì)胞處于安靜狀態(tài)；

若神經(jīng)細(xì)胞受到外界一定強(qiáng)度信號刺激時，細(xì)胞膜電位從靜息電位向正偏移，此時神經(jīng)元狀態(tài)稱為興奮狀態(tài)。假如膜電位從靜息電位向負(fù)偏移，此時神經(jīng)元狀態(tài)為抑制狀態(tài)，神經(jīng)細(xì)胞都處于這三個狀態(tài)之一。

第5頁3、人腦神經(jīng)信息處理特點(diǎn)

1．對信息能夠進(jìn)行學(xué)習(xí)和記憶 當(dāng)外界信號以光、熱、聲、力等形式作用于感覺器官，即可形成視覺、觸覺、聽覺等，映射到大腦繼而進(jìn)行信息加工：記憶和回憶2．對信息歸納整頓功能。 這一功能經(jīng)常是與學(xué)習(xí)和記憶同步進(jìn)行，它使得人們將數(shù)次感覺形成概念性意識，也可將數(shù)次反復(fù)性經(jīng)驗(yàn)形成理論。這種將感性結(jié)識上升到理性結(jié)識能力，是人腦特有功能，也是人類智能一種集中體現(xiàn)。3．能夠接收多種類型信息 通過接收多種類型信息、語言、文字或圖形均可喚起人記憶、同一事物可由不一樣類型信息而觸發(fā)。4．具有多種思維能力 包括形象思維、抽象思維和靈感思維。

第6頁4、人腦神經(jīng)信息處理特性（1）具有并行分布式處理

人腦中單個神經(jīng)元信息處理速度事實(shí)上是很慢，每次大約1ms，比一般電子門電路速度0.001ms要慢幾個數(shù)量級。不過，人腦對某一復(fù)雜過程處理和反應(yīng)都很快，一般只需要幾百毫秒。 例如，要判定由眼看到兩圖形是否同樣，事實(shí)上約需400ms，按神經(jīng)元處理速度，假如采取串行工作模式，就需要幾百串行步才能完成，這短時間事實(shí)上是不也許辦到。因此只能把人腦當(dāng)作由眾多神經(jīng)元所組成超高密度并行處理系統(tǒng)。（2）具有可塑性和自組織性 雖然神經(jīng)元之間突觸連接，基本部分是先天就有，不過，大腦皮層大部分突觸連接是后天由環(huán)境鼓勵逐漸形成。這種隨環(huán)境刺激不一樣能形成和變化神經(jīng)元之間突觸聯(lián)接現(xiàn)象稱為可塑性。 若由環(huán)境刺激，形成和調(diào)整神經(jīng)元之間突觸連接，這樣逐漸組成神經(jīng)網(wǎng)絡(luò)現(xiàn)象稱為自組織性。第7頁（3）具有信息處理與存貯合二為一性 人腦皮層中記憶和處理是有機(jī)結(jié)合，即信息處理與信息貯存合為一起，而計算機(jī)將存貯地址與存貯內(nèi)容彼此分開。二者合二為一長處就是有大量有關(guān)知識參與信息過程，這對于提升網(wǎng)絡(luò)信息處理速度和智能是至關(guān)主要。

（4）具有冗余性和容錯性 信息在大腦神經(jīng)網(wǎng)絡(luò)中是分散在很多神經(jīng)元里存貯，并且每個神經(jīng)元事實(shí)上存貯多種不一樣信息部分內(nèi)容。 在分布存貯內(nèi)容中，有許多是完成同一功能，這就是神經(jīng)網(wǎng)絡(luò)具有冗余性，它能夠使得大腦單個神經(jīng)元也許損壞或死亡不致于丟失記憶信息。 大腦將信息分散貯存在許多神經(jīng)元及它們突觸連接之中，假如部分神經(jīng)元有損傷，通過自組織功能使神經(jīng)系統(tǒng)總體功能繼續(xù)有效，這種就稱為容錯性。。 由于網(wǎng)絡(luò)具有高連接度，意味著一定誤差及干涉不會使網(wǎng)絡(luò)性能惡化，即網(wǎng)絡(luò)具有魯棒性。

第8頁第一章概論

1.1

神經(jīng)網(wǎng)絡(luò)生物學(xué)基礎(chǔ)1.2

人工神經(jīng)網(wǎng)絡(luò)1.3人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況1.4神經(jīng)網(wǎng)絡(luò)在各領(lǐng)域應(yīng)用

第9頁1.2人工神經(jīng)網(wǎng)絡(luò)

在生物學(xué)研究基礎(chǔ)上，提出了模擬大腦生物過程基本特性，提出人工神經(jīng)網(wǎng)絡(luò)（ANN）模型。

ANN只是對生物神經(jīng)網(wǎng)絡(luò)某種抽象、簡化和模擬，不是人腦神經(jīng)系統(tǒng)功能真實(shí)描述。

人工神經(jīng)元是對生物神經(jīng)元一種簡化描述。人工神經(jīng)元用模型圖近似體現(xiàn)生物神經(jīng)元構(gòu)造，用數(shù)學(xué)語言來體現(xiàn)生物神經(jīng)元信息處理過程。第10頁1、人工神經(jīng)元構(gòu)造模型

人們所提出神經(jīng)元模型有多種，其中最基本人工神經(jīng)元模型由美國人McCulloch和Pitts最先提出來，稱為MP模型，如圖。x1,x2,……,xn分別代表來自其他神經(jīng)元突觸輸出，作為該神經(jīng)元輸入；用向量表達(dá)：X=[x1,x2…xn]Twj1,wj2,……,wjn分別表達(dá)其他神經(jīng)元與該神經(jīng)元突觸連接強(qiáng)度，即權(quán)值。正值表達(dá)興奮型突觸，負(fù)值表達(dá)抑制型突觸。用向量表達(dá)：

W=[wj1,wj2,……,wjn]Θj叫做閾值，一般接固定偏置信號＋1。閾值作用相稱于設(shè)定一種門坎，當(dāng)所有輸入信號加權(quán)求和超出閾值時，該神經(jīng)元有輸出，不然無輸出。因此，閾值應(yīng)當(dāng)是一種負(fù)數(shù)。第11頁MP模型基于下列幾點(diǎn)假定：１）每一種神經(jīng)元是一種多輸入單輸出信息單元。２）突觸分興奮性和抑制性兩種類型。３）神經(jīng)元輸出有閾值特性：當(dāng)輸入總和越過閾值時，神經(jīng)元才被激活，未超出閾值時，神經(jīng)元不會發(fā)生沖動。４）神經(jīng)元輸入與輸出間有固定時滯。５）忽視時間整合和不應(yīng)期。６）神經(jīng)元本身是非時變，即其突觸延時和突觸強(qiáng)度均為常數(shù)。第12頁

人工神經(jīng)元是生物神經(jīng)元一階近似。由于它沒有考慮生物原形很多原因，如未考慮延時特性，輸入后立即輸出，等等。但它考慮了生物神經(jīng)元三個最主要功能：（１）加權(quán)——可對每個輸入信號進(jìn)行不一樣程度加權(quán)；（２）求和——確定所有輸入信號組合效果；（３）轉(zhuǎn)移——通過轉(zhuǎn)移函數(shù)?(·)，確定其輸出。

通過這三個功能模擬，基本反應(yīng)了生物神經(jīng)元主要特性。第13頁神經(jīng)元又稱為結(jié)點(diǎn)，結(jié)點(diǎn)j凈輸入sj

定義為：

假如視x0=1,wj0=θj,即令X及Wj包括x0,wj0,則擴(kuò)展后輸入向量及連接權(quán)向量為：

凈輸入通過轉(zhuǎn)移函數(shù)?(·)后，便是人工神經(jīng)元輸出yj：2、人工神經(jīng)元基本數(shù)學(xué)處理式中?(·)是單調(diào)上升函數(shù)，并且必須是有界函數(shù)。由于細(xì)胞傳遞信號隨輸入增加而加強(qiáng)，但不也許無限制地增加，必有一種最大值。

第14頁3、轉(zhuǎn)移函數(shù) 人工神經(jīng)元輸入與輸出對應(yīng)關(guān)系是以轉(zhuǎn)移函數(shù)?(·)來表達(dá)。轉(zhuǎn)移函數(shù)又稱為激活函數(shù),其作用是模擬生物神經(jīng)元所具有非線性轉(zhuǎn)移特性。人工神經(jīng)元不一樣模型主要區(qū)分在于采取了不一樣轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不一樣信息處理特性。 常用轉(zhuǎn)移函數(shù)有下列幾個形式。a)閾值型函數(shù)b)符號函數(shù)c)分段線性函數(shù)d)非線性函數(shù)

第15頁4、人工神經(jīng)網(wǎng)絡(luò)連接類型

人腦具有記憶、聯(lián)想、推理和判斷等高智能功能，其原因就在于眾多神經(jīng)元按一定方式連結(jié)成網(wǎng)絡(luò)集體工作，并按一定規(guī)則調(diào)整各單元間突觸連結(jié)強(qiáng)度。 對于模擬生物神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)主要功能，取決于兩個方面： 其一，網(wǎng)絡(luò)組成構(gòu)造形式，也就是人工神經(jīng)網(wǎng)絡(luò)連接方式； 其二，網(wǎng)絡(luò)學(xué)習(xí)和運(yùn)行規(guī)則，即網(wǎng)絡(luò)中連接權(quán)值調(diào)整規(guī)則。 雖然，ANN力圖模擬生物神經(jīng)網(wǎng)絡(luò)構(gòu)造與功能，但二者無論在神經(jīng)元數(shù)量和網(wǎng)絡(luò)構(gòu)造復(fù)雜程度，還是在網(wǎng)絡(luò)智能性方面都相差甚遠(yuǎn)，因而ANN對生物神經(jīng)網(wǎng)絡(luò)模仿在現(xiàn)階段仍然處于低水平上。第16頁(1)

單層前饋網(wǎng)絡(luò)

輸入層（圖中實(shí)心黑點(diǎn)）只起到分派輸入信號及傳遞信息作用，故不算一層。輸出層（圖中空心園圈）用來處理信息，并向外界輸出成果，由于只有一種輸出層，且信號是向前單向傳遞，故稱為單層前饋網(wǎng)絡(luò)。圓圈表達(dá)神經(jīng)元，又稱結(jié)點(diǎn)。

a）單層前饋網(wǎng)絡(luò)構(gòu)造圖b）網(wǎng)絡(luò)符號圖

第17頁網(wǎng)絡(luò)中任何一層神經(jīng)元連結(jié)權(quán)，可用下面權(quán)矩陣W表達(dá)：

若網(wǎng)絡(luò)輸出層各點(diǎn)凈輸入也用向量表達(dá):第18頁若引入輸入與輸出特性矩陣T：

即：Y＝T［WX］式中:W—網(wǎng)絡(luò)權(quán)值矩陣；X—網(wǎng)絡(luò)輸入向量；Y—網(wǎng)絡(luò)輸出向量。第19頁(2)多層前饋網(wǎng)絡(luò)

生理學(xué)家研究發(fā)覺，人大腦皮層有3～6層神經(jīng)細(xì)胞，也就是說具有層次構(gòu)造。仿照生物神經(jīng)網(wǎng)絡(luò)，ANN也按層排列。多層網(wǎng)絡(luò)由單層網(wǎng)絡(luò)級聯(lián)而成，即網(wǎng)絡(luò)中下一層各神經(jīng)元接收前一層各神經(jīng)元輸出。a）多層前饋網(wǎng)絡(luò)構(gòu)造圖b）網(wǎng)絡(luò)符號圖第一層輸出：第二層輸出：第三層輸出：

第20頁（3）層內(nèi)互連前饋網(wǎng)絡(luò) 通過層內(nèi)神經(jīng)元之間互相連接，能夠?qū)崿F(xiàn)同一層神經(jīng)元之間橫向抑制或興奮機(jī)制，這就能夠限制每層內(nèi)同步動作神經(jīng)元數(shù)。 或者將每層神經(jīng)元分為若干組，讓每組作一種整體來運(yùn)作。例如，能夠用橫向抑制機(jī)理把某層內(nèi)具有最大輸出神經(jīng)元挑出來，而抑制其他神經(jīng)元，讓它處于無輸出狀態(tài)。第21頁（4）有反饋前向網(wǎng)絡(luò) 在前向網(wǎng)絡(luò)基礎(chǔ)上，輸出層信息通過連結(jié)權(quán)反饋到輸入層或前一層神經(jīng)元。它輸出不但與目前輸入有關(guān)，還與先前輸出有關(guān)。因并且有短期記憶能力。第22頁第一章概論

1.1

神經(jīng)網(wǎng)絡(luò)生物學(xué)基礎(chǔ)1.2

人工神經(jīng)網(wǎng)絡(luò)1.3人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況1.4神經(jīng)網(wǎng)絡(luò)在各領(lǐng)域應(yīng)用

第23頁1.3人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況1、國際方面（1）早期階段

19世紀(jì)90年代美國心理學(xué)家WilliamJames刊登了《心理學(xué)原理》一書，論述了有關(guān)學(xué)習(xí)、聯(lián)想記憶基本原理，對人腦功能作了創(chuàng)見性工作。 1943年美國心理學(xué)家W.S.Mcculloh與數(shù)學(xué)家W.H.Pirts合作，用邏輯數(shù)學(xué)工具研究客觀事件在形成神經(jīng)網(wǎng)絡(luò)中數(shù)學(xué)模型體現(xiàn)，從此開創(chuàng)了對神經(jīng)網(wǎng)絡(luò)理論研究。首先提出了二值神經(jīng)元MP模型。 1949年，心理學(xué)家D.O.Hebb出版一本《行為組成》書，在該書中首先建立了人們被稱為Hebb算法連接權(quán)訓(xùn)練規(guī)則。

1962年BernardWidrow和MarcianHoff提出了一種連續(xù)取值線性加權(quán)求和閾值網(wǎng)絡(luò)，即是自適應(yīng)線性元件網(wǎng)絡(luò)，也能夠當(dāng)作是感知器變形。

第24頁（2）低潮階段

1969年人工智能發(fā)明人之一MarvinMinsky和SeymourPapert出版一本名為《感知器》專著，書中指出線性感知器功能是有限，簡單神經(jīng)網(wǎng)絡(luò)只能進(jìn)行線性分類和求解一階謂詞問題，而不能進(jìn)行非線性分類和處理比較復(fù)雜高階謂詞問題。

1969年，美國波士頓大學(xué)自適應(yīng)中心StephenGrossberg和Carpenter提出了著名自適應(yīng)共振理論模型，其中論述到，若在所有神經(jīng)結(jié)點(diǎn)中有一種結(jié)點(diǎn)尤其興奮，其周圍所有結(jié)點(diǎn)將將受抑制。此理論仍然在目前神經(jīng)網(wǎng)絡(luò)中應(yīng)用。第25頁（3）復(fù)蘇階段

1970年和1973年日本學(xué)者KunihikoFnkushima研究了視覺和腦空間和時間人工神經(jīng)系統(tǒng)，提出了神經(jīng)認(rèn)知網(wǎng)絡(luò)理論及認(rèn)知機(jī)方面模型。 1972年芬蘭T·Kohonen專家提出了自組織映射理論，并稱神經(jīng)網(wǎng)絡(luò)構(gòu)造為“聯(lián)想存放器”。 1980年日本學(xué)者福島邦彥刊登“新知識機(jī)”，他綜合出一種具有進(jìn)行模式識別能力神經(jīng)網(wǎng)絡(luò)模型。 大家一致公認(rèn)神經(jīng)網(wǎng)絡(luò)研究復(fù)蘇主要標(biāo)志是1982年美國加州理工學(xué)院物理學(xué)家，JohnJHopfield專家刊登一篇具有里程碑性論文，他提出一種遞歸網(wǎng)絡(luò)——Hopfield網(wǎng)絡(luò)。第26頁（4）新高潮階段

80年代后期，在美國圣地亞哥第一層國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議召開為開端，會上宣布了國際神經(jīng)網(wǎng)絡(luò)協(xié)會成立及神經(jīng)網(wǎng)絡(luò)計算機(jī)科學(xué)誕生，并且還展示了有關(guān)公司和大學(xué)所開發(fā)神經(jīng)網(wǎng)絡(luò)計算機(jī)方面產(chǎn)品和芯片。

隨后，由世界著名三位神經(jīng)網(wǎng)絡(luò)學(xué)家，美國波士頓大學(xué)StephenGrossberg專家、芬美赫爾辛基技術(shù)大學(xué)TenvoKohonen專家及日本東京大學(xué)甘利俊－專家，初次創(chuàng)辦了世界第一份神經(jīng)網(wǎng)絡(luò)雜志（NeuralNetwork）。

人工神經(jīng)網(wǎng)絡(luò)技術(shù)與目前技術(shù)相結(jié)合，諸如與人工智能（AI）、視覺、語言、識別系統(tǒng)、圖像處理、機(jī)器人及醫(yī)學(xué)等結(jié)合，會帶來處理更加快，開發(fā)更容易和應(yīng)用性更強(qiáng)前景。

第27頁2、國內(nèi)方面 我國腦功能和神經(jīng)網(wǎng)絡(luò)課題研究，早在40年前就已經(jīng)進(jìn)行開始。 1980年涂序彥先籌刊登《生物控制論》一書，書中系統(tǒng)地介紹了神經(jīng)元和神經(jīng)網(wǎng)絡(luò)構(gòu)造，功能和模型。 1988年北京大學(xué)組織召開了第一次有關(guān)神經(jīng)網(wǎng)絡(luò)討論會，某些著名學(xué)者在會上作了專項(xiàng)報告。 1989年北京和廣州等地召開了神經(jīng)網(wǎng)絡(luò)及其應(yīng)用討論會和第一層全國信號處理——神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議。 1991年成立了中國神經(jīng)網(wǎng)絡(luò)學(xué)會，大大地推進(jìn)了中國學(xué)術(shù)界及工程界在人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用研究。

第28頁第一章概論

1.1

神經(jīng)網(wǎng)絡(luò)生物學(xué)基礎(chǔ)1.2

人工神經(jīng)網(wǎng)絡(luò)1.3人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況1.4神經(jīng)網(wǎng)絡(luò)在各領(lǐng)域應(yīng)用

第29頁1．在信息領(lǐng)域(1)信號處理

神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于自適應(yīng)信號處理和非線性信號處理。(2)模式識別模式識別包括模式預(yù)處理變換和將一種模式映射為其他類型操作，神經(jīng)網(wǎng)絡(luò)在這兩個方面都有許多成功應(yīng)用。(3)數(shù)據(jù)壓縮

神經(jīng)網(wǎng)絡(luò)可看待傳送(或待存放)數(shù)據(jù)提取模式特性，只將該特性傳出(或存放)，接收后(或使用時)再將其恢復(fù)成原始模式。2．在自動控制領(lǐng)域(1)系統(tǒng)辨識以神經(jīng)網(wǎng)絡(luò)作為被辨識對象模型，利用其非線性特性，可建立非線性系統(tǒng)靜態(tài)或動態(tài)模型。(2)神經(jīng)控制器控制器在實(shí)時控制系統(tǒng)中起著“大腦”作用。

(3)智能檢測神經(jīng)網(wǎng)絡(luò)作為智能檢測中信息處理元件便于對多種傳感器有關(guān)信息進(jìn)行復(fù)合、集成、融合、聯(lián)想等數(shù)據(jù)融合處理，從而實(shí)現(xiàn)單一傳感器所不具有功能。

第30頁3．在工程領(lǐng)域

(1)汽車工程

利用神經(jīng)網(wǎng)絡(luò)非線性映射能力，通過學(xué)習(xí)優(yōu)秀駕駛員換擋經(jīng)驗(yàn)數(shù)據(jù)，可自動提取蘊(yùn)含在其中最佳換擋規(guī)律； 神經(jīng)網(wǎng)絡(luò)在汽車剎車自動控制系統(tǒng)中也有成功應(yīng)用，該系統(tǒng)能在給定剎車距離、車速和最大減速度情況下，以人體感受到最小沖擊實(shí)現(xiàn)平穩(wěn)剎車而不受路面坡度和車重影響。 神經(jīng)網(wǎng)絡(luò)在載重車柴油機(jī)燃燒系統(tǒng)方案優(yōu)化中應(yīng)用，有效地減少了油耗和排