1、第9章神經(jīng)網(wǎng)絡(luò)模式識別,9.1 人工神經(jīng)網(wǎng)絡(luò)概述 9.2前饋神經(jīng)網(wǎng)絡(luò) 9.3自組織特征映射神經(jīng)網(wǎng)絡(luò) 9.4支持向量機(jī) 9.5神經(jīng)網(wǎng)絡(luò)模式識別,9.1人工神經(jīng)網(wǎng)絡(luò)概述,人工智能,通過對人類智力活動奧秘的探索與記憶思維機(jī)理的研究，來開發(fā)人類智力活動的潛能、探討用各種機(jī)器模擬人類智能的途徑，使人類的智能得以物化與延伸，產(chǎn)生了一門學(xué)科，即所謂的人工智能。,人工智能（Artificial Intelligence，AI） 在20世紀(jì)90年代，人工智能的符號主義、連接主義和行為主義三種方法并存。 連接主義：人工神經(jīng)網(wǎng)絡(luò),計(jì)算智能,近年來，借鑒仿生學(xué)思想，基于生物體系的生物進(jìn)化、細(xì)胞免疫、神經(jīng)細(xì)胞網(wǎng)絡(luò)等某些

2、機(jī)制，用數(shù)學(xué)語言抽象描述的計(jì)算方法，來模仿生物體系和人類的智能機(jī)制，產(chǎn)生了所謂的計(jì)算智能 計(jì)算智能（Computational Intelligence, CI） 軟計(jì)算（Soft Computing, SC） 人工神經(jīng)網(wǎng)絡(luò)、模糊集理論（Fuzzy Set, FS）、進(jìn)化計(jì)算（Evolutionary Computation, EC）,智能信息處理,人類在不斷地進(jìn)步，社會在不斷地發(fā)展，這一方面受人的好奇心驅(qū)動，人具有探索自然規(guī)律、了解未知世界、探索自身奧妙的內(nèi)動力；另一方面人具有生存和提高生活質(zhì)量的需求。 受這兩方面原動力的驅(qū)動，人類不斷地研究新的方法和技術(shù)，不斷地研制各種工具、儀器和機(jī)器，來

3、延伸、拓展和增強(qiáng)自身的各種能力。,人類所處的客觀環(huán)境、所面對的客觀世界是變化的、發(fā)展的，是浩瀚無垠的； 人類的知識雖然在不斷豐富、不斷更新，但是相對客觀環(huán)境、客觀世界，始終是不完全的、不可靠的、不精確的、不一致的和不確定的； 人類正是用這不精確的、不完美的知識，不斷地、逐步地了解了客觀世界，提高了生活質(zhì)量。 人工智能、人工神經(jīng)網(wǎng)絡(luò)、進(jìn)化計(jì)算、模糊系統(tǒng)理 論等等都是人類在對客觀世界、人類自身現(xiàn)有認(rèn)識的基礎(chǔ)上所產(chǎn)生的新的方法和理論，是人類進(jìn)一步探索自然規(guī)律、了解未知世界、探索自身奧妙，提高生活質(zhì)量的各種工具。,智能信息處理就是將不完全的、不可靠的、不精確的、不一致的和不確定的知識和信息逐步、逐步變

4、得完全、可靠、精確、一致和確定的過程和方法，就是利用對不精確性、不確定性的容忍來達(dá)到問題的可處理性和魯棒性。 智能信息處理的對象及方法均具有多樣性、復(fù)雜性和綜合性的特點(diǎn)。智能信息處理涉及到信息科學(xué)的多個(gè)領(lǐng)域，是現(xiàn)代信號處理、人工神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)理論、進(jìn)化計(jì)算，包括人工智能等等理論和方法的綜合應(yīng)用。,從深層意義上看，模式識別與人工智能所研究的是如何用計(jì)算機(jī)實(shí)現(xiàn)人腦的一些功能。一方面，從要實(shí)現(xiàn)的功能出發(fā)，我們可以將功能分解成子功能，直至設(shè)計(jì)出算法來實(shí)現(xiàn)這些子功能。這是自頂向下的分析方法。另一方面，人腦無論多么復(fù)雜，都可以看作是由大量神經(jīng)元組成的巨大的神經(jīng)網(wǎng)絡(luò)。從神經(jīng)元的基本功能出發(fā)，逐步從簡單到

5、復(fù)雜組成各種神經(jīng)網(wǎng)絡(luò)，研究它所能實(shí)現(xiàn)的功能，是自底向上的綜合方法。這兩種方法各有優(yōu)缺點(diǎn)，適用于不同的問題。,亦稱為神經(jīng)網(wǎng)絡(luò)（Neural Networks, NN），是由大量處理單元（神經(jīng)元Neurons）廣泛互連而成的網(wǎng)絡(luò)，是對人腦的抽象、簡化和模擬，反映人腦的基本特性。 人工神經(jīng)網(wǎng)絡(luò)的研究是從人腦的生理結(jié)構(gòu)出發(fā)來研究人的智能行為，模擬人腦信息處理的功能。它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、物理學(xué)、計(jì)算機(jī)科學(xué)及工程等學(xué)科的一種技術(shù)。,人工神經(jīng)網(wǎng)絡(luò),是由簡單的處理單元所組成的大量并行分布的處理機(jī)，這種處理機(jī)具有存儲和應(yīng)用經(jīng)驗(yàn)知識的自然特性，它與人腦的相似之處概括為兩個(gè)方面： 一是通過學(xué)習(xí)過程利用

6、神經(jīng)網(wǎng)絡(luò)從外部環(huán)境中獲取知識； 二是內(nèi)部神經(jīng)元（突觸權(quán)值）用來存儲獲取的知識信息。,人工神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)與 電子計(jì)算機(jī),圖靈：英國數(shù)學(xué)家。1912年6月23日出生于倫敦 Westminster區(qū)，1931年進(jìn)入劍橋大學(xué)Kings College攻讀數(shù)學(xué)，畢業(yè)學(xué)位考試第一，獲Wrangler榮譽(yù)稱號。學(xué)位論文“The Central Limit Theorem of Probability”獲“Smith Prize”。畢業(yè)后到美國普林斯頓大學(xué)攻讀博士學(xué)位，1936年發(fā)表了著名論文“On Computable Numbers with an Application to the Entsche

7、idungs Problem”，該文回答了“計(jì)算機(jī)”到底是怎樣的，如何進(jìn)行計(jì)算和工作，提出了計(jì)算模型“圖靈機(jī)”( Turing Machine)。,Alan Mathison Turing (1912 1954),1938年獲博士學(xué)位，博士論文“Systems of Logic Based on Ordinals”。1939年在英國外交部科研機(jī)構(gòu)工作，二戰(zhàn)期間用繼電器做成“Bombe”，協(xié)助軍方破解德國的著名密碼系統(tǒng)Enigma，戰(zhàn)后被受勛(Officer Order of the British Empire)。戰(zhàn)后到英國國家物理實(shí)驗(yàn)室(National Physical Lab., NPL

8、)，設(shè)計(jì)和建造電子計(jì)算機(jī)(Automatic Computing Engine, ACE)。1948年離開NPL，到曼徹斯特大學(xué)新成立的Royal Society Computing Lab.1948年6月開發(fā)出被稱為世界上第一臺存儲程序式計(jì)算機(jī)Mark I。,1950年10月發(fā)表論文“Computing Machinery and Intelligence” 認(rèn)為計(jì)算機(jī)可以具有智能，并提出了一種用于判定機(jī)器是否具有智能的試驗(yàn)方法，即圖靈試驗(yàn)(Turing Test)。1951年當(dāng)選英國皇家學(xué)會院士。1952年圖靈被法院指控行為“極端不當(dāng)”。1954年6月7日，圖靈服食浸過氰化物溶液的蘋果“自

9、殺”。 享年42歲。,Thinking is computing,1966年美國計(jì)算機(jī)協(xié)會設(shè)立計(jì)算機(jī)界的第一獎(jiǎng)項(xiàng) “圖靈獎(jiǎng)” 被稱為“計(jì)算機(jī)界的諾貝爾獎(jiǎng)”,ACM: Association for Computing Machinery IEEE Computer Society,John von Neumann (1903-1957),20世紀(jì)最杰出的數(shù)學(xué)家之一，于1945年提出了“程序內(nèi)存式”計(jì)算機(jī)的設(shè)計(jì)思想。這一卓越的思想為電子計(jì)算機(jī)的邏輯結(jié)構(gòu)設(shè)計(jì)奠定了基礎(chǔ)，已成為計(jì)算機(jī)設(shè)計(jì)的基本原則。由于他在計(jì)算機(jī)邏輯結(jié)構(gòu)設(shè)計(jì)上的偉大貢獻(xiàn)，他被譽(yù)為“計(jì)算機(jī)之父”。 諾伊曼于1903年出生于匈牙利的布達(dá)

10、佩斯。他是一個(gè)數(shù)字神童，11歲時(shí)已顯示出數(shù)學(xué)天賦。12歲的諾伊曼就對集合論，泛函分析等深?yuàn)W的數(shù)學(xué)領(lǐng)域了如指掌。,青年時(shí)期，諾伊曼師從于著名數(shù)學(xué)家希爾伯特。在獲得數(shù)學(xué)博士之后，不滿30歲成為美國普林斯頓大學(xué)的第一批終身教授。諾伊曼不僅是個(gè)數(shù)學(xué)天才，在其他領(lǐng)域也大有建樹。他精通七種語言，在化學(xué)方面也有相當(dāng)?shù)脑煸劊鼮殡y得的是，他并不僅僅局限于純數(shù)學(xué)上的研究，而是把數(shù)學(xué)應(yīng)用到其他學(xué)科中去。對經(jīng)典力學(xué)、量子力學(xué)和流體力學(xué)的數(shù)學(xué)基礎(chǔ)進(jìn)行過深入的研究，并獲得重大成果，諾伊曼具備了堅(jiān)實(shí)的數(shù)理基礎(chǔ)，和廣博的知識，為他后來從事計(jì)算機(jī)邏輯設(shè)計(jì)提供了堅(jiān)強(qiáng)的后盾。,1944年諾伊曼參加原子彈的研制工作，該工作涉及到極

11、為困難的計(jì)算。他所在的洛斯阿拉莫斯實(shí)驗(yàn)室為此聘用了一百多名女計(jì)算員，利用臺式計(jì)算機(jī)從早到晚計(jì)算，還是遠(yuǎn)遠(yuǎn)不能滿足需要。無窮無盡的數(shù)字和邏輯指令如同沙漠一樣把人的智慧和精力吸盡。被計(jì)算機(jī)所困擾的諾伊曼在一次極為偶然的機(jī)會中知道了ENIAC計(jì)算機(jī)的研制計(jì)劃，從此他投身到計(jì)算機(jī)研制這一宏偉的事業(yè)中，建立了一生中最大的豐功偉績。,1944年夏的一天，正在火車站候車的諾伊曼巧遇戈?duì)査固梗⑼M(jìn)行了短暫的交談。戈?duì)査固故敲绹鴱椀缹?shí)驗(yàn)室的軍方負(fù)責(zé)人，他正參與ENIAC計(jì)算機(jī)的研制工作。在交談在，戈?duì)査固垢嬖V了諾伊曼有關(guān)ENIAC的研制情況。具有遠(yuǎn)見卓識的諾伊曼為這一研制計(jì)劃所吸引，他意識到了這項(xiàng)工作的深遠(yuǎn)

12、意義。幾天之后，諾伊曼專程來到莫爾學(xué)院，參觀了尚未竣工的這臺龐大的機(jī)器，并以其敏銳的眼光，一下子抓住了計(jì)算機(jī)的靈魂邏輯結(jié)構(gòu)問題，令ENIAC的研制們敬佩不已。,因?qū)嶋H工作中對計(jì)算的需要以及把數(shù)學(xué)應(yīng)用到其他科學(xué)問題的強(qiáng)烈愿望，使諾伊曼迅速決定投身到計(jì)算機(jī)研制者的行列。對業(yè)已功成名就的諾伊曼來說，這樣做需要極大的勇氣，因?yàn)檫@是一個(gè)成敗未卜的新征途，一旦失敗，會影響他已取得的名譽(yù)和地位。諾伊曼卻以對新事物前途的洞察力，毅然決然地向此征途邁出了第一步，于1944年8月加入莫爾計(jì)算機(jī)研制小組，為計(jì)算機(jī)研制翻開了輝煌的一頁。,諾伊曼以其非凡的分析、綜合能力及雄厚的數(shù)理基礎(chǔ)，集眾人之長，提出了一系列優(yōu)秀的設(shè)

13、計(jì)思想，在他和莫爾小組其他成員的共同努力下，只經(jīng)歷了短短的十個(gè)月，人類在數(shù)千年中積累起來的科學(xué)技術(shù)文明，終于結(jié)出了最激動人心的智慧之花一個(gè)全新的存儲程序通用電子計(jì)算機(jī)方案（EDVAC方案）誕生了。,諾伊曼以“關(guān)于EDVAC的報(bào)告草案”為題，起草了長達(dá)101頁的總結(jié)報(bào)告。報(bào)告廣泛而具體地介紹了制造電子計(jì)算機(jī)和程序設(shè)計(jì)的新思想。報(bào)告明確規(guī)定，EDVAC計(jì)算機(jī)由計(jì)算器、邏輯控制裝置、存儲器、輸入和輸出五大部分組成，并闡述了這五大部分的職能和相互關(guān)系。這份報(bào)告是計(jì)算機(jī)發(fā)展史上一個(gè)劃時(shí)代的文獻(xiàn)，它向世界宣告：電子計(jì)算機(jī)的時(shí)代開始了。,1954年6月，諾伊曼到美國普林斯頓高級研究所工作，出任IAS計(jì)算機(jī)研

14、制小組的主任職位。在那時(shí)，他提出了更加完善的設(shè)計(jì)報(bào)告“電子計(jì)算裝置邏輯結(jié)構(gòu)初探”。報(bào)告中，諾伊曼對EDVAC中的兩大設(shè)計(jì)思想作了進(jìn)一步的論證，為計(jì)算機(jī)的設(shè)計(jì)樹立了一座里程碑。設(shè)計(jì)思想之一是二進(jìn)制，他根據(jù)電子元件雙穩(wěn)工作的特點(diǎn)，建議在電子計(jì)算機(jī)中采用二進(jìn)制。報(bào)告提到了二進(jìn)制的優(yōu)點(diǎn)，并預(yù)言，二進(jìn)制的采用將大簡化機(jī)器的邏輯線路。實(shí)踐證明了諾伊曼預(yù)言的正確性。,程序內(nèi)存是諾伊曼的另一杰作。通過對ENIAC的考察，諾伊曼敏銳地抓住了它的最大弱點(diǎn)沒有真正的存儲器。ENIAC只在20個(gè)暫存器，它的程序是外插型的，指令存儲在計(jì)算機(jī)的其它電路中。計(jì)算的高速與程序的手工存在著很大的矛盾。針對這個(gè)問題，諾伊曼提出了

15、程序內(nèi)存的思想：把運(yùn)算程序存在機(jī)器的存儲器中，這樣，就不必每個(gè)問題都重新編程，從而大大加快了運(yùn)算進(jìn)程。這一思想標(biāo)志著自動運(yùn)算的實(shí)現(xiàn)，標(biāo)志著電子計(jì)算機(jī)的成熟，已成為電子計(jì)算機(jī)設(shè)計(jì)的基本原則。,von Neumann與神經(jīng)網(wǎng)絡(luò),1949年，Von Neumann在Illinois大學(xué)四次講座的第二次講座中，闡述了McCulloch-Pitts正式的神經(jīng)網(wǎng)絡(luò)理論特點(diǎn)。1955年，他應(yīng)邀去Yale大學(xué)進(jìn)行Silliman講座，直至1956年（他死于1957年）。他未完成的Silliman講座的手稿于1958年作為一本書被出版，書名為The Computer and the Brain，此書由于涉及了V

16、on Neumann生前所做的工作和他注意到的人腦與計(jì)算機(jī)的巨大差異。此外，1956年Von Neumann用約簡的思想解決了一個(gè)在神經(jīng)網(wǎng)絡(luò)中特別令人關(guān)注的問題，這就是如何用認(rèn)為是不可靠的神經(jīng)元來設(shè)計(jì)一個(gè)可靠的網(wǎng)絡(luò)問題。,神經(jīng)網(wǎng)絡(luò)也經(jīng)常被稱為神經(jīng)計(jì)算機(jī)，但它與現(xiàn)代數(shù)字計(jì)算機(jī)迥然不同。,神經(jīng)網(wǎng)絡(luò)的信息存儲與處理（計(jì)算）是合二為一的，即信息的存儲體現(xiàn)在神經(jīng)元互連的分布上；傳統(tǒng)的計(jì)算機(jī)存儲與計(jì)算是獨(dú)立的，因而在存儲與計(jì)算之間存在著瓶頸； 神經(jīng)網(wǎng)絡(luò)以大規(guī)模模擬計(jì)算為主；數(shù)字計(jì)算機(jī)是以串行離散符號處理為主； 神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的魯棒性和容錯(cuò)性，善于聯(lián)想、概括、類比和推廣，任何局部的損傷不會影響整體結(jié)果；,

17、不同之處主要表現(xiàn)為（續(xù)）：,神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的自學(xué)習(xí)能力，能為新的輸入產(chǎn)生合理的輸出，可在學(xué)習(xí)過程之中不斷完善自己，具有創(chuàng)新特點(diǎn)； 神經(jīng)網(wǎng)絡(luò)是一大規(guī)模自適應(yīng)非線性動力系統(tǒng)，具有集體運(yùn)算的能力。這與本質(zhì)上是線性系統(tǒng)的現(xiàn)代數(shù)字計(jì)算機(jī)迥然不同。,人工神經(jīng)網(wǎng)絡(luò)是近年來的熱點(diǎn)研究領(lǐng)域，涉及到電子科學(xué)與技術(shù)、信息與通信工程、計(jì)算機(jī)科學(xué)與技術(shù)、電氣工程、控制科學(xué)與技術(shù)等諸多學(xué)科，其應(yīng)用領(lǐng)域包括：建模、時(shí)間序列分析、模式識別和控制等，并在不斷的拓展。,人工神經(jīng)網(wǎng)絡(luò)（ANN）的研究與計(jì)算機(jī)的研究幾乎是同步發(fā)展。早在1943年，心理學(xué)家W. McCulloch和數(shù)學(xué)家W.Pitts合作，從數(shù)理邏輯的角度，提出了神

18、經(jīng)元和神經(jīng)網(wǎng)絡(luò)最早的數(shù)學(xué)模型（MP模型），標(biāo)志著神經(jīng)網(wǎng)絡(luò)研究的開始。 1949年，D.O.Hebb從心理學(xué)角度提出了至今仍對神經(jīng)網(wǎng)絡(luò)理論有著重要影響的Hebb學(xué)習(xí)法則。 1958年，F(xiàn).Rosenblatt首次引入了模擬人腦感知和學(xué)習(xí)能力的感知器（perceptron）概念。 1960年，B.Widrow和M. Hoff提出了主要用于自適應(yīng)系統(tǒng)的自適應(yīng)線性元件（Adaptive linear neuron）網(wǎng)絡(luò)。 1969年美國麻省理工學(xué)院著名的人工智能專家M. Minsky和S. Papert出版了頗有影響的perceptron一書， 指出其局限性。,9.1.1 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史,197

19、6年S. Grossberg與J. A. Carpenter提出了自適應(yīng)共振理論（adaptive resonance therory, ART），并在以后的若干年發(fā)展了ART1、ART2和ART3網(wǎng)絡(luò)模型。 1982年美國加州工學(xué)院的物理學(xué)家J. Hoppfield提出了HNN模型，并首次引入了網(wǎng)絡(luò)能量函數(shù)概念。 1986年，D. Rumelhart和J. McCelland等學(xué)者提出了多層感知器的反向傳播算法，克服了當(dāng)初阻礙感知器模型繼續(xù)發(fā)展的重要障礙，使BP網(wǎng)絡(luò)成為目前應(yīng)用最廣的網(wǎng)絡(luò)。 1987年，電氣和電子工程師學(xué)會IEEE在圣地亞哥召開了盛大規(guī)模的神經(jīng)網(wǎng)絡(luò)國際學(xué)術(shù)會議。 1988年，

20、學(xué)會的正式雜志Neural Networks 創(chuàng)刊。,9.1.2 生物神經(jīng)元,人腦神經(jīng)系統(tǒng)的基本單元是神經(jīng)元細(xì)胞，人腦神經(jīng)系統(tǒng)約由1011個(gè)神經(jīng)元構(gòu)成，每個(gè)神經(jīng)元與約104個(gè)其他神經(jīng)元相連接。神經(jīng)細(xì)胞與人體中其他細(xì)胞的關(guān)鍵區(qū)別在于，神經(jīng)細(xì)胞具有產(chǎn)生、處理和傳遞信號的能力。,神經(jīng)元是基本的信息處理單元。生物神經(jīng)元主要由胞體、樹突、軸突和突觸組成。,生物神經(jīng)元基本結(jié)構(gòu),典型的神經(jīng)元（即神經(jīng)細(xì)胞）結(jié)構(gòu)，如下圖所示。,1）胞體。它是神經(jīng)細(xì)胞的本體，內(nèi)有細(xì)胞核和細(xì)胞質(zhì)，完成普通細(xì)胞的生存功能。,2）樹突是由細(xì)胞體向外伸出的，有不規(guī)則的表面和許多較短的分支。分支多達(dá)103數(shù)量級，長度較短，通常不超過1mm

21、。樹突相當(dāng)于信號的輸入端，用于接受神經(jīng)沖動。,3）軸突由細(xì)胞體向外伸出的最長的一條分支，即神經(jīng)纖維，有些較長可達(dá)1m以上。軸突遠(yuǎn)端也有分枝，可與多個(gè)神經(jīng)元連接。相當(dāng)于信號的輸出電纜，其端部的許多神經(jīng)末梢為信號輸出端子，用于傳出神經(jīng)沖動。神經(jīng)信號的傳導(dǎo)機(jī)制不是靠電信號，而是一個(gè)電化學(xué)過程，所以傳導(dǎo)速度比電信號慢得多。,4）神經(jīng)元之間通過軸突（輸出）和樹突（輸入）相互聯(lián)結(jié)，其接口稱為突觸。它是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)系的特殊部位，每個(gè)細(xì)胞約有103104個(gè)突觸。 通常是一個(gè)神經(jīng)元軸突的端部靠化學(xué)接觸或電接觸將信號（興奮）傳遞給下一個(gè)神經(jīng)元的樹突或胞體；對樹突的突觸多為興奮性的，使下一個(gè)神經(jīng)元興

22、奮，而對胞體的突觸多為抑制性，其作用是阻止下一個(gè)神經(jīng)元興奮。細(xì)胞膜內(nèi)外有電位差，約為20100mv，稱為膜電位。膜外為正，膜內(nèi)為負(fù)。,神經(jīng)元的基本工作機(jī)制：一個(gè)神經(jīng)元有兩種狀態(tài)興奮和抑制。平時(shí)處于抑制狀態(tài)的神經(jīng)元，其樹突和胞體接收其他神經(jīng)元經(jīng)由突觸傳來的興奮電位，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加；如果輸入興奮總量超過某個(gè)閾值，神經(jīng)元就會被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈沖，并由軸突的突觸傳遞給其他神經(jīng)元。神經(jīng)元被觸發(fā)之后有一個(gè)不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然后閾值逐漸下降，恢復(fù)興奮性。 神經(jīng)元是按照“全或無”的原則工作的，只有興奮和抑制兩種狀態(tài)，但也不能認(rèn)為神經(jīng)元只能表達(dá)或傳遞二值邏輯信號。因

23、為神經(jīng)元興奮時(shí)往往不是只發(fā)出一個(gè)脈沖，而是發(fā)出一串脈沖，如果把這一串脈沖看成是一個(gè)調(diào)頻信號，脈沖的密度是可以表達(dá)連續(xù)量的。,神經(jīng)元具有的重要功能,可塑性：可塑性反映在新突觸的產(chǎn)生和現(xiàn)有神經(jīng)突觸的調(diào)整上，可塑性使神經(jīng)網(wǎng)絡(luò)能夠適應(yīng)周圍的環(huán)境 。 時(shí)空整合功能：時(shí)間整合功能表現(xiàn)在不同時(shí)間、同一突觸上；空間整合功能表現(xiàn)在同一時(shí)間、不同突觸上。 興奮與抑制狀態(tài)：當(dāng)傳入沖動的時(shí)空整合結(jié)果，使細(xì)胞膜電位升高，超過被稱為動作電位的閾值（約為40mv），細(xì)胞進(jìn)入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動，由軸突輸出；同樣，當(dāng)膜電位低于閾值時(shí)，無神經(jīng)沖動輸出，細(xì)胞進(jìn)入抑制狀態(tài)。,脈沖與電位轉(zhuǎn)換：沿神經(jīng)纖維傳遞的電脈沖為等幅、恒寬、編

24、碼（60100mv）的離散脈沖信號，而細(xì)胞電位變化為連續(xù)信號。在突觸接口處進(jìn)行“數(shù)/模”轉(zhuǎn)換。神經(jīng)元中的軸突非常長和窄，具有電阻高、電壓大的特性，因此軸突可以建模成阻容傳播電路。 突觸的延時(shí)和不應(yīng)期：在相鄰的二次沖動之間需要一個(gè)時(shí)間間隔。在此期間對激勵(lì)不響應(yīng)。不能傳遞神經(jīng)沖動。 學(xué)習(xí)、遺忘和疲勞：突觸的傳遞作用有學(xué)習(xí)、遺忘和疲勞過程。,人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元廣泛互連而成的網(wǎng)絡(luò) ，是人腦的抽象、簡化、模擬，反映人腦的基本特性。一般來說，作為神經(jīng)元模型應(yīng)具備三個(gè)要素： (1)具有一組突觸或聯(lián)接，常用wij表示神經(jīng)元i和神經(jīng)元j之間的聯(lián)接強(qiáng)度，或稱之為權(quán)值。與人腦神經(jīng)元不同，人工神經(jīng)元權(quán)值的取

25、值可在負(fù)值與正值之間。 (2)具有反映生物神經(jīng)元時(shí)空整合功能的輸入信號累加. (3)具有一個(gè)激勵(lì)函數(shù)用于限制神經(jīng)元輸出。激勵(lì)函數(shù)將輸出信號壓縮（限制）在一個(gè)允許范圍內(nèi)，使其成為有限值。,9.1.3 人工神經(jīng)元模型,圖9-1 單個(gè)人工神經(jīng)元模型,單個(gè)的神經(jīng)元模型如圖9-1所示。,人工神經(jīng)元是一個(gè)多輸入、單輸出的非線性元件，其輸入輸出關(guān)系可表示為,(9-1),其中: x1, x2, , xn是從外部環(huán)境或其他神經(jīng)元傳來的輸入信號; w1, w2, , wn是對應(yīng)于輸入的連接權(quán)值; 是一個(gè)閾值; 函數(shù)g: RR為傳遞函數(shù), 也稱為激活函數(shù), 表示神經(jīng)元的輸出。 常用的三種基本激活函數(shù)如下: ,(1)

26、 閾值型函數(shù)。 常用的閾值型函數(shù)有階躍函數(shù)和符號函數(shù)。 階躍函數(shù)的表達(dá)式為,(9-2),符號函數(shù)的表達(dá)式為,(9-3),(2) 分段線性函數(shù)。 函數(shù)表達(dá)式為,(9-4),(3) Sigmoid函數(shù)。 如圖9-2所示, 函數(shù)表達(dá)式為,(9-5),或,(9-6),圖 9-2Sigmoid函數(shù)示意圖 (a) 取值在(0, 1)內(nèi); (b) 取值在(1, 1)內(nèi),9.1.4神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)是由大量的人工神經(jīng)元廣泛互連而成的網(wǎng)絡(luò)。 （1）從網(wǎng)絡(luò)性能角度可分為：連續(xù)型與離散型網(wǎng)絡(luò)、確定性與隨機(jī)性網(wǎng)絡(luò)； （2）從網(wǎng)絡(luò)結(jié)構(gòu)角度可分為前向網(wǎng)絡(luò)與反饋網(wǎng)絡(luò)； （3）從學(xué)習(xí)方式角度可分為有教師學(xué)習(xí)網(wǎng)絡(luò)和無教師

27、學(xué)習(xí)網(wǎng)絡(luò)； （4）按連接突觸性質(zhì)可分為一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。,1. 前饋網(wǎng)絡(luò) 前饋網(wǎng)絡(luò)中神經(jīng)元分層排列, 網(wǎng)絡(luò)由輸入層、 中間層(也稱隱含層)、 輸出層組成, 每一層的各神經(jīng)元只能接受前一層神經(jīng)元的輸出, 作為自身的輸入信號。 根據(jù)是否有中間層, 前饋網(wǎng)絡(luò)分為單層前饋網(wǎng)絡(luò)和多層前饋網(wǎng)絡(luò)。 常用的前饋網(wǎng)絡(luò)有感知器、 BP網(wǎng)絡(luò)、RBF網(wǎng)絡(luò)等。,單層前饋網(wǎng)絡(luò)沒有中間層。 圖9-3給出了輸入、 輸出均為四節(jié)點(diǎn)的單層前饋網(wǎng)絡(luò)。 由于輸入層只接受外界輸入, 無任何計(jì)算功能, 因此輸入層不納入層數(shù)的計(jì)算中。 “單層”是指具有計(jì)算節(jié)點(diǎn)的輸出層。,圖9-3 單層前饋神經(jīng)網(wǎng)絡(luò),多層前饋網(wǎng)絡(luò)有一個(gè)或

28、多個(gè)隱含層。 隱含層節(jié)點(diǎn)的輸入和輸出都是對網(wǎng)絡(luò)內(nèi)部的, 隱含層節(jié)點(diǎn)具有計(jì)算功能, 所以隱含層納入層數(shù)的計(jì)算中。 多層前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖9-4 所示。,圖9-4 多層前饋神經(jīng)網(wǎng)絡(luò),2. 反饋網(wǎng)絡(luò) 反饋網(wǎng)絡(luò)和前饋網(wǎng)絡(luò)的不同在于, 反饋網(wǎng)絡(luò)的輸出層接有反饋環(huán)路, 將網(wǎng)絡(luò)的輸出信號回饋到輸入層。 一個(gè)無隱含層的反饋網(wǎng)絡(luò)如圖9-5所示, 網(wǎng)絡(luò)由單層神經(jīng)元構(gòu)成, 每個(gè)神經(jīng)元都將其輸出反饋到其他所有神經(jīng)元的輸入。 圖9-5中所描述的結(jié)構(gòu)不存在自反饋環(huán)路, 即沒有輸出神經(jīng)元將輸出反饋到其本身輸入的情況。 單層反饋網(wǎng)絡(luò)有多種, 其中最典型的是Hopfield網(wǎng)絡(luò)。,圖9-5 單層反饋神經(jīng)網(wǎng)絡(luò),無自反饋和隱含

29、層的反饋網(wǎng)絡(luò),含有隱含層的反饋網(wǎng)絡(luò),3.隨機(jī)神經(jīng)網(wǎng)絡(luò),隨機(jī)神經(jīng)網(wǎng)絡(luò)是對神經(jīng)網(wǎng)絡(luò)引入隨機(jī)機(jī)制，認(rèn)為神經(jīng)元是按照概率的原理進(jìn)行工作的，這就是說，每個(gè)神經(jīng)元的興奮或抑制具有隨機(jī)性，其概率取決于神經(jīng)元的輸入。Boltzmann機(jī)就是典型的隨機(jī)神經(jīng)網(wǎng)絡(luò)。,4.競爭神經(jīng)網(wǎng)絡(luò),最簡單的競爭神經(jīng)網(wǎng)絡(luò)：Hamming網(wǎng)絡(luò),9.1.5神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也稱為訓(xùn)練，指的是通過神經(jīng)網(wǎng)絡(luò)所在環(huán)境的刺激作用調(diào)整神經(jīng)網(wǎng)絡(luò)的自由參數(shù)，使神經(jīng)網(wǎng)絡(luò)以一種新的方式對外部環(huán)境作出反應(yīng)的一個(gè)過程。 能夠從環(huán)境中學(xué)習(xí)和在學(xué)習(xí)中提高自身性能是神經(jīng)網(wǎng)絡(luò)的最有意義的性質(zhì)。 神經(jīng)網(wǎng)絡(luò)經(jīng)過反復(fù)學(xué)習(xí)對其環(huán)境更為了解。 ,學(xué)習(xí)算法是指

30、針對學(xué)習(xí)問題的明確規(guī)則集合。 學(xué)習(xí)類型是由參數(shù)變化發(fā)生的形式?jīng)Q定的，不同的學(xué)習(xí)算法對神經(jīng)元的突觸權(quán)值調(diào)整的表達(dá)式有所不同。 沒有一種獨(dú)特的學(xué)習(xí)算法用于設(shè)計(jì)所有的神經(jīng)網(wǎng)絡(luò)。 選擇或設(shè)計(jì)學(xué)習(xí)算法時(shí)還需要考慮神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及神經(jīng)網(wǎng)絡(luò)與外界環(huán)境相連的形式。,學(xué)習(xí)方式可分為：有導(dǎo)師學(xué)習(xí)(Learning with a teacher)和無導(dǎo)師學(xué)習(xí)(Learning without a teacher)。 有導(dǎo)師學(xué)習(xí)又稱為有監(jiān)督學(xué)習(xí)(Supervised Learning)，在學(xué)習(xí)時(shí)需要給出導(dǎo)師信號或稱為期望輸出（響應(yīng)）。對每一個(gè)輸入訓(xùn)練樣本, 都有一個(gè)期望得到的輸出值(也稱教師信號), 將它和實(shí)際輸出值

31、進(jìn)行比較, 根據(jù)兩者之間的差值不斷調(diào)整網(wǎng)絡(luò)的連接權(quán)值, 直到差值減小到預(yù)定的要求。,無導(dǎo)師學(xué)習(xí)包括強(qiáng)化學(xué)習(xí)(Reinforcement Learning)與無監(jiān)督學(xué)習(xí) (Unsupervised Learning) 或稱為自組織學(xué)習(xí)（Self-Organized Learning）。 網(wǎng)絡(luò)的學(xué)習(xí)完全是一種自我調(diào)整的過程, 不存在教師信號。 輸入模式進(jìn)入網(wǎng)絡(luò)后, 網(wǎng)絡(luò)按照預(yù)先設(shè)定的某種規(guī)則反復(fù)地自動調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和連接權(quán)值, 使網(wǎng)絡(luò)最終具有模式分類等功能。,假設(shè)yj為神經(jīng)元j的輸出, xi為神經(jīng)元i對神經(jīng)元j的輸入, wij是神經(jīng)元i與神經(jīng)元j之間的連接權(quán)值, wij為連接權(quán)值wij的修正值, 即

32、wij(n+1)=wij(n)+wij。 下面介紹9種常用的學(xué)習(xí)規(guī)則。,1. Hebb學(xué)習(xí)規(guī)則 Hebb學(xué)習(xí)規(guī)則是假定兩個(gè)神經(jīng)元同時(shí)興奮時(shí), 它們之間的連接強(qiáng)度應(yīng)該加強(qiáng)。 連接權(quán)值的學(xué)習(xí)規(guī)則按下式計(jì)算:,(9-7),其中, 為學(xué)習(xí)速率參數(shù)。 ,2. 感知器的學(xué)習(xí)規(guī)則 感知器的學(xué)習(xí)規(guī)則屬于有教師訓(xùn)練, 連接權(quán)值的學(xué)習(xí)規(guī)則按下式計(jì)算: ,(9-8),其中: dj為神經(jīng)元j的期望響應(yīng); djyj為誤差信號, 一般用rj表示, 也稱為學(xué)習(xí)信號。,3. 學(xué)習(xí)規(guī)則 學(xué)習(xí)規(guī)則是由輸出值和期望值之間的最小均方誤差推導(dǎo)出來的。 均方誤差定義為,(9-9),從而,(9-10),要使期望誤差最小, 要求在負(fù)梯度方向

33、上改變, 所以取,(9-11),其中, 為學(xué)習(xí)速率參數(shù)。 一般地, 學(xué)習(xí)速率參數(shù)選得很小。 4. Widrow-Hoff學(xué)習(xí)規(guī)則 Widrow-Hoff 學(xué)習(xí)規(guī)則也是使期望輸出值和實(shí)際輸出值之間平方誤差最小。 連接權(quán)值的學(xué)習(xí)規(guī)則按下式計(jì)算: ,(9-12),(9-13),該規(guī)則可以看做規(guī)則的特殊情況。 5. 相關(guān)學(xué)習(xí)規(guī)則 相關(guān)學(xué)習(xí)規(guī)則為,(9-14),這是Hebb規(guī)則的特殊情況, 但相關(guān)規(guī)則是有教師的, 要求權(quán)初始化wij=0。,6. Winner-Take-All(勝者為王)學(xué)習(xí)規(guī)則 第m層中有一個(gè)神經(jīng)元有最大響應(yīng), 這個(gè)神經(jīng)元被宣布為獲勝者, 則,(9-1),其中, 是小的學(xué)習(xí)常數(shù)。,7.

34、內(nèi)星和外星學(xué)習(xí)規(guī)則 內(nèi)星和外星學(xué)習(xí)規(guī)則按下式計(jì)算：,（內(nèi)星訓(xùn)練法）,(9-16),（外星訓(xùn)練法）,(9-17),8. 梯度下降算法 梯度下降算法的學(xué)習(xí)規(guī)則按下式計(jì)算: ,(9-18),其中, E為誤差函數(shù)。,9.隨機(jī)學(xué)習(xí)算法,隨機(jī)學(xué)習(xí)算法也稱為Boltzmann學(xué)習(xí)規(guī)則，是為了紀(jì)念Ludwig Boltzmann而命名的。Boltzmann學(xué)習(xí)規(guī)則是由統(tǒng)計(jì)力學(xué)思想而來的，在Boltzmann學(xué)習(xí)規(guī)則基礎(chǔ)上設(shè)計(jì)出的神經(jīng)網(wǎng)絡(luò)稱為Boltzmann機(jī)，其學(xué)習(xí)算法實(shí)質(zhì)上就是著名的模擬退火(Simulated Annealing, SA) 算法。,9.1.6神經(jīng)網(wǎng)絡(luò)的特點(diǎn),非線性（Nonlinearit

35、y）一個(gè)人工神經(jīng)元可以是線性或非線性的。利用神經(jīng)網(wǎng)絡(luò)的非線性，可解決許多非線性問題。若輸入信號所隱含的物理機(jī)制是非線性的，則人工神經(jīng)網(wǎng)絡(luò)非線性的重要性會更加突出。 分布式存儲信息。其信息的存儲分布在不同的位置，神經(jīng)網(wǎng)絡(luò)是用大量神經(jīng)元之間的連接及對各連接權(quán)值的分布來表示特定的信息。 并行協(xié)同處理信息。神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都可根據(jù)接收到的信息進(jìn)行獨(dú)立的運(yùn)算和處理，并輸出結(jié)果，同一層的各個(gè)神經(jīng)元的輸出結(jié)果可被同時(shí)計(jì)算出來，然后傳輸下一層做進(jìn)一步處理，這體現(xiàn)了神經(jīng)網(wǎng)絡(luò)并行運(yùn)算的特點(diǎn)。,4.信息處理與存儲合二為一。神經(jīng)網(wǎng)絡(luò)的每個(gè)神經(jīng)元都兼有信息處理和存儲功能，神經(jīng)元之間連接強(qiáng)度的變化，既反映了對信息的

36、記憶，同時(shí)又與神經(jīng)元對激勵(lì)的響應(yīng)一起反映了信息的處理。 5. 對信息的處理具有自組織、自學(xué)習(xí)的特點(diǎn)，便于聯(lián)想、綜合和推廣。神經(jīng)網(wǎng)絡(luò)的神經(jīng)元之間的連接強(qiáng)度用權(quán)值大小來表示，這種權(quán)值可以通過對訓(xùn)練樣本的學(xué)習(xí)而不斷變換，而且隨著訓(xùn)練樣本量的增加和反復(fù)學(xué)習(xí)，這些神經(jīng)元之間的連接強(qiáng)度會不斷增加，從而提高神經(jīng)元對這些樣本特征的反映靈敏度。,9.2前饋神經(jīng)網(wǎng)絡(luò) 9.2.1感知器 1. 單層感知器網(wǎng)絡(luò),由美國學(xué)者Rosenblatt在1957年首次提出 學(xué)習(xí)算法是Rosenblatt在1958年提出的 包含一個(gè)突觸權(quán)值可調(diào)的神經(jīng)元 屬于前向神經(jīng)網(wǎng)絡(luò)類型 只能區(qū)分線性可分的模式 IEEE設(shè)立以其名字命名的獎(jiǎng)項(xiàng),

37、單層感知器一層為輸入層，另一層是具有計(jì)算單元的輸出層，可以通過監(jiān)督學(xué)習(xí)建立模式判別的能力，如圖9-6所示。,圖 9-6單層感知器網(wǎng)絡(luò)結(jié)構(gòu)圖,學(xué)習(xí)的目標(biāo)是通過改變權(quán)值使神經(jīng)網(wǎng)絡(luò)由給定的輸入得到給定的輸出。作為分類器，可以用已知類別的模式向量或特征向量作為訓(xùn)練集，當(dāng)輸入為屬于第j 類的特征向量X時(shí)，應(yīng)使對應(yīng)于該類的輸出yj=1，而其他神經(jīng)元的輸出則為0（或-1）。,設(shè)理想的輸出為,實(shí)際的輸出,為了使實(shí)際的輸出逼近理想輸出，可以反復(fù)依次輸入訓(xùn)練集中的向量X，并計(jì)算出實(shí)際的輸出 ，對權(quán)值w作如下的修改：,其中,感知器的學(xué)習(xí)過程與求取線性判別函數(shù)的過程是等價(jià)的。感知器的特性：1）單層感知器只能用于解決線

38、性可分問題；2）學(xué)習(xí)過程收斂很快，且與初始值無關(guān)。,單層感知器工作原理 單層感知器可將外部輸入分為兩類和。當(dāng)感知器的輸出為+1時(shí)，輸入屬于l1 類，當(dāng)感知器的輸出為-1時(shí)，輸入屬于 l2 類，從而實(shí)現(xiàn)兩類目標(biāo)的識別。在多維空間，單層感知器進(jìn)行模式識別的判決超平面由下式?jīng)Q定：,對于只有兩個(gè)輸入的判別，邊界是直線（如下式所示）,選擇合適的學(xué)習(xí)算法可訓(xùn)練出滿意的和，當(dāng)它用于兩類模式的分類時(shí)，相當(dāng)于在高維樣本空間中，用一個(gè)超平面將兩類樣本分開。,基于迭代的思想，通常是采用誤差校正學(xué)習(xí)規(guī)則的學(xué)習(xí)算法。 可以將偏差作為神經(jīng)元突觸權(quán)值向量的第一個(gè)分量加到權(quán)值向量中 輸入向量和權(quán)值向量可分別寫成如下的形式：

39、令上式等于零，可得到在一維空間的單層感知器的判別超平面。,單層感知器學(xué)習(xí)算法思想,具體算法：,第一步,設(shè)置變量和參量。,g(x)為激活函數(shù), y(n)為網(wǎng)絡(luò)實(shí)際輸出，d(n) 為期望輸出， 為學(xué)習(xí)速率， n 為迭代次數(shù)，e 為實(shí)際輸出與期望輸出的誤差。,第二步,初始化,給權(quán)值向量W(0) 的各個(gè)分量賦一個(gè)較小的隨機(jī)非零值，置 n=0。,第三步,輸入一組樣本,并給出它的期望輸出d(n) 。,第四步,計(jì)算實(shí)際輸出:,第五步,求出期望輸出和實(shí)際輸出求出誤差,根據(jù)誤差判斷目前輸出是否滿足條件，一般為對所有樣本誤差為零或者均小于預(yù)設(shè)的值，則算法結(jié)束，否則將n值增加1，并用下式調(diào)整權(quán)值：,然后轉(zhuǎn)到第三步，

40、進(jìn)入下一輪計(jì)算過程,使用MATLAB實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的步驟如下： 第一步 根據(jù)應(yīng)用創(chuàng)建一個(gè)神經(jīng)網(wǎng)絡(luò)； 第二步 設(shè)定神經(jīng)網(wǎng)絡(luò)的訓(xùn)練參數(shù)，利用給定樣本對創(chuàng)建的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練； 第三步 輸入測試數(shù)據(jù)，測試訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)的性能。,例題：用單層感知器解決一個(gè)簡單的分類問題。設(shè)計(jì)一個(gè)感知器，將二維的三組輸入矢量分成兩類。 已知輸入矢量為：P=-0.4 -0.5 0.6; 0.9 0 0.1 目標(biāo)矢量為：T=1 1 0; 現(xiàn)將輸入矢量為Q=0.6 0.9 -0.1; -0.1 -0.5 0.5的樣本進(jìn)行分類。,訓(xùn)練誤差曲線,訓(xùn)練后的分類線,2. 多層感知器網(wǎng)絡(luò) 單層感知器網(wǎng)絡(luò)只能解決線性可分問題。 在單層感

41、知器網(wǎng)絡(luò)的輸入層和輸出層之間加入一層或多層感知器單元作為隱含層, 就構(gòu)成了多層感知器網(wǎng)絡(luò)。多層感知器網(wǎng)絡(luò)可以解決線性不可分的輸入向量的分類問題。,由輸入層、隱含層(可以是一層或者多層)和輸出層構(gòu)成的神經(jīng)網(wǎng)絡(luò)稱為多層前向神經(jīng)網(wǎng)絡(luò)。,多層感知器的拓?fù)浣Y(jié)構(gòu),輸入層神經(jīng)元的個(gè)數(shù)為輸入信號的維數(shù)，隱含層個(gè)數(shù)以及隱節(jié)點(diǎn)的個(gè)數(shù)視具體情況而定，輸出層神經(jīng)元的個(gè)數(shù)為輸出信號的維數(shù)。,多層感知器的特點(diǎn) 含有一層或多層隱單元，從輸入模式中獲得了更多有用的信息，使網(wǎng)絡(luò)可以完成更復(fù)雜的任務(wù)。 每個(gè)神經(jīng)元的激活函數(shù)采用可微的函數(shù) sigmoid函數(shù) 多個(gè)突觸使得網(wǎng)絡(luò)更具連通性 具有獨(dú)特的學(xué)習(xí)算法 BP算法,9.2.2BP

42、網(wǎng)絡(luò)(Back Propagation) 三層前饋網(wǎng)絡(luò)的適用范圍大大超過二層前饋網(wǎng)絡(luò)，但學(xué)習(xí)算法較為復(fù)雜，主要困難是中間的隱層不直接與外界連接，無法直接計(jì)算其誤差。為解決這一問題， Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向傳播算法。,J. McClelland,David Rumelhart,BP網(wǎng)絡(luò)是采用誤差反向傳播(Back Propagation, BP)算法的多層前饋網(wǎng)絡(luò), 其中, 神經(jīng)元的傳遞函數(shù)為S型函數(shù), 網(wǎng)絡(luò)的輸入和輸出是一種非線性映射關(guān)系。 其主要思想是： 利用輸出后的誤差來估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此

43、一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。即：是從后向前（反向）逐層傳播輸出層的誤差，以間接算出隱層誤差。,BP學(xué)習(xí)過程： （1）工作信號正向傳播：輸入信號從輸入層經(jīng)隱單元，傳向輸出層，在輸出端產(chǎn)生輸出信號，這是工作信號的正向傳播。在信號的向前傳遞過程中網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入誤差信號反向傳播。 （2）誤差信號反向傳播：網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間差值即為誤差信號，誤差信號由輸出端開始逐層向后傳播，這是誤差信號的反向傳播。在誤差信號反向傳播的過程中，網(wǎng)絡(luò)的權(quán)值由誤差反饋進(jìn)行調(diào)節(jié)。通過權(quán)值的不斷修正使網(wǎng)絡(luò)

44、的實(shí)際輸出更接近期望輸出。,激活函數(shù) 必須處處可導(dǎo) 一般都使用S型函數(shù),使用S型激活函數(shù)時(shí)BP網(wǎng)絡(luò)輸入與輸出關(guān)系 輸入 輸出,輸出的導(dǎo)數(shù),根據(jù)S型激活函數(shù)的圖形可知,對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，應(yīng)該將net的值盡量控制在收斂比較快的范圍內(nèi)。,學(xué)習(xí)的過程： 神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。 學(xué)習(xí)的本質(zhì)： 對各連接權(quán)值的動態(tài)調(diào)整 學(xué)習(xí)規(guī)則： 權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。,學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí) 核心思想： 將輸出誤差以某種形式通過隱層向輸入層逐層反傳 學(xué)習(xí)的過程： 信號的正向傳播 誤差的反向傳播,將

45、誤差分?jǐn)偨o各層的所有單元各層單元的誤差信號,修正各單元權(quán)值,正向傳播： 輸入樣本輸入層各隱層輸出層 判斷是否轉(zhuǎn)入反向傳播階段： 若輸出層的實(shí)際輸出與期望的輸出（教師信號）不符 誤差反傳 誤差以某種形式在各層表示修正各層單元的權(quán)值 網(wǎng)絡(luò)輸出的誤差減少到可接受的程度 進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止,BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則采用梯度下降算法。 在網(wǎng)絡(luò)學(xué)習(xí)過程中, 把輸出層節(jié)點(diǎn)的期望輸出(目標(biāo)輸出)與實(shí)際輸出(計(jì)算輸出)的均方誤差, 逐層向輸入層反向傳播, 分配給各連接節(jié)點(diǎn), 并計(jì)算出各連接節(jié)點(diǎn)的參考誤差, 在此基礎(chǔ)上調(diào)整各連接權(quán)值, 使得網(wǎng)絡(luò)的期望輸出與實(shí)際輸出的均方誤差達(dá)到最小。,網(wǎng)絡(luò)結(jié)構(gòu) 輸入層有n個(gè)神

46、經(jīng)元，隱含層有p個(gè)神經(jīng)元, 輸出層有q個(gè)神經(jīng)元 變量定義 輸入向量; 隱含層輸入向量； 隱含層輸出向量; 輸出層輸入向量; 輸出層輸出向量; 期望輸出向量;,BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法,輸入層與中間層的連接權(quán)值: 隱含層與輸出層的連接權(quán)值: 隱含層各神經(jīng)元的閾值: 輸出層各神經(jīng)元的閾值: 樣本數(shù)據(jù)個(gè)數(shù): 激活函數(shù): 誤差函數(shù)：,第一步，網(wǎng)絡(luò)初始化 給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精度值 和最大學(xué)習(xí)次數(shù)M。 第二步,隨機(jī)選取第 個(gè)輸入樣本及對應(yīng)期望輸出,第三步，計(jì)算隱含層各神經(jīng)元的輸入和輸出,第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對輸出層的各神經(jīng)元

47、的偏導(dǎo)數(shù) 。,第五步，利用隱含層到輸出層的連接權(quán)值、輸出層的 和隱含層的輸出計(jì)算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù) 。,第六步，利用輸出層各神經(jīng)元的 和隱含層各神經(jīng)元的輸出來修正連接權(quán)值 。,第七步，利用隱含層各神經(jīng)元的 和輸入層各神經(jīng)元的輸入修正連接權(quán)。,第八步，計(jì)算全局誤差 第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。,BP算法直觀解釋 情況一直觀表達(dá) 當(dāng)誤差對權(quán)值的偏 導(dǎo)數(shù)大于零時(shí)，權(quán)值 調(diào)整量為負(fù)，實(shí)際輸 出大于期望輸出， 權(quán)值向減少方向調(diào)整， 使得實(shí)際輸出與期望 輸

48、出的差減少。,BP算法直解釋 情況二直觀表達(dá) 當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù) 小于零時(shí)，權(quán)值調(diào)整量 為正，實(shí)際輸出少于期 望輸出，權(quán)值向增大方向 調(diào)整，使得實(shí)際輸出與期 望輸出的差減少。,BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn),非線性映射能力 能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。 泛化能力 當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。 容錯(cuò)能力 輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。,BP

49、學(xué)習(xí)算法是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中最常用的學(xué)習(xí)方法之一, BP網(wǎng)絡(luò)被廣泛應(yīng)用于模式識別、 函數(shù)逼近、 數(shù)據(jù)壓縮等多個(gè)方面。 但是, BP算法存在一些不足, 例如, 隱含層數(shù)和隱含層神經(jīng)元數(shù)目通常是通過實(shí)驗(yàn)確定的, 缺乏理論依據(jù); 有可能收斂到一個(gè)局部極小點(diǎn), 得到局部最優(yōu)解; 學(xué)習(xí)算法的收斂速度較慢。,9.2.3徑向基函數(shù)網(wǎng)絡(luò),一、概述,1985年，Powell提出了多變量插值的徑向基函數(shù)(Radical Basis Function，RBF)方法 。 1988年， Moody和Darken首先將RBF應(yīng)用于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，構(gòu)成了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)。 結(jié)構(gòu)：RBF網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò),輸入層由信號源節(jié)點(diǎn)

50、組成；第二層為隱含層，隱單元的個(gè)數(shù)由所描述的問題而定，隱單元的變換函數(shù)是中心點(diǎn)徑向?qū)ΨQ且衰減的非負(fù)非線性函數(shù)；第三層為輸出層，它對輸入模式的作用做出響應(yīng)。,RBF網(wǎng)絡(luò)的基本思想：,用徑向基函數(shù)（RBF）作為隱單元的“基”，構(gòu)成隱含層空間，隱含層對輸入矢量進(jìn)行變換，將低維的模式輸入數(shù)據(jù)變換到高維空間內(nèi)，通過對隱單元輸出的加權(quán)求和得到輸出。 當(dāng)RBF的中心點(diǎn)確定后，映射關(guān)系也就確定。 隱含層空間到輸出空間的映射是線性的。,徑向基函數(shù)(Radial Basis Function, RBF)網(wǎng)絡(luò)的結(jié)構(gòu)與BP網(wǎng)絡(luò)類似, 它是一個(gè)三層前饋網(wǎng)絡(luò), 包含1個(gè)輸入層、 1個(gè)隱含層和1個(gè)輸出層, 其結(jié)構(gòu)如圖9-8

51、所示。 ,圖9-8 RBF網(wǎng)絡(luò)結(jié)構(gòu),在RBF神經(jīng)網(wǎng)絡(luò)中, 隱含層單元提供了一系列“函數(shù)”, 這些函數(shù)就稱作為徑向基函數(shù), 它是關(guān)于中心點(diǎn)對稱的非線性函數(shù)。 當(dāng)輸入模式(向量)傳輸?shù)诫[含層時(shí), 這些徑向基函數(shù)構(gòu)成了輸入模式的一個(gè) “基”。 當(dāng)RBF的中心點(diǎn)確定后, 映射關(guān)系就確定了, 將輸入向量直接映射到隱含層空間, 其中不需要連接權(quán)。 ,這種網(wǎng)絡(luò)的特點(diǎn)是：只有一個(gè)隱層，隱層單元采用徑向基函數(shù)作為其輸出特性，輸入層到隱層之間的權(quán)值均固定為1；輸出節(jié)點(diǎn)為線性求和單元，隱層到輸出節(jié)點(diǎn)之間的權(quán)值可調(diào)，因此輸出為隱層的加權(quán)求和。 所謂徑向基函數(shù)就是某種沿徑向?qū)ΨQ的標(biāo)量函數(shù)。通常定義為空間中任一點(diǎn)x到某一

52、中心ui之間歐氏距離的單調(diào)函數(shù)，可記作,其作用往往是局部的，即當(dāng)x遠(yuǎn)離ui 時(shí)函數(shù)取值很小。最常用的徑向基函數(shù)是(1)高斯核函數(shù)，形式為,(i=1, 2, , L),(9-34),(2) 三角核, 其函數(shù)表達(dá)式為,(i=1, 2, , L),(9-35),(3) 雙指數(shù)核, 其函數(shù)表達(dá)式為,(i=1, 2, , L),(9-36),最常用的RBF函數(shù)形式是高斯核函數(shù)。 網(wǎng)絡(luò)學(xué)習(xí)時(shí), RBF函數(shù)的中心矢量ui和形狀參數(shù)i也參與學(xué)習(xí)修正。 中心矢量修正的方法主要有自組織特征映射方法和K均值聚類方法。 RBF函數(shù)的形狀參數(shù)i應(yīng)根據(jù)樣本的特性自適應(yīng)地選擇。 若i取得較大, 則隱含層中節(jié)點(diǎn)i能感受較大范

53、圍內(nèi)的模式, 容錯(cuò)性好, 但局部性差; 若i取得較小, 則容錯(cuò)性差, 但局部性好。,學(xué)習(xí)算法需要求解的參數(shù) 徑向基函數(shù)的中心 方差 隱含層到輸出層的權(quán)值 學(xué)習(xí)方法分類（按RBF中心選取方法的不同分） 隨機(jī)選取中心法 自組織選取中心法 有監(jiān)督選取中心法 正交最小二乘法等,二、RBF網(wǎng)絡(luò)的學(xué)習(xí)算法,自組織選取中心學(xué)習(xí)方法 第一步，自組織學(xué)習(xí)階段 無導(dǎo)師學(xué)習(xí)過程，求解隱含層基函數(shù)的中心與方差； 第二步，有導(dǎo)師學(xué)習(xí)階段 求解隱含層到輸出層之間的權(quán)值。 高斯函數(shù)作為徑向基函數(shù),例： 建立一個(gè)徑向基神經(jīng)網(wǎng)絡(luò)，對非線性函數(shù)y=sqrt(x)進(jìn)行逼近，并作出網(wǎng)絡(luò)的逼近誤差曲線。,理論上而言, RBF網(wǎng)絡(luò)和BP

54、網(wǎng)絡(luò)一樣可近似任何的連續(xù)非線性函數(shù), 二者的主要差別在于各使用不同的傳遞函數(shù)。 BP網(wǎng)絡(luò)中隱含層單元的傳遞函數(shù)一般為非線性函數(shù), RBF網(wǎng)絡(luò)隱含層單元的傳遞函數(shù)是關(guān)于中心對稱的徑向基函數(shù)。BP網(wǎng)絡(luò)各層單元間通過權(quán)連接, RBF網(wǎng)絡(luò)輸入層和隱含層間為直接連接, 隱含層到輸出層通過權(quán)連接。,RBF網(wǎng)絡(luò)與BP網(wǎng)絡(luò)比較： RBF網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)和，學(xué)習(xí)速度加快； BP網(wǎng)絡(luò)使用sigmoid()函數(shù)作為激活函數(shù)，這樣使得神經(jīng)元有很大的輸入可見區(qū)域； 徑向基神經(jīng)網(wǎng)絡(luò)使用徑向基函數(shù)（一般使用高斯函數(shù)）作為激活函數(shù)，神經(jīng)元輸入空間區(qū)域很小，因此需要更多的徑向基神經(jīng)元。,RBF網(wǎng)絡(luò)與多層感知器比

55、較： 都是非線性多層前向網(wǎng)絡(luò)，它們都是通用逼近器。對于任一個(gè)多層感知器，總存在一個(gè)RBF網(wǎng)絡(luò)可以代替它，反之亦然。 RBF網(wǎng)絡(luò)只有一個(gè)隱層，而多層感知器的隱層可以是一層也可以是多層的； 多層感知器的隱層和輸出層其神經(jīng)元模型是一樣的。而RBF網(wǎng)絡(luò)的隱層神經(jīng)元和輸出層神經(jīng)元不僅模型不同，而且在網(wǎng)絡(luò)中起到的作用也不一樣。,RBF網(wǎng)絡(luò)的隱層是非線性的，輸出層是線性的。多層感知器解決模式分類問題時(shí)，它的隱層和輸出層通常選為非線性的。當(dāng)用多層感知器解決非線性回歸問題時(shí)，通常選擇線性輸出層。 RBF網(wǎng)絡(luò)的基函數(shù)計(jì)算的是輸入向量和中心的歐氏距離，而多層感知器隱單元的激勵(lì)函數(shù)計(jì)算的是輸入單元和連接權(quán)值間的內(nèi)積。

56、 多層感知器是對非線性映射的全局逼近，而RBF網(wǎng)絡(luò)使用局部指數(shù)衰減的非線性函數(shù)（如高斯函數(shù)）對非線性輸入輸出映射進(jìn)行局部逼近。這也意味著，逼近非線性輸入輸出映射，要達(dá)到相同的精度，RBF網(wǎng)絡(luò)所需要的參數(shù)要比多層感知器少得多。,9.3自組織特征映射神經(jīng)網(wǎng)絡(luò) 自組織神經(jīng)網(wǎng)絡(luò)，又稱為自組織競爭神經(jīng)網(wǎng)絡(luò),特別適合于解決模式分類和識別方面的應(yīng)用問題。 自組織神經(jīng)網(wǎng)絡(luò)屬于前向神經(jīng)網(wǎng)絡(luò)類型，采用無導(dǎo)師學(xué)習(xí)算法; 自組織特征映射神經(jīng)網(wǎng)絡(luò)不僅能夠像自組織競爭神經(jīng)網(wǎng)絡(luò)一樣學(xué)習(xí)輸入的分布情況，而且可以學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)。,由芬蘭學(xué)者Teuvo Kohonen于1981年提出。 基本上為輸入層和映射層的雙層結(jié)構(gòu),

57、映射層的神經(jīng)元互相連接，每個(gè)輸出神經(jīng)元連接至所有輸入神經(jīng)元。,神經(jīng)元之間的信息交互方式有很多種，然而鄰近神經(jīng)元之間的局部交互有一個(gè)共同的方式，就是側(cè)向交互：最相近的“鄰元”（約小于0.5mm）互相興奮，較遠(yuǎn)的鄰元（1mm2mm）互相抑制，更遠(yuǎn)的又是弱興奮，這種局部交互形式可以形象地比喻為“墨西哥草帽”（如下圖所示）。,鄰近神經(jīng)元之間的局部交互作用示意,T. Kohonen認(rèn)為：神經(jīng)網(wǎng)絡(luò)中鄰近的各個(gè)神經(jīng)元通過側(cè)向交互作用彼此相互競爭，自適應(yīng)地發(fā)展成檢測不同信號的特殊檢測器，這就是自組織特征映射的含義。人工自組織映射與大腦映射有許多共同特征，通常又稱作自組織映射神經(jīng)網(wǎng)絡(luò)或簡稱SOM網(wǎng)絡(luò)。,9.3.

58、1網(wǎng)絡(luò)結(jié)構(gòu) 自組織特征映射神經(jīng)網(wǎng)絡(luò)由輸入層和輸出層組成, 輸出層也稱為競爭層。 其網(wǎng)絡(luò)結(jié)構(gòu)如圖9-9所示。 輸入層為輸入模式的一維陣列, 其節(jié)點(diǎn)數(shù)為輸入模式的維數(shù)。 輸入層和輸出層神經(jīng)元間為全互連方式, 即所有輸入層節(jié)點(diǎn)到所有輸出層節(jié)點(diǎn)都有權(quán)值連接。 輸出層神經(jīng)元按二維陣列形式排列, 且相互間也可能存在局部連接, 每個(gè)神經(jīng)元代表一種輸入樣本。,圖 9-9自組織特征映射網(wǎng)絡(luò)結(jié)構(gòu)圖,對于給定的輸入模式, 網(wǎng)絡(luò)在學(xué)習(xí)過程中不斷調(diào)整連接權(quán)值, 形成興奮中心神經(jīng)元(獲勝神經(jīng)元) j*。 在神經(jīng)元 j*的鄰域NEj*內(nèi)的神經(jīng)元都在不同程度上得到興奮, 而在NEj*以外的神經(jīng)元都被抑制。 這個(gè)鄰域NEj*可

59、以是任意形狀, 如正方形、 六邊形。 區(qū)域NEj*的大小是時(shí)間t的函數(shù), 用NEj*(t)表示。 隨著時(shí)間t的增大, NEj*(t)的面積逐漸減小, 最后只剩下一組神經(jīng)元或一個(gè)神經(jīng)元, 反映了某一類輸入模式的特性。 采用正方形的鄰域形狀圖如圖9-10所示。,圖 9-10不同時(shí)刻特征映射的拓?fù)溧徲?t0t1t2),9.3.2自組織特征映射算法 設(shè)自組織特征映射網(wǎng)絡(luò)的輸入模式x=(x1, x2, , xn)T, 輸出層每個(gè)節(jié)點(diǎn)(神經(jīng)元)對應(yīng)一個(gè)權(quán)向量Wj=(w1j, w2j, , wnj)T, wij是輸入節(jié)點(diǎn)i到輸出節(jié)點(diǎn)j的連接權(quán)值。 輸入一個(gè)模式x時(shí), 將其和輸出層每個(gè)節(jié)點(diǎn)的權(quán)向量都進(jìn)行比較, 然后對距離最近的節(jié)點(diǎn)及其鄰域中的節(jié)點(diǎn)的權(quán)向量進(jìn)行修正。,Kohonen給出了自組織特征映射算法, 具體過程如下: (1) 初始化權(quán)值。 初始化從n個(gè)輸入節(jié)點(diǎn)到m個(gè)輸出節(jié)點(diǎn)的權(quán)值, 取值為小的隨機(jī)數(shù), 設(shè)定鄰域的半徑的初始值。 (2) 提交t 時(shí)刻的輸入模式: x(t)=(x1(t), x2(t), , xn(t)T。 (3) 計(jì)算輸入模式到所有輸出節(jié)點(diǎn)的距離: ,(9-37),其中: xi(t)是t時(shí)刻輸入節(jié)點(diǎn)i的