ArtificialNeuralNetworks

Lecture1.IntroductionHongyingZheng(鄭洪英)zhenghongy@重慶大學(xué)計(jì)算機(jī)學(xué)院研究生課程CollegeofComputerScienceandEngineering,ChongqingUniversity2023/10/81課程目的和要求

目的：將神經(jīng)網(wǎng)絡(luò)的理論和方法應(yīng)用到生產(chǎn)實(shí)踐要求：掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念、單層網(wǎng)、多層網(wǎng)、循環(huán)網(wǎng)等各種基本網(wǎng)絡(luò)模型的結(jié)構(gòu)、特點(diǎn)、典型訓(xùn)練算法、運(yùn)行方式、典型問題了解人工神經(jīng)網(wǎng)絡(luò)的有關(guān)研究思想，從中學(xué)習(xí)開拓者們的部分問題求解方法掌握軟件實(shí)現(xiàn)方法。2023/10/82授課計(jì)劃第一課：緒論（Introduction） 第二課：matlab與神經(jīng)網(wǎng)絡(luò) 第三課：人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 第四課：?jiǎn)螌忧跋蚋兄鳎≒erceptron） 第五課：BP神經(jīng)網(wǎng)絡(luò) 第六課：hopfield神經(jīng)網(wǎng)絡(luò) 第七課：SOM網(wǎng)絡(luò)第八課：神經(jīng)網(wǎng)絡(luò)研究展望2023/10/83ANN國(guó)際期刊ANN國(guó)際會(huì)議ANN研究團(tuán)隊(duì)參考書2023/10/84NeuralNetworks(ISSN:0893-6080)TheOfficialJournaloftheInternationalNeuralNetworkSociety,EuropeanNeuralNetworkSociety&JapaneseNeuralNetworkSociety;NeuralNetworksisaninternationaljournalappearingtentimeseachyearthatpublishesoriginalresearchandreviewarticlesconcernedwiththemodellingofbrainandbehavioralprocessesandtheapplicationofthesemodelstocomputerandrelatedtechnologies.Modelsaimedattheexplanationandpredictionofbiologicaldataandmodelsaimedatthesolutionoftechnologicalproblemsarebothsolicited,asaremathematicalandcomputationalanalysesofbothtypesofmodels./wps/find/journaldescription.cws_home/841/description#description(1.955)2023/10/85IEEETransactionsonNeuralNetworks

ISSN:1045-9227

Devotedtothescienceandtechnologyofneuralnetworks,whichdisclosesignificanttechnicalknowledge,exploratorydevelopments,andapplicationsofneuralnetworksfrombiologytosoftwaretohardware.Emphasisisonartificialneuralnetworks./portal/pages/pubs/transactions/tnn.html

(2.633)2023/10/86NeuralComputationNeuralComputationdisseminatesimportant,multidisciplinaryresearchresultsinafieldthatattractspsychologists,physicists,computerscientists,neuroscientists,andartificialintelligenceinvestigators,amongothers.Forresearcherslookingatthescientificandengineeringchallengesofunderstandingthebrainandbuildingcomputers,neuralcomputationhighlightscommonproblemsandtechniquesinmodelingthebrain,andinthedesignandconstructionofneurally-inspiredinformationprocessingsystems.Timely,shortcommunications,full-lengthresearcharticles,andreviewsfocusonadvancesinthefieldandalsocoverthebroadrangeofinquisitionintoallaspectsofneuralcomputation./

(2.3)2023/10/87Neurocomputing(0925-2312)Neurocomputingpublishesarticlesdescribingrecentfundamentalcontributionsinthefieldofneurocomputing.Neurocomputingtheory,practiceandapplicationsaretheessentialtopicsbeingcovered./wps/find/journaldescription.cws_home/505628/description#description

(1.429)2023/10/88ANNInternationalConferencesInternationalJointConferenceonNeuralNetworks

/2011/index.htm

InternationalSymposiumonNeuralNetworks(sixthconference,china)

.hk/~isnn2009

EuropeanSymposiumonArtificialNeuralNetworks(20th)

http://www.dice.ucl.ac.be/esann/

InternationalConferenceonArtificialNeuralNetworks

/

2023/10/89ANNSocietiesInternationalNeuralNetworksSociety

/IEEEComputationalIntelligenceSociety(earliertitle:IEEENeuralNetworksSociety)

/

2023/10/810ReferencesMartinT.Hagan,HowardB.Demuth,MarkH.Beale(戴葵,等譯).NeuralNetworkDesign.機(jī)械工業(yè)出版社,2002.高雋.人工神經(jīng)網(wǎng)絡(luò)原理及仿真實(shí)例.機(jī)械工業(yè)出版社,2003.蔣宗禮.人工神經(jīng)網(wǎng)絡(luò)導(dǎo)論.高等教育出版社,2003.阮炯,顧凡及,蔡志杰.神經(jīng)動(dòng)力學(xué)模型方法和應(yīng)用.科學(xué)出版社,2002.袁曾任.人工神經(jīng)元網(wǎng)絡(luò)及其應(yīng)用清華大學(xué)出版社.19992023/10/811第1章

引言1.1人工神經(jīng)網(wǎng)絡(luò)的提出1.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)1.3歷史回顧2023/10/8121.1人工神經(jīng)網(wǎng)絡(luò)的提出目前使用的計(jì)算機(jī)，其計(jì)算速度之快和處理信息準(zhǔn)確性等方面有著獨(dú)特的優(yōu)點(diǎn)，但在邏輯推理、問題思考等方面，與人腦比較，還有著明顯的差距。那么，怎樣才能讓計(jì)算機(jī)既會(huì)“思考”，又具有“智力”呢？2023/10/813Whatyouseeinthepicture?2023/10/814FromBiologicaltoArtificialNeuronModelIsthereanyconventionalcomputeratpresentwiththecapabilityofperceivingboththetreesandBaker'stransparentheadinthispictureatthesametime?Mostprobably,theanswerisno.Althoughsuchavisualperceptionisaneasytaskforhumanbeing,wearefacedwithdifficultieswhensequentialcomputersaretobeprogrammedtoperformvisualoperations.2023/10/815FromBiologicaltoArtificialNeuronModelInaconventionalcomputer,usuallythereexistasingleprocessorimplementingasequenceofarithmeticandlogicaloperations,nowadaysatspeedsapproaching109operationspersecond.Howeverthistypeofdeviceshaveabilityneithertoadapttheirstructurenortolearninthewaythathumanbeingdoes.ConventionalComputers2023/10/816FromBiologicaltoArtificialNeuronModelThereisalargenumberoftasksforwhichitisprovedtobevirtuallyimpossibletodeviceanalgorithmorsequenceofarithmeticand/orlogicaloperations.Forexample,inspiteofmanyattempts,amachinehasnotyetbeenproducedwhichwillautomaticallyrecognizewordsspokenbyanyspeakerletalonetranslatefromonelanguagetoanother,ordriveacar,orwalkandrunasananimalorhumanbeing[Hecht-Nielsen88]Whattraditionalcomputerscan'tdo?2023/10/817FromBiologicaltoArtificialNeuronModelWhatmakessuchadifferencebetweenbrainandconventionalcomputersseemstobeneitherbecauseoftheprocessingspeedofthecomputersnorbecauseoftheirprocessingability.Today’sprocessorshaveaspeed105timesfasterthanthebasicprocessingelementsofthebraincalledneuron.Whentheabilitiesarecompared,theneuronsaremuchsimpler.Thedifferenceismainlyduetothestructuralandoperationaltrend.Whileinaconventionalcomputertheinstructionsareexecutedsequentiallyinacomplicatedandfastprocessor,thebrainisamassivelyparallelinterconnectionofrelativelysimpleandslowprocessingelements.ComputersversusBrain2023/10/818FromBiologicaltoArtificialNeuronModel2023/10/8191.1人工神經(jīng)網(wǎng)絡(luò)的提出為了解決這個(gè)問題，人們進(jìn)行了各種嘗試。人工智能和神經(jīng)網(wǎng)絡(luò)方法是從不同角度進(jìn)行的嘗試。2023/10/820（1）生理結(jié)構(gòu)的角度模擬：用仿生學(xué)觀點(diǎn)，探索人腦的生理結(jié)構(gòu)，把對(duì)人腦的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合起來(lái)即人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwroks，簡(jiǎn)稱ANN）方法。（2）宏觀功能的角度模擬：從人的思維活動(dòng)和智能行為的心理學(xué)特性出發(fā)，利用計(jì)算機(jī)系統(tǒng)來(lái)對(duì)人腦智能進(jìn)行宏觀功能的模擬，即物理符號(hào)處理方法(人工智能方法)。2023/10/821人工神經(jīng)網(wǎng)絡(luò)是從人腦的生理結(jié)構(gòu)出發(fā)，探討人類智能活動(dòng)的機(jī)理，從生理結(jié)構(gòu)上來(lái)模擬，探索人腦的生理結(jié)構(gòu)，把對(duì)人腦的微觀結(jié)構(gòu)及其智能行為的研究結(jié)合起來(lái)。2023/10/822人工智能方法是從人腦的智能活動(dòng)出發(fā)，研究人腦智能的物質(zhì)過(guò)程和規(guī)律。把人們所理解的人腦的邏輯思維規(guī)律加給計(jì)算機(jī)，但對(duì)人腦的構(gòu)造及其物質(zhì)基礎(chǔ)卻毫不關(guān)心。2023/10/823重點(diǎn)研究的是機(jī)器的思維問題，解決問題的關(guān)鍵在于知識(shí)的表示、獲取、存儲(chǔ)和使用。例如，專家系統(tǒng)是把各位專家的知識(shí)匯聚到計(jì)算機(jī)上，使計(jì)算機(jī)具有或超過(guò)專家的智能，但對(duì)專家的知識(shí)的物質(zhì)基礎(chǔ)－人腦，則毫不重視，因此其能力的界限也是顯然的。2023/10/8241.1人工神經(jīng)網(wǎng)絡(luò)的提出兩種方法的比較

心理過(guò)程邏輯思維高級(jí)形式（思維的表象）

生理過(guò)程

形象思維

低級(jí)形式（思維的根本）

仿生

人工神經(jīng)網(wǎng)絡(luò)物理符號(hào)系統(tǒng)2023/10/8251.1人工神經(jīng)網(wǎng)絡(luò)的提出物理符號(hào)系統(tǒng)和人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的差別

項(xiàng)目物理符號(hào)系統(tǒng)人工神經(jīng)網(wǎng)絡(luò)處理方式邏輯運(yùn)算模擬運(yùn)算執(zhí)行方式串行并行動(dòng)作離散連續(xù)存儲(chǔ)局部集中全局分布2023/10/8261.1人工神經(jīng)網(wǎng)絡(luò)的提出兩種方法的比較項(xiàng)目傳統(tǒng)的AI技術(shù)

ANN技術(shù)

基本實(shí)現(xiàn)方式

串行處理；由程序?qū)崿F(xiàn)控制

并行處理；對(duì)樣本數(shù)據(jù)進(jìn)行多目標(biāo)學(xué)習(xí)；通過(guò)人工神經(jīng)元之間的相互作用實(shí)現(xiàn)控制

基本開發(fā)方法

設(shè)計(jì)規(guī)則、框架、程序；用樣本數(shù)據(jù)進(jìn)行調(diào)試（由人根據(jù)已知的環(huán)境去構(gòu)造一個(gè)模型）

定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過(guò)樣本數(shù)據(jù)，依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)——自動(dòng)從樣本數(shù)據(jù)中抽取內(nèi)涵（自動(dòng)適應(yīng)應(yīng)用環(huán)境）

適應(yīng)領(lǐng)域

精確計(jì)算：符號(hào)處理，數(shù)值計(jì)算非精確計(jì)算：模擬處理，感覺，大規(guī)模數(shù)據(jù)并行處理模擬對(duì)象

左腦（邏輯思維）右腦（形象思維）2023/10/827實(shí)際上，腦對(duì)外部世界的時(shí)空客體的描述和識(shí)別，乃是認(rèn)知的基礎(chǔ)。認(rèn)知問題離不開對(duì)底層次信息處理的研究和認(rèn)識(shí)。雖然符號(hào)處理在腦的思維功能模擬等方面取得了很大進(jìn)展，但它對(duì)諸如視聽覺、聯(lián)想記憶和形象思維模擬等方面往往力不從心。2023/10/828符號(hào)處理與神經(jīng)網(wǎng)絡(luò)是一種互補(bǔ)的關(guān)系。神經(jīng)網(wǎng)絡(luò)的研究重點(diǎn)在于模擬和實(shí)現(xiàn)人的認(rèn)知過(guò)程中的感知覺過(guò)程、形象思維、分布式記憶和自學(xué)習(xí)自組織過(guò)程。神經(jīng)網(wǎng)絡(luò)與符號(hào)處理相結(jié)合，可能會(huì)使人們對(duì)人的認(rèn)知過(guò)程有一個(gè)較全面的理解，也就是說(shuō)不僅對(duì)左腦（邏輯思維）的功能有所認(rèn)識(shí)，而且對(duì)右腦（形象思維）的認(rèn)識(shí)規(guī)律也有所研究。2023/10/829利用機(jī)器模仿人類的智能是長(zhǎng)期以來(lái)人們認(rèn)識(shí)自然、改造自然和認(rèn)識(shí)自身的理想。研究ANN目的：（1）探索和模擬人的感覺、思維和行為的規(guī)律，設(shè)計(jì)具有人類智能的計(jì)算機(jī)系統(tǒng)。（2）探討人腦的智能活動(dòng)，用物化了的智能來(lái)考察和研究人腦智能的物質(zhì)過(guò)程及其規(guī)律。

2023/10/830ANN的研究?jī)?nèi)容（1）理論研究：ANN模型及其學(xué)習(xí)算法，試圖從數(shù)學(xué)上描述ANN的動(dòng)力學(xué)過(guò)程，建立相應(yīng)的ANN模型，在該模型的基礎(chǔ)上，對(duì)于給定的學(xué)習(xí)樣本，找出一種能以較快的速度和較高的精度調(diào)整神經(jīng)元間互連權(quán)值，使系統(tǒng)達(dá)到穩(wěn)定狀態(tài)，滿足學(xué)習(xí)要求的算法。（2）實(shí)現(xiàn)技術(shù)的研究：探討利用電子、光學(xué)、生物等技術(shù)實(shí)現(xiàn)神經(jīng)計(jì)算機(jī)的途徑。（3）應(yīng)用的研究：探討如何應(yīng)用ANN解決實(shí)際問題，如模式識(shí)別、故障檢測(cè)、智能機(jī)器人等。2023/10/831人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)的比較1單元上的差別對(duì)于生物神經(jīng)元而言，影響突觸傳遞信息強(qiáng)度的因素很多、很復(fù)雜。如突觸前微細(xì)胞的大小與多少、神經(jīng)傳遞化學(xué)物質(zhì)含量的多少、神經(jīng)傳遞化學(xué)物質(zhì)釋放的速度、突觸間隙的變化、樹突的位置與大小等諸多因素都會(huì)對(duì)突觸電位產(chǎn)生影響，從而影響神經(jīng)元的輸出脈沖響應(yīng)。而人工神經(jīng)元?jiǎng)t忽略了這些影響，輸入、輸出關(guān)系十分簡(jiǎn)單。2023/10/832人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)的比較2信息上的差別生物神經(jīng)元傳遞的信息是脈沖，而人工神經(jīng)元傳遞的信息是模擬電壓。2023/10/833人工神經(jīng)網(wǎng)絡(luò)與生物神經(jīng)網(wǎng)絡(luò)的比較3規(guī)模與智能上的差別目前，人工神經(jīng)網(wǎng)絡(luò)的規(guī)模還遠(yuǎn)小于生物神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)中神經(jīng)元的數(shù)量一般在104個(gè)以下，顯然，其智能也無(wú)法與生物神經(jīng)網(wǎng)絡(luò)相比。網(wǎng)絡(luò)的規(guī)模(含拓?fù)浣Y(jié)構(gòu))是影響網(wǎng)絡(luò)智能的一個(gè)因素，但是，還有另一個(gè)重要因素，那就是網(wǎng)絡(luò)信息處理的機(jī)理和機(jī)制(學(xué)習(xí)方法)。目前，人們對(duì)大腦智能信息處理(例如思維過(guò)程)的一些機(jī)理和機(jī)制性問題還不太了解，相應(yīng)地這些問題也就不可能在人工神經(jīng)網(wǎng)絡(luò)中得到實(shí)質(zhì)性的反映。隨著這些問題的解決，人工神經(jīng)網(wǎng)絡(luò)的智能必然會(huì)得到相應(yīng)提高。2023/10/8341.2人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)信息的分布表示運(yùn)算的全局并行和局部操作處理的非線性

2023/10/835聯(lián)接主義觀點(diǎn)

核心：智能的本質(zhì)是聯(lián)接機(jī)制。神經(jīng)網(wǎng)絡(luò)是一個(gè)由大量簡(jiǎn)單的處理單元組成的高度復(fù)雜的大規(guī)模非線性自適應(yīng)系統(tǒng)ANN力求從四個(gè)方面去模擬人腦的智能行為物理結(jié)構(gòu)計(jì)算模擬存儲(chǔ)與操作訓(xùn)練2023/10/8361.2.1人工神經(jīng)網(wǎng)絡(luò)的概念1、定義

（1）Hecht—Nielsen（1988年）人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行、分布處理結(jié)構(gòu)，它由處理單元及其稱為聯(lián)接的無(wú)向訊號(hào)通道互連而成。這些處理單元（PE—ProcessingElement）具有局部?jī)?nèi)存，并可以完成局部操作。每個(gè)處理單元有一個(gè)單一的輸出聯(lián)接，這個(gè)輸出可以根據(jù)需要被分枝成希望個(gè)數(shù)的許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同的信號(hào)，即相應(yīng)處理單元的信號(hào)，信號(hào)的大小不因分支的多少而變化。2023/10/8371.2.1人工神經(jīng)網(wǎng)絡(luò)的概念（1）Hecht—Nielsen（1988年）（續(xù)）處理單元的輸出信號(hào)可以是任何需要的數(shù)學(xué)模型，每個(gè)處理單元中進(jìn)行的操作必須是完全局部的。也就是說(shuō)，它必須僅僅依賴于經(jīng)過(guò)輸入聯(lián)接到達(dá)處理單元的所有輸入信號(hào)的當(dāng)前值和存儲(chǔ)在處理單元局部?jī)?nèi)存中的值。2023/10/8381.2.1人工神經(jīng)網(wǎng)絡(luò)的概念強(qiáng)調(diào)：

①

并行、分布處理結(jié)構(gòu)；②一個(gè)處理單元的輸出可以被任意分枝，且大小不變；③輸出信號(hào)可以是任意的數(shù)學(xué)模型；④處理單元完全的局部操作

2023/10/8391.2.1人工神經(jīng)網(wǎng)絡(luò)的概念（2）Rumellhart，McClelland，Hinton的PDP1）

一組處