1、,人工神經(jīng)網(wǎng)絡(luò),第一章,緒 論,計(jì)算機(jī)科學(xué)技術(shù)學(xué)院,第 一 章 緒論,1.1人工智能概念的提出 1.2 生物神經(jīng)元模型 1.3 NN的特點(diǎn) 1.4人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史 1.5 NN的研究?jī)?nèi)容及其前景,1.1人工智能概念的提出,從40年代計(jì)算機(jī)的出現(xiàn)，人們渴望在廣度和深度上不斷擴(kuò)大計(jì)算機(jī)的的應(yīng)用。希望像人腦一樣不僅有數(shù)據(jù)處理的一般計(jì)算能力，而且有處理知識(shí)的思維學(xué)習(xí)能力。 1945 年英國(guó)數(shù)學(xué)家圖靈(turing) 發(fā)表了一書。,1956 年麥卡錫J. Mccarthy 、 明斯基 M.L .Minsky、 香農(nóng)C.E shannon 、羅切斯基N. Lochester組織發(fā)起, 在Dartmo

2、uth 大學(xué)， 共同探討了用計(jì)算機(jī)模擬人類智能行為的問(wèn)題，提出了“人工智能”這個(gè)名詞。 探討了人工智能走什么樣的路，由于人們對(duì)大腦的運(yùn)行機(jī)制即了解又捉摸不透，因此研究者用兩種不同的途徑進(jìn)行了探索。,.從心理模型出發(fā)，不考慮大腦的生理機(jī)制，以“前因-后果” ，“刺激-反應(yīng)”，“制約-效應(yīng)”等外界環(huán)境中取得的效果來(lái)模擬。 方法之一是用邏輯學(xué)中演繹或歸納方法-符號(hào)推理。 .模擬大腦組織結(jié)構(gòu)和行為, 利用生物神經(jīng)學(xué)的成果,模擬大腦的神經(jīng)元的特性和連續(xù)模式，構(gòu)成人工神經(jīng)網(wǎng)絡(luò)。,1.2 生物神經(jīng)元模型,人腦由1010個(gè)神經(jīng)元細(xì)胞組成,，每個(gè)神經(jīng)元又與104-105個(gè)其它神經(jīng)元相連， 構(gòu)成一個(gè)龐大的三維空間

3、的神經(jīng)元網(wǎng)絡(luò)。 樹突： 接受器，用來(lái)接受信息。 軸突：傳導(dǎo)信息，將信息從軸突起點(diǎn)傳送到軸突末梢。 突觸： 由軸突末梢與另一個(gè)神經(jīng)元的樹突或細(xì)胞體構(gòu)成，通 過(guò)突觸實(shí)現(xiàn)神經(jīng)元之間的信息傳遞。,1.2 生物神經(jīng)元模型,目前神經(jīng)網(wǎng)絡(luò)的研究，人們借鑒了大腦結(jié)構(gòu)的特征， 采用大量的比較簡(jiǎn)單的元件作為系統(tǒng)的基本單元，依靠單元之間復(fù)雜的連接構(gòu)成具有良好功能的網(wǎng)絡(luò)，這些連續(xù)的可以按照一定的方式改變，使NN 具有一定的學(xué)習(xí)能力。 目前的NN研究?jī)H僅是對(duì)大腦作較簡(jiǎn)單的模擬, 大腦的結(jié)構(gòu)和功能當(dāng)然要復(fù)雜的多。神經(jīng)生理學(xué)發(fā)現(xiàn):,1.2 生物神經(jīng)元模型,神經(jīng)元的生物學(xué)行為: (1) 可處于兩種不同的狀態(tài): 抑制與興奮 (

4、2) 可出現(xiàn)爆發(fā)和平臺(tái)兩種情形 (3) 可出現(xiàn)抑制后的反沖 (4)具有適應(yīng)性. 突觸的生物學(xué)行為: (1) 可進(jìn)行信息綜合 (2) 可出現(xiàn)漸次變化的傳輸 (3) 可有電接觸及化學(xué)接觸等多種連接方式 (4) 可出現(xiàn)延時(shí)激發(fā) NN是對(duì)大腦的部分模擬， 不是全部， 例：新陳代謝。,1.3 NN的特點(diǎn),(1) 分布存貯與容錯(cuò)性 信息的記憶，主要反映在神經(jīng)元之間的連接強(qiáng)度上。即使個(gè)別單元出錯(cuò)，部分信息丟失，但大部分信息仍然會(huì)保留。 (2) 并行處理 (3) 信息處理與貯存合二為一 (4) 可塑性與自組織性 (5) 層次性與系統(tǒng)性,第 一 章 緒論,1.1人工智能概念的提出 1.2 生物神經(jīng)元模型 1.3

5、 NN的特點(diǎn) 1.4人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史 1.5 NN的研究?jī)?nèi)容及其前景,1.4人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史,(一) Mccuuoch 和Pitts 1943年心理學(xué)家， W. Mccuuoch 和數(shù)理邏輯學(xué)家W.Pitts 在分析、 總結(jié)神經(jīng)元基本特征的基礎(chǔ)上，首先提出神經(jīng)元的數(shù)學(xué)模型，MP 模型。 (二) Von Neumann 1945年，John .Von Neumann 領(lǐng)導(dǎo)的設(shè)計(jì)小組研制成功存儲(chǔ)程序的電子計(jì)算機(jī)。 1948年，在研究工作中比較了人腦與存儲(chǔ)程序式計(jì)算機(jī)的區(qū)別。提出了以簡(jiǎn)單神經(jīng)元構(gòu)成的自再生自動(dòng)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)，但由于計(jì)算機(jī)發(fā)展太快，他放棄了NN研究，1957年去世。,1.4人工

6、神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史,(三) 感知機(jī) 50年代末， F. Rosenblatt 設(shè)計(jì)制作出感知機(jī)perception 它是一種多層NN 。 用于模式識(shí)別， 但許多人放棄了研究，原因如下： (1)計(jì)算機(jī)發(fā)展處于全盛時(shí)期， 許多人誤認(rèn)為計(jì)算機(jī)可解 決AI模式識(shí)別、專家系統(tǒng)等一切問(wèn)題，感知機(jī)不受重 視。 (2)電子工藝水平比較落后，制作成本高。 (3)insky 和papert 在1969 年出版專著“感知機(jī)”，書中論證 了簡(jiǎn)單的線性感知機(jī)功能有限，它不能解決“XOR” ，這樣 的簡(jiǎn)單問(wèn)題，而且指出了多層網(wǎng)絡(luò)找不到有效的方法。,1.4人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史,(四) widrow 60年代初期，widr

7、ow提出自適應(yīng)線性元件網(wǎng)絡(luò)， Adaline是一種連續(xù)取值的線性加權(quán)求和閾值網(wǎng)絡(luò)， 主要用于雷達(dá)無(wú)線控制等，后來(lái)又發(fā)展了非線性多層自適應(yīng)網(wǎng)絡(luò)。 (五) Hopfield 美國(guó)物理學(xué)家hopfield 于1982，1984在美科學(xué)院刊上發(fā)表了兩篇NN論文，引起了巨大反響，它的主要貢獻(xiàn)是： 根據(jù)網(wǎng)絡(luò)的非線性微分方程，引用能量函數(shù)(lyapunov)概念， 使NN的平衡穩(wěn)定狀態(tài)有了明確的判據(jù)方法，用模擬電路的基本元件構(gòu)成了NN的硬件原理模型，為實(shí)現(xiàn)硬件奠定了基礎(chǔ)，解決了TSP問(wèn)題。(Travelling Salesman Problem),1.4人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史,(六) 多層網(wǎng)絡(luò)的反向傳播算法

8、 Hopfield 的研究成果未能指出Minsky等人1959年論點(diǎn)的錯(cuò)誤所在。1986年 Rumelhart和Mcclellanel 提出多層網(wǎng)絡(luò)的誤差反向傳播BP( back propagation) 算法從后向前修正各層之間的連接權(quán)值，可以求解感知機(jī)所不能解決的問(wèn)題， 否定了Minsky 。 另外還有 Hinton， Sejnowski提出了波耳茲曼機(jī) Grossberg 提出了自適應(yīng)諧振理論 ART Kohonen 的自組織特征映射模型 SOM 1987. 6 在美國(guó)加州召開了第一屆NN國(guó)際會(huì)議 1988 ( Neural Network) 創(chuàng)刊 1990 IEEE Trans. On

9、 Neural Network 創(chuàng)刊,1.4人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史,典型的神經(jīng)網(wǎng)絡(luò)： 時(shí)間 發(fā)明者網(wǎng)絡(luò)名稱 1957： Roenblatt 感知器(percentron) 1961： Steinbuch 學(xué)習(xí)距陣(Lermatrix) 1962： Widrow 自適應(yīng)線性元件(Adaline) 1968： Grossberg 大系統(tǒng)模型 197284： Fukushima 認(rèn)識(shí)機(jī)/神經(jīng)認(rèn)知機(jī) 1977： Anderson BSB盒腦 197886： Grossberg 自適應(yīng)共振理論(ART1和ART2) 1980： Kohonen 自組織映射 197485： Rumelhart BP理論,1

10、.4人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史,1985： Hinton等 Boltzman機(jī)(BM) 198588： Kosko BAM/自適應(yīng)BAM 國(guó)內(nèi)的NN研究起于1988年前后，1989年召開了全國(guó)第一屆神經(jīng)網(wǎng)絡(luò)信號(hào)處理會(huì)議。 1990年12月，1991年12月分別召開了第一、二屆全國(guó)神經(jīng)網(wǎng)絡(luò)大會(huì)。 1992年，國(guó)防NN學(xué)會(huì)和IEEE神經(jīng)網(wǎng)絡(luò)委員會(huì)聯(lián)合學(xué)術(shù)會(huì)議在北京召開。,1.4人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史,國(guó)內(nèi)的著作： 1）焦李成：神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論，西安電子科技大學(xué)出版 社，1991 2）焦李成：神經(jīng)網(wǎng)絡(luò)計(jì)算，西安子科技大學(xué)出版社，1995 3）焦李成：神經(jīng)網(wǎng)絡(luò)的應(yīng)用和實(shí)現(xiàn)，西安電子科技大學(xué)出 版社，199

11、5 4）鄭君里、楊行峻：人工神經(jīng)網(wǎng)絡(luò)，高等教育出版社， 1992 5）施鴻寶：神經(jīng)網(wǎng)絡(luò)及其應(yīng)用，西安交通大學(xué)出版社， 1993 6）胡守仁：神經(jīng)網(wǎng)絡(luò)導(dǎo)論，國(guó)防科技大學(xué)出版社，1993,1.4人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡(jiǎn)史,7）胡守仁：神經(jīng)網(wǎng)絡(luò)導(dǎo)論，國(guó)防科技大學(xué)出版社，1993 8）胡守仁：神經(jīng)網(wǎng)絡(luò)應(yīng)用技術(shù)，國(guó)防科技大學(xué)出版社，1993 9）徐柄錚：神經(jīng)網(wǎng)絡(luò)理論與應(yīng)用，華南理工大學(xué)出版社， 1994 10）張立明：人工神經(jīng)網(wǎng)絡(luò)的模型及其應(yīng)用，復(fù)旦大學(xué)出版社， 1993 11）靳蕃：神經(jīng)網(wǎng)絡(luò)與神經(jīng)計(jì)算機(jī)，西南交通大學(xué)出版社， 1991 12）周繼成：人工神經(jīng)網(wǎng)絡(luò)，科學(xué)普及出版社，1993 13）王偉：人工

12、神經(jīng)網(wǎng)絡(luò)原理，北京航空航天大學(xué)出版社， 1995 14）莊鎮(zhèn)泉：神經(jīng)網(wǎng)絡(luò)與神經(jīng)計(jì)算機(jī)，科學(xué)出版社，1992,1.5 NN的研究?jī)?nèi)容及其前景：,NN的研究集中在以下幾個(gè)方面： （1）生物原型研究：從生理學(xué)，心理學(xué)，解剖學(xué)，腦科學(xué)等生物科學(xué)方面研究神經(jīng)細(xì)胞，神經(jīng)網(wǎng)絡(luò)，神經(jīng)系統(tǒng)的生物原型結(jié)構(gòu)及其功能機(jī)理。 （2）建立理論模型：根據(jù)生物原型的研究，建立神經(jīng)元，神經(jīng)網(wǎng)絡(luò)的理論模型、概念模型、知識(shí)模型、數(shù)學(xué)模型，用于NN功能和結(jié)構(gòu)分析。 （3）網(wǎng)絡(luò)模型與算法研究：在理論模型研究的基礎(chǔ)上構(gòu)造具體的神經(jīng)網(wǎng)絡(luò)模型，以實(shí)現(xiàn)計(jì)算機(jī)模擬和硬件實(shí)現(xiàn)。 （4）人工神經(jīng)網(wǎng)絡(luò)應(yīng)用系統(tǒng)：模式識(shí)別，專家系統(tǒng)，機(jī)器人等。,1.5 NN的研究?jī)?nèi)容及其前景：,ANNBNN (Biological) CNN計(jì)算神經(jīng)網(wǎng)絡(luò) DNN：設(shè)