人工神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程大致可以分為三個階段：興起時期低潮時期復興時期興起階段1943年，神經(jīng)生物學家MeCulloch和青年數(shù)學家Pitts提出了第一個人工神經(jīng)元模型——神經(jīng)元閾值模型（MP模型），并在此基礎(chǔ)上抽象出其數(shù)學模型，開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)的研究。1949年神經(jīng)生物學家Hebb提出了連接權(quán)值強化的Hebb法則，他認為，神經(jīng)元之間突觸的聯(lián)系強度是可變的，Hebb法則為人工神經(jīng)網(wǎng)絡(luò)的學習算法奠定了基礎(chǔ)。1958年Rosenblatt在原有MP模型的基礎(chǔ)上增加了學習機制，他證明了兩層感知器能夠?qū)斎敕诸?，他還提出了具有三層結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)模型（感知機模型），初步具備了諸如學習性、并行處理、分布存儲等神經(jīng)網(wǎng)絡(luò)的一些基本特征，為神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ)。1960年，電機工程師Widrow和Hoff提出了一種連續(xù)取值的自適應(yīng)線性神經(jīng)元（ADALINE）網(wǎng)絡(luò)模型，他們針對輸入為線性可分的問題進行了研究，得出期望響應(yīng)與計算響應(yīng)的誤差可能搜索到全局最小值；自適應(yīng)神經(jīng)網(wǎng)絡(luò)采用了最小均值算法。低潮階段20世紀60年代，掀起了研究人工神經(jīng)網(wǎng)絡(luò)的第一次高潮，但是一方面由于研究的深入，人們遇到了來自認知、應(yīng)用和現(xiàn)實等方面的困惑，阻礙了研究的步伐；另一方面20世紀70年代以來，集成電路和微電子技術(shù)的迅猛發(fā)展，數(shù)字計算機的發(fā)展進入了全盛時期，許多人誤以為數(shù)字計算機可以解決人工智能、模式識別、專家系統(tǒng)等方面的一切問題，整個學術(shù)界陶醉于數(shù)字計算機的成功之中，使感知機的研究工作得不到重視。這使得人工神經(jīng)網(wǎng)絡(luò)的研究處于一個低潮時期。低潮時期也有少數(shù)學者堅持不懈的致力于人工神經(jīng)網(wǎng)絡(luò)的研究工作。1972年芬蘭的Kohonen教授提出了自組織神經(jīng)網(wǎng)絡(luò)（SOM）；Anderson提出了一個類似的神經(jīng)網(wǎng)絡(luò)，稱為交互存儲器。1976年美國Grossberg教授提出了著名的自適應(yīng)共振理（AdaptiveResonanceTheory）其學習過程具有自組織和自穩(wěn)定特征，其后他繼續(xù)研究ART網(wǎng)絡(luò)并有ART1、2、3等3個系統(tǒng)版本。低潮時期的另一位重要人物是日本的福島邦彥，他于1980年發(fā)表的“新認知機”，“新認知機”是視覺模式識別機制模型，它與生物視覺理論相結(jié)合，其目的在于綜合出一種神經(jīng)網(wǎng)絡(luò)模型，使它像人類一樣具有進行模式識別能力。低潮時期的科學價值同樣不可磨滅，為日后神經(jīng)網(wǎng)絡(luò)理論研究的復興打下了堅實的基礎(chǔ)。復興階段1982年，美國加州理工學院的生物物理學家Hopfoeld發(fā)表了著名的Hopfoeld模型理論，標志著人工神經(jīng)網(wǎng)絡(luò)研究工作的復蘇。此模型對人工神經(jīng)網(wǎng)絡(luò)信息存儲和提取功能進行了非線性數(shù)學概括，提出了動力方程和學習方程，還對網(wǎng)絡(luò)算法提供了重要公式和參數(shù)，使人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造和學習有了理論指導。1985年，Hinton和Sejnowski借助于統(tǒng)計物理學的概念和方法，為Hopfield網(wǎng)絡(luò)模型引入隨即機制并提出了一種隨機神經(jīng)網(wǎng)絡(luò)模型——波爾茲曼機，有效地克服了Hopfield網(wǎng)絡(luò)存在的能量局部極小值問題。1986年美國Rumelhart和McMelland及其領(lǐng)導的研究小組提出了并行分布式處理網(wǎng)絡(luò)思想，主要致力于認知的微觀研究，同時對具有非線性連續(xù)轉(zhuǎn)移函數(shù)的多層前饋網(wǎng)絡(luò)的誤差反向傳播算法（BP）算法進行了詳細的分析。能夠?qū)W習結(jié)果反饋到中間層的隱含節(jié)點中，解決了多層神經(jīng)網(wǎng)絡(luò)的學習問題。BP算法是目前最引人注目、應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)算法之一。近年來，