第1章緒論1.1人工智能1.2人工神經(jīng)網(wǎng)絡(luò)與人工智能的區(qū)別1.3深度學(xué)習(xí)

1.1場

的

概

念

1.1.1人工智能

定義從能力的角度來看，人工智能是相對于人的自然智能而言的，即用人工的方法在機(jī)器(計(jì)算機(jī))上實(shí)現(xiàn)的智能；

從學(xué)科的角度來看，人工智能是作為一個(gè)學(xué)科名稱來使用的，

即人工智能是一門研究如何構(gòu)造智能機(jī)器或智能系統(tǒng)，使它能模擬、延伸和擴(kuò)展人類智能的學(xué)科。

研究目標(biāo)：人們在計(jì)算機(jī)上對智能行為的研究，其中包括感知、推理、學(xué)習(xí)、規(guī)劃、交流和在復(fù)雜環(huán)境中的行為。對智能行為有效解釋的理論分析解釋人類智能制造人工智能產(chǎn)品

要實(shí)現(xiàn)這些目標(biāo)需要同時(shí)開展對智能機(jī)理和智能實(shí)現(xiàn)技術(shù)的研究。人工智能研究的近期目標(biāo)是研究如何使現(xiàn)有的計(jì)算機(jī)更聰明即使它能夠運(yùn)用知識去處理問題能夠模擬人類的智能行為如推理、思考、分析、決策、預(yù)測、理解、規(guī)劃、設(shè)計(jì)和學(xué)習(xí)等。

作為一門內(nèi)容豐富的邊緣學(xué)科人工智能不僅與自然科學(xué)有所關(guān)聯(lián)還與社會(huì)科學(xué)有著密切的聯(lián)系。它是一門綜合學(xué)科涉及哲學(xué)、心理學(xué)、計(jì)算機(jī)科學(xué)以及多種工程學(xué)方法；它將自然科學(xué)和社會(huì)科學(xué)各自的優(yōu)勢相結(jié)合以思維與智能為核心形成了一個(gè)研究的新體系。人工智能的應(yīng)用廣泛主要領(lǐng)域包括專家系統(tǒng)、博弈、定理證明、語義理解、機(jī)器人學(xué)等。圖1.1所示為人工智能研究與應(yīng)用領(lǐng)域。

圖1.1人工智能研究與應(yīng)用領(lǐng)域示意圖

其中，專家系統(tǒng)是一種基于專家知識的系統(tǒng)在設(shè)計(jì)程序時(shí)設(shè)計(jì)者需要將相關(guān)知識編制到程序中然后用機(jī)器來模擬人類專家求解問題其水平可以達(dá)到甚至超過人類專家的水平。自然語言理解(語義理解的一個(gè)分支)也是另一個(gè)人工智能應(yīng)用較多的領(lǐng)域。自然語言理解包括文章中的句子、句子中單詞的分析和理解它的研究起源于機(jī)器翻譯。一個(gè)能夠理解自然語言并能用自然語言進(jìn)行交流的機(jī)器人可以執(zhí)行任何口頭命令因此具有廣泛的應(yīng)用價(jià)值。

歷史上著名的人工智能大師介紹：艾倫·圖靈(AlanTuring)1912年出生于英國倫敦,1954年去世。1936年圖靈提出了“圖靈機(jī)”理論,“圖靈機(jī)”與“馮·諾伊曼機(jī)”齊名,被永遠(yuǎn)載入計(jì)算機(jī)的發(fā)展史中。1950年10月,圖靈發(fā)表了論文《機(jī)器能思考嗎》,正是這篇文章,使圖靈贏得了“人工智能之父”的桂冠。1966年為紀(jì)念圖靈的杰出貢獻(xiàn),ACM設(shè)立圖靈獎(jiǎng)。在42年的人生歷程中,圖靈的創(chuàng)造力是豐富多彩的,他是天才的數(shù)學(xué)家和計(jì)算機(jī)理論專家,24歲提出“圖靈機(jī)”理論,31歲參與COLOSSUS的研制,33歲設(shè)想仿真系統(tǒng),35歲提出自動(dòng)程序設(shè)計(jì)概念,38歲設(shè)計(jì)“圖靈測驗(yàn)”。

歷史上著名的人工智能大師介紹：馬文·明斯基

馬文·明斯基(MarvinMinsky)1927年出生于美國紐約。1951年,明斯基提出了關(guān)于“思維如何萌發(fā)并形成”的基本理論。1954年他對神經(jīng)系統(tǒng)如何能夠?qū)W習(xí)進(jìn)行了研究,并把這種想法寫入其博士論文中,后來他對Rosenblatt建立的感知器(perceptron)的學(xué)習(xí)模型作了深入分析。明斯基是1956年達(dá)特茅斯會(huì)議的發(fā)起人之一,1958年他在MIT創(chuàng)建了世界上第一個(gè)人工智能實(shí)驗(yàn)室,1969年獲得圖靈獎(jiǎng),1975年首創(chuàng)框架理論。

歷史上著名的人工智能大師介紹：約翰·麥卡錫約翰·麥卡錫(JohnMcCarthy)1927年出生于美國波士頓。在上初中時(shí),麥卡錫就對數(shù)學(xué)表現(xiàn)出很高的天賦,于1951年在普林斯頓大學(xué)取得數(shù)學(xué)博士學(xué)位。1956年夏,麥卡錫發(fā)起了達(dá)特茅斯會(huì)議,并提出了“人工智能”的概念。1958年麥卡錫到MIT任職,與明斯基一起創(chuàng)建了世界上第一個(gè)人工智能實(shí)驗(yàn)室,并且發(fā)明了著名的αβ剪枝算法。1959年他開發(fā)出了LISP語言,開創(chuàng)了邏輯程序研究,用于程序驗(yàn)證和自動(dòng)程序設(shè)計(jì),1971年獲得圖靈獎(jiǎng)。

歷史上著名的人工智能大師介紹：圖1.5赫伯特·西蒙

赫伯特·西蒙(HerbertA.Simon)1916年出生于美國的威斯康星州密歇根湖畔。他從小聰明好學(xué),17歲就考入了芝加哥大學(xué)。他是一位興趣愛好廣泛的人,研究方向跨越多個(gè)領(lǐng)域。1936年西蒙從芝加哥大學(xué)取得政治學(xué)學(xué)士學(xué)位,1943年在芝加哥大學(xué)獲政治學(xué)博士學(xué)位,1969年因心理學(xué)方面的貢獻(xiàn)獲得杰出科學(xué)貢獻(xiàn)獎(jiǎng),1975年他和他的學(xué)生艾倫·紐厄爾共同獲得圖靈獎(jiǎng),1978年獲得諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng),1986年因行為學(xué)方面的成就獲得美國全國科學(xué)家獎(jiǎng)?wù)隆?/p>

歷史上著名的人工智能大師介紹：圖1.6艾倫·紐厄爾艾倫·紐厄爾(AllenNewell)

1927年出生于美國舊金山。他在20世紀(jì)五六十年代開發(fā)了世界上最早的啟發(fā)式程序———邏輯理論家LT(logictheorist),證明了《數(shù)學(xué)原理》第2章中的全部52個(gè)定理,開創(chuàng)了機(jī)器定理證明這一新的學(xué)科領(lǐng)域。1957年紐厄爾開發(fā)了IPL語言(最早的AI語言),1960年開發(fā)了通用問題求解系統(tǒng)———GPS,1966年開發(fā)了最早的下棋程序之一———MATER,1970年發(fā)展完善了語義網(wǎng)絡(luò)的概念和方法,并提出了物理符號系統(tǒng)假說,后來又提出了決策過程模型,該模型成為DSS(decisionsupportsystem)的核心內(nèi)容。

歷史上著名的人工智能大師介紹：圖1.7

理查德·卡普

理查德·卡普(RichardM.Karp)

1935年出生于美國波士頓,是加州大學(xué)伯克利分校三個(gè)系(電氣工程和計(jì)算機(jī)系、數(shù)學(xué)系、工業(yè)工程和運(yùn)籌學(xué)系)的教授。20世紀(jì)60年代卡普提出了分支界限法,成功求解了含有65個(gè)城市的推銷員問題,創(chuàng)造了當(dāng)時(shí)的紀(jì)錄。1985年卡普由于對算法理論的貢獻(xiàn)而獲得圖靈獎(jiǎng)。

歷史上著名的人工智能大師介紹：圖1.8

愛德華·費(fèi)根鮑姆愛德華·費(fèi)根鮑姆(EdwardAlbertFeigenbaum)1936年出生于美國新澤西州。1977年費(fèi)根鮑姆提出了知識工程,使人工智能從理論轉(zhuǎn)向應(yīng)用。其名言為:知識蘊(yùn)藏著力量。1994年費(fèi)根鮑姆和勞伊·雷迪共同獲得了圖靈獎(jiǎng)。1963年費(fèi)根鮑姆主編了《計(jì)算機(jī)與思想》一書,被認(rèn)為是世界上第一本有關(guān)人工智能的經(jīng)典性專著。1965年費(fèi)根鮑姆開發(fā)出了世界上第一個(gè)專家系統(tǒng)DENDRAL,20世紀(jì)80年代與其他研究者合著了四卷本的《人工智能手冊》,并開設(shè)了Teknowledge和IntelliGenetics兩個(gè)公司。

歷史上著名的人工智能大師介紹：圖1.9

勞伊·雷迪勞伊·雷迪(RajReddy)1937年出生于印度,1966年在美國斯坦福大學(xué)獲得了博士學(xué)位。1994年雷迪與費(fèi)根鮑姆共同獲得了圖靈獎(jiǎng)。雷迪自稱是第二代的人工智能研究者,因?yàn)樗牟┦繉?dǎo)師就是有人工智能之父之稱的麥卡錫。雷迪主持過一系列大型人工智能系統(tǒng)的開發(fā),如NavLab———能在道路上行駛的自動(dòng)車輛項(xiàng)目、LISTEN———用于掃盲的語音識別系統(tǒng)、以詩人但丁命名的火山探測機(jī)器人項(xiàng)目、自動(dòng)機(jī)工廠項(xiàng)目等,并且提出了白領(lǐng)機(jī)器人學(xué)。

歷史上著名的人工智能大師介紹：圖1.10

道格拉斯·恩格爾巴特

道格拉斯·恩格爾巴特(DouglasEngelbart)

1925年出生于美國俄勒岡州。20世紀(jì)60年代恩格爾巴特提出了計(jì)算機(jī)是人類智力的放大器的觀點(diǎn)。1948年恩格爾巴特在俄勒岡州立大學(xué)取得了碩士學(xué)位,1956年在加州大學(xué)伯克利分校取得了電氣工程/計(jì)算機(jī)博士學(xué)位,之后進(jìn)入著名的斯坦福研究所SRI工作。1964年恩格爾巴特發(fā)明了鼠標(biāo),1967年申請專利,1970年取得了專利。恩格爾巴特對超文本技術(shù)做出了巨大貢獻(xiàn),人們以他的名字命名了ACM超文本會(huì)議最佳論文獎(jiǎng)。1989年,他和女兒一起在硅谷PaloAlto創(chuàng)建了Bootstrap研究所。

歷史上著名的人工智能大師介紹：圖1.11

奧利弗·賽爾夫里奇奧利弗·賽爾夫里奇(OliverG.Selfridge)

1926年生于英格蘭,人工智能的先驅(qū)者之一,于2008年逝世。1945年,賽爾夫里奇開始在MIT從事數(shù)學(xué)方面的研究。1955年他幫助明斯基組織了第一次公開的人工智能會(huì)議,之后,完成了許多重要的早期關(guān)于神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)以及人工智能的文章。1959,他的論文“Pandemonium:Aparadigmforlearning”更是被視作人工智能的經(jīng)典之作,為之后的面向方面編程提供了理論基礎(chǔ)。賽爾夫里奇在機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)方面的研究至今還影響著AI研究領(lǐng)域。

歷史上著名的人工智能大師介紹：圖1.12

雷·索羅蒙夫

雷·索羅蒙夫(R.Solomonoff)

1926年出生于美國的克利夫蘭,1951年畢業(yè)于芝加哥大學(xué),早年對于純數(shù)學(xué)理論較感興趣。1952年索羅蒙夫遇到了明斯基、麥卡錫等人,并參加了第一次達(dá)特茅斯人工智能會(huì)議。1960年他提出了算法概率這一理論,并在文章中給出了證明。1964年他完善了自己的歸納推理理論,該理論之后成為人工智能的一個(gè)分支。2000年后,他又第一個(gè)提出了最佳通用人工智能的數(shù)學(xué)概念。

歷史上著名的人工智能大師介紹：圖1.13

亞瑟·塞繆爾

亞瑟·塞繆爾(ArthurL.Samuel)

1901年出生于美國堪薩斯州,機(jī)器學(xué)習(xí)領(lǐng)域的先驅(qū)者之一。1928年塞繆爾從MIT獲得了碩士學(xué)位,后來加入貝爾實(shí)驗(yàn)室,隨后又加入了IBM公司,并在IBM完成了第一個(gè)跳棋程序,此程序在IBM機(jī)上得到應(yīng)用。該跳棋程序因?yàn)榫哂凶晕覍W(xué)習(xí)的能力和普遍的自適應(yīng)性,所以在硬件的實(shí)現(xiàn)和編程的技巧上都有很大的優(yōu)勢。1966年塞繆爾成為斯坦福大學(xué)的教授,1990年去世。

一個(gè)人工智能(artificialintelligence，AI)系統(tǒng)必須可以完成三種工作：儲備知識，使用儲備知識解決問題，以及通過經(jīng)驗(yàn)獲得新知識。一個(gè)AI系統(tǒng)有三個(gè)關(guān)鍵部分：表示、推理和學(xué)習(xí)。人工智能明確的符號使得它很適用于人機(jī)交流。人工智能最基本的特征在于大量使用符號結(jié)構(gòu)語言表達(dá)感興趣的問題領(lǐng)域的一般知識和問題求解的特殊知識。這些符號通常以常見的形式用于公式中，使得使用者比較容易理解人工智能的符號表達(dá)式。人工智能中所提到的知識只不過是數(shù)據(jù)的另外一種名稱，它可以是說明性的，也可以是程序性的。

1.1.2人工神經(jīng)網(wǎng)絡(luò)與人工智能的區(qū)別

知識由一種靜態(tài)的事實(shí)集合以及一小組操作這些事實(shí)的通用程序構(gòu)成。在程序性表示中，知識嵌入一種可執(zhí)行代碼中，由代碼表示知識的結(jié)構(gòu)。推理是解決問題的能力。一個(gè)推理系統(tǒng)必須具備如下三個(gè)條件：

①系統(tǒng)必須能夠表示和解決廣泛領(lǐng)域內(nèi)的問題和問題類型；

②系統(tǒng)必須能夠利用它所知道的明確的或隱含的信息；

③系統(tǒng)必須有一個(gè)控制機(jī)制，可以決定解決特定問題時(shí)使用哪些操作，什么時(shí)候已經(jīng)獲得問題的一個(gè)特定解，或者什么時(shí)候應(yīng)該中止問題的進(jìn)一步工作。

傳統(tǒng)人工智能中，重點(diǎn)是建立符號的表示。從認(rèn)知的觀點(diǎn)看，人工智能假設(shè)存在心理表示，并且它以符號表示的順序處理認(rèn)知模型；而人工神經(jīng)網(wǎng)絡(luò)強(qiáng)調(diào)的重點(diǎn)是并行分布式處理。傳統(tǒng)人工智能中信息處理的機(jī)制是串行的；而并行性不僅是人工神經(jīng)網(wǎng)絡(luò)信息處理的本質(zhì)，也是它靈活性的來源。傳統(tǒng)人工智能以人類的語言思維為模型，符號表示具有擬語言結(jié)構(gòu)。

傳統(tǒng)人工智能給定有限的符號集，有意義的新表示式可能由符號表達(dá)式的組合以及語法結(jié)構(gòu)和語義的類比構(gòu)成。因此，在實(shí)現(xiàn)方式、開發(fā)方法和適應(yīng)領(lǐng)域等方面，傳統(tǒng)的人工智能與人工神經(jīng)網(wǎng)絡(luò)都有所不同。

具體表現(xiàn)：

(1)從基本的實(shí)現(xiàn)方式上看，人工智能模型采用的是串行處理，即由程序?qū)崿F(xiàn)控制的方式；而人工神經(jīng)網(wǎng)絡(luò)采用的則是并行處理：對樣本數(shù)據(jù)進(jìn)行多目標(biāo)學(xué)習(xí)，通過人工神經(jīng)元之間的相互作用實(shí)現(xiàn)控制。

(2)在基本開發(fā)方法上，人工智能采用的是先設(shè)計(jì)規(guī)則、框架和程序，再用樣本數(shù)據(jù)進(jìn)行調(diào)試的方法，即由人根據(jù)已知的環(huán)境去構(gòu)造一個(gè)模型；而人工神經(jīng)網(wǎng)絡(luò)采用的是定義人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)原型，通過樣本數(shù)據(jù)，依據(jù)基本的學(xué)習(xí)算法完成學(xué)習(xí)，即自動(dòng)從樣本數(shù)據(jù)中抽取特征，且自動(dòng)適應(yīng)應(yīng)用環(huán)境的學(xué)習(xí)方式。

(3)從適應(yīng)領(lǐng)域上看，人工智能模型適合解決精確計(jì)算的問題，如符號處理、數(shù)值計(jì)算等；而人工神經(jīng)網(wǎng)絡(luò)適合解決非精確計(jì)算的問題，如模擬處理、感覺、大規(guī)模數(shù)據(jù)并行處理等。

(4)從模擬對象上看,人工智能模型模擬的是人類左腦的邏輯思維;而人工神經(jīng)網(wǎng)絡(luò)模擬的是人類右腦的形象思維。

(5)人工智能采用的是符號主義建模,即大多數(shù)人工智能模型通過符號的計(jì)算并且使用一些合成的語言來實(shí)現(xiàn),如LISP或者PROLOG。事實(shí)上,人工智能是在這些符號運(yùn)算能夠解釋感知特性的功能而沒有利用任何有關(guān)神經(jīng)生物學(xué)方面的知識的前提下才成立的。而人工神經(jīng)網(wǎng)絡(luò)采用的是亞符號建模。在人工神經(jīng)網(wǎng)絡(luò)方法中,通過簡單的類似神經(jīng)元的處理單元,能夠利用組合完成一些更復(fù)雜的行為,實(shí)現(xiàn)更高級的感知功能。

1.1.3人工神經(jīng)網(wǎng)絡(luò)與人工智能的互補(bǔ)性

人工神經(jīng)網(wǎng)絡(luò)的長處在于知識的快速獲取，具有并行性、分布性和聯(lián)結(jié)性的網(wǎng)絡(luò)結(jié)構(gòu)給人工神經(jīng)網(wǎng)絡(luò)知識獲取提供了一個(gè)良好的環(huán)境。非馮·諾依曼體系結(jié)構(gòu)打破了狹窄通道的限制，使得高速運(yùn)算和規(guī)模擴(kuò)展的前景相當(dāng)樂觀。強(qiáng)大的學(xué)習(xí)能力是快速獲取知識的重要保證。人工神經(jīng)網(wǎng)絡(luò)不是通過推理，而是通過例子學(xué)習(xí)來確定模型處理信息的，因此以快速獲取知識為優(yōu)勢。這種優(yōu)勢類似人的下意識過程，即無須做出精確的推理，大量信息在瞬間處理完這種優(yōu)勢可以極大地適應(yīng)信息時(shí)代信息處理的高速化要求。

人工智能系統(tǒng)的特色在于知識的邏輯推理。它以一套較完整的推理系統(tǒng)為核心，對知識進(jìn)行組織、再生和利用。基于規(guī)則的推理思想是人工智能的本質(zhì)特性，而人工神經(jīng)網(wǎng)絡(luò)最嚴(yán)重的問題是它沒有能力解釋自己的推理過程和推理依據(jù)，它對輸出結(jié)果的產(chǎn)生類似人的直覺，可以不經(jīng)過任何分析和演繹。因此，人工神經(jīng)網(wǎng)絡(luò)不但不能向用戶解釋它的推論過程和推理依據(jù)，也不能向用戶提出必要的詢問。

人工神經(jīng)網(wǎng)絡(luò)的一個(gè)重要特點(diǎn)就是可以模擬大量神經(jīng)元的并行結(jié)構(gòu)，因而它具有高度容錯(cuò)能力。

人工智能和人工神經(jīng)網(wǎng)絡(luò)是一種互補(bǔ)的關(guān)系。人工神經(jīng)網(wǎng)絡(luò)的研究重點(diǎn)在于模擬和實(shí)現(xiàn)人的認(rèn)知過程中的感知過程，包含形象思維、分布式記憶和自學(xué)組織過程;而人工智能是符號處理系統(tǒng)，側(cè)重于模擬人的邏輯思維，其長處正好彌補(bǔ)了神經(jīng)網(wǎng)絡(luò)的不足。人工神經(jīng)網(wǎng)絡(luò)和人工智能相結(jié)合，會(huì)對人的認(rèn)知過程有一個(gè)更全面的理解。

把人工智能方法和人工神經(jīng)網(wǎng)絡(luò)加以科學(xué)的綜合，完全可能產(chǎn)生更強(qiáng)有力的新一代智能系統(tǒng)，這種新的智能系統(tǒng)我們可以將其稱為混合智能系統(tǒng)。

最近更多的軟計(jì)算規(guī)則，包括模糊系統(tǒng)、進(jìn)化算法等也用來輔助實(shí)現(xiàn)混合智能系統(tǒng)的設(shè)計(jì)，而且已經(jīng)用于很多重要的商業(yè)領(lǐng)域。

1.2

機(jī)器學(xué)習(xí)

1.2.1第一次研究高潮

早在20世紀(jì)40年代，眾多科學(xué)家就對大腦神經(jīng)元進(jìn)行了研究。其研究結(jié)果表明：當(dāng)大腦神經(jīng)元處于興奮狀態(tài)時(shí)，輸出側(cè)的軸突就會(huì)發(fā)出脈沖信號，每個(gè)神經(jīng)元的樹狀突起與來自其他神經(jīng)元軸突的互相結(jié)合部(此結(jié)合部稱為synapse，即突觸)接收由軸突傳來的信號。如果一神經(jīng)元所接收到的信號的總和超過了它本身的“閾值”，則該神經(jīng)元就會(huì)處于興奮狀態(tài)，并向它后續(xù)連接的神經(jīng)元發(fā)出脈沖信號。

1943年，根據(jù)這一研究結(jié)果，美國的神經(jīng)科學(xué)家W.S.McCulloch和數(shù)學(xué)家W.A.Pitts合作，從人腦信息處理觀點(diǎn)出發(fā)，采用數(shù)理模型的方法研究了腦細(xì)胞的動(dòng)作、結(jié)構(gòu)及其生物神經(jīng)元的一些基本生理特性，在論文《神經(jīng)活動(dòng)中內(nèi)在思想的邏輯演算》中，提出了關(guān)于神經(jīng)元工作的五個(gè)假設(shè)和一個(gè)非常簡單的神經(jīng)元模型，即M-P模型。該模型將神經(jīng)元當(dāng)作一個(gè)功能邏輯器件來對待，當(dāng)神經(jīng)元處于興奮狀態(tài)時(shí)，其輸出為1；當(dāng)神經(jīng)元處于非興奮狀態(tài)時(shí)，其輸出為0。M-P模型開創(chuàng)了神經(jīng)網(wǎng)絡(luò)模型的理論研究，同時(shí)也是最終導(dǎo)致馮·諾依曼電子計(jì)算機(jī)誕生的重要因素之一。

1949年，心理學(xué)家D.O.Hebb編寫了《行為的組織》一書，在這本書中他對大腦神經(jīng)細(xì)胞、學(xué)習(xí)與條件反射作了大膽的假設(shè)，提出了神經(jīng)元之間連接強(qiáng)度變化的規(guī)則，即后來所謂的Hebb學(xué)習(xí)法則。Hebb學(xué)習(xí)法則可以描述如下：當(dāng)神經(jīng)元興奮時(shí)，輸入側(cè)的突觸結(jié)合強(qiáng)度由于受到刺激而得到增強(qiáng)，這就給神經(jīng)網(wǎng)絡(luò)帶來了所謂的“可塑性”。

Hebb學(xué)習(xí)法則對神經(jīng)網(wǎng)絡(luò)的發(fā)展起到了重大的推動(dòng)作用，被認(rèn)為是用神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識別和記憶的基礎(chǔ)，至今許多神經(jīng)網(wǎng)絡(luò)型機(jī)器的學(xué)習(xí)法則仍采用Hebb學(xué)習(xí)法則或其改進(jìn)形式。

1958年，計(jì)算機(jī)科學(xué)家F.Rosenblatt等人首次把神經(jīng)網(wǎng)絡(luò)理論付諸工程實(shí)現(xiàn)，研制出了歷史上第一個(gè)具有學(xué)習(xí)型神經(jīng)網(wǎng)絡(luò)特點(diǎn)的模式識別裝置，即代號為MarkⅠ的感知機(jī)(perceptron)。它由光接收單元組成輸入層，MP神經(jīng)元構(gòu)成聯(lián)合層和輸出層。輸入層和聯(lián)合層神經(jīng)元之間可以不是全連接，而聯(lián)合層與輸出層神經(jīng)元之間一般是全連接。用教師信號可以對感知機(jī)進(jìn)行訓(xùn)練。美國加州理工學(xué)院的生物物理學(xué)家Hopfield提出的Hopfield模型包含了一些現(xiàn)代神經(jīng)計(jì)算機(jī)的基本原理，是神經(jīng)網(wǎng)絡(luò)方法和技術(shù)上的重大突破，它的提出是神經(jīng)網(wǎng)絡(luò)研究進(jìn)入第二階段的標(biāo)志。

此外，Rochester、Holland與IBM公司的研究人員合作，通過對網(wǎng)絡(luò)的學(xué)習(xí)，來調(diào)節(jié)網(wǎng)絡(luò)中神經(jīng)元的連接強(qiáng)度，以這種方式模擬Hebb學(xué)習(xí)法則并在IBM701計(jì)算機(jī)上運(yùn)行取得了成功，最終出現(xiàn)了許多突顯現(xiàn)象，甚至讓計(jì)算機(jī)幾乎具有了人類大腦的處理風(fēng)格。但是，他們構(gòu)造的最大規(guī)模的人工神經(jīng)網(wǎng)絡(luò)也只有1000個(gè)神經(jīng)元，而每個(gè)神經(jīng)元也只有16個(gè)結(jié)合點(diǎn)，繼續(xù)擴(kuò)大規(guī)模時(shí)就受到了計(jì)算機(jī)計(jì)算能力的限制。

對于最簡單的沒有中間層的感知機(jī)模型，Rosenblatt證明了一種學(xué)習(xí)算法的收斂性，這種學(xué)習(xí)算法通過迭代地改變連接權(quán)來使網(wǎng)絡(luò)執(zhí)行預(yù)期的計(jì)算。正是由于這一定理的存在，感知機(jī)的理論才具有了實(shí)際的意義，從而激發(fā)了許多學(xué)者對神經(jīng)網(wǎng)絡(luò)的研究興趣，并引發(fā)了20世紀(jì)60年代以感知機(jī)為代表的第一次人工神經(jīng)網(wǎng)絡(luò)研究發(fā)展的高潮。

之后，Rosenblatt又提出了4層式感知機(jī)，即在感知機(jī)的兩個(gè)聯(lián)合層之間，通過提取相繼輸入的各模式之間的相關(guān)性來獲得模式之間的依存性信息，這樣做可使無教師(無監(jiān)督)學(xué)習(xí)成為可能。M.Minsky和S.Papert進(jìn)一步發(fā)展了感知機(jī)的理論，他們把感知機(jī)定義為一種邏輯函數(shù)的學(xué)習(xí)機(jī)。

稍晚于Rosenblatt，B.Widrow等人設(shè)計(jì)出了一種不同類型的具有學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)處理單元，即自適應(yīng)線性元件Adaline，后來發(fā)展為Madaline。這是一種連續(xù)取值的線性網(wǎng)絡(luò)，在控制和分類等自適應(yīng)系統(tǒng)中應(yīng)用廣泛。它在結(jié)構(gòu)上與感知機(jī)相似，但在學(xué)習(xí)法則上采用了最小二乘平均誤差法。1960年，Widrow和他的學(xué)生Hoff為Adaline找出了一種有力的學(xué)習(xí)法則———LMS(leastminimumsquare)規(guī)則，這個(gè)規(guī)則至今仍被廣泛應(yīng)用。之后，他又把這一方法用于自適應(yīng)實(shí)時(shí)處理濾波器，并得到了進(jìn)一步的研究成果。

除Rosenblatt和Widrow外，在這個(gè)階段還有許多人在神經(jīng)計(jì)算的結(jié)構(gòu)和實(shí)現(xiàn)思想方面做出了很大的貢獻(xiàn)。例如，K.Steinbuch研究了被稱為學(xué)習(xí)矩陣的一種二進(jìn)制聯(lián)想網(wǎng)絡(luò)結(jié)構(gòu)及其硬件實(shí)現(xiàn)。N.Nilsson在1965年出版的《機(jī)器學(xué)習(xí)》一書對這一時(shí)期的活動(dòng)作了總結(jié)。中國科學(xué)院生物物理所1965年提出用矩陣法描述一些神經(jīng)網(wǎng)絡(luò)模型，他們重點(diǎn)研究的是視覺系統(tǒng)信息傳遞過程、加工的機(jī)理以及在此基礎(chǔ)上的有關(guān)數(shù)學(xué)人工神經(jīng)網(wǎng)絡(luò)模型。

在這一時(shí)期內(nèi)，與上述神經(jīng)網(wǎng)絡(luò)研究相并行的是，腦的生理學(xué)方面的研究也在不斷地發(fā)展。

D.H.Huble和T.W.Wiesel從20世紀(jì)50年代后半期開始對大腦視覺領(lǐng)域的神經(jīng)元的功能進(jìn)行了一系列的研究。研究結(jié)果表明：視覺神經(jīng)元在視網(wǎng)膜上具有被稱作“接收域(receptivefield)”的接收范圍。這一系列腦功能研究領(lǐng)域中的開創(chuàng)性工作使他們在1981年獲得了諾貝爾獎(jiǎng)。此后的研究者又把研究范圍擴(kuò)大到了側(cè)頭葉和頭頂葉的神經(jīng)元。D.Marr在1969年提出了一個(gè)小腦功能及其學(xué)習(xí)法則的小腦感知機(jī)模型，被認(rèn)為是一個(gè)神經(jīng)網(wǎng)絡(luò)與神經(jīng)生理學(xué)的事實(shí)相一致的著名例證。

1969年，M.Minsky和S.Papert所著的《感知機(jī)》一書出版[6]。該書對單層感知機(jī)的局限性進(jìn)行了全面深入的分析，并且從數(shù)學(xué)上證明了感知機(jī)網(wǎng)絡(luò)功能有限，不能實(shí)現(xiàn)一些基本的功能，甚至不能解決像“異或”這樣的簡單邏輯運(yùn)算問題。同時(shí)，他們還發(fā)現(xiàn)有許多模式是不能用單層網(wǎng)絡(luò)訓(xùn)練的，而多層網(wǎng)絡(luò)是否可行還很值得懷疑。他的這一研究斷定了關(guān)于感知機(jī)的研究不會(huì)再有什么大的成果。由于M.Minsky在人工智能領(lǐng)域中的巨大威望和學(xué)術(shù)影響，他在論著中做出的悲觀結(jié)論給當(dāng)時(shí)神經(jīng)網(wǎng)絡(luò)沿感知機(jī)方向的研究潑了一盆冷水，而使第一次神經(jīng)網(wǎng)絡(luò)的研究熱潮逐漸地冷卻了下來。Minsky對感知器的評論在許多年后仍然影響著科學(xué)界。

美國科學(xué)家Simon甚至在1984年出版的一本論著PatternsandOperators：TheFoundationofDataRepresentation中還在判感知機(jī)死刑。更令人遺憾的是，Minsky和Papert沒有看到日本科學(xué)家Amari在1967年對信任分配問題的數(shù)學(xué)求解這一重要成果，如果他們看到這一成果，寫《感知機(jī)》一書時(shí)就會(huì)更加謹(jǐn)慎，也不會(huì)產(chǎn)生當(dāng)時(shí)的那種影響。后來，Minsky出席了1987年的首屆國際人工神經(jīng)網(wǎng)絡(luò)大會(huì)，他發(fā)表演說：過去他對Rosenblatt提出的感知機(jī)模型下的結(jié)論太早又太死，在客觀上，阻礙了人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的發(fā)展。實(shí)際上，當(dāng)前感知機(jī)網(wǎng)絡(luò)仍然是一種重要的人工神經(jīng)網(wǎng)絡(luò)模型，對某些應(yīng)用問題而言，這種網(wǎng)絡(luò)不失為一種快速可靠的求解方法，同時(shí)它也是理解復(fù)雜人工神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。

在這個(gè)低潮期里，仍有一些研究者在堅(jiān)持不懈地對神經(jīng)網(wǎng)絡(luò)進(jìn)行認(rèn)真、深入的研究，并逐漸積累且取得了許多相關(guān)的基本性質(zhì)和知識。其他領(lǐng)域的一些科學(xué)家在此期間也投入到了這個(gè)領(lǐng)域，給人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域帶來了新的活力，如美國波士頓大學(xué)的S.Grossberg、芬蘭赫爾辛基技術(shù)大學(xué)的T.Kohonen以及日本東京大學(xué)的甘利俊一等人。20世紀(jì)60年代中后期，Grossberg從信息處理的角度研究了思維和大腦結(jié)合的理論問題，運(yùn)用數(shù)學(xué)方法研究了自組織性、自穩(wěn)定性和自調(diào)節(jié)性，以及直接存取信息的有關(guān)模型，提出了內(nèi)星(instar)和外星(outstar)規(guī)則，并建立了一種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，即雪崩(avalanche)網(wǎng)。

1976年，Grossberg發(fā)現(xiàn)視覺皮層的特性檢測器對于環(huán)境具有適應(yīng)性，并隨之變換。后來Grossberg還提出了自適應(yīng)共振(ART)理論，這是感知器較完善的模型，隨后他與Carpenter一起研究了ART網(wǎng)絡(luò)，提出了兩種結(jié)構(gòu)———ART1和ART2，利用這兩種結(jié)構(gòu)能夠識別或分類任意多個(gè)復(fù)雜的二元輸入圖像，其學(xué)習(xí)過程具有自組織和自穩(wěn)定的特征，被認(rèn)為是一種先進(jìn)的學(xué)習(xí)模型。

芬蘭科學(xué)家Kohonen和Anderson研究了自聯(lián)想記憶機(jī)制，1972年，Kohonen發(fā)表了關(guān)于相干矩陣容量的文章，提出了Kohonen網(wǎng)絡(luò)。相較于非線性模型，Kohonen網(wǎng)絡(luò)的分析要容易得多，但當(dāng)時(shí)自組織網(wǎng)絡(luò)的局部與全局穩(wěn)定性問題還沒有得到解決。1977年Kohonen出版了一本專著AssociativeMemory-ASystemTheoreticApproach，闡述了全息存儲器與聯(lián)想存儲器的關(guān)系，詳細(xì)討論了矩陣聯(lián)想存儲器。

東京大學(xué)的甘利俊一教授從1970年起，就對人工神經(jīng)網(wǎng)絡(luò)的性質(zhì)及其局限性作了許多理論研究，他的研究成果已發(fā)表在1978年出版的《神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)原理》一書中。此外，日本神經(jīng)網(wǎng)絡(luò)理論家Amari對神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)理論研究注重生物神經(jīng)網(wǎng)絡(luò)的行為與嚴(yán)格的數(shù)學(xué)描述相結(jié)合，尤其在信任分配問題方面，得到了許多重要的結(jié)果。1977年，Amari提出了模式聯(lián)想器的模型，即概念形成網(wǎng)絡(luò)(反饋網(wǎng)絡(luò)。另外，Willshaw等人還提出了一種模型：存儲輸入信號和只給出部分輸入，恢復(fù)較完整的信號，即全息音(holophone)模型。Nilsson對多層機(jī)，即具有隱層的廣義認(rèn)知機(jī)做了精辟論述，他認(rèn)為網(wǎng)絡(luò)計(jì)算過程實(shí)質(zhì)上是一種坐標(biāo)變換或是一種映射。

日本的研究者中野于1969年提出了一種稱為Associatron的聯(lián)想記憶模型。同年Anderson提出了與Kohonen相同的模型。1973年，Malsburg受20世紀(jì)70年代早期動(dòng)物實(shí)驗(yàn)的啟發(fā)，研究了一種連接權(quán)值能夠修改并且能自組織的網(wǎng)絡(luò)模型。1974年，Werbos首次提出了多層感知器的后項(xiàng)傳播算法。同年Stein、Lenng、Mangeron和Oguztoreli提出了一種連續(xù)的神經(jīng)元模型，采用泛函微分方程來描述各種普通類型的神經(jīng)元的基本特征。1975年，Little和Shaw提出了具有概率模型的神經(jīng)元。同年，Lee等人提出了模糊的M-P模型。1975年，日本學(xué)者福島邦房提出了一個(gè)稱為“認(rèn)知機(jī)”的自組織識別神經(jīng)網(wǎng)絡(luò)模型。

此外，F(xiàn)ukushima還提出了視覺圖像識別的Neocognitron模型，后來他重新定義了Neocognitron；Feldmann、Ballard、Rumelhart和McClelland等學(xué)者致力于連續(xù)機(jī)制、并行分布處理(paralleldistributedprocessing，PDP)的計(jì)算原則和算法研究，提出了許多重要的概念和模型。

這些堅(jiān)定的神經(jīng)網(wǎng)絡(luò)理論家堅(jiān)持不懈的工作為神經(jīng)網(wǎng)絡(luò)研究的復(fù)興開辟了道路，為掀起神經(jīng)網(wǎng)絡(luò)的第二次研究高潮做好了準(zhǔn)備。

1.2.2第二次研究高潮

有兩個(gè)新概念對神經(jīng)網(wǎng)絡(luò)的復(fù)興具有極其重大的意義。其一是：用統(tǒng)計(jì)機(jī)理解釋某些類型的遞歸網(wǎng)絡(luò)的操作，這類模型可作為線性聯(lián)想器。生物物理學(xué)家J.J.Hopfield闡述了這些思想。其二是：在20世紀(jì)80年代，幾個(gè)不同的研究者分別開發(fā)了用于訓(xùn)練多層感知機(jī)的反向傳播算法，其中最有影響力的反向傳播算法就是DavidRumelhart和JamesMcClelland提出的，該算法有力地回答了Minsky對人工神經(jīng)網(wǎng)絡(luò)的責(zé)難。20世紀(jì)80年代人工神經(jīng)網(wǎng)絡(luò)的這次崛起，對認(rèn)知、智力的本質(zhì)的基礎(chǔ)研究，乃至計(jì)算機(jī)產(chǎn)業(yè)都產(chǎn)生了空前的刺激和極大的推動(dòng)作用。

1982年，生物物理學(xué)家J.J.Hopfield提出了全互連型人工神經(jīng)網(wǎng)絡(luò)模型，詳細(xì)闡述了它的特性和網(wǎng)絡(luò)存儲器，并將這種模型以電子電路來實(shí)現(xiàn)，稱之為Hopfield網(wǎng)絡(luò)。這種網(wǎng)絡(luò)模型將聯(lián)想存儲器問題歸結(jié)為求一個(gè)評價(jià)函數(shù)極小值的問題，適合于遞歸過程求解，并引入了Lyapunov函數(shù)進(jìn)行分析。

以Rumelhart為首的PDP研究集團(tuán)對聯(lián)結(jié)機(jī)制(connectionist)進(jìn)行了研究。此外，T.J.Sejnowski等人還研究了人工神經(jīng)網(wǎng)絡(luò)語音信息處理裝置。這些成功的研究對第二次神經(jīng)網(wǎng)絡(luò)研究高潮的形成起了決定性的作用。1982年Hopfield向美國科學(xué)院提交了關(guān)于神經(jīng)網(wǎng)絡(luò)的報(bào)告，他指出了各種模型的實(shí)用性，從此，人工神經(jīng)網(wǎng)絡(luò)研究的第二次高潮的序幕拉開了。

1985年，Hopfield和D.W.Tank利用所定義的計(jì)算能量函數(shù)，成功地求解了計(jì)算復(fù)雜度為NP完全型的旅行商問題(travellingsalesmanproblem，TSP)。當(dāng)考慮用Hopfield人工神經(jīng)網(wǎng)絡(luò)來求解時(shí)，首先需要構(gòu)造一個(gè)包括距離變量在內(nèi)的能量函數(shù)，并求其極小值，即在人工神經(jīng)網(wǎng)絡(luò)中輸入適當(dāng)?shù)某跏寂d奮模式，求解神經(jīng)網(wǎng)絡(luò)的結(jié)合強(qiáng)度。當(dāng)能量變化并收斂到最小值時(shí)，該神經(jīng)網(wǎng)絡(luò)的狀態(tài)就是所希望的解，求解的結(jié)果通常是比較滿意的。這項(xiàng)突破性進(jìn)展標(biāo)志著人工神經(jīng)網(wǎng)絡(luò)方面的研究進(jìn)入了又一個(gè)嶄新的階段，這一階段也是它蓬勃發(fā)展的階段。

同一時(shí)期，Marr開啟了視覺和神經(jīng)科學(xué)研究的新篇章。他的視覺計(jì)算理論對視覺信息加工的過程進(jìn)行了全面、系統(tǒng)和深刻的描述，對計(jì)算理論、算法、神經(jīng)實(shí)現(xiàn)機(jī)制及其硬件所組成的各個(gè)層次做了闡述。1982年Marr的著作Vision使許多學(xué)者受益，被認(rèn)為是最具權(quán)威性和經(jīng)典性的著作。在Marr的理論框架的啟示下，Hopfield在1982年至1986年提出了神經(jīng)網(wǎng)絡(luò)集體運(yùn)算功能的理論框架。隨后，許多學(xué)者投身到Hopfield網(wǎng)絡(luò)的研究熱潮中，并對它作出了改進(jìn)、提高、補(bǔ)充、變形等，這些研究至今仍在進(jìn)行。

1986年Lee引入了高階突觸連接，使Hopfield網(wǎng)絡(luò)的存儲性能有了相當(dāng)大的提高。Lapedes提出的主從網(wǎng)絡(luò)是對它的發(fā)展。

我國生物物理學(xué)家汪云九提出了視覺神經(jīng)元的廣義Gabor函數(shù)(EG)模型，以及有關(guān)立體視覺、紋理檢測、運(yùn)動(dòng)方向檢測、超視覺度現(xiàn)象的計(jì)算模型。汪云九等人還建立了初級視覺神經(jīng)動(dòng)力學(xué)框架，開辟了一條神經(jīng)網(wǎng)絡(luò)研究的新途徑。

1982年，ErkkiOja使用正則化的廣義Hebbian規(guī)則訓(xùn)練一個(gè)單個(gè)的線性神經(jīng)元[17]。該神經(jīng)元可以進(jìn)行主分量分析，能夠自適應(yīng)地提取輸入數(shù)據(jù)的第一個(gè)主特征向量，后來被發(fā)展為提取多個(gè)特征向量。1983年，T.Sejnowski和G.Hinton提出了“隱單元”的概念，并且研制出了Boltzmann機(jī)。該人工神經(jīng)網(wǎng)絡(luò)模型中使用了概率動(dòng)作的神經(jīng)元，并把神經(jīng)元的輸出函數(shù)與統(tǒng)計(jì)力學(xué)中的玻耳茲曼分布聯(lián)系了起來。

1984年Hinton等人將Boltzmann機(jī)用于設(shè)計(jì)分類和學(xué)習(xí)算法方面，并多次表明多層網(wǎng)絡(luò)是可訓(xùn)練的。Boltzmann機(jī)是一種人工神經(jīng)網(wǎng)絡(luò)連接模型，又是一種神經(jīng)計(jì)算機(jī)模型，即由有限個(gè)被稱為單元的神經(jīng)元經(jīng)一定強(qiáng)度的連接構(gòu)成。Sejnowski于1986年對它進(jìn)行了改進(jìn)，提出了高階Boltzmann機(jī)和快速退火等，這些成為隨機(jī)人工神經(jīng)網(wǎng)絡(luò)的基本理論。1985年，W.O.Hillis研制了稱為聯(lián)結(jié)機(jī)(connection)的超級并行計(jì)算機(jī)。1986年，D.Rumelhart和J.McClelland出版了具有轟動(dòng)性的著作《并行分布處理———認(rèn)知微結(jié)構(gòu)的探索》，該書的問世宣告神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入了高潮，對人工神經(jīng)網(wǎng)絡(luò)的進(jìn)展起到了極大的推動(dòng)作用。

Rumelhart提出了多層網(wǎng)絡(luò)Back-Propagation法(或稱ErrorPropagation法)，這就是后來著名的BP算法，受到許多學(xué)者的重視。BP算法是一種能向著滿足給定的輸入輸出關(guān)系方向進(jìn)行自組織的神經(jīng)網(wǎng)絡(luò)。與感知機(jī)相比，該算法可對聯(lián)合層的特征檢測神經(jīng)元進(jìn)行必要的訓(xùn)練，這正好克服了感知機(jī)在此方面的缺陷。T.J.Sejnowski和C.R.Rcsenberg用BP人工神經(jīng)網(wǎng)絡(luò)做了一個(gè)英語課文閱讀學(xué)習(xí)機(jī)的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果是相當(dāng)成功的，有力地證明了BP神經(jīng)網(wǎng)絡(luò)具備很強(qiáng)的學(xué)習(xí)功能。這次的研究高潮吸引了許多科學(xué)家來研究神經(jīng)網(wǎng)絡(luò)理論，優(yōu)秀論著、重大成果如雨后春筍般涌現(xiàn)，新生的應(yīng)用領(lǐng)域受到工程技術(shù)人員的極大青睞。

1.2.3神經(jīng)網(wǎng)絡(luò)：最近30年

1988年Chua和Yang提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)(CNN)模型。該模型是一個(gè)大規(guī)模非線性計(jì)算機(jī)仿真系統(tǒng)，具有細(xì)胞自動(dòng)機(jī)的動(dòng)力學(xué)特征。它的出現(xiàn)對人工神經(jīng)網(wǎng)絡(luò)理論的發(fā)展產(chǎn)生了很大的影響。另外，Kosko建立了雙向聯(lián)想存儲模型(BAM)。該模型具有非監(jiān)督學(xué)習(xí)能力，是一種實(shí)時(shí)學(xué)習(xí)和回憶模型，Kosko還建立了該模型的全局穩(wěn)定性的動(dòng)力學(xué)系統(tǒng)。1994年廖曉昕對細(xì)胞神經(jīng)網(wǎng)絡(luò)建立了新的數(shù)學(xué)理論與基礎(chǔ)，得出了一系列成果，如耗散性、平衡位置的數(shù)目及表示、平衡態(tài)的全局穩(wěn)定性、區(qū)域穩(wěn)定性、周期解的存在性和吸引性等，使細(xì)胞神經(jīng)網(wǎng)絡(luò)領(lǐng)域的研究取得了新的進(jìn)展。

20世紀(jì)90年代初，諾貝爾獎(jiǎng)獲得者Edelman提出的Darwinism模型，該模型主要的三種形式是DarwinismⅠ、DarwinismⅡ、DarwinismⅢ。Edelman建立了一種人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論，例如，DarwinismⅢ的結(jié)構(gòu)組成包括輸入陣列、Darwin網(wǎng)絡(luò)和Nallance網(wǎng)絡(luò)，并且這兩個(gè)網(wǎng)絡(luò)是并行的，且這兩個(gè)網(wǎng)絡(luò)中又包含了一些不同功能的子網(wǎng)絡(luò)。

此外，Haken在1991年出版了一本論著SynergeticandCognition：ATop-DownApproachtoNeuralNets。他把協(xié)同學(xué)引入人工神經(jīng)網(wǎng)絡(luò)，他認(rèn)為這是一種研究和設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)的新穎的方法。

1987年，首屆國際神經(jīng)網(wǎng)絡(luò)大會(huì)在圣地亞哥召開，成立了國際神經(jīng)網(wǎng)絡(luò)聯(lián)合會(huì)(INNS)。隨后INNS創(chuàng)辦了刊物JournalNeuralNetworks，其他專業(yè)雜志如Neural

Computation、IEEETransactionsonNeuralNetworks、InternationalJournalofNeuralSystems等也紛紛問世。人工神經(jīng)網(wǎng)絡(luò)理論經(jīng)過半個(gè)多世紀(jì)的發(fā)展已經(jīng)碩果累累。世界上許多著名大學(xué)相繼宣布成立神經(jīng)計(jì)算研究所并制訂了有關(guān)教育計(jì)劃，許多國家也陸續(xù)成立了人工神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)，并定期召開多種地區(qū)性、國際性會(huì)議，優(yōu)秀論著、重大成果不斷涌現(xiàn)。圖1.14所示為以人工神經(jīng)網(wǎng)絡(luò)為研究對象的神經(jīng)計(jì)算學(xué)科的發(fā)展歷程。

圖1.14神經(jīng)計(jì)算學(xué)科的發(fā)展歷程

我國學(xué)術(shù)界大約在20世紀(jì)80年代中期開始關(guān)注人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域，有一些科學(xué)家起到了先導(dǎo)的作用，如中國科學(xué)院生物物理研究所的科學(xué)家汪云九、姚國正和齊翔林等，北京大學(xué)非線性研究中心在1988年發(fā)起舉辦了BeijingInternationalWorkshoponNeuralNetworks：LearningandRecognition，aModernApproach。從這時(shí)起，我國有些數(shù)學(xué)家和計(jì)算機(jī)科學(xué)家就開始對這一領(lǐng)域產(chǎn)生了興趣，并開展了一定的研究工作。此外，我國系統(tǒng)科學(xué)家錢學(xué)森在20世紀(jì)80年代初倡導(dǎo)研究“思維科學(xué)”。1986年他主編的論文集《關(guān)于思維科學(xué)》出版，書中有下列有關(guān)人工神經(jīng)網(wǎng)絡(luò)方面的論文：劉覲龍的“高維神經(jīng)基礎(chǔ)”、洪加威的“思維的一個(gè)確定型離散數(shù)學(xué)模型”和陳霖的“拓?fù)湫再|(zhì)檢測”

。這本書引起了國內(nèi)學(xué)術(shù)界有關(guān)人士的極大反響。

1989年，我國召開了第一個(gè)非正式的人工神經(jīng)網(wǎng)絡(luò)會(huì)議。1990年，我國的八個(gè)學(xué)會(huì)聯(lián)合在北京召開了人工神經(jīng)網(wǎng)絡(luò)首屆學(xué)術(shù)大會(huì)，這是我國人工神經(jīng)網(wǎng)絡(luò)發(fā)展以及走向世界的良好開端。1991年，在南京召開了第二屆中國神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會(huì)，成立了中國神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)。我國863高技術(shù)研究計(jì)劃和“攀登”計(jì)劃于1990年批準(zhǔn)了人工神經(jīng)網(wǎng)絡(luò)多項(xiàng)課題，自然科學(xué)基金和國防科技預(yù)研基地也都把神經(jīng)網(wǎng)絡(luò)的研究列入選題指南。許多全國性學(xué)術(shù)年會(huì)和一些學(xué)術(shù)刊物把人工神經(jīng)網(wǎng)絡(luò)理論及應(yīng)用方面的論文列為重點(diǎn)。這些毫無疑問為人工神經(jīng)網(wǎng)絡(luò)在我國的發(fā)展創(chuàng)造了良好的條件，促使我們加快步伐縮短我國在這個(gè)領(lǐng)域的差距。1992年國際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)、IEEE神經(jīng)網(wǎng)絡(luò)委員主辦的國際性學(xué)術(shù)會(huì)議IJCNN在北京召開，說明INNS開始重視我國。

從上述各個(gè)階段的發(fā)展軌跡來看，人工神經(jīng)網(wǎng)絡(luò)理論有更強(qiáng)的數(shù)學(xué)性質(zhì)和生物學(xué)特征，尤其是在神經(jīng)科學(xué)、心理學(xué)和認(rèn)知科學(xué)等方面提出的一些重大問題，一方面是對人工神經(jīng)網(wǎng)絡(luò)理論研究的新挑戰(zhàn)，另一方面也帶來了新的機(jī)遇。必須指出，人工神經(jīng)網(wǎng)絡(luò)的計(jì)算復(fù)雜性分析具有重要意義。從20世紀(jì)90年代開始，人工神經(jīng)網(wǎng)絡(luò)理論研究變得更加多元，更加注重自身與科學(xué)技術(shù)之間的相互作用，不斷產(chǎn)生具有重要意義的概念和方法，并成為良好的工具。目前，神經(jīng)網(wǎng)絡(luò)的理論與實(shí)踐均有了引人注目的進(jìn)展。

2005年，我國復(fù)旦大學(xué)研制開發(fā)的基于PCA人工神經(jīng)網(wǎng)絡(luò)控制算法的越障機(jī)器人實(shí)現(xiàn)了獨(dú)立行走。2006年，Hinton在《科學(xué)》上提出了一種面向復(fù)雜通用學(xué)習(xí)任務(wù)的深層神經(jīng)網(wǎng)絡(luò)，指出具有大量隱藏層的網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，而網(wǎng)絡(luò)的訓(xùn)練可以采用“逐層初始化”與“反向微調(diào)”技術(shù)解決。這說明人類借助神經(jīng)網(wǎng)絡(luò)找到了處理“抽象概念”的方法，神經(jīng)網(wǎng)絡(luò)的研究又進(jìn)入了一個(gè)嶄新的時(shí)代，深度學(xué)習(xí)的概念開始被提出。

繼Hinton之后，紐約大學(xué)的Lecun、蒙特利爾大學(xué)的Bengio和斯坦福大學(xué)的Ng等人分別在深度學(xué)習(xí)領(lǐng)域展開了研究，并提出了自編碼器、深度置信網(wǎng)、卷積神經(jīng)網(wǎng)絡(luò)等深度模型，這些模型在多個(gè)領(lǐng)域得到了應(yīng)用[27]。2009年，李飛飛等人在CVPR2009上發(fā)表了一篇名為“ImageNet：ALarge-ScaleHierarchicalImageDatabase”的論文，從而展開了歷時(shí)8年的ImageNet大規(guī)模視覺識別挑戰(zhàn)賽(ImageNetLarge-ScaleVisualRecognitionChallenge，ILSVRC)。該挑戰(zhàn)賽的任務(wù)是對目標(biāo)進(jìn)行分類及檢測，其間涌現(xiàn)了很多經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型：AlexNet、ZFNet、OverFeat、Inception、GoogLeNet、VGG、ResNet等。算法的改進(jìn)、數(shù)據(jù)量的增長以及硬件性能的飛速提升，加速了深度學(xué)習(xí)的進(jìn)程。

2017年，Hinton提出了一種新的網(wǎng)絡(luò)結(jié)構(gòu)Capsule，它是一組神經(jīng)元，能針對某一給定區(qū)域目標(biāo)輸出一個(gè)向量，對物體出現(xiàn)的概率和位置進(jìn)行描述，其激活向量通常是可解釋的，并對旋轉(zhuǎn)、平移等仿射變換具有很強(qiáng)的魯棒性。基于注意力機(jī)制的Transformer模型，是谷歌在2017年推出的NLP(自然語言處理)經(jīng)典模型(Bert就用的是Transformer)。Transformer的表現(xiàn)超過了RNN和CNN，只需要編/解碼器就能達(dá)到很好的效果，可以高效地并行化。后來針對不同的學(xué)習(xí)任務(wù)涌現(xiàn)出了很多基于Transformer的新模型，使得Transformer能夠進(jìn)一步應(yīng)用于圖像分類、分割、目標(biāo)檢測等機(jī)器視覺問題上。此外，還有模型在NLP、計(jì)算機(jī)視覺和強(qiáng)化學(xué)習(xí)等各個(gè)領(lǐng)域有最新應(yīng)用。

國外研究者還利用人工神經(jīng)網(wǎng)絡(luò)開發(fā)出了成熟的產(chǎn)品，用于手寫體、印刷體、人臉識別、表情識別等領(lǐng)域。在軍事國防方面，各種人工神經(jīng)網(wǎng)絡(luò)模型被用于雷達(dá)遙感、衛(wèi)星遙感等領(lǐng)域的數(shù)據(jù)分析與處理。這些都標(biāo)志著目前人工神經(jīng)網(wǎng)絡(luò)在各實(shí)踐領(lǐng)域的成功應(yīng)用。

另一方面，我們必須看到：現(xiàn)有的一些人工神經(jīng)網(wǎng)絡(luò)模型并沒有攻克組合爆炸問題，只是把計(jì)算量轉(zhuǎn)交給了學(xué)習(xí)算法來完成，具體地說，增加處理機(jī)數(shù)目一般不能明顯增加近似求解的規(guī)模。因此，盡管采用大規(guī)模并行處理機(jī)是神經(jīng)網(wǎng)絡(luò)計(jì)算的重要特征，但還應(yīng)尋找其他有效方法，建立具有計(jì)算復(fù)雜性、網(wǎng)絡(luò)容錯(cuò)性和堅(jiān)韌性的計(jì)算理論。

1.3深度學(xué)習(xí)

深度學(xué)習(xí)(deeplearning，DL)是近年來人工智能領(lǐng)域中的高頻詞匯，它是機(jī)器學(xué)習(xí)研究領(lǐng)域的一個(gè)分支。而深度神經(jīng)網(wǎng)絡(luò)(deepneuralnetwork，DNN)是深度學(xué)習(xí)方法的基礎(chǔ)框架，它與淺層神經(jīng)網(wǎng)絡(luò)(shallowneuralnetwork，SNN)包含較少的隱藏層相比較，具有多個(gè)隱藏層。由于深度學(xué)習(xí)也會(huì)用到有監(jiān)督和無監(jiān)督的學(xué)習(xí)方法，因此它不能作為一種獨(dú)立的學(xué)習(xí)方法。但是近幾年深度學(xué)習(xí)發(fā)展迅猛，一些特有的學(xué)習(xí)方法(如殘差網(wǎng)絡(luò))被提出，因此更多人傾向于將其單獨(dú)看作一種學(xué)習(xí)的方法。

至此，我們已對人工智能、機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)有了比較清晰的認(rèn)識：人工智能希望計(jì)算機(jī)能夠構(gòu)造出具有與人類智慧同樣本質(zhì)特性的機(jī)器，它是一個(gè)很大的范疇。機(jī)器學(xué)習(xí)是一種實(shí)現(xiàn)人工智能的方法，通過各種算法從數(shù)據(jù)中學(xué)習(xí)如何完成任務(wù)。深度學(xué)習(xí)是一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)。它們?nèi)咧g的關(guān)系如圖1.15所示。

圖1.15人工智能、機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)的關(guān)系圖

目前，深度學(xué)習(xí)在計(jì)算機(jī)視覺、自然語言處理領(lǐng)域的應(yīng)用遠(yuǎn)超過傳統(tǒng)的機(jī)器學(xué)習(xí)方法，這給我們造成了一種錯(cuò)覺，即“深度學(xué)習(xí)最終可能會(huì)淘汰其他機(jī)器學(xué)習(xí)算法”。事實(shí)上，深度學(xué)習(xí)模型往往需要大量的訓(xùn)練數(shù)據(jù)，而實(shí)際應(yīng)用中常常會(huì)遇到小樣本問題，此時(shí)用傳統(tǒng)的機(jī)器學(xué)習(xí)方法就能夠解決。深度學(xué)習(xí)也不是機(jī)器學(xué)習(xí)的終點(diǎn)，目前的機(jī)器學(xué)習(xí)領(lǐng)域更傾向于可解釋性、小樣本、生物啟發(fā)、邏輯推理、知識的域自適應(yīng)等發(fā)展方向。

第2章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1神經(jīng)元2.2卷積層

2.3池化層2.4正則化2.5梯度下降法

2.1神經(jīng)元

2.1.1生物神經(jīng)元

在顯微鏡下，一個(gè)生物神經(jīng)細(xì)胞(又稱神經(jīng)元)是由細(xì)胞體(soma)、樹突(dendrite)、軸突丘(hillock)、軸突(axon)和突觸(synapse)組成的。它以一個(gè)具有DNA細(xì)胞核的細(xì)胞體為主體，像身體中的其他任何細(xì)胞一樣，神經(jīng)元中有細(xì)胞液和細(xì)胞體，并且由細(xì)胞膜包裹。神經(jīng)元特有的延伸被稱為神經(jīng)突，神經(jīng)突一般分為樹突和軸突。樹突主要接收來自其他神經(jīng)元的信號，而軸突則將輸出信號傳播到其他神經(jīng)元。許多不規(guī)則樹枝狀的纖維向周圍延伸，其形狀很像一棵枯樹的枝干，生物神經(jīng)元如圖2.1所示。從

人們圖2.1生物神經(jīng)元

生物神經(jīng)系統(tǒng)以神經(jīng)細(xì)胞(神經(jīng)元)為基本組成單位，是一個(gè)有高度組織和相互作用的數(shù)量巨大的細(xì)胞組織群體，它包括中樞神經(jīng)系統(tǒng)和大腦。生物神經(jīng)元學(xué)說認(rèn)為，神經(jīng)元是神經(jīng)系統(tǒng)中獨(dú)立的營養(yǎng)和功能單元。其獨(dú)立性是指每一個(gè)神經(jīng)元均有自己的核和自己的分界線或原生質(zhì)膜。人類大腦的神經(jīng)細(xì)胞大約在1011~1013個(gè)，它們按不同的結(jié)合方式構(gòu)成了復(fù)雜的神經(jīng)網(wǎng)絡(luò)。通過神經(jīng)元及其連接的可塑性，大腦具有學(xué)習(xí)、記憶和認(rèn)知等各種智能。神經(jīng)元的外部形態(tài)各異，但基本功能相同。

神經(jīng)元在處于靜息狀態(tài)(無刺激傳導(dǎo))時(shí)，神經(jīng)細(xì)胞膜處于極化狀態(tài)，膜內(nèi)的電壓低于膜外電壓；當(dāng)膜的某處受到的刺激足夠強(qiáng)時(shí)，刺激處會(huì)在極短的時(shí)間內(nèi)出現(xiàn)去極化、反極化(膜內(nèi)的電壓高于膜外電壓)、復(fù)極化的過程；當(dāng)刺激部位處于反極化狀態(tài)時(shí)，鄰近未受刺激的部位仍處于極化狀態(tài)，兩者之間就會(huì)形成局部電流，這個(gè)局部電流又會(huì)刺激沒有去極化的細(xì)胞膜使之去極化，這一過程不斷重復(fù)，可將動(dòng)作電位傳播開去，一直到神經(jīng)末梢。

神經(jīng)生物學(xué)標(biāo)識方法可以幫助我們更清楚地認(rèn)識神經(jīng)元，但是目前的神經(jīng)生物學(xué)標(biāo)識方法很難在動(dòng)物體內(nèi)跟蹤標(biāo)識單個(gè)或者少量的神經(jīng)元，而只能同時(shí)標(biāo)識所有或者大量的神經(jīng)元。

2010年7月，美國斯坦福大學(xué)神經(jīng)生物學(xué)家李凌發(fā)明了一種對單個(gè)神經(jīng)元及突觸進(jìn)行體內(nèi)標(biāo)識的技術(shù)，并利用此技術(shù)成功地拍攝出老鼠體內(nèi)單個(gè)神經(jīng)元及其突觸分布的三維照片。這種三維照片可以直接地、實(shí)時(shí)地觀測活體老鼠大腦的不同區(qū)域在不同發(fā)育階段的各種神經(jīng)元及其突觸分布形式，包括觀察未分化的腦細(xì)胞如何發(fā)育為單個(gè)的復(fù)雜神經(jīng)細(xì)胞，然后形成復(fù)雜的神經(jīng)網(wǎng)絡(luò)。這項(xiàng)發(fā)明為神經(jīng)生物學(xué)的研究提供了一個(gè)新的技術(shù)平臺，將使人類能夠了解大腦神經(jīng)網(wǎng)絡(luò)發(fā)育的詳盡信息，有助于對神經(jīng)網(wǎng)絡(luò)中信息流的傳遞規(guī)律進(jìn)行深入研究。

2.1.2McCulloch-Pitts神經(jīng)元McCulloch和Pitts(1943)發(fā)表了一篇深具影響力的論文[1]，其中闡述了僅通過兩種狀態(tài)的神經(jīng)元實(shí)現(xiàn)基本計(jì)算的概念。這是第一個(gè)嘗試通過基本神經(jīng)計(jì)算單元來理解神經(jīng)元活動(dòng)的研究，高度概括了神經(jīng)元與連接的生理學(xué)屬性，該研究包含了以下五個(gè)假設(shè)：(1)神經(jīng)元的活動(dòng)是一個(gè)all-or-none的二值過程。(2)為了激活神經(jīng)元，一定數(shù)量的突觸必須在一個(gè)周期內(nèi)被激活，而這個(gè)數(shù)量與之前的激活狀態(tài)和神經(jīng)元的位置無關(guān)。(3)只有當(dāng)兩個(gè)神經(jīng)元之間存在明顯的延遲時(shí)才被稱為突觸延遲。

(4)抑制突觸的活動(dòng)能夠阻止神經(jīng)元的激活。(5)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)不隨時(shí)間改變。McCulloch和Pitts設(shè)想了神經(jīng)響應(yīng)等價(jià)于神經(jīng)元刺激的命題。因此，他們用符號命題邏輯研究了復(fù)雜網(wǎng)絡(luò)的行為。在這種all-or-none的神經(jīng)元激活準(zhǔn)則下，任何神經(jīng)元的激活都各自表示一個(gè)命題。值得注意的是，根據(jù)已知的神經(jīng)元工作理論，神經(jīng)元沒有實(shí)現(xiàn)任何邏輯命題。但是，McCulloch和Pitts模型可以被看成最常見神經(jīng)元模型的一個(gè)特例，并且可以用來研究某些非線性神經(jīng)網(wǎng)絡(luò)。此外，該模型促進(jìn)了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，在計(jì)算機(jī)科學(xué)家和工程師中引起了巨大的影響。

將圖2.1所示的生物神經(jīng)元的模型進(jìn)行抽象，即可以得到經(jīng)典的MP神經(jīng)元模型，如圖2.2所示，其中生物神經(jīng)元的樹突代表MP神經(jīng)元的輸入，生物神經(jīng)元的突觸代表MP神經(jīng)元的連接權(quán)值，生物神經(jīng)元的細(xì)胞體代表MP神經(jīng)元的神經(jīng)元狀態(tài)以及激勵(lì)函數(shù)，生物神經(jīng)元的來自其他神經(jīng)軸突的神經(jīng)末梢代表MP神經(jīng)元與其他神經(jīng)元的連接，生物神經(jīng)元中細(xì)胞體的最小激勵(lì)輸入對應(yīng)MP神經(jīng)元的神經(jīng)元閾值，生物神經(jīng)元的軸突代表MP神經(jīng)元的輸出。

圖2.2MP神經(jīng)元模型

MP神經(jīng)元是二值的，其僅假設(shè)有0和1兩種狀態(tài)。每個(gè)神經(jīng)元有一個(gè)固定的閾值，并接收來自有固定權(quán)重的突觸的輸入。這種簡單的神經(jīng)操作表現(xiàn)為，神經(jīng)元響應(yīng)突觸的輸入即反映了前突觸神經(jīng)元的狀態(tài)。如果被抑制的突觸沒有激活，則神經(jīng)元將集中突觸輸入，并且判斷輸入之和是否大于閾值。如果大于閾值，則神經(jīng)元激活，輸出為1；否則神經(jīng)元保持抑制狀態(tài)，輸出為0。盡管MP神經(jīng)元十分簡單，但是代表了大部分神經(jīng)元模型共用的某些重要特征，即輸入刺激的集合決定了網(wǎng)絡(luò)輸入與神經(jīng)元是否被激活。

圖2.3所示為MP神經(jīng)元的激活函數(shù)。

圖2.3MP神經(jīng)元的激活函數(shù)

為了展示神經(jīng)元的行為，一般假設(shè)兩個(gè)輸入x1和x2以及一個(gè)閾值θ。在該情況中，若x1或x2的值為1，則神經(jīng)元被激活，產(chǎn)生一個(gè)輸出(1)，因此該操作與邏輯“或”的作用一致。假設(shè)神經(jīng)元閾值為θ，則當(dāng)x1和x2均為1時(shí)，神經(jīng)元才被激活，該操作和邏輯“與”的作用一致。圖2.4人工神經(jīng)元簡化模型

通常我們把如圖2.2所示的MP神經(jīng)元模型表示成如圖2.4所示的簡化模型。其中

xi(i=1，2，…，n)為加于輸入端(突觸)上的輸入信號；wi為相應(yīng)的突觸連接權(quán)系數(shù)，它是模擬突觸傳遞強(qiáng)度的—個(gè)比例系數(shù)；Σ表示突觸后信號的空間累加；θ表示神經(jīng)元的閾值；f表示神經(jīng)元的激活函數(shù)。該模型的數(shù)學(xué)表達(dá)式如下：式中：y為人工神經(jīng)元的輸出，s為人工神經(jīng)元的凈輸入。其中激活函數(shù)f的基本作用包括以下3個(gè)方面：(1)控制輸入對輸出的激活作用；(2)對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；(3)將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。

由此可見,這種基本的人工神經(jīng)元模型模擬的是生物神經(jīng)元的一階特性,它包括如下幾個(gè)基本要素:

激活函數(shù)(又稱傳遞函數(shù)、激勵(lì)函數(shù)、活化函數(shù)等)執(zhí)行的是對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換。在人工神經(jīng)網(wǎng)絡(luò)中,激活函數(shù)起著重要的作用。從級數(shù)展開的角度分析:如果把單隱層前饋神經(jīng)網(wǎng)絡(luò)的映射關(guān)系看成一種廣義級數(shù)展開,那么傳遞函數(shù)的作用在于提供一個(gè)“母基”,它可與輸入層到隱層間的連接權(quán)重值一起,構(gòu)成不同的展開函數(shù),而隱層與輸出層的連接權(quán)重值則代表的就是展開的系數(shù)。因此,如果能夠借鑒函數(shù)逼近理論設(shè)計(jì)靈活有效的傳遞函數(shù),則可以使網(wǎng)絡(luò)以更少的參數(shù)、更少的隱節(jié)點(diǎn),完成從輸入到輸出的映射,從而提高神經(jīng)網(wǎng)絡(luò)的泛化能力。

(1)硬極限傳遞函數(shù)。其響應(yīng)函數(shù)如圖2.5(a)所示,傳遞函數(shù)的形式如下:經(jīng)典的感知器模型中采用的就是這種硬極限傳遞函數(shù),或者是雙極性的硬極限傳遞函數(shù),其傳遞函數(shù)的形式如下:

在Matlab的人工神經(jīng)網(wǎng)絡(luò)的軟件中,對應(yīng)的函數(shù)分別是Hardlim和Hardlims。更一般的硬極限傳遞函數(shù)的形式為這里β、γ、θ均為非負(fù)實(shí)數(shù),θ為閾值函數(shù)(thresholdfunction)。如果β=1,γ=0,該傳遞函數(shù)就退化為硬極限傳遞函數(shù),如果β=γ=1,則該函數(shù)退化為雙極性的硬極限傳遞函數(shù)。(2)線性傳遞函數(shù)。線性傳遞函數(shù)又稱為純線性傳遞函數(shù),其響應(yīng)函數(shù)如圖2.5(b)所示,傳遞函數(shù)的形式如下:

(3)Sigmoid傳遞函數(shù)。它是前饋神經(jīng)網(wǎng)絡(luò)模型中一種典型的非線性傳遞函數(shù),能夠平衡線性和非線性行為,是人工神經(jīng)網(wǎng)絡(luò)中經(jīng)常被使用的激活函數(shù)。該函數(shù)呈S型,因此又稱為S型(Sigmoid)傳遞函數(shù),其響應(yīng)函數(shù)如圖2.5(c)所示,傳遞函數(shù)的形式如下:

這種非線性傳遞函數(shù)具有較好的增益控制,其飽和值在0~1之間。在Matlab的人工神經(jīng)網(wǎng)絡(luò)軟件中,對應(yīng)的是Logsig函數(shù)。為了使得它的飽和值更加靈活,可以采用如下形式的壓縮函數(shù)(squashingfunction):

式中:g、h、d為可調(diào)常數(shù)。對于這種傳遞函數(shù)來說,函數(shù)的飽和值為g

和g+h。當(dāng)g=-1、h=2時(shí),函數(shù)的飽和值在-1~1之間,這時(shí)壓縮函數(shù)變成一個(gè)雙曲正切S型函數(shù):

(4)飽和線性傳遞函數(shù)。其響應(yīng)函數(shù)如圖2.5(d)所示,傳遞函數(shù)具有如下形式:

此外,還有ReLU函數(shù),該函數(shù)又稱為修正線性單元(rectifiedlinearunit)。它是一種分段線性函數(shù),彌補(bǔ)了Sigmoid函數(shù)以及tanh函數(shù)的梯度消失問題。ReLU函數(shù)的形式如下:該函數(shù)的優(yōu)點(diǎn)如下:(1)當(dāng)輸入為正數(shù)時(shí),不存在梯度消失問題(對于大多數(shù)輸入空間來說)。(2)計(jì)算速度較快。ReLU函數(shù)只有線性關(guān)系,不管是前向傳播還是反向傳播,都比Sigmoid函數(shù)和tanh函數(shù)要快很多(Sigmod和tanh要計(jì)算指數(shù),計(jì)算速度會(huì)比較慢)。

該函數(shù)的缺點(diǎn)如下:當(dāng)輸入為負(fù)數(shù)時(shí),梯度為0,會(huì)產(chǎn)生梯度消失問題,所以有了LeakyReLU函數(shù):式中:a的取值區(qū)間為(0,1)。競爭神經(jīng)元傳遞函數(shù)(Compet):Logistic函數(shù):

徑向基函數(shù):該函數(shù)為非單調(diào)函數(shù),主要用于徑向基神經(jīng)網(wǎng)絡(luò),其表達(dá)式為假設(shè)輸入p=[12]T,w=[11],b=-0.5,圖2.6所示為幾種神經(jīng)元傳遞函數(shù)作用于輸入的結(jié)果。

上述傳遞函數(shù)的形式雖然在一定程度上都能反映生物神經(jīng)元的基本特性,但還有如下不同:(1)生物神經(jīng)元傳遞的信息是脈沖,而上述模型傳遞的信息是模擬電壓。(2)由于在上述模型中用一個(gè)等效的模擬電壓來模擬生物神經(jīng)元的脈沖密度,因此在模型中只有空間累加而沒有時(shí)間累加(可以認(rèn)為時(shí)間累加已隱含在等效的模擬電壓中)。(3)上述模型僅是對生物神經(jīng)元一階特性的近似,未考慮時(shí)延、不應(yīng)期和疲勞等。

2.2卷積層

CNN的基本卷積濾波器是底層局部圖像塊(patch)的一個(gè)廣義的線性模型。卷積的目的是從輸入圖像中提取特征,并保留像素間的空間關(guān)系。假設(shè)原始圖像如下:

其特征檢測器又叫作“濾波器(filter)或卷積核(kernel),這里用3×3的矩陣表示:通過在圖像上滑動(dòng)濾波器,并計(jì)算對應(yīng)的點(diǎn)乘之和,得到的矩陣稱為“激活圖(activationmap)”或“特征圖(featuremap)”。這里我們采用零填充、步長為1的卷積方式,則卷積后的特征圖如下:

卷積特征由三個(gè)參數(shù)控制,這三個(gè)參數(shù)為深度、步長、零填充。(1)深度(depth)對應(yīng)的是卷積操作所需的濾波器個(gè)數(shù)。如果使用三個(gè)不同的濾波器對原始圖像進(jìn)行卷積操作,就可以生成三個(gè)不同的特征圖。此時(shí)特征圖的“深度”就是3。(2)步長(stride)是輸入矩陣上滑動(dòng)濾波矩陣的像素?cái)?shù)。當(dāng)步長為1時(shí),濾波器每次移動(dòng)一個(gè)像素;當(dāng)步長為2時(shí),濾波器每次移動(dòng)會(huì)“跳過”2個(gè)像素。步長越大,得到的特征圖越小。(3)零填充(zero-padding)用于輸入矩陣的邊緣,這樣就可以對輸入圖像矩陣的邊緣進(jìn)行濾波。零填充的好處在于可以控制特征圖的大小。

為提高濾波器的特征表示能力,對卷積層的改進(jìn)工作有以下兩方面:(1)networkinnetwork(NIN):由Lin等人提出的一種網(wǎng)絡(luò)結(jié)構(gòu)。它用一個(gè)微網(wǎng)絡(luò)(micro-network,如多層感知機(jī)卷積mlpconv,使得濾波器能夠更加接近隱含概念的抽象表示)代替了卷積層的線性濾波器。卷積層和mlpconv層的區(qū)別(從特征圖的計(jì)算上來看)如下:形式上,卷積層的特征圖計(jì)算公式是:其中,i,j是特征圖的像素索引,xi,j是以(i,j)為中心的輸入塊,k是特征圖的通道索引。而mlpconv層的特征圖計(jì)算公式是:

mlpconv層中每層特征圖之間均存在連接,類似循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)RNN,其中,n

是mlpconv層的層數(shù)?？梢园l(fā)現(xiàn),mlpconv層的特征圖計(jì)算公式相當(dāng)于在正常卷積層進(jìn)行級聯(lián)交叉通道參數(shù)池化。

(2)inceptionmodule:由Szegedy等人于2014年提出[5],可以被看作NIN的邏輯頂點(diǎn)(logicalculmination),使用多種濾波器的大小來捕捉不同大小的可視化模式,通過inceptionmodule接近最理想的稀疏結(jié)構(gòu)。inceptionmodule由一個(gè)池化操作和三種卷積操作組成。1×1的卷積作為維度下降模塊,放在3×3和5×5的卷積之前,在不增加計(jì)算復(fù)雜度的情況下增加CNN的深度和寬度。在inceptionmodule的作用下,網(wǎng)絡(luò)參數(shù)量可以減少到500萬,遠(yuǎn)小于AlexNet的6000萬和ZFNet的7500萬。

空洞卷積和可變形卷積介紹1.空洞卷積常規(guī)的卷積神經(jīng)網(wǎng)絡(luò)通常采用池化操作擴(kuò)大感受野,從而導(dǎo)致分辨率降低,不利于后續(xù)模式識別任務(wù)的進(jìn)行,若采用較大的卷積核,擴(kuò)大感受野的同時(shí)也會(huì)增加額外的計(jì)算量。為克服上述缺點(diǎn),空洞卷積應(yīng)運(yùn)而生,其目的就是在擴(kuò)大感受野的同時(shí),不降低圖片分辨率且不引入額外參數(shù)及計(jì)算量?？斩淳矸e(dilated/atrousconvolution)又名膨脹卷積,可簡單理解為在標(biāo)準(zhǔn)的卷積里加入空洞,從而增加感受野的范圍。擴(kuò)張率指的是卷積核的間隔數(shù)量,一般卷積核與空洞卷積核的對比如圖2.7所示,顯然,一般的卷積是空洞卷積擴(kuò)張率為1的特殊情況。

空洞卷積的優(yōu)勢在于不進(jìn)行池化操作,增大感受野的同時(shí)不損失信息,讓每個(gè)卷積輸出都包含較大范圍的信息。然而,空洞卷積也正是由于空洞這一特性,導(dǎo)致出現(xiàn)了其他一些問題。例如,多次疊加擴(kuò)張率為2的3×3卷積核,則會(huì)出現(xiàn)網(wǎng)格效應(yīng)(griddingeffect),即使用底層特征圖的部分像素點(diǎn),從而忽略了其他像素點(diǎn)。圖2.7兩種卷積核對比

常用的卷積核比較規(guī)則,一般為正方形,標(biāo)準(zhǔn)卷積中的規(guī)則格點(diǎn)采樣使得網(wǎng)絡(luò)難以適應(yīng)幾何形變。微軟亞洲研究院(MicrosoftResearchAsia,MSRA)提出了一種不規(guī)則的卷積

核———可變形卷積(deformableconvolution)。可變形卷積關(guān)注感興趣的圖像區(qū)域,使其具有更強(qiáng)的特征表示。

簡單來說,針對卷積核中每個(gè)采樣點(diǎn)的位置,均增加一個(gè)偏移變量,從而卷積核根據(jù)這些變量可以在當(dāng)前位置附近隨意地采樣。與傳統(tǒng)的卷積核相比,此種卷積核的采樣點(diǎn)不局限于規(guī)則的格點(diǎn),兩者的對比如圖2.8所示。2.可變形卷積

可以看出,圖2.8(a)為正常卷積,圖2.8(b)~圖2.8(d)為可變形卷積,在常規(guī)采樣坐標(biāo)(9個(gè)規(guī)則采樣點(diǎn))上增加一個(gè)偏移量(箭頭),圖2.8(b)的偏移為無規(guī)則隨機(jī)偏移,而圖2.8(c)、圖2.8(d)為圖2.8(b)的特殊情況,可