人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)01緒論目錄人工神經(jīng)網(wǎng)絡(luò)010203人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)的未來(lái)前景01人工神經(jīng)網(wǎng)絡(luò)

人腦是人類神經(jīng)系統(tǒng)的主要組成部分，負(fù)責(zé)控制和調(diào)節(jié)各種生理和心理活動(dòng)，是智慧和行為的源泉。人腦約由101l至1012個(gè)神經(jīng)元相互連接組成，這些神經(jīng)元通過(guò)突觸相互連接，形成了規(guī)模龐大、錯(cuò)綜復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。

人工神經(jīng)網(wǎng)絡(luò)

從模擬人腦生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特征和信息處理機(jī)制著手，設(shè)計(jì)出人工神經(jīng)網(wǎng)絡(luò)。經(jīng)過(guò)幾十年的發(fā)展，人工神經(jīng)網(wǎng)絡(luò)的研究取得了長(zhǎng)足的進(jìn)步，成為解決復(fù)雜問(wèn)題的重要智能工具，被廣泛應(yīng)用于信號(hào)處理、智能控制、圖像識(shí)別、自然語(yǔ)言處理等領(lǐng)域。301人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)是由多個(gè)人工神經(jīng)元組成的并行分布式存儲(chǔ)和信息處理系統(tǒng)，旨在模擬人腦結(jié)構(gòu)特征和功能特性的。神經(jīng)網(wǎng)絡(luò)具有并行分布處理、非線性、容錯(cuò)性、自適應(yīng)等特點(diǎn)，展現(xiàn)出強(qiáng)大的信息處理能力。1并行分布處理在神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元通過(guò)相互連接形成了并行分布式結(jié)構(gòu)。每個(gè)神經(jīng)元作為獨(dú)立計(jì)算單元，能夠并行處理輸入信號(hào)。401人工神經(jīng)網(wǎng)絡(luò)4自學(xué)習(xí)當(dāng)信息發(fā)生改變后，神經(jīng)網(wǎng)絡(luò)能夠基于新的信息對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，即通過(guò)調(diào)整自身結(jié)構(gòu)和參數(shù)學(xué)習(xí)新信息，使得網(wǎng)絡(luò)輸出接近期望輸出。52非線性神經(jīng)元通過(guò)激活函數(shù)對(duì)輸入信號(hào)進(jìn)行處理，常用的激活函數(shù)多為非線性函數(shù)，多個(gè)神經(jīng)元的廣泛連接必然使網(wǎng)絡(luò)呈現(xiàn)出高度的非線性特性。3容錯(cuò)性神經(jīng)網(wǎng)絡(luò)特有的結(jié)構(gòu)使其對(duì)信息采用分布式存儲(chǔ)，某一神經(jīng)元或者連接權(quán)值出現(xiàn)問(wèn)題時(shí)，不會(huì)影響整個(gè)網(wǎng)絡(luò)的性能，從而使神經(jīng)網(wǎng)絡(luò)具有較高的容錯(cuò)性和魯棒性。01人工神經(jīng)網(wǎng)絡(luò)65自組織自組織是指神經(jīng)網(wǎng)絡(luò)能夠通過(guò)自生長(zhǎng)、自刪減、自學(xué)習(xí)、自復(fù)制、自修復(fù)、自更新等過(guò)程來(lái)適應(yīng)外界環(huán)境的變化。這一特性使得神經(jīng)網(wǎng)絡(luò)具備解決各種復(fù)雜和不確定性問(wèn)題的能力。01人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)功能神經(jīng)網(wǎng)絡(luò)通過(guò)模擬生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特征和功能特性，構(gòu)建的信息處理系統(tǒng)，其主要功能包括聯(lián)想記憶、非線性映射、分類與識(shí)別、特征提取以及數(shù)據(jù)生成等。自聯(lián)想記憶：網(wǎng)絡(luò)預(yù)先存儲(chǔ)多種模式信息，當(dāng)輸入某個(gè)模式的部分信息或帶有噪聲干擾的信息時(shí)，網(wǎng)絡(luò)能夠回憶該模式的全部信息。異聯(lián)想記憶：網(wǎng)絡(luò)預(yù)先存儲(chǔ)多個(gè)信息模式對(duì)，每一對(duì)模式均由兩個(gè)部分信息組成，當(dāng)輸入某個(gè)模式對(duì)的一部分時(shí)，即使輸入信息殘缺或疊加了噪聲，網(wǎng)絡(luò)也能回憶起與其對(duì)應(yīng)的另一部分信息。1聯(lián)想記憶701人工神經(jīng)網(wǎng)絡(luò)2非線性映射神經(jīng)網(wǎng)絡(luò)的非線性映射功能是指其能夠通過(guò)信息處理能力和學(xué)習(xí)機(jī)制，建立輸入和輸出之間的非線性映射關(guān)系。通過(guò)設(shè)計(jì)合理的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)輸入輸出樣本進(jìn)行學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)可以以任意精度逼近任意復(fù)雜的非線性映射。這一能力使得神經(jīng)網(wǎng)絡(luò)成為強(qiáng)大的非線性函數(shù)逼近器，能夠有效處理復(fù)雜的建模和預(yù)測(cè)問(wèn)題。801人工神經(jīng)網(wǎng)絡(luò)3分類與識(shí)別神經(jīng)網(wǎng)絡(luò)具有較好的分類與識(shí)別能力。通過(guò)學(xué)習(xí)輸入和輸出樣本的特征，神經(jīng)網(wǎng)絡(luò)可以在樣本空間中根據(jù)分類要求將空間分割成各個(gè)區(qū)域，每個(gè)區(qū)域?qū)?yīng)一個(gè)類別。在訓(xùn)練階段，神經(jīng)網(wǎng)絡(luò)通過(guò)大量帶有標(biāo)簽的樣本學(xué)習(xí)如何將輸入映射到相應(yīng)的類別。訓(xùn)練完成后，網(wǎng)絡(luò)能夠根據(jù)新的輸入特征，準(zhǔn)確識(shí)別其所屬的類別。901人工神經(jīng)網(wǎng)絡(luò)4特征提取神經(jīng)網(wǎng)絡(luò)的特征提取功能使其在處理復(fù)雜任務(wù)時(shí)具有顯著優(yōu)勢(shì)，能夠自動(dòng)從輸入數(shù)據(jù)中提取與待處理任務(wù)相關(guān)的特征。主要是通過(guò)神經(jīng)網(wǎng)絡(luò)的層級(jí)結(jié)構(gòu)逐步實(shí)現(xiàn)。神經(jīng)網(wǎng)絡(luò)輸入層接收原始數(shù)據(jù)，經(jīng)由隱含層逐步提取出更抽象、更高層次的特征表示。1001人工神經(jīng)網(wǎng)絡(luò)5數(shù)據(jù)生成神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)生成功能是指利用神經(jīng)網(wǎng)絡(luò)生成新的數(shù)據(jù)樣本，其核心在于神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)已有數(shù)據(jù)的分布模式，生成與已有數(shù)據(jù)相似或符合特定規(guī)則的新數(shù)據(jù)。11神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)生成功能在自然語(yǔ)言等領(lǐng)域中發(fā)揮著重要作用。例如，基于神經(jīng)網(wǎng)絡(luò)開發(fā)出的智能聊天機(jī)器人（如ChatGPT），通過(guò)學(xué)習(xí)海量對(duì)話數(shù)據(jù)中的模式和上下文關(guān)系，生成與用戶提問(wèn)相關(guān)且連貫的回答，并能進(jìn)行自然的對(duì)話互動(dòng)。原始數(shù)據(jù)生成數(shù)據(jù)02人工神經(jīng)網(wǎng)絡(luò)的發(fā)展

人工神經(jīng)網(wǎng)絡(luò)的產(chǎn)生人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)性工作最早可追溯至19世紀(jì)中后期。多位生理學(xué)家、神經(jīng)學(xué)家、心理學(xué)家的研究為理解神經(jīng)系統(tǒng)的功能和信息傳遞機(jī)制奠定了基礎(chǔ)，并啟發(fā)了后來(lái)的神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)。對(duì)人工神經(jīng)網(wǎng)絡(luò)的產(chǎn)生具有里程碑意義的事件有：1943年，WarrenMcCulloch和WalterPitts模擬生物神經(jīng)元工作原理，提出了第一個(gè)人工神經(jīng)元模型，簡(jiǎn)稱MP模型，McCulloch和Pitts證明了MP模型可以解決任何算術(shù)或邏輯運(yùn)算，從而奠定了神經(jīng)網(wǎng)絡(luò)作為一種通用計(jì)算模型的理論基礎(chǔ)。1949年，加拿大心理學(xué)家DonaldHebb對(duì)20余年的研究工作進(jìn)行總結(jié)，出版了著作《TheOrganizationofBehavior:ANeuropsychologicalTheory》（《行為的組織》），提出了著名的Hebb學(xué)習(xí)假說(shuō)，這也是最早的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則之一。1202人工神經(jīng)網(wǎng)絡(luò)的發(fā)展

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展人工神經(jīng)網(wǎng)絡(luò)從產(chǎn)生到萌芽期，經(jīng)歷低潮期，再進(jìn)入復(fù)興期，并在21世紀(jì)隨著深度學(xué)習(xí)的興起而蓬勃發(fā)展，如圖2-1所示。其發(fā)展道路曲折但意義深遠(yuǎn)。圖2-1神經(jīng)網(wǎng)絡(luò)發(fā)展歷程。1302人工神經(jīng)網(wǎng)絡(luò)的發(fā)展

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(1)萌芽期1952年，英國(guó)神經(jīng)科學(xué)家WilliamRossAshby提出了“自組織”(Self-Organizing)這一概念，指出大腦中的神經(jīng)元通過(guò)相互連接和自我調(diào)整來(lái)適應(yīng)環(huán)境的變化，并認(rèn)為這一自適應(yīng)行為是通過(guò)后天學(xué)習(xí)獲得的。1957年，美國(guó)計(jì)算機(jī)學(xué)家FrankRosenblatt和他的同事提出了感知器網(wǎng)絡(luò)以及相應(yīng)的學(xué)習(xí)算法，并展示了該網(wǎng)絡(luò)解決分類問(wèn)題的能力。1960年，美國(guó)電機(jī)工程師BernardWidrow和他的學(xué)生MarcianHoff發(fā)明了自適應(yīng)線性單元，即ADALINE網(wǎng)絡(luò)。此外，Widrow和Hoff還提出了Widrow-Hoff學(xué)習(xí)規(guī)則用于訓(xùn)練ADALINE網(wǎng)絡(luò)。1402人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(2)低潮期盡管如此，仍有一些學(xué)者堅(jiān)持在神經(jīng)網(wǎng)絡(luò)領(lǐng)域進(jìn)行研究，并取得了一些重要突破。1976年，StephenGrossberg和GailA.Carpenter提出了著名的自適應(yīng)共振理論。1981年，芬蘭計(jì)算機(jī)科學(xué)家TeuvoKohonen模擬大腦神經(jīng)系統(tǒng)自組織映射的功能，提出了自組織映射(Self-OrganizingMap,SOM)網(wǎng)絡(luò)。1980年，日本學(xué)者KunihikoFukushima提出了神經(jīng)認(rèn)知機(jī)，能夠正確識(shí)別手寫的0~9這十個(gè)數(shù)字。1969年，MarvinMinsky和SeymourPapert指出單層感知器無(wú)法解決線性不可分問(wèn)題。盡管多層感知器理論上能夠解決非線性問(wèn)題，但當(dāng)時(shí)缺乏有效的學(xué)習(xí)算法，實(shí)用價(jià)值有限。由于Minsky和Papert在人工智能領(lǐng)域的地位和影響，他們的觀點(diǎn)導(dǎo)致許多學(xué)者放棄了神經(jīng)網(wǎng)絡(luò)相關(guān)研究，使得神經(jīng)網(wǎng)絡(luò)進(jìn)入了10年低潮期。1502人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(3)復(fù)蘇期1982年，美國(guó)加州理工學(xué)院物理學(xué)家JohnJ.Hopfield提出了離散Hopfield網(wǎng)絡(luò)，并借用Lyapunov能量函數(shù)的原理，給出了網(wǎng)絡(luò)的穩(wěn)定性判據(jù)。1984年，Hopfield又?jǐn)U展了網(wǎng)絡(luò)模型，提出了連續(xù)Hopfield網(wǎng)絡(luò)。1986年，美國(guó)貝爾實(shí)驗(yàn)室利用Hopfield網(wǎng)絡(luò)理論在硅片上制成了神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)。20世紀(jì)80年代，新型網(wǎng)絡(luò)結(jié)構(gòu)和多層網(wǎng)絡(luò)學(xué)習(xí)算法的提出對(duì)神經(jīng)網(wǎng)絡(luò)研究的復(fù)蘇起到了重要的推動(dòng)作用。16電路實(shí)現(xiàn)Hopfield神經(jīng)網(wǎng)絡(luò)02人工神經(jīng)網(wǎng)絡(luò)的發(fā)展(3)復(fù)蘇期美國(guó)認(rèn)知神經(jīng)科學(xué)家DavidE.Rumelhart和JamesL.McCelland提出了用于多層感知器訓(xùn)練的誤差反向傳播(BackPropagation,BP)算法，解決了MarvinMinsky等人認(rèn)為無(wú)法解決的多層感知器的學(xué)習(xí)問(wèn)題。該算法迅速成為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中最核心和最廣泛使用的方法之一，為神經(jīng)網(wǎng)絡(luò)的廣泛應(yīng)用奠定了基礎(chǔ)。1702人工神經(jīng)網(wǎng)絡(luò)的發(fā)展1987年6月，首屆國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議在美國(guó)加州圣地亞哥成功召開，推動(dòng)了國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)的成立，同年，全球首份神經(jīng)網(wǎng)絡(luò)期刊NeuralNetworks創(chuàng)刊。神經(jīng)網(wǎng)絡(luò)研究正式進(jìn)入了高潮期，各種新模型和新算法層出不窮。1802人工神經(jīng)網(wǎng)絡(luò)的發(fā)展19(4)高潮期1988年，DavidS.Broomhead和DavidLowe提出了徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)。1991年，YannLeCun提出了卷積神經(jīng)網(wǎng)絡(luò)，在圖像處理和計(jì)算機(jī)視覺任務(wù)中取得了顯著效果。1997年，針對(duì)長(zhǎng)序列建模難題，德國(guó)科學(xué)家SeppHochreiter和JürgenSchmidhuber提出了長(zhǎng)短期記憶網(wǎng)絡(luò)，成為自然語(yǔ)言處理等領(lǐng)域的重要工具。1997年，奧地利計(jì)算機(jī)科學(xué)家WolfgangMaass提出了脈沖神經(jīng)網(wǎng)絡(luò)，被視為類腦神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。2001年，德國(guó)科學(xué)家HerbertJaeger提出了回聲狀態(tài)網(wǎng)絡(luò)，提高了網(wǎng)絡(luò)的非線性處理能力和計(jì)算效率。02人工神經(jīng)網(wǎng)絡(luò)的發(fā)展

人工神經(jīng)網(wǎng)絡(luò)的發(fā)展2006年，神經(jīng)網(wǎng)絡(luò)之父GeoffreyHinton提出了深度信念網(wǎng)絡(luò)，為深度學(xué)習(xí)的發(fā)展開辟了新的方向。2012年，加拿大計(jì)算機(jī)科學(xué)家AlexKrizhevsky等人設(shè)計(jì)了AlexNet網(wǎng)絡(luò)，在計(jì)算機(jī)視覺領(lǐng)域取得了重大突破。2014年3月，F(xiàn)acebook的DeepFace項(xiàng)目基于深度學(xué)習(xí)使得人臉識(shí)別的準(zhǔn)確率達(dá)到了97.25%。隨著大數(shù)據(jù)時(shí)代的來(lái)臨，隱層淺層神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中難以滿足需求，深度神經(jīng)網(wǎng)絡(luò)開始逐漸受到關(guān)注。2002人工神經(jīng)網(wǎng)絡(luò)的發(fā)展2015年，中國(guó)科學(xué)家何愷明提出了殘差網(wǎng)絡(luò)，解決了深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的梯度消失問(wèn)題。2017年，美國(guó)計(jì)算機(jī)科學(xué)家AshishVaswani等人提出了自注意力機(jī)制（Transformer），在機(jī)器翻譯任務(wù)中取得了突破性成果。2018年，Google旗下的DeepMind公司開發(fā)出了AlphaGo和AlphaZero人工智能機(jī)器人，展現(xiàn)了神經(jīng)網(wǎng)絡(luò)在策略問(wèn)題上的強(qiáng)大能力。212022年，美國(guó)OpenAI團(tuán)隊(duì)推出了ChatGPT，能夠生成流暢的對(duì)話和文本，進(jìn)行語(yǔ)言翻譯，并具備上下文理解和連續(xù)對(duì)話能力。ChatGPT生成對(duì)話文本03人工神經(jīng)網(wǎng)絡(luò)的未來(lái)前景展望未來(lái)，神經(jīng)網(wǎng)絡(luò)的理論探索和實(shí)際應(yīng)用將愈加引人注目，必然成為全球科技創(chuàng)新與產(chǎn)業(yè)變革的重要推動(dòng)力。

在理論方面，網(wǎng)絡(luò)結(jié)構(gòu)和學(xué)習(xí)算法的探索依然是神經(jīng)網(wǎng)絡(luò)研究的主要方向。未來(lái)有望催生出更加接近生物神經(jīng)網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)模型，展現(xiàn)出更高的智能和更強(qiáng)的信息處理能力。盡管有關(guān)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的工作層出不窮，形成完善的結(jié)構(gòu)設(shè)計(jì)理論體系仍是研究者們亟待攻克的難題。如何開發(fā)出更高效的學(xué)習(xí)算法，以加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程，也是未來(lái)研究的重要方向之一。隨著人工智能倫理日益受到關(guān)注，神經(jīng)網(wǎng)絡(luò)的可解釋研究將成為未來(lái)的重點(diǎn)領(lǐng)域。2203人工神經(jīng)網(wǎng)絡(luò)的未來(lái)前景

在應(yīng)用方面，神經(jīng)網(wǎng)絡(luò)已在多個(gè)領(lǐng)域取得了顯著突破。在交通領(lǐng)域，特斯拉利用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)自適應(yīng)巡航控制和自動(dòng)變道，推動(dòng)了自動(dòng)駕駛技術(shù)的發(fā)展。在航空航天領(lǐng)域，神經(jīng)網(wǎng)絡(luò)的應(yīng)用涵蓋了飛行器設(shè)計(jì)與控制、故障診斷與數(shù)據(jù)分析多個(gè)方面。2303人工神經(jīng)網(wǎng)絡(luò)的未來(lái)前景在醫(yī)療領(lǐng)域，神經(jīng)網(wǎng)絡(luò)不僅廣泛用于醫(yī)學(xué)影像的自動(dòng)診斷，還在疾病預(yù)測(cè)、藥物開發(fā)等方面嶄露頭角。在制造領(lǐng)域，神經(jīng)網(wǎng)絡(luò)被用于生產(chǎn)過(guò)程建模、控制、優(yōu)化等方面。在環(huán)保領(lǐng)域，神經(jīng)網(wǎng)絡(luò)被用于污染物智能檢測(cè)和污染治理過(guò)程動(dòng)態(tài)調(diào)控，助力美麗中國(guó)建設(shè)。24人工神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)02人工神經(jīng)網(wǎng)絡(luò)構(gòu)成目錄神經(jīng)元模型01020304神經(jīng)元學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法05神經(jīng)網(wǎng)絡(luò)性能分析01人工神經(jīng)元模型神經(jīng)細(xì)胞是構(gòu)成神經(jīng)系統(tǒng)的基本單元，稱之為生物神經(jīng)元，簡(jiǎn)稱神經(jīng)元。生物神經(jīng)系統(tǒng)中神經(jīng)信息的運(yùn)動(dòng)，包括傳導(dǎo)、整合、興奮或抑制等，都是神經(jīng)元機(jī)能的表現(xiàn)。細(xì)胞體:細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜樹突：胞體短而多分枝的突起。相當(dāng)于神經(jīng)元的輸入端軸突:胞體上最長(zhǎng)枝的突起，也稱神經(jīng)纖維端部有很多神經(jīng)末稍傳出神經(jīng)沖動(dòng)突觸:神經(jīng)元間的連接接口，每個(gè)神經(jīng)元約有1萬(wàn)10萬(wàn)個(gè)突觸細(xì)胞膜電位:神經(jīng)細(xì)胞在受到電的、化學(xué)的、機(jī)械的刺激后，能產(chǎn)生興奮與抑制

生物神經(jīng)元3神經(jīng)元通過(guò)其軸突的神經(jīng)末稍，經(jīng)突觸與另神經(jīng)元的樹突聯(lián)接，實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，形成了神經(jīng)元間聯(lián)接的柔性，稱為結(jié)構(gòu)的可塑性。

生物神經(jīng)元圖2-1生物神經(jīng)元結(jié)構(gòu)01人工神經(jīng)元模型4

生物神經(jīng)元功能興奮與抑制:當(dāng)傳入神經(jīng)元沖動(dòng)，經(jīng)整和使細(xì)胞膜電位升高，超過(guò)動(dòng)作電位閾值時(shí)，為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末稍傳出。當(dāng)傳入神經(jīng)元沖動(dòng)，經(jīng)整和使細(xì)胞膜電位降低，低于動(dòng)作電位閾值時(shí)，為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。2.學(xué)習(xí)與遺忘:由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)與減弱，因此，神經(jīng)元具有學(xué)習(xí)與遺忘的功能。01人工神經(jīng)元模型5

MP模型1943年，美國(guó)心理學(xué)家WarrenMcCulloch和數(shù)理邏輯學(xué)家WalterPitts模擬生物神經(jīng)元工作原理，提出了第一個(gè)人工神經(jīng)元模型，稱為MP模型，為神經(jīng)網(wǎng)絡(luò)的研究和發(fā)展奠定了基礎(chǔ)。如圖2-2所示，MP神經(jīng)元模型是一個(gè)多輸入／單輸出的非線性信息處理單元。圖中：x1，x2

，…，xn代表神經(jīng)元的n個(gè)輸入。w1，w2

，…，wn代表神經(jīng)元的連接權(quán)值。01人工神經(jīng)元模型圖2-2MP模型6第i

個(gè)神經(jīng)元的輸出：其中f(u)為激活函數(shù)，也稱為作用函數(shù)。設(shè)，則yi=f(ui)MP神經(jīng)元模型中激活函數(shù)為單位階躍函數(shù)，如圖2-3所示：10uf(u)表達(dá)式為：

MP模型01人工神經(jīng)元模型圖2-3單位階躍函數(shù)7例如圖所示，有一個(gè)兩輸入的MP神經(jīng)元模型，輸入為x1=2，x2=3，權(quán)值為w1=-1，w2=1，閾值θ=2時(shí)，試計(jì)算神經(jīng)元輸出。01人工神經(jīng)元模型圖2-4兩輸入MP神經(jīng)元模型8解：01人工神經(jīng)元模型根據(jù)MP神經(jīng)元工作原理，將輸入、神經(jīng)元權(quán)值和閾值帶入式(2-1)中，神經(jīng)元輸出計(jì)算如下：又由于激活函數(shù)為單位階躍函數(shù)，可得神經(jīng)元輸出為：W.McCulloch和W.Pitts在其發(fā)表的論文中指出，MP神經(jīng)元模型可以計(jì)算任何算數(shù)或邏輯函數(shù)。9

激活函數(shù)類型和作用神經(jīng)元的激活函數(shù)是關(guān)于凈輸入的線性或非線性函數(shù)，不同的激活函數(shù)具有不同的信息處理特性，以下是幾種常用的激活函數(shù)。01人工神經(jīng)元模型(1)對(duì)稱型階躍函數(shù)階躍函數(shù)是最簡(jiǎn)單的非線性函數(shù)之一，處理離散信號(hào)的神經(jīng)元常常采用階躍函數(shù)作為激活函數(shù)。階躍函數(shù)在簡(jiǎn)單的二分類問(wèn)題中十分有效。對(duì)稱型階躍函數(shù)與之性質(zhì)相似，其函數(shù)圖像如圖2-5，可以表示為圖2-5對(duì)稱型階躍函數(shù)1001人工神經(jīng)元模型(2)線性函數(shù)當(dāng)激活函數(shù)為線性函數(shù)時(shí)，神經(jīng)元計(jì)算效率較高，但由于線性函數(shù)無(wú)法引入非線性特性，在一定程度上會(huì)限制神經(jīng)網(wǎng)絡(luò)處理復(fù)雜和非線性問(wèn)題的能力。線性函數(shù)圖像如圖2-6。(3)飽和線性函數(shù)飽和線性函數(shù)在特定的輸入范圍內(nèi)表現(xiàn)出線性關(guān)系，超出范圍時(shí)則趨于飽和，這種特性使得其能夠有效控制輸出范圍。飽和線性函數(shù)特性如圖2-7所示，可表示為圖2-6線性函數(shù)圖2-7飽和線性函數(shù)1101人工神經(jīng)元模型(4)對(duì)稱飽和線性函數(shù)

對(duì)稱飽和線性函數(shù)特性與飽和線性函數(shù)特性相似，但在正負(fù)方向上具有對(duì)稱性，函數(shù)圖像如圖2-8所示，可表示為(5)徑向基函數(shù)

徑向基函數(shù)是一種沿徑向?qū)ΨQ的標(biāo)量函數(shù)，具有對(duì)稱性和平滑性，可以表示為其中，c為函數(shù)的中心，σ為函數(shù)的寬度。圖2-9為徑向基函數(shù)的特性。圖2-8對(duì)稱飽和線性函數(shù)圖2-9徑向基函數(shù)1201人工神經(jīng)元模型(6)Sigmoid函數(shù)Sigmoid函數(shù)，也稱對(duì)數(shù)S型函數(shù)，可以將輸入壓縮到0和1之間。Sigmoid函數(shù)本身及其導(dǎo)數(shù)在定義域內(nèi)都是連續(xù)可導(dǎo)的，引入非線性的同時(shí)計(jì)算相對(duì)簡(jiǎn)單。Sigmoid函數(shù)如圖10a)所示，可以表示為Sigmoid函數(shù)也可表達(dá)為a)b)β控制曲線的斜率，當(dāng)β=2時(shí)，其函數(shù)特性曲線如圖10b)所示。圖2-10Sigmoid函數(shù)1301人工神經(jīng)元模型(7)雙曲正切函數(shù)雙曲正切函數(shù)，也稱對(duì)稱型S函數(shù)，可以將輸入壓縮到-1和1之間。雙曲正切函數(shù)能夠在一定程度上緩解梯度消失問(wèn)題。雙曲正切函數(shù)可以表示為圖2-11a)為雙曲正切函數(shù)的特性。有時(shí)為了需要，雙曲正切函數(shù)也可表達(dá)為a)b)β控制取值決定了函數(shù)非飽和段的斜率。當(dāng)β=2時(shí)，其函數(shù)特性曲線如圖2-11b)。圖2-11雙曲正切函數(shù)1401人工神經(jīng)元模型(8)ReLU函數(shù)ReLU(RectifiedLinearUnit)函數(shù)，也稱為整流線性單元函數(shù)或斜坡函數(shù)。相較于Sigmoid函數(shù)，ReLU函數(shù)不僅計(jì)算相對(duì)簡(jiǎn)單，還具有更強(qiáng)的仿生物學(xué)原理和稀疏激活特性。ReLU函數(shù)可表示為ReLU函數(shù)的特性如圖12所示。圖2-12.Relu函數(shù)激活函數(shù)的選取取決于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及解決的問(wèn)題，合適的激活函數(shù)能夠顯著提升神經(jīng)網(wǎng)絡(luò)性能。1502神經(jīng)元學(xué)習(xí)規(guī)則

Hebb學(xué)習(xí)規(guī)則1949年，DonaldHebb提出“Hebb假說(shuō)”：當(dāng)神經(jīng)元的突出前膜電位與后膜電位同時(shí)為正時(shí)，突觸連接的強(qiáng)度會(huì)增強(qiáng)；當(dāng)前膜電位與后膜電位極性相反時(shí)，突觸連接的強(qiáng)度會(huì)減弱。式中，為被稱為學(xué)習(xí)率的正常數(shù)，

為神經(jīng)元輸出，為神經(jīng)元輸入?？梢钥闯?，權(quán)值的變化與輸入輸出的乘積成正比。16因此，如果一個(gè)正輸入能夠產(chǎn)生一個(gè)正輸出，那么輸入與輸出之間的連接權(quán)值就應(yīng)該增加，權(quán)值調(diào)整公式可表達(dá)為：02神經(jīng)元學(xué)習(xí)規(guī)則例題當(dāng)采用Hebb學(xué)習(xí)規(guī)則調(diào)整權(quán)值時(shí)，應(yīng)預(yù)先設(shè)置權(quán)值飽和值，以防止輸入和輸出始終正負(fù)一致情況下出現(xiàn)權(quán)值無(wú)約束增長(zhǎng)。此外，在學(xué)習(xí)開始前，需要對(duì)權(quán)值進(jìn)行初始化處理，通常是賦予接近零的隨機(jī)數(shù)。假設(shè)有一個(gè)3輸入單輸出的神經(jīng)元模型，激活函數(shù)為線性函數(shù)，閾值

，學(xué)習(xí)率

。當(dāng)3個(gè)輸入樣本分別為

，，，初始權(quán)值向量為

時(shí)，試采用Hebb學(xué)習(xí)規(guī)則更新神經(jīng)元權(quán)值。1702神經(jīng)元學(xué)習(xí)規(guī)則解：神經(jīng)元權(quán)值調(diào)整步驟如下(1)輸入第一個(gè)樣本

，計(jì)算神經(jīng)元凈輸入，并調(diào)整權(quán)值(2)輸入第二個(gè)樣本

，計(jì)算神經(jīng)元凈輸入，并調(diào)整權(quán)值1802神經(jīng)元學(xué)習(xí)規(guī)則(3)輸入第三個(gè)樣本

，計(jì)算神經(jīng)元凈輸入，并調(diào)整權(quán)值1902神經(jīng)元學(xué)習(xí)規(guī)則

Widrow-Hoff學(xué)習(xí)規(guī)則1960年，BernardWidrow和MarcianHoff提出了自適應(yīng)線性單元(ADALINE)，并設(shè)計(jì)了相應(yīng)的Widrow-Hoff學(xué)習(xí)規(guī)則。Widrow-Hoff學(xué)習(xí)規(guī)則通過(guò)調(diào)整神經(jīng)元的權(quán)值和閾值來(lái)最小化均方誤差，因此也被稱為最小均方(Leastmeansquare,LMS)學(xué)習(xí)算法。該算法是一個(gè)以均方誤差為性能指標(biāo)的近似最速下降算法，屬于有監(jiān)督學(xué)習(xí)范疇，依賴于期望輸出進(jìn)行訓(xùn)練。均方誤差定義為式中，為神經(jīng)元的期望輸出。2002神經(jīng)元學(xué)習(xí)規(guī)則神經(jīng)元的調(diào)整與均方誤差的梯度有關(guān)，調(diào)整方法為式中，為學(xué)習(xí)率。例題假設(shè)有一個(gè)3輸入單輸出的神經(jīng)元模型，激活函數(shù)為線性函數(shù)，閾值

，學(xué)習(xí)率

。當(dāng)3個(gè)輸入樣本分別為

，，，初始權(quán)值向量為

，期望輸出，，，試采用Widrow-Hoff學(xué)習(xí)規(guī)則更新神經(jīng)元權(quán)值和閾值。2102神經(jīng)元學(xué)習(xí)規(guī)則解：為了簡(jiǎn)化計(jì)算，可以將閾值看作權(quán)值的一部分，則有，，輸入向量和初始權(quán)值為，，，。權(quán)值調(diào)整步驟如下：(1)輸入第一個(gè)樣本

，計(jì)算神經(jīng)元凈輸入，并調(diào)整權(quán)值(2)輸入第二個(gè)樣本

，計(jì)算神經(jīng)元凈輸入，并調(diào)整權(quán)值2202神經(jīng)元學(xué)習(xí)規(guī)則(3)輸入第三個(gè)樣本

，計(jì)算神經(jīng)元凈輸入，并調(diào)整權(quán)值2303神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)(FeedforwardNeuralNetwork,FNN)是一種由多個(gè)神經(jīng)元層次組成的網(wǎng)絡(luò)結(jié)構(gòu)，其中信息從輸入層逐層傳遞到各隱含層，最終到達(dá)輸出層。該網(wǎng)絡(luò)的處理過(guò)程具有明確的方向性，在這種結(jié)構(gòu)中，除輸出層外，每一層的輸出都會(huì)作為下一層的輸入。圖2-13分別給出了三層前饋神經(jīng)網(wǎng)絡(luò)和四層前饋神經(jīng)網(wǎng)絡(luò)，二者主要區(qū)別在于隱含層數(shù)目不同。圖2-13.前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2403神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

遞歸神經(jīng)網(wǎng)絡(luò)遞歸神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetworks,RNN)，也稱反饋神經(jīng)網(wǎng)絡(luò)或循環(huán)神經(jīng)網(wǎng)絡(luò)。與前饋神經(jīng)網(wǎng)絡(luò)不同，遞歸神經(jīng)網(wǎng)絡(luò)中至少存在一個(gè)反饋環(huán)路。代表性的遞歸神經(jīng)網(wǎng)絡(luò)包括Hopfield神經(jīng)網(wǎng)絡(luò)、回聲狀態(tài)網(wǎng)絡(luò)和長(zhǎng)短期記憶網(wǎng)絡(luò)等。圖2-14所示是Hopfield神經(jīng)網(wǎng)絡(luò)。圖14.遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2504神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

最速下降法最速下降法，又稱梯度下降法，是求解無(wú)約束優(yōu)化問(wèn)題中最常用的一階優(yōu)化算法之一。該算法通過(guò)沿著目標(biāo)函數(shù)或者損失函數(shù)梯度的反方向更新參數(shù)，逐步減小函數(shù)值，可表示如下：式中，

表示學(xué)習(xí)率，為目標(biāo)函數(shù)在第k次迭代時(shí)的梯度，計(jì)算如下：例題試使用最速下降法優(yōu)化以下函數(shù)：令初始值為，學(xué)習(xí)率為，給出兩次迭代的計(jì)算過(guò)程與結(jié)果。2604神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法解：計(jì)算梯度為：可以得到

在處的梯度為：應(yīng)用最速下降法的第一次迭代為：可以得到

在處的梯度為：應(yīng)用最速下降法的第二次迭代為：2704神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

牛頓法區(qū)別于最速下降法，牛頓法通過(guò)目標(biāo)函數(shù)的二階泰勒多項(xiàng)式，在極小點(diǎn)附近對(duì)目標(biāo)函數(shù)進(jìn)行近似，具體可表示為：式中，

為目標(biāo)函數(shù)在處的梯度向量，為目標(biāo)函數(shù)在處的Hessian矩陣，即。為求的極小點(diǎn)，令二次近似對(duì)的梯度為0。則有：若可逆，則可得牛頓法的迭代公式如下：式中，

為的逆矩陣。2804神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法例題試使用牛頓法優(yōu)化以下函數(shù)：令初始值為。2904神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法解：計(jì)算梯度為：計(jì)算Hessian矩陣為：可