1、2.1 神經(jīng)網(wǎng)絡(luò)的概述 2.1.1 神經(jīng)網(wǎng)絡(luò)的概念 2.1.2 神經(jīng)網(wǎng)絡(luò)的發(fā)展 2.1.3 神經(jīng)網(wǎng)絡(luò)的特點(diǎn) 2.2 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與分類 2.2.1 神經(jīng)元的基本結(jié)構(gòu) 2.2.2 神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu) 2.2.3 神經(jīng)網(wǎng)絡(luò)的分類 2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法 2.3.1 BP算法的基本原理 2.3.2 BP算法的特點(diǎn) 2.3.3 BP算法的改進(jìn) 2.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用,第2章 神經(jīng)網(wǎng)絡(luò)基本理論,2.1 神經(jīng)網(wǎng)絡(luò)概述 2.1.1 神經(jīng)網(wǎng)絡(luò)的概念 人工神經(jīng)網(wǎng)絡(luò)（Artificial neural network，簡稱ANN）簡稱為神經(jīng)網(wǎng)絡(luò)，是相對于生物學(xué)中的生物神經(jīng)網(wǎng)絡(luò)而言的，是由許多被稱為神經(jīng)元（Ne

2、uron）的基本計算單元通過廣泛聯(lián)結(jié)所組成的自適應(yīng)非線性動態(tài)系統(tǒng)。 網(wǎng)絡(luò)的信息處理由神經(jīng)元之間的相互作用來實現(xiàn)，網(wǎng)絡(luò)的學(xué)習(xí)與識別決定于各神經(jīng)元的動態(tài)演化過程。它是在現(xiàn)代生物神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出來的，反映了人腦功能的基本特征。,2.1 神經(jīng)網(wǎng)絡(luò)概述,生物神經(jīng)網(wǎng)絡(luò)（Biological Neural Networks）一般指生物的大腦神經(jīng)元、細(xì)胞、觸點(diǎn)等組成的網(wǎng)絡(luò)，用于產(chǎn)生生物的意識，幫助生物進(jìn)行思考和行動 。 生物神經(jīng)系統(tǒng)是由大量的神經(jīng)細(xì)胞（神經(jīng)元）組成的一個復(fù)雜的系統(tǒng)。據(jù)統(tǒng)計，人腦約有10101011個神經(jīng)元。 每個神經(jīng)元與103105個其他神經(jīng)元相連，從而構(gòu)成一個極為復(fù)雜龐大的網(wǎng)絡(luò)。

3、神經(jīng)元一般由胞體、樹突、軸突三部分組成，如圖1所示。,2.1 神經(jīng)網(wǎng)絡(luò)概述,2.1 神經(jīng)網(wǎng)絡(luò)概述, 胞體：也稱為細(xì)胞體，包括細(xì)胞質(zhì)、細(xì)胞核和細(xì)胞膜三部分，是細(xì)胞的營養(yǎng)中心。 樹突：胞體的伸延部分產(chǎn)生的分枝稱為樹突，是接受從其它神經(jīng)元傳入的信息入口。但不一定是神經(jīng)傳入的唯一通道，還可以是胞體膜。 軸突：每個神經(jīng)元只有一個軸突，一般自胞體發(fā)出，與一個或多個目標(biāo)神經(jīng)元連接，為神經(jīng)元的輸出通道，其作用是將細(xì)胞體發(fā)出的神經(jīng)沖動傳遞給另一個或多個神經(jīng)元。,【附】人腦的活動（來自百度百科） 如能把大腦的活動轉(zhuǎn)換成電能， 相當(dāng)于一只20瓦燈泡的功率； 根據(jù)神經(jīng)學(xué)家的部分測量，人腦的神經(jīng)細(xì)胞回路比今天全世界的電

4、話網(wǎng)絡(luò)還要復(fù)雜1400多倍； 每一秒鐘人的大腦中進(jìn)行著10萬種不同的化學(xué)反應(yīng)； 人體5種感覺器官不斷接受的信息中，僅有1%的信息經(jīng)過大腦處理，其余99%均被篩去； 大腦神經(jīng)細(xì)胞間最快的神經(jīng)沖動傳導(dǎo)速度為400多公里/小時； 人體內(nèi)有45英里的神經(jīng)；,2.1 神經(jīng)網(wǎng)絡(luò)概述, 人的大腦平均為人體總體重的2%，但它需要使用全身所用氧氣的25%，相比之下腎臟只需12%，心臟只需7%。神經(jīng)信號在神經(jīng)或肌肉纖維中的傳遞速度可以高達(dá)每小時200英里； 大腦的四周包著一層含有靜脈和動脈的薄膜，這層薄膜里充滿了感覺神經(jīng)。但是大腦本身卻沒有感覺，即使將腦子一切為二，人也不會感到疼痛； 人的大腦細(xì)胞數(shù)超過全世界人口

5、總數(shù)2倍多，每天可處理8600萬條信息，其記憶貯存的信息超過任何一臺電子計算機(jī)。,2.1 神經(jīng)網(wǎng)絡(luò)概述,【附】人腦的結(jié)構(gòu)與功能 人腦分為左右腦，交叉進(jìn)行支配。即左腦支配人體的右側(cè)，右腦支配人體的左側(cè)，大腦受傷會使他支配的那部分身體產(chǎn)生功能障礙。 左右腦具有不同的功能。左腦主要是語言中樞，同時從事分析性工作，如邏輯推理、數(shù)學(xué)運(yùn)算和寫作等。右腦主要處理空間概念和模式識別。 人工智能可看成是對人腦左腦功能的研究，主要基于邏輯思維，如計算機(jī)就是模擬人腦邏輯思維的人工智能系統(tǒng)。 人工神經(jīng)網(wǎng)絡(luò)是探索人的形象思維，即針對右腦的認(rèn)知規(guī)律的研究產(chǎn)物。,2.1 神經(jīng)網(wǎng)絡(luò)概述,【附】人腦與電腦的區(qū)別 記憶與聯(lián)想方面

6、：人腦具有非凡的創(chuàng)造能力和良好的學(xué)習(xí)認(rèn)知能力，如嬰兒智力的發(fā)展。 信息綜合能力方面：人腦善于歸納總結(jié)、類比和概括，也可以經(jīng)驗、模糊甚至直覺地作出判斷。 信息處理速度方面：人腦中的信息處理是以神經(jīng)細(xì)胞為單位，傳遞速度只能達(dá)到毫秒級，計算機(jī)可達(dá)到納秒級甚至皮秒級。但在圖形聲音等信息處理方面速度要快于計算機(jī)，如人的識別等。 信息處理機(jī)制方面：人腦中的神經(jīng)網(wǎng)絡(luò)是一種高度并行的非線性信息處理系統(tǒng)，而計算機(jī)采用的是有限集中的串行信息處理機(jī)制。,2.1 神經(jīng)網(wǎng)絡(luò)概述,2.1.2 神經(jīng)網(wǎng)絡(luò)的發(fā)展 人工神經(jīng)網(wǎng)絡(luò)的研究始于1943年，經(jīng)歷了從興起到蕭條，又從蕭條到興盛的發(fā)展歷程。大致分為五個階段： 初創(chuàng)期：標(biāo)志就

7、是提出模型，建立規(guī)則。 1943年，法國心理學(xué)家W.S.McCulloch和數(shù) 理邏輯學(xué)家W.Pitts在分析、總結(jié)神經(jīng)元基本特性 的基礎(chǔ)上，提出神經(jīng)元的數(shù)學(xué)模型（即M-P神經(jīng) 網(wǎng)絡(luò)模型），拉開了人工神經(jīng)網(wǎng)絡(luò)的研究序幕。 1949年，心理學(xué)家D.O.Hebb提出神經(jīng) 元之間突觸強(qiáng)度的調(diào)整規(guī)則假說，即Hebb 規(guī)則，該規(guī)則至今仍在人工神經(jīng)網(wǎng)絡(luò)模型 中起著重要作用。,2.1 神經(jīng)網(wǎng)絡(luò)的概述,唐納德赫布 DonaldOldingHebb 1904.07.221985.08.20 加拿大心理學(xué)家，認(rèn)知心理生理學(xué)的開創(chuàng)者, 初始興盛期：標(biāo)志就是理論研究轉(zhuǎn)向?qū)嶋H應(yīng)用。 1957年，F(xiàn).Rosenblatt

8、提出感知器模型，第一次將神經(jīng)網(wǎng)絡(luò)研究從理論探討發(fā)展到實踐應(yīng)用，掀起了神經(jīng)網(wǎng)絡(luò)研究的第一次高潮。 1960年，B.Widrow提出自適應(yīng)線性元網(wǎng)絡(luò)模型，在自適應(yīng)系統(tǒng)，如自適應(yīng)濾波、預(yù)測和模式識別等領(lǐng)域得到了很好應(yīng)用。,2.1 神經(jīng)網(wǎng)絡(luò)的概述, 低潮期：標(biāo)志就是專著Perceptrons（感知器）。 60年代以后，由于計算機(jī)發(fā)展迅速，單層神經(jīng)網(wǎng)絡(luò)功能有限，使得研究進(jìn)入低潮。尤其是1969年麻省理工學(xué)院人工智能學(xué)者M(jìn).Minsky和S.Papert出版專著Perceptrons，論證了簡單線性感知機(jī)功能的局限性，不能解決經(jīng)典的異或問題，且多層網(wǎng)絡(luò)還未找到有效的計算方法，使得研究失去信心。,2.1 神

9、經(jīng)網(wǎng)絡(luò)的概述,馬文閔斯基（Marvin Lee Minsky，1927年8月9日出生），美國人工智能領(lǐng)域的科學(xué)家，麻省理工學(xué)院人工智能實驗室的創(chuàng)始人之一，著有幾部人工智能和哲學(xué)方面的作品。, 復(fù)興期：標(biāo)志就是兩個模型、一個算法。 1982年，美國加州理工學(xué)院生物物理學(xué)家J.J.Hopfield博士提出離散神經(jīng)網(wǎng)絡(luò)模型，標(biāo)志著神經(jīng)網(wǎng)絡(luò)研究開始復(fù)興。 1984年，J.J.Hopfield博士又提出了連續(xù)神經(jīng)網(wǎng)絡(luò)模型，實現(xiàn)了神經(jīng)網(wǎng)絡(luò)的電子線路仿真，開拓了計算機(jī)應(yīng)用神經(jīng)網(wǎng)絡(luò)的新途徑，成功解決了著名的優(yōu)化組合問題旅行商問題，引起了相關(guān)領(lǐng)域研究人員的廣泛關(guān)注。 1986年，D.E.Rumelhart等提出

10、多層網(wǎng)絡(luò)的逆推學(xué)習(xí)算法，即BP算法，否定了M.Minsky等人的錯誤結(jié)論，該算法一直成為應(yīng)用最廣、研究最多、發(fā)展最快的算法。,2.1 神經(jīng)網(wǎng)絡(luò)的概述, 高潮期：標(biāo)志就是模型繁多、應(yīng)用普及。 1987年6月21日至24日，首屆國際神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議在美國圣地雅哥召開，成立國際神經(jīng)網(wǎng)絡(luò)學(xué)會（International Neural Network Society，簡稱INNS）。1988年世界上第一份神經(jīng)網(wǎng)絡(luò)雜志 Neural Networks誕生。 1990年12月9日至13日，在北京召開首屆中國神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)大會。 美國國防部高級研究計劃局1988年投入4億美元進(jìn)行為期8年的神經(jīng)網(wǎng)絡(luò)研究，法國的尤

11、里卡計劃、德國的歐洲防御計劃、前蘇聯(lián)的高技術(shù)發(fā)展計劃均含有神經(jīng)網(wǎng)絡(luò)的研究。目前神經(jīng)網(wǎng)絡(luò)得到了廣泛應(yīng)用，在計算機(jī)圖像處理、語音處理、優(yōu)化計算、智能控制等領(lǐng)域取得了很大的進(jìn)展。,2.1 神經(jīng)網(wǎng)絡(luò)的概述,【注】旅行商問題 旅行商問題（Traveling Salesman Problem，TSP）又譯為旅行推銷員問題、貨郎擔(dān)問題，是最基本的路線問題，該問題是在尋求單一旅行者由起點(diǎn)出發(fā)，通過所有給定的需求點(diǎn)之后，最后再回到原點(diǎn)的最小路徑成本。 TSP的歷史很久，最早的描述是 1759年歐拉研究的騎士周游問題，即 對于國際象棋棋盤中的64個方格，走 訪64個方格一次且僅一次，并且最終 返回到起始點(diǎn)。,2.

12、1 神經(jīng)網(wǎng)絡(luò)的概述,2.1.3 神經(jīng)網(wǎng)絡(luò)的特點(diǎn) 由于人工神經(jīng)網(wǎng)絡(luò)是模擬人的大腦所設(shè)計，故它具有以下特征： 分布式聯(lián)想存儲 人工神經(jīng)網(wǎng)絡(luò)的存儲是聯(lián)想式的，神經(jīng)元之間的聯(lián)結(jié)值就是存儲單元，權(quán)值代表了網(wǎng)絡(luò)所存知識的當(dāng)前狀態(tài)。如果給網(wǎng)絡(luò)輸入一個不完備的信息，則它會自動在網(wǎng)絡(luò)的權(quán)值中進(jìn)行搜索，直至找到與輸入信息最匹配的聯(lián)結(jié)單元為止。 聯(lián)想式存儲的最大優(yōu)點(diǎn)是能存儲許多模式的信息，而且能夠很快地將這些信息歸類到已有的存儲模式中去。,2.1 神經(jīng)網(wǎng)絡(luò)的概述, 較好的容錯性 在傳統(tǒng)計算機(jī)單元中，如果一部分存儲單元遭到破壞，則整個系統(tǒng)都將癱瘓。由于神經(jīng)網(wǎng)絡(luò)的信息不是存儲在一個固定的地方，所以當(dāng)某些神經(jīng)元損壞時，只

13、是使神經(jīng)網(wǎng)絡(luò)的功效降低一點(diǎn)，并不會使整個系統(tǒng)崩潰。 自適應(yīng)能力強(qiáng) 自適應(yīng)能力是指神經(jīng)網(wǎng)絡(luò)具有自我調(diào)整的能力。當(dāng)網(wǎng)絡(luò)中有聯(lián)結(jié)權(quán)值發(fā)生變化時，網(wǎng)絡(luò)便可通過學(xué)習(xí)（算法）自動恢復(fù)。另一方面，神經(jīng)網(wǎng)絡(luò)有向外界環(huán)境學(xué)習(xí)的能力，并且通過學(xué)習(xí)改進(jìn)自身的功能。其學(xué)習(xí)的目的是從一組數(shù)據(jù)中提取出相關(guān)特征或內(nèi)在規(guī)律。,2.1 神經(jīng)網(wǎng)絡(luò)的概述,2.2 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及分類 2.2.1 神經(jīng)元的基本結(jié)構(gòu) 人工神經(jīng)網(wǎng)絡(luò)是由若干個神經(jīng)元按一定規(guī)律組合而成，每個神經(jīng)元在輸入信號作用下，能夠從當(dāng)前狀態(tài)轉(zhuǎn)變?yōu)榱硪环N狀態(tài)，產(chǎn)生相應(yīng)的輸出信號。神經(jīng)元決定整個神經(jīng)網(wǎng)絡(luò)的特性和功能，其基本結(jié)構(gòu)如圖2-1所示。,2.2 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及分類

14、,2.2 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及分類,2.2.2 神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu) 神經(jīng)網(wǎng)絡(luò)一般輸入層、隱層（隱含層）和輸出層組成。如圖2-2給出了一個三層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。,2.2 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及分類,2.2.3 神經(jīng)網(wǎng)絡(luò)的分類 根據(jù)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類 層次型結(jié)構(gòu)：按輸入層、隱層、輸出層結(jié)構(gòu)組成。 互連型結(jié)構(gòu)：任意兩個節(jié)點(diǎn)之間都可能存在連接路徑。根據(jù)節(jié)點(diǎn)的連接程度又可分為全互連型、局部互連型和稀疏連接型三類。 根據(jù)神經(jīng)網(wǎng)絡(luò)信息流向分類 前饋神經(jīng)網(wǎng)絡(luò)：各神經(jīng)元只接收前一層的輸出作為自己的輸入，并且輸出給下一層，整個網(wǎng)絡(luò)沒有反饋。每一個神經(jīng)元都可以有任意多個輸入，但只有一個輸出。從作用效果來看，前饋神經(jīng)網(wǎng)絡(luò)主要是函

15、數(shù)映射，可用于函數(shù)的逼近。,2.2 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及分類,反饋（遞歸）神經(jīng)網(wǎng)絡(luò)：神經(jīng)元之間的信息傳遞關(guān)系不再是從一層到另一層，而是各神經(jīng)元之間均存在著聯(lián)系，每個神經(jīng)元都是處理單元，同時可接收輸入并向外界輸出。由于引入了反饋機(jī)制，所以它是一個非線性的動力系統(tǒng)。從作用效果看，反饋神經(jīng)網(wǎng)絡(luò)是利用能量函數(shù)的極小點(diǎn)來求解最優(yōu)化問題。,2.2 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及分類, 根據(jù)神經(jīng)網(wǎng)絡(luò)的層數(shù)分類 三層神經(jīng)網(wǎng)絡(luò)：僅含有一個隱層的神經(jīng)網(wǎng)絡(luò)。 多層神經(jīng)網(wǎng)絡(luò)：含有兩個或兩個以上隱層的神經(jīng)網(wǎng)絡(luò)。 【注】1987年，Robert Hecht Nielsen證明，對于任何在閉區(qū)間的一個連續(xù)函數(shù)都可以用一個隱層的BP神經(jīng)網(wǎng)絡(luò)來

16、逼近。即說明三層網(wǎng)絡(luò)即可。增加隱層可增加處理能力，減少誤差和提高精度，但訓(xùn)練復(fù)雜化。,2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法 2.3.1 BP算法的基本原理 神經(jīng)網(wǎng)絡(luò)一般采用誤差反向傳播BP算法。早在1969年，Bryson就提出了BP算法理論，1974年和1985年Werbos和Paker各自獨(dú)立提出這一算法，但未引起重視。1986年，由Bumelhart和McCleland等在對并行分布處理的微觀結(jié)構(gòu)進(jìn)行深入研究后，系統(tǒng)提出了BP算法神經(jīng)網(wǎng)絡(luò)理論，受到人們的普遍認(rèn)可和關(guān)注。 BP算法是一種監(jiān)督式學(xué)習(xí)算法，屬于學(xué)習(xí)算法的推廣。其目的是使網(wǎng)絡(luò)輸出層的誤差平方和達(dá)到最小，由信息的正向傳播與誤差的反向傳播兩部

17、分組成。,2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,在正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的輸出作用于下一層神經(jīng)元的輸入。如2.2.2神經(jīng)網(wǎng)絡(luò)的狀態(tài)方程所述。 如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來，修改各層神經(jīng)元的權(quán)值，直至達(dá)到期望目標(biāo)。 以三層前饋神經(jīng)網(wǎng)絡(luò)（如圖2-2所示）為例，說明BP算法。BP算法的誤差函數(shù)一般定義為實際輸出與期望輸出的均方誤差和。 設(shè)K個輸出層的期望輸出分別為 ，則單路輸出的均方誤差為,2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,2.3.2 BP算法的特點(diǎn) BP算法的核心是最速下降法

18、，這是一種以梯度為基礎(chǔ)的誤差下降算法，具有原理簡單、實現(xiàn)方便等特點(diǎn)，但也有許多不足之處： 收斂速度較慢 導(dǎo)致BP算法收斂速度慢的原因主要是固定的學(xué)習(xí)速率。為了保證算法收斂，學(xué)習(xí)速率必須小于某一上限值，一般要求學(xué)習(xí)速率不超過輸入向量自相關(guān)矩陣的最大特征值，這就決定了算法的收斂速度不會太快。 學(xué)習(xí)速率通常是由經(jīng)驗確定的，且在訓(xùn)練過程中保持不變，這樣網(wǎng)絡(luò)權(quán)值每次調(diào)整的幅度都由誤差函數(shù)對權(quán)值導(dǎo)數(shù)大小來決定。,2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,在誤差曲面較平坦處，由于偏導(dǎo)數(shù)較小，使得權(quán)值的調(diào)整幅度較小，以致于需要經(jīng)過多次調(diào)整才能將誤差函數(shù)曲面降低。在誤差曲面曲率較大處，偏導(dǎo)數(shù)較大，權(quán)值調(diào)整幅度也較大，有可能在

19、誤差函數(shù)最小點(diǎn)附近發(fā)生過沖現(xiàn)象，使權(quán)值調(diào)節(jié)路徑變?yōu)殇忼X形，難以收斂到最小點(diǎn)，導(dǎo)致算法收斂速度慢。 易陷入局部極小點(diǎn) BP算法的訓(xùn)練是從某一起始點(diǎn)沿誤差函數(shù)的曲面逐漸到達(dá)誤差的最小點(diǎn)。由于誤差曲面是一個復(fù)雜的多維曲面，有可能存在多個局部極小點(diǎn)，這就難免使得訓(xùn)練陷入局部極小。 從數(shù)學(xué)角度看，BP算法是一個非線性優(yōu)化問題，這就不可避免地存在局部極小值問題。,2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,采用梯度下降法，訓(xùn)練是從某一起始點(diǎn)沿誤差函數(shù)的斜面逐漸到達(dá)誤差的最小值，對于復(fù)雜的網(wǎng)絡(luò)，其誤差函數(shù)為多維空間的曲面，就象一個碗，其碗底是最小值點(diǎn)，但是這個碗的表面是凹凸不平的，因而在訓(xùn)練過程中，極有可能陷入某一小谷區(qū)，

20、而這一小谷區(qū)產(chǎn)生的是一個局部極小值，由此點(diǎn)向各方向變化均使誤差增加，以至于使訓(xùn)練無法逃出這一局部極小值。因此，學(xué)習(xí)模式的初始位置對網(wǎng)絡(luò)的收斂是非常重要的。,2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,2.3.2 BP算法的改進(jìn) 針對BP算法的上述缺陷，近年來學(xué)者們提出了多種改進(jìn)算法。主要有采用啟發(fā)式信息技術(shù)的BP算法，加入數(shù)值優(yōu)化技術(shù)的BP算法和基于現(xiàn)代優(yōu)化理論的BP算法三大類。 采用啟發(fā)式信息技術(shù)的BP算法 采用啟發(fā)式信息技術(shù)的BP算法的實質(zhì)就是在誤差梯度變化緩慢時加大學(xué)習(xí)速率，而在變化劇烈時減小學(xué)習(xí)速率。主要有可變學(xué)習(xí)速率法，加入動量項法等。 加入數(shù)值優(yōu)化技術(shù)的BP算法 BP學(xué)習(xí)過程實質(zhì)上是一個數(shù)值優(yōu)化問

21、題，可以利用數(shù)值優(yōu)化技術(shù)來進(jìn)行改進(jìn)，如牛頓法、共軛梯度法等等。,2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法, 基于現(xiàn)代優(yōu)化理論的BP算法 基于現(xiàn)代優(yōu)化理論的BP算法是將遺傳算法（簡稱GA）、蟻群算法（簡稱CA）、模擬退火算法（簡稱SA算法）等與神經(jīng)網(wǎng)絡(luò)相結(jié)合，改善BP算法的缺陷，提高算法的全局收斂能力。,2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法,2.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用 模式識別 神經(jīng)網(wǎng)絡(luò)經(jīng)過訓(xùn)練可有效地提取信號、語音、圖像、雷達(dá)、聲納等感知模式的特征，主要用于特征提取、聚類分析、邊緣檢測、信號增強(qiáng)、噪聲抑制、數(shù)據(jù)壓縮以及各種變換、分類判決等。 模式識別是人工神經(jīng)網(wǎng)絡(luò)特別適宜求解的一類問題，神經(jīng)網(wǎng)絡(luò)模式識別技術(shù)在各領(lǐng)域中的廣泛應(yīng)用是神經(jīng)網(wǎng)絡(luò)技術(shù)發(fā)展的一個重要側(cè)面。,2.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用,2.4 神經(jīng)網(wǎng)絡(luò)的應(yīng)用, 人工智能 專家系統(tǒng)是人工智能領(lǐng)域研究時間最長、應(yīng)用最成功的技術(shù)之一。但人們在應(yīng)用專家系統(tǒng)解決語音識別、圖像處理和機(jī)器人控制等類似人腦形象思維的問題時卻遇到很大的困難。 神經(jīng)網(wǎng)絡(luò)的問世為人工智能開辟了一條嶄新的途