知識基礎(chǔ)1、激勵函數(shù)（階躍函數(shù)、非線性函數(shù)、連續(xù)函數(shù)、單調(diào)函數(shù)）、函數(shù)收斂2、偏微分、梯度、方差與均方差3、向量與矩陣4、最優(yōu)解與解空間5、Matlab使用6、人工智能基礎(chǔ)神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第1頁1、萌芽期

40年代初，美國McCulloch和Pitts從信息處理角度，研究神經(jīng)細胞行為數(shù)學模型表示．提出了閾值加權(quán)和模型—MP模型。

1949年，心理學家Hebb提出著名Hebb學習規(guī)則，即由神經(jīng)元之間結(jié)合強度改變來實現(xiàn)神經(jīng)學習方法。Hebb學習規(guī)基本思想至今在神經(jīng)網(wǎng)絡(luò)研究中仍發(fā)揮著主要作用。

一、人工神經(jīng)網(wǎng)絡(luò)研究與發(fā)展神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第2頁50年代末期，Rosenblatt提出感知機模型(Perceptron)。感知機即使比較簡單，卻已含有神經(jīng)網(wǎng)絡(luò)一些基本性質(zhì)，如分布式存貯、并行處理、可學習性、連續(xù)計算等。這些神經(jīng)網(wǎng)絡(luò)特征與當初流行串行、離散、符號處理電子計算機及其對應(yīng)人工智能技術(shù)有本質(zhì)上不一樣，由此引發(fā)許多研究者興趣。在60代掀起了神經(jīng)網(wǎng)絡(luò)研究第一次高潮。不過，當初人們對神經(jīng)網(wǎng)絡(luò)研究過于樂觀，認為只要將這種神經(jīng)元互連成一個網(wǎng)絡(luò)，就能夠處理人腦思維模擬問題，然而，以后研究結(jié)果卻又使人們走到另一個極端上。

2、第一次高潮神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第3頁60年代末，美國著名人工智能教授Minsky和Papert對Rosenblatt工作進行了深人研究，出版了有較大影響《Perceptron》一書，指出感知機功效和處理能力不足，同時也指出假如在感知器中引入隱含神經(jīng)元，增加神經(jīng)網(wǎng)絡(luò)層次，能夠提升神經(jīng)網(wǎng)絡(luò)處理能力，不過卻無法給出對應(yīng)網(wǎng)絡(luò)學習算法。

另首先，認為串行信息處理及以它為基礎(chǔ)傳統(tǒng)人工智能技術(shù)潛力是無窮，這就暫時掩蓋了發(fā)展新型計算機和尋找新人工智能路徑必要性和迫切性。再者，當初對大腦計算原理、對神經(jīng)網(wǎng)絡(luò)計算優(yōu)點、缺點、可能性及其不足等還很不清楚，使對神經(jīng)網(wǎng)絡(luò)研究進入了低潮。

3、反思期神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第4頁進入80年代，首先是基于“知識庫”教授系統(tǒng)研究和利用，在許多方面取得了較大成功。但在一段時間以后，實際情況表明教授系統(tǒng)并不像人們所希望那樣高明，尤其是在處理視覺、聽覺、形象思維、聯(lián)想記憶以及運動控制等方面，傳統(tǒng)計算機和人工智能技術(shù)面臨著重重困難。

模擬人腦智能信息處理過程，假如僅靠串行邏輯和符號處理等傳統(tǒng)方法來濟決復雜問題，會產(chǎn)生計算量組合爆炸。所以，含有并行分布處理模式神經(jīng)網(wǎng)絡(luò)理論又重新受到人們重視。對神經(jīng)網(wǎng)絡(luò)研究又開始復興，掀起了第二次研究高潮。

4、第二次高潮神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第5頁1982年，美國加州理工學院物理學家J．Hopfield提出了一個新神經(jīng)網(wǎng)絡(luò)—循環(huán)神經(jīng)網(wǎng)絡(luò)。他引入了“能量函數(shù)”概念，使得網(wǎng)絡(luò)穩(wěn)定性研究有了明確判據(jù)。

1984年，J．Hopfield研制了以后被人們稱為“Hopfield網(wǎng)”電路，物理實現(xiàn)為神經(jīng)計算機研究奠定了基礎(chǔ)，處理了著名TSP問題。

1985年，UCSDHinton、Sejnowsky、Rumelhart等人所在并行分布處理小組研究者在Hopfield網(wǎng)中引入隨機機制，提出了Boltzmann機。

1986年，Rumelhart等人在多層神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)模型反向傳輸學習算法—BP（Backpropagation）算法，處理了多層前向神經(jīng)網(wǎng)絡(luò)學習問題，證實了多層神經(jīng)網(wǎng)絡(luò)含有很強學習能力，它能夠完成許多學習任務(wù)，處理許多實際問題。

神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第6頁許多具備不一樣信息處理能力神經(jīng)網(wǎng)絡(luò)已被提出來并應(yīng)用于許多信息處理領(lǐng)域，如模式識別、自動控制、信號處理、決議輔助、人工智能等方面。神經(jīng)計算機研究也為神經(jīng)網(wǎng)絡(luò)理論研究提供了許多有利條件，各種神經(jīng)網(wǎng)絡(luò)模擬軟件包、神經(jīng)網(wǎng)絡(luò)芯片以及電子神經(jīng)計算機出現(xiàn)，表達了神經(jīng)網(wǎng)絡(luò)領(lǐng)域各項研究均取得了長足進展。同時，對應(yīng)神經(jīng)網(wǎng)絡(luò)學術(shù)會議和神經(jīng)網(wǎng)絡(luò)學術(shù)刊物大量出現(xiàn)，給神經(jīng)網(wǎng)絡(luò)研究者們提供了許多討論交流機會。5、再認識和應(yīng)用研究期（1991~）神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第7頁

即使人們已對神經(jīng)網(wǎng)絡(luò)在人工智能領(lǐng)域研究達成了共識，對其巨大潛力也毋庸置疑，不過須知，人類對本身大腦研究，尤其是對其中智能信息處理機制了解，還十分淺薄。因而現(xiàn)有研究結(jié)果僅僅處于起步階段，還需許多有識之士長久艱辛努力。概括以上簡明介紹，能夠看出，當前又處于神經(jīng)網(wǎng)絡(luò)理論研究高潮，不但給新一代智能計算機研究帶來巨大影響，而且將推進整個人工智能領(lǐng)域發(fā)展。但另首先，因為問題本身復雜性，不論是神經(jīng)網(wǎng)絡(luò)原理本身，還是正在努力進行探索和研究神經(jīng)計算機，當前，都還處于起步發(fā)展階段。

神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第8頁

生物神經(jīng)系統(tǒng)是一個有高度組織和相互作用數(shù)量巨大細胞組織群體。人類大腦神經(jīng)細胞大約在1011一1013個左右。神經(jīng)細胞也稱神經(jīng)元，是神經(jīng)系統(tǒng)基本單元，它們按不一樣結(jié)合方式組成了復雜神經(jīng)網(wǎng)絡(luò)。經(jīng)過神經(jīng)元及其聯(lián)接可塑性，使得大腦含有學習、記憶和認知等各種智能。

二、對生物神經(jīng)元認識神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第9頁

1.結(jié)構(gòu)

神經(jīng)元由細胞體(Soma)和延伸部分組成。延伸部分按功效分有兩類，一個稱為樹突(Dendrite)，用來接收來自其它神經(jīng)元信息；另一個用來傳遞和輸出信息，稱為軸突(Axon)。神經(jīng)元之間相互連接從而讓信息傳遞部位披稱為突觸(Synapse)，突觸聯(lián)接是可塑，也就是說突觸特征改變是受到外界信息影響或本身生長過程影響。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第10頁

2、特征

(1)并行分布處理大腦中單個神經(jīng)元信息處理速度是很慢，每次約1毫秒，比通常電子門電路要慢幾個數(shù)量級。不過人腦對某一復雜過程處理和反應(yīng)卻很快，普通只需幾百毫秒。

而在這個處理過程中，與腦神經(jīng)系統(tǒng)一些主要功效，如視覺、記億、推理等相關(guān)。按照上述神經(jīng)元處理速度，假如采取串行工作模式，就必須在幾百個串行步內(nèi)完成，這實際上是不可能辦到。所以只能把它看成是一個由眾多神經(jīng)元所組成超高密度并行處理系統(tǒng)。

比如在一張照片尋找一個熟人面孔，對人腦而言，幾秒鐘便可完成，但如用計算機來處理，以現(xiàn)有技術(shù)，是不可能在短時間內(nèi)完成。（圖片查詢/檢索）

神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第11頁

(2)神經(jīng)系統(tǒng)可塑性和自組織性從生理學角度看，它表達在突觸可塑性和聯(lián)接狀態(tài)改變。比如在某一外界信息重復刺激下．接收該信息神經(jīng)細胞之間突觸結(jié)合強度會增強。這種可塑性反應(yīng)出大腦功效現(xiàn)有先天制約原因，也有可能經(jīng)過后天訓練和學習而得到加強。

(3)信息處理與信息存貯合二為一因為大腦神經(jīng)元兼有信息處理和存貯功效，所以在進行回億時，不但不存在先找存貯地址而后再調(diào)出所存內(nèi)容問題，而不像現(xiàn)行計算機那樣．存貯地址和存貯內(nèi)容是彼此分開。

神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第12頁(4)信息處理系統(tǒng)性大腦各個部位是一個大系統(tǒng)中許多子系統(tǒng)。各個子系統(tǒng)之間含有很強相互聯(lián)絡(luò)，一些子系統(tǒng)能夠調(diào)整另一些子系統(tǒng)行為。比如，視覺系統(tǒng)和運動系統(tǒng)就存在很強系統(tǒng)聯(lián)絡(luò)，能夠相互協(xié)調(diào)各種信息處理功效。(5)能接收和處理含糊、模擬、隨機信息

神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第13頁

三、人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetwork，ANN)是對人類大腦特征一個描述。它是一個數(shù)學模型，能夠用電子線路實現(xiàn)，也能夠用計算機程序來模擬。是人工智能研究一個方法。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第14頁1、ANN結(jié)構(gòu)下列圖是一個神經(jīng)元結(jié)構(gòu)圖，經(jīng)過與生物神經(jīng)元比較能夠知道它們有機聯(lián)絡(luò)，生物神經(jīng)元中神經(jīng)體與人工神經(jīng)元中結(jié)點相對應(yīng)，樹突（神經(jīng)末梢）與輸入相對應(yīng)，軸突與輸出相對應(yīng)，突觸與權(quán)值相對應(yīng)。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第15頁

2、ANN研究與應(yīng)用主要內(nèi)容

(1)人工神經(jīng)網(wǎng)絡(luò)模型研究

神經(jīng)網(wǎng)絡(luò)原型研究，即大腦神經(jīng)網(wǎng)絡(luò)生理結(jié)構(gòu)、思維機制。

神經(jīng)元生物特征如時空特征、電化學性質(zhì)等人工模擬。

易于實現(xiàn)神經(jīng)網(wǎng)絡(luò)計算模型。

神經(jīng)網(wǎng)絡(luò)學習算法與學習系統(tǒng)。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第16頁(2)神經(jīng)網(wǎng)絡(luò)基本理論

神經(jīng)網(wǎng)絡(luò)含有非線性特征，包含自組織、自適應(yīng)等作用。

神經(jīng)網(wǎng)絡(luò)基本性能，包含穩(wěn)定性、收斂性、容錯性、魯棒性、動力學復雜性。

神經(jīng)網(wǎng)絡(luò)計算能力與信息存貯容量。

神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第17頁待(3)神經(jīng)網(wǎng)絡(luò)智能信息處理系統(tǒng)應(yīng)用

認知與人工智能，包含模式識別、計算機視覺與聽覺、特征提取、語音識別語言翻譯、聯(lián)想記憶、邏輯推理、知識工程、教授系統(tǒng)、故障診療、智能機器人等。

優(yōu)化與控制，包含決議與管理、系統(tǒng)辨識、魯棒性控制、自適應(yīng)控制、并行控制、分布控制等。

信號處理，自適應(yīng)濾波、時間序列預測、消噪、非線性預測、非線性編碼等。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第18頁3、ANN與人工智能對于智能模擬和機器再現(xiàn)必定能夠開發(fā)拓展出一代新興產(chǎn)業(yè)。因為智能本質(zhì)復雜性，當代智能研究已超越傳統(tǒng)學科界限，成為腦生理學、神經(jīng)科學、心理學、認知科學、信息科學、計算機科學、微電子學，乃至數(shù)理科學共同關(guān)心“焦點”學科。人工神經(jīng)網(wǎng)絡(luò)重大研究進展有可能使包含信息科學在內(nèi)其它學科產(chǎn)生重大突破和變革。展望人工神經(jīng)網(wǎng)絡(luò)成功應(yīng)用，人類智能有可能產(chǎn)生一次新飛躍。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第19頁4、ANN信息處理能力

存貯能力和計算能力是當代計算機科學中兩個基本問題，一樣，它們也組成了人工神經(jīng)網(wǎng)絡(luò)研究中基本問題。人工神經(jīng)網(wǎng)絡(luò)信息處理能力包含兩方面內(nèi)容：神經(jīng)網(wǎng)絡(luò)信息存貯能力即要處理這么一個問題：在一個有N個神經(jīng)元神經(jīng)網(wǎng)絡(luò)中，可存貯多少值信息?神經(jīng)網(wǎng)絡(luò)計算能力神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第20頁（1）神經(jīng)網(wǎng)絡(luò)存貯能力

定義：一個存貯器信息表示能力定義為其可分辨信息類型對數(shù)值。

在一個M×1隨機存貯器RAM中，有M位地址，一位數(shù)據(jù)，它可存貯2M位信息。M×1RAM存貯能力為：C＝2M(位)。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第21頁

定理1N個神經(jīng)元神經(jīng)網(wǎng)絡(luò)信息表示能力上限為：

C＜(位)。定理2N個神經(jīng)元神經(jīng)網(wǎng)絡(luò)信息表示能力下限為：

C(位)。其中[N／2]指小于或等于N／2最大整數(shù)。定理3神經(jīng)網(wǎng)絡(luò)能夠存貯2N-1個信息，也能夠區(qū)分2N-1個不一樣網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第22頁（2）神經(jīng)網(wǎng)絡(luò)計算能力●數(shù)學近似映射●概率密度函數(shù)預計●從二進制數(shù)據(jù)基中提取相關(guān)知識●形成拓撲連續(xù)及統(tǒng)計意義上同構(gòu)映射●最近相鄰模式分類●數(shù)據(jù)聚類●最優(yōu)化問題用來求解局部甚至是全局最優(yōu)解。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第23頁

（3）感知器模型

感知器是一個早期神經(jīng)網(wǎng)絡(luò)模型，由美國學者F.Rosenblatt于1957年提出.感知器中第一次引入了學習概念，使人腦所具備學習功效在基于符號處理數(shù)學到了一定程度模擬，所以引發(fā)了廣泛關(guān)注。感知器在形式上與MP模型差不多，它們之間區(qū)分在于神經(jīng)元間連接權(quán)改變。感知器連接權(quán)定義為可變，這么感知器就被賦予了學習特征。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第24頁感知器結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第25頁感知器處理單元對n個輸入進行加權(quán)和操作：其中，xi為第i個輸入，wi為第i個輸入處處理單元連接權(quán)值，θ為閾值。

f是階躍函數(shù)。為簡化表示，把閾值θ

看成輸入-w0

，寫成向量形式：神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第26頁梯度下降調(diào)整權(quán)值感知器輸出為：

o=w0+w1x1+…+wixn

訓練誤差：

td是期望輸出，od是實際輸出，感知器計算值，D是訓練樣本集神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第27頁=?(t—o)xi神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第28頁令η

是一個正常數(shù)，又叫學習速率。δ是某一輸入樣本對應(yīng)期望輸出與實際輸出誤差。

已經(jīng)證實：只要訓練樣本線性可分，而且使用充分小η，訓練過程收斂。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第29頁

（4）

感知器學習算法感知器引入學習算法稱之為誤差學習算法。該算法是神經(jīng)網(wǎng)絡(luò)學習中一個主要算法，并已被廣泛應(yīng)用。算法以下：（1）選擇一組初始權(quán)值wi(0)。（2）計算某一輸入樣本對應(yīng)實際輸出與期望輸出誤差δ

（3）假如δ小于給定值，結(jié)束，不然繼續(xù)。

神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第30頁（4）更新權(quán)值

wi

＝

wi+Δwi

＝

wi+ηδxi

式中學習率η為在區(qū)間（0，1）上一個常數(shù)，它取值與訓練速度和w收斂穩(wěn)定性相關(guān)，xi為神經(jīng)元第i個輸入。（5）返回（2），重復上述步驟，直到對全部訓練樣本，網(wǎng)絡(luò)輸出均能滿足要求。

神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第31頁

1、網(wǎng)絡(luò)學習算法提出

60年代末，Minsky和Papert指出了感知機功效和處理能力不足，在感知機中引入隱含神經(jīng)元，增加神經(jīng)網(wǎng)絡(luò)層次，提升神經(jīng)網(wǎng)絡(luò)處理能力，但卻無法給出對應(yīng)網(wǎng)絡(luò)學習算法。1986年，Rumelhart等人在多層神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)模型反向傳輸學習算法—BP（Backpropagation）算法，實現(xiàn)了Minsky多層網(wǎng)絡(luò)構(gòu)想。

四、BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第32頁

2、隱層傳遞函數(shù)

BP網(wǎng)絡(luò)隱層傳遞函數(shù)通常是S型函數(shù)，慣用logsig()和tansig()函數(shù)，也能夠采取線性傳遞函數(shù)purelin()。函數(shù)以下列圖：Pa-b/w0-1+1a=logsig(w*p,b)a-b/w0-1+1Pa=tansig(w*p,b)a-b/w0+b/wPa=purelin(w*p,b)神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第33頁

3、輸出層函數(shù)

假如輸出層是S型神經(jīng)元，那么整個網(wǎng)絡(luò)輸出被限制在一個較小范圍內(nèi)，假如輸出層使用線性神經(jīng)元，那么輸出能夠取任意值。所以，普通隱層使用S型函數(shù)，輸出層使用線性函數(shù)。傳遞函數(shù)均是可微單調(diào)增函數(shù)。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第34頁BP神經(jīng)網(wǎng)絡(luò)是一個多層網(wǎng)絡(luò)，它拓撲結(jié)構(gòu)以下列圖所表示。輸入層i隱含層k輸出層jwkiwjk標準BP神經(jīng)網(wǎng)絡(luò)拓撲結(jié)構(gòu)由三層組成，最左層稱為輸入層，中間層稱為隱含層，最右層稱為輸出層。輸入層、輸出層個數(shù)能夠由所求問題決定，而中間層神經(jīng)元個數(shù)確實定需要探討。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第35頁

各層次神經(jīng)元之間形成全互連連接，各層次內(nèi)神經(jīng)元之間沒有連接。三層神經(jīng)網(wǎng)絡(luò)已經(jīng)足以模擬輸入與輸出之間復雜非線性映射關(guān)系。更多網(wǎng)絡(luò)層即使能提升神經(jīng)網(wǎng)絡(luò)學習復雜映射關(guān)系能力，但因為伴隨網(wǎng)絡(luò)層增加，神經(jīng)元及其連接權(quán)將大規(guī)模增加，所占用計算機資源過多，網(wǎng)絡(luò)學習收斂反而慢了。

各個神經(jīng)元之間連接并不只是一個單純傳輸信號通道，而是在每對神經(jīng)元之間連接上有一個加權(quán)系數(shù)，這個加權(quán)系數(shù)就是權(quán)值，它起著生物神經(jīng)系統(tǒng)中神經(jīng)元突觸強度作用，它能夠加強或減弱上一個神經(jīng)元輸出對下一個神經(jīng)元刺激。修改權(quán)值規(guī)則稱為學習算法，它能夠依據(jù)經(jīng)驗或?qū)W習來改變。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第36頁數(shù)學模型輸入層與隱層間權(quán)值為：閾值為：隱層與輸出層間權(quán)值為：閾值為：網(wǎng)絡(luò)作用函數(shù)稱為S型函數(shù)：：

假定：神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第37頁輸入層神經(jīng)元i

：輸入：

輸出：=隱含層神經(jīng)元k

：輸入：

輸出：=輸出層神經(jīng)元j

：輸入：

輸出：=輸入層i隱含層k輸出層jwkiwjk神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第38頁那么：誤差

為期望輸出神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第39頁采取梯度法對各層權(quán)值進行修正：

非輸出層神經(jīng)元誤差等于全部與該神經(jīng)元相連神經(jīng)元輸出端誤差乘以對應(yīng)權(quán)值并求和。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第40頁五、由神經(jīng)網(wǎng)絡(luò)算法推衍出來學習算法從本質(zhì)上說，神經(jīng)網(wǎng)絡(luò)訓練問題是一個函數(shù)極小化問題，但因為它數(shù)學基礎(chǔ)是非線性理論，因系統(tǒng)高度非線性使最初BP算法存在效率低、收斂慢、易于陷入局部極小等缺點，使神經(jīng)網(wǎng)絡(luò)在復雜系統(tǒng)中應(yīng)用受到限制。大部分新研究都集中在算法改進上，如共軛梯度算法、基于信息熵優(yōu)化算法、改進BP法等。經(jīng)過這些研究，使神經(jīng)網(wǎng)絡(luò)應(yīng)用得到深入發(fā)展。神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)融合專家講座第41頁六、神經(jīng)網(wǎng)絡(luò)與多傳感器數(shù)據(jù)融合假定傳感器分別為雷達傳感器和紅外傳感器：雷達傳感器:提供目標視線方向方位角、俯仰角和速度觀察;紅外傳感器提供方位角和俯仰角信息以及圖像信息；雷達可測角、測距,但測角精度較低;紅外含有測角精度高特點,但不能測距.把二者結(jié)合起來使用,就可實現(xiàn)性能互補,提升對目標跟蹤能力。因為紅外傳感器數(shù)據(jù)率比雷達傳感器數(shù)據(jù)率高,紅外測量數(shù)據(jù)還須經(jīng)過異步融合處理使其與雷達測量數(shù)據(jù)保持同時.雷達卡爾曼濾波紅外卡爾曼濾波神經(jīng)網(wǎng)絡(luò)融合異步融合目標預計值畢靖，王青，石曉榮(北京航空航天大學自動化科學與電氣工程學院)，北京航空航天大學