1、第一章 介紹1.1 神經(jīng)元模型 神經(jīng)元，基本信息處理單位,神經(jīng)元模型的元素:1突觸和連接;2一個(gè)加法器:求輸入信號(hào)的相應(yīng)權(quán)值加權(quán)的和。3.一個(gè)激活函數(shù)用來限制神經(jīng)輸出振幅。激活函數(shù)也稱為壓制函數(shù)，一個(gè)神經(jīng)元輸出范圍可寫成0，1或-1，+1。 閾值 激活函數(shù) 輸出輸入 信號(hào) 求和關(guān)節(jié) 突觸權(quán)值 圖1.5 神經(jīng)元的非線性模型描述一個(gè)神經(jīng)元k 以如下方程：誘導(dǎo)局部域(凈輸入) 激活函數(shù)的類型1臨界值函數(shù)。：在工程文獻(xiàn)中，這種函數(shù)一般稱為Heaviside函數(shù)。這樣一個(gè)神經(jīng)元在文獻(xiàn)中稱為Muculloch-Pitts模型，2 分段線性函數(shù)3. Sigmoid函數(shù):S-形的，一個(gè)例子是logistic

2、函數(shù)或 固定輸入 (閾值) 激活函數(shù) 輸出輸入 信號(hào) 求和關(guān)節(jié) 突觸權(quán)值(包括閾值) 神經(jīng)元的另一個(gè)非線性模型神經(jīng)元的統(tǒng)計(jì)模型P(v)的一個(gè)標(biāo)準(zhǔn)選擇是Sigmoid型的函數(shù)：1.2 看作有向圖的神經(jīng)網(wǎng)絡(luò)信號(hào)流圖是一個(gè)由有向連接（分支）的節(jié)點(diǎn)組成的網(wǎng)絡(luò).信號(hào)流動(dòng)遵循3條規(guī)則.規(guī)則1:信號(hào)僅僅沿著定義好的箭頭方向在連接上流動(dòng).l 突觸連接,l 激活連接， 為非線性激活函數(shù)。規(guī)則2:節(jié)點(diǎn)信號(hào)等于經(jīng)由連接進(jìn)入節(jié)點(diǎn)的信號(hào)的代數(shù)和.規(guī)則3: 節(jié)點(diǎn)信號(hào)沿每個(gè)外向連接向外傳遞;看作有向圖的神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)是一個(gè)由具有內(nèi)部連接權(quán)值的節(jié)點(diǎn)和激活連接構(gòu)成的有向圖.具有4個(gè)主要特征1. 每個(gè)神經(jīng)元可表示為一組線性的

3、突觸連接,應(yīng)用它的外部偏置,和可能的非線性激活連接.2. 神經(jīng)元的突觸連接給它們相應(yīng)的輸入信號(hào)加權(quán).3. 輸入信號(hào)的加權(quán)和構(gòu)成該神經(jīng)元的誘導(dǎo)局部域.4. 激活連接壓制神經(jīng)元的誘導(dǎo)局部域產(chǎn)生輸出.一個(gè)神經(jīng)元的狀態(tài)可以定義為它的輸出信號(hào)或者誘導(dǎo)局部域.注意集中在神經(jīng)元之間的信號(hào)流，省略神經(jīng)元內(nèi)部的信號(hào)流的細(xì)節(jié)，是局部完整的.它的特征是:1. 源節(jié)點(diǎn)向圖提供輸入信號(hào).2. 每個(gè)神經(jīng)元由一個(gè)計(jì)算節(jié)點(diǎn)表示.3. 聯(lián)結(jié)圖中源節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)之間的通訊連接沒有權(quán)值，它們僅僅提供圖中信號(hào)流的方向.這樣定義的一個(gè)局部完整的有向圖就是所謂神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖,描述了神經(jīng)網(wǎng)絡(luò)的布局. 總的來說,我們有三種神經(jīng)網(wǎng)絡(luò)的圖形表

4、示方法:l 方框圖，提供網(wǎng)絡(luò)的功能表示.l 信號(hào)流圖,提供網(wǎng)絡(luò)中完全的信號(hào)流描述.l 結(jié)構(gòu)圖,描述網(wǎng)絡(luò)布局1.3反饋反饋存在于動(dòng)態(tài)系統(tǒng),系統(tǒng)一個(gè)元素的輸出部分影響作用于該元素輸入,例如， 輸入輸出關(guān)系: 穩(wěn)定性特征是反饋系統(tǒng)研究中的重點(diǎn).1.4 網(wǎng)絡(luò)結(jié)構(gòu) 1. 單層前饋網(wǎng)絡(luò)在層狀網(wǎng)絡(luò)中,神經(jīng)元被分層放置。在最簡(jiǎn)單的分層網(wǎng)絡(luò)中,源節(jié)點(diǎn)構(gòu)成輸入層,直接投射到神經(jīng)元輸出層(計(jì)算節(jié)點(diǎn))上去； 2 多層前饋網(wǎng)前向網(wǎng)絡(luò)的第二種網(wǎng)絡(luò)有一層或多層隱藏節(jié)點(diǎn)層,相應(yīng)的計(jì)算節(jié)點(diǎn)也被稱為隱藏單元或隱藏神經(jīng)元. 完全連接網(wǎng)絡(luò)：相鄰層的任意一對(duì)節(jié)點(diǎn)都有連接.如果不是這樣,我們稱之為局部連接.3. 遞歸網(wǎng)絡(luò)遞歸網(wǎng)絡(luò)和前向網(wǎng)

5、絡(luò)的區(qū)別在于它至少有一個(gè)反饋環(huán). 1.5 什么是神經(jīng)網(wǎng)絡(luò)一個(gè)神經(jīng)網(wǎng)絡(luò)是一個(gè)由簡(jiǎn)單處理元構(gòu)成的規(guī)模宏大的并行分布處理器。天然具有存儲(chǔ)經(jīng)驗(yàn)知識(shí)和使之可用的特性。神經(jīng)網(wǎng)絡(luò)從兩個(gè)方面上模擬大腦。1 神經(jīng)網(wǎng)絡(luò)獲取的知識(shí)是從外界環(huán)境中學(xué)習(xí)得來的。2 內(nèi)部神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于儲(chǔ)存獲取的知識(shí)。神經(jīng)網(wǎng)絡(luò)中重要過程：學(xué)習(xí)過程；學(xué)習(xí)算法，其功能是以有序的方式改變系統(tǒng)權(quán)值。神經(jīng)網(wǎng)絡(luò)在文獻(xiàn)中也稱為神經(jīng)計(jì)算機(jī)，連接主義網(wǎng)絡(luò)，并行分布處理器等。神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)1大規(guī)模并行分布式結(jié)構(gòu)。2. 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)能力從而具有泛化能力。性質(zhì):1 非線性。2 輸入輸出映射. 無(wú)參數(shù)統(tǒng)計(jì)推斷, 沒有對(duì)輸入數(shù)據(jù)統(tǒng)計(jì)模型作任何先驗(yàn)假

6、設(shè)。3 適應(yīng)性. 神經(jīng)網(wǎng)絡(luò)嵌入了一個(gè)調(diào)整自身連接權(quán)值以適應(yīng)外界變化的能力。穩(wěn)定性, 可塑性4證據(jù)響應(yīng). 模式識(shí)別中，類別信息，置信度信息。5 前后關(guān)系的信息. 神經(jīng)網(wǎng)絡(luò)的特定結(jié) 構(gòu)和活動(dòng)狀態(tài)代表知識(shí)。6容錯(cuò)性. 7VLSI實(shí)現(xiàn).8 分析和設(shè)計(jì)的一致性. 神經(jīng)網(wǎng)絡(luò)作為信息處理器具有通用性，即涉及神經(jīng)網(wǎng)絡(luò)的應(yīng)用的所有領(lǐng)域都使用同樣記號(hào)。這種特征以不同的方式表現(xiàn)出來：l 神經(jīng)元：在所有的神經(jīng)網(wǎng)絡(luò)中代表一個(gè)相同成分。l 在不同應(yīng)用中的神經(jīng)網(wǎng)絡(luò)共享相同的理論和算法；l 模塊化，網(wǎng)絡(luò)可以用模塊的無(wú)縫整合來實(shí)現(xiàn)。9. 神經(jīng)生物類比. 解釋神經(jīng)生物現(xiàn)象的研究工具。神經(jīng)生物學(xué)為解決復(fù)雜問題的新思路。1.6 人腦

7、刺激 感受器 神經(jīng)網(wǎng)絡(luò) 效應(yīng)器 響應(yīng)神經(jīng)系統(tǒng)的模塊圖表示 中樞神經(jīng)系統(tǒng) 區(qū)間回路 局部回路 神經(jīng)元 樹突 神經(jīng)回路 突觸 分子圖1.3 大腦分級(jí)機(jī)構(gòu)組織組成:突觸，神經(jīng)元，可塑性：創(chuàng)造新連接和修改連接。軸突:即傳導(dǎo)線路, 光華的表面，較少的分支，比較長(zhǎng); 從軸突接受信號(hào)樹突：即接受區(qū)間，有不規(guī)則的表面和更多的分支;1.7 知識(shí)表示什么是知識(shí)知識(shí)就是人或機(jī)器儲(chǔ)存起來以備使用的記憶或模型,用來對(duì)外界作出解釋、預(yù)測(cè)和適當(dāng)?shù)胤磻?yīng).知識(shí)表示的特征：(1) 什么信息是明確表述的；(2)物理上信息是如何被編碼和使用的。由知識(shí)表示是一個(gè)目標(biāo)導(dǎo)向的.在“智能的”機(jī)器的現(xiàn)實(shí)應(yīng)用中,可以說好的方案是決定于知識(shí)的好的

8、表式的(Woods,1986)。 神經(jīng)網(wǎng)絡(luò)也是如此.神經(jīng)網(wǎng)絡(luò)的一個(gè)主要任務(wù)是學(xué)習(xí)反應(yīng)世界（環(huán)境）的一個(gè)模型,并且保持該模型和真實(shí)世界足夠相容。有關(guān)世界的知識(shí)由兩部分信息組成：1. 已知的世界的狀態(tài),由是什么和已知道什么這些事實(shí)所表示；這種形式的知識(shí)被稱為先驗(yàn)信息.2. 對(duì)世界的觀察,由設(shè)計(jì)的探測(cè)神經(jīng)網(wǎng)絡(luò)所在的運(yùn)行環(huán)境的傳感器獲得.這些觀察是帶有噪聲的例子。例子可以是有標(biāo)記的, 也可以沒有.一組例子,代表了神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)的環(huán)境知識(shí).神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)與它的傳統(tǒng)信息處理對(duì)應(yīng)部分（模式分類器）有著根本的差別.在傳統(tǒng)信息處理中1.首先設(shè)計(jì)一個(gè)數(shù)學(xué)模型公式；2.利用真實(shí)數(shù)據(jù)確認(rèn)這個(gè)模型,3.再以此模型為基礎(chǔ)

9、建立設(shè)計(jì).神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)直接基于實(shí)際數(shù)據(jù),讓數(shù)據(jù)自己說話.因此神經(jīng)網(wǎng)絡(luò)提供了內(nèi)嵌于環(huán)境的隱含模型; 周圍環(huán)境的知識(shí)表示由網(wǎng)絡(luò)的自由參數(shù)（即，突觸權(quán)值和閾值）的取值定義. 神經(jīng)網(wǎng)絡(luò)中的知識(shí)表示的通用的4條規(guī)則:規(guī)則1:相似的類別中相似輸入會(huì)造成網(wǎng)絡(luò)中相似的表達(dá).因此,可以歸入同一類中.度量輸入相似性有很多方法。常用的相似度量是歐幾里德距離，另一個(gè)點(diǎn)積或內(nèi)積；或：Mahalanobis距離， 規(guī)則2: 網(wǎng)絡(luò)對(duì)可分離為不同種類的向量給出差別很大的表達(dá).規(guī)則3: 如果某個(gè)特征很重要,那么網(wǎng)絡(luò)表達(dá)這個(gè)向量將涉及大量神經(jīng)元.規(guī)則4 先驗(yàn)信息和不變性應(yīng)該附加在網(wǎng)絡(luò)設(shè)計(jì)中,這樣不必學(xué)習(xí)它們從而簡(jiǎn)化了設(shè)計(jì).規(guī)則

10、4特別重要,因?yàn)榍‘?dāng)符合它導(dǎo)致網(wǎng)絡(luò)具有特殊（限制）的結(jié)構(gòu)。這一點(diǎn)是我們正需要的,有幾個(gè)原因:1. 已知生物視覺和聽覺網(wǎng)絡(luò)是非常特別的.2. 特殊網(wǎng)絡(luò)相對(duì)于完全連接網(wǎng)絡(luò),用于調(diào)節(jié)的自由參數(shù)是很少的.3. 通過特殊網(wǎng)絡(luò)的信息傳送率（即網(wǎng)絡(luò)的通過數(shù)據(jù)）很高.4. 和全連接網(wǎng)絡(luò)相比特殊網(wǎng)絡(luò)的建設(shè)成本比較低. 怎樣在神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中加入先驗(yàn)信息?兩種技術(shù)的結(jié)合:1. 使用稱為接受域的局部連接,限制網(wǎng)絡(luò)結(jié)構(gòu).2. 使用權(quán)值共享,限制突觸權(quán)值的選擇.如何在網(wǎng)絡(luò)設(shè)計(jì)中建立不變性至少可用三種技術(shù)使得分類器型的神經(jīng)網(wǎng)絡(luò)對(duì)變換不變:1結(jié)構(gòu)不變性. 適當(dāng)?shù)卦O(shè)計(jì)使得神經(jīng)網(wǎng)絡(luò)包括不變性.具體地,建立網(wǎng)絡(luò)的神經(jīng)元突觸連接使得同一輸入的變形強(qiáng)制得到同樣的輸出.2.訓(xùn)練不變性.網(wǎng)絡(luò)能對(duì)已出現(xiàn)目標(biāo)的不同變換作出正確的推廣.3. 特征空間不變性.提取表示輸入數(shù)據(jù)本質(zhì)信息內(nèi)容特性的特征且它對(duì)輸入的變換保持不變的. 輸入 不變特征提取器 分類器型神經(jīng)網(wǎng)絡(luò) 分類估計(jì) 不變性特征空間型系統(tǒng)的