1、第五章 神經(jīng)網(wǎng)絡(luò)信號處理鄭寶玉1主要內(nèi)容 神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 自適應(yīng)主分量分析 模糊自適應(yīng)信號處理 其它非線性濾波 2神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 引言 神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 靜態(tài)神經(jīng)網(wǎng)絡(luò) 動態(tài)神經(jīng)網(wǎng)絡(luò) 訓(xùn)練規(guī)則 訓(xùn)練方法3神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)模型 靜態(tài)神經(jīng)網(wǎng)絡(luò) 1. 多層感知器(MLP: Multilayer Perceptron) 多層感知器是信號處理中應(yīng)用最多的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)， 如圖1所示。 多層感知器是一種前饋神經(jīng)網(wǎng)絡(luò), 由輸入層、輸出層和 若干中間層(常稱為隱層,hidden-layer )組成 多層感知器的每一層包括若干個節(jié)點 (node) 或神經(jīng)元 (neuron), 如

2、圖2；神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本單元.4圖1圖25神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)模型 1. 多層感知器 激活函數(shù) 其變化范圍為 ; 其導(dǎo)數(shù)為 - S型函數(shù):- 正切雙曲函數(shù): 其導(dǎo)數(shù)為7神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)模型 2. 徑向基函數(shù)網(wǎng)絡(luò)(RBFN:Radial basis function nets) RBFN的結(jié)構(gòu): 它是另一種形式的前饋網(wǎng)絡(luò), 如圖3。 RBFN與MLP的主要差別 - RBF網(wǎng)絡(luò)是單隱層的網(wǎng)絡(luò),而 MLP可以有一個或各個隱層 - RBFN是一個局部逼近器，而MLP是一個全局逼近器。 - RBF網(wǎng)絡(luò)比單層感知器網(wǎng)絡(luò)具有更強的功能; 當(dāng)中心向 xi確定后, RBF網(wǎng)絡(luò)只需

3、對輸出層進行修正(更新),因此比 MLP網(wǎng)絡(luò)具有更快的斂速, 是一種非常有效的前饋網(wǎng)絡(luò)。8神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)模型 2. 徑向基函數(shù)網(wǎng)絡(luò) RBFN與MLP的主要差別(續(xù)) - 表征RBF網(wǎng)絡(luò)隱單元的核一般定義為高斯函數(shù): 式中x是輸入向量, xi 是第i 單元的中心。由M個隱單RBF 網(wǎng)絡(luò)實現(xiàn)的輸入輸出映射定義為而表征MLP網(wǎng)絡(luò)隱單元的核定義為logistic函數(shù):10神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)模型 3. 自組織特征映射網(wǎng)絡(luò) (SOFM:Self-organization Feature map) 競爭過程(competitive process) 協(xié)作過程(cooperativ

4、e process) 自適應(yīng)過程(adaptive process), 它包括兩個階段: - 自組織或排序階段(dering phase) - 收斂階段(convergence phase) 基本結(jié)構(gòu) 圖4表示用作離散映射的二維神經(jīng)元格型結(jié)構(gòu)的SOFM網(wǎng) 絡(luò),其中每個神經(jīng)元全連接到輸入層的所有源節(jié)點;它是一 個行-列排列的神經(jīng)元組成的單層前饋網(wǎng)絡(luò),包括如下過程: 基本過程11圖412MLPLTDx(n)y(n)x(n)x(n-1)x(n-p)圖5MLPLTD1x(n)x(n)x(n-1)x(n-p)LTD2y(n-q)y(n-2)y(n-1)Z-1圖614神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)模型 動

5、態(tài)神經(jīng)網(wǎng)絡(luò) 2.遞歸神經(jīng)網(wǎng)絡(luò)(recurrent networks) 遞歸神經(jīng)網(wǎng)絡(luò)與前饋神經(jīng)網(wǎng)絡(luò)的區(qū)別在于:前者至少存在 一個反饋環(huán)路, 如圖7。 由于反饋的存在, 對網(wǎng)絡(luò)學(xué)習(xí)能力及其性能有深刻的影響 Hopfild 網(wǎng)絡(luò) Hopfild網(wǎng)絡(luò)能量函數(shù)亦稱為李雅普洛夫(Lyapunov)函數(shù)為 或15神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)模型 動態(tài)神經(jīng)網(wǎng)絡(luò) 2.遞歸神經(jīng)網(wǎng)絡(luò)(recurrent networks) 可以證明，E(t)函數(shù)總是單調(diào)下降的。因此，若E(t)有界， 則網(wǎng)絡(luò)必定穩(wěn)定，且穩(wěn)定點對應(yīng)能量函數(shù)的極小點。設(shè) 易知則式中 為單位增益神經(jīng)元的反函數(shù)標(biāo)準(zhǔn)形式。 17神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)

6、絡(luò)訓(xùn)練 訓(xùn)練規(guī)則 Hebb學(xué)習(xí)規(guī)則(無師學(xué)習(xí)) 其中 “勝者為王” (Winner-Take-All)學(xué)習(xí)規(guī)則 (無師學(xué)習(xí)) 其中 學(xué)習(xí)規(guī)則(有師學(xué)習(xí)) 其中為代價函數(shù)。 18神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 訓(xùn)練方法 1. MLP網(wǎng)絡(luò)的訓(xùn)練 算法推導(dǎo) 考慮MLP網(wǎng)絡(luò)的某一層，則某個時刻神經(jīng)元j 的輸出為其中 當(dāng)神經(jīng)元j為輸出節(jié)點時, 該節(jié)點的誤差信號定義為 此時神經(jīng)元j 的誤差能量定義為 ,總誤差能量為輸出 層所有神經(jīng)元能量之和, 即 19神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 1. MLP網(wǎng)絡(luò)的訓(xùn)練 算法推導(dǎo)（續(xù)） - MLP網(wǎng)絡(luò)的訓(xùn)練，可通過求解式(14)在式(11)的約束條 件下的約束優(yōu)

7、化問題獲得。 - 設(shè)用規(guī)則調(diào)整該層的連接權(quán)W, 則需計算導(dǎo)數(shù), 即 其中局部梯度定義為 (16)20神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 1. MLP網(wǎng)絡(luò)的訓(xùn)練 算法推導(dǎo)（續(xù)） - 現(xiàn)考慮 的計算.由圖10知,此時神經(jīng)元k為輸出節(jié)點,故有于是此時因此故(16)變?yōu)?21神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 1. MLP網(wǎng)絡(luò)的訓(xùn)練 基本結(jié)論 - 由式(20)并參照圖10易見, (20b)實現(xiàn)了誤差從輸出層(k)到隱層(j)的反向傳播(BP), 它亦可實現(xiàn)隱層之間的反向傳播。如圖9和10所示。因此, 以式(20)為基礎(chǔ)的MLP網(wǎng)絡(luò)訓(xùn)練方法通常稱為BP算法, 且把基于BP算法的MLP網(wǎng)絡(luò)稱為BP網(wǎng)絡(luò)。

8、- 容易看出,BP算法可看作LMS算法的推廣, 而把LMS算法 看作BP算法的特例(當(dāng) 即 )22神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 1. MLP網(wǎng)絡(luò)的訓(xùn)練 通用算法 初始化 a)給定輸入-輸出樣本集 ,并選擇 b)隨機初始化所有連接權(quán)系數(shù) 前向計算：令 計算各層輸出 24神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 1. MLP網(wǎng)絡(luò)的訓(xùn)練 通用算法（續(xù)） 反向計算 a)計算反向傳播誤差 b)并調(diào)整連接權(quán)系數(shù) (對于輸出層l=L) (22a)(對于隱層l=L-1,1) (22b)其中 , 末項是動量項(momentum)25神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 2. SOFM網(wǎng)絡(luò)的訓(xùn)練 初始化后, 算法實

9、現(xiàn)中涉及三個基本步驟:取樣、相似性匹配、更新,重復(fù)這三個步驟直到特征映射完成為止。具體如下： 初始化: 隨機選擇互不相同的初始權(quán)向量 , j=1,m, m是格型中神經(jīng)元個數(shù)。 取樣:以某種概率從輸入空間提取樣本向量x.該向量表示加到格型結(jié)構(gòu)的激活模式。向量x的維數(shù)為m。 競爭-相似性匹配：設(shè)i(x)表示與輸入向量x最好匹配(贏)的下標(biāo)。通過最小距離歐氏準(zhǔn)則找n次迭代的i(x) ：27神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 2. SOFM網(wǎng)絡(luò)的訓(xùn)練（續(xù)） 協(xié)作求拓?fù)溧徲颍杭辞笠在A單元為中心的鄰域函數(shù)： 其中 為受激神經(jīng)元j和贏神經(jīng)元i的距離， 分別為其位置; 并計算 式中0 、0是SOFM算法中的初

10、始值, 1和2是SOFM算法的時間常數(shù)。 28神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 2. SOFM網(wǎng)絡(luò)的訓(xùn)練（續(xù)） 自適應(yīng)更新 (updating)：利用如下更新公式調(diào)整所有神經(jīng)元的連接權(quán)向量： 其中是學(xué)習(xí)速率參數(shù)。 迭代: 返回步驟繼續(xù)迭代, 直到特征映射沒有顯著變化 為止。29 3. RBF網(wǎng)絡(luò)的訓(xùn)練 中心向量的迭代 令為 第k次迭代RBF的中心，則k-平均聚類(k-means clustering)算法步驟如下： 初始化：隨機選擇初始中心值 取樣:以某種概率從輸入空間X提取樣本向量，并進入算 法的n次迭代。 相似匹配:設(shè) 表示與輸入向量x最好匹配(贏)的下標(biāo),則神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 其中 是n次迭代第k個RBF的最小。30神經(jīng)網(wǎng)絡(luò)模型及其訓(xùn)練 神經(jīng)網(wǎng)絡(luò)訓(xùn)練 3. RBF網(wǎng)絡(luò)的訓(xùn)練（續(xù)） 更新(updating)：利用如下更新公式調(diào)整RBF的中心 迭代：n增加1, 返回步驟,直到中心 沒有顯著變化為止。 連接權(quán)的迭代過程 初始化:隨機初始化所有連接權(quán)。 計算輸出向量: 其中 為n時刻的輸