1、機器(j q)學習For 2013級計算機應用技術(jsh)研究生主講 李鶴喜共一百六十二頁機器(j q)學習人工神經(jīng)網(wǎng)絡1、概述人工神經(jīng)網(wǎng)絡（ Artificial Neural Networks， 簡寫為ANNs）也簡稱為神經(jīng)網(wǎng)絡（NNs）或稱作連接模型（Connectionist Model） ，是對人腦或自然神經(jīng)網(wǎng)絡（Natural Neural Network）若干基本特性的抽象和模擬。人工神經(jīng)網(wǎng)絡以對大腦的生理(shngl)研究成果為基礎的，其目的在于模擬大腦的某些機理與機制，實現(xiàn)某個方面的功能。國際著名的神經(jīng)網(wǎng)絡研究專家，第一家神經(jīng)計算機公司的創(chuàng)立者與領導人Hecht Niels

2、en給人工神經(jīng)網(wǎng)絡下的定義就是：“人工神經(jīng)網(wǎng)絡是由人工建立的以有向圖為拓撲結構的動態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)的輸入作狀態(tài)相應而進行信息處理?！?共一百六十二頁2、人工神經(jīng)網(wǎng)絡的提出(t ch)人工神經(jīng)網(wǎng)絡是對人類大腦系統(tǒng)的一階特性的一種(y zhn)描述。簡單地講，它是一個數(shù)學模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研究的一種(y zhn)方法。共一百六十二頁3、人工神經(jīng)網(wǎng)絡的特點(tdin) 人工神經(jīng)網(wǎng)絡的以下幾個突出的優(yōu)點使它近年來引起人們的極大關注： (1)可以充分逼近任意復雜的非線性關系； (2)所有定量或定性的信息都等勢分布貯存于網(wǎng)絡內的各神經(jīng)元，故有很強的魯

3、棒性和容錯性； (3)采用并行分布處理方法，使得快速進行大量運算成為可能； (4)可學習和自適應不知道或不確定的系統(tǒng)(xtng)； (5)能夠同時處理定量（函數(shù)逼近）、定性（分類判別）知識。 共一百六十二頁4、生物(shngw)神經(jīng)元模型1、生物(shngw)神經(jīng)網(wǎng)絡由樹突 軸突 突觸 其他神經(jīng)元構成軸突細胞體突起的最長的外伸管狀纖維稱為軸突。軸突最長可達1米以上。軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。 樹突細胞體的伸延部分產(chǎn)生的分枝稱為樹突，樹突是接受從其它神經(jīng)元傳入的信息的入口。突觸是一個神經(jīng)元與另一個神經(jīng)元之間相聯(lián)系并進行信息傳送的結構共一百六十二頁3、生物(shngw)神經(jīng)元

4、模型神經(jīng)元的六個基本特征：1）神經(jīng)元相互聯(lián)接，呈網(wǎng)狀結構；2）神經(jīng)元之間的聯(lián)接強度決定信號傳遞的強弱；3）神經(jīng)元之間的聯(lián)接強度是可以隨訓練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經(jīng)元接受的信號的累積效果(xiogu)決定該神經(jīng)元的狀態(tài)；6)每個神經(jīng)元可以有一個“閾值”。共一百六十二頁4、神經(jīng)元的MP模型(mxng)MP-模型(mxng)如圖所示，神經(jīng)元由輸入量 x1，x2， xn，對應每個輸入量的權值 wi、門限和輸出y組成，f為傳遞函數(shù)x1x2xnfyw1w2wnf (v)v共一百六十二頁4、一般(ybn)神經(jīng)元模型共一百六十二頁一組連接（對應于生物神經(jīng)元的突觸）

5、，連接強度由各連接上的權值表示，權值為正表示激活(j hu)，為負表示抑制。一個求和單元，用于求取各輸入信號的加權和（線性組合).一個非線性激活函數(shù)(作用函數(shù))，起非線性映射作用并將神經(jīng)元拘出幅度限制在一定范圍內.此外還有一個閾值4、一般(ybn)神經(jīng)元模型共一百六十二頁4、一般(ybn)神經(jīng)元模型兩種閾值，一種(y zhn)為負起抑制作用，一種(y zhn)為偏置共一百六十二頁激活函數(shù)(hnsh)的作用1、控制輸入對輸出(shch)的激活作用；2、對輸入、輸出進行函數(shù)轉換；3、將可能無限域的輸入變換成指定的有限范圍內的輸出。 共一百六十二頁幾種(j zhn)常見的激活函數(shù) 1、閾值(y zh

6、)函數(shù) M-P 模型共一百六十二頁2，分段線性函數(shù)(hnsh) 它類似于一個放大系數(shù)為1的非線性放大器，當工作于線性區(qū)時它是一個線性組合器，放大系數(shù)趨于無窮大時變成一個閾值單元。幾種(j zhn)常見的激活函數(shù)共一百六十二頁3。Sigmoid函數(shù)(hnsh)雙曲正切(zhngqi)函數(shù)這類具有平滑和漸近性，并保持單調性幾種常見的激活函數(shù)共一百六十二頁神經(jīng)網(wǎng)絡的基本(jbn)模型 共一百六十二頁4、神經(jīng)網(wǎng)絡結構(jigu)模型1、前向神經(jīng)網(wǎng)絡結構(jigu)（feed-forward Networks）所謂前向網(wǎng)絡，是各神經(jīng)元接收前一層的輸入，并輸出給下一層，沒有反饋。節(jié)點分為兩類，即輸入節(jié)點和

7、計算節(jié)點，每一個計算節(jié)點可有多個輸入，但只有一個輸出，通常前饋型網(wǎng)絡可分為不同的層，第i層的輸入只與第i-1層的輸出相連，輸入與輸出節(jié)點與外界相連，而其他中間層則稱為隱層。共一百六十二頁4、神經(jīng)網(wǎng)絡結構(jigu)模型2、反饋(fnku)神經(jīng)網(wǎng)絡結構（feedback neural network）反饋神經(jīng)網(wǎng)絡是一種反饋動力學系統(tǒng)。在這種網(wǎng)絡中，每個神經(jīng)元同時將自身的輸出信號作為輸入信號反饋給其他神經(jīng)元，它需要工作一段時間才能達到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡是反饋網(wǎng)絡中最簡單且應用廣泛的模型，它具有聯(lián)想記憶的功能，如果將李雅普諾夫函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡還可以用來解決快速

8、尋優(yōu)問題。共一百六十二頁4、神經(jīng)網(wǎng)絡結構(jigu)模型3、隨機(su j)型神經(jīng)網(wǎng)絡結構（Random Neural Networks） 前向型和反饋型的網(wǎng)絡是確定性的網(wǎng)絡，即給定輸入則輸出是確定的，但實際上按照神經(jīng)生理學的觀點, 生物神經(jīng)元本質上是隨機的. 因為神經(jīng)網(wǎng)絡重復地接受相同的刺激, 其響應并不相同, 這意味著隨機性在生物神經(jīng)網(wǎng)絡中起著重要的作用. 隨機神經(jīng)網(wǎng)絡正是仿照生物神經(jīng)網(wǎng)絡的這種機理進行設計的. 隨機神經(jīng)網(wǎng)絡一般有兩種: 一種是采用隨機性神經(jīng)元激活函數(shù); 另一種是采用隨機型加權連接, 即是在普通人工神經(jīng)網(wǎng)絡中加入適當?shù)碾S機噪聲。共一百六十二頁4、神經(jīng)網(wǎng)絡結構(jigu)模型

9、3、自組織(zzh)神經(jīng)網(wǎng)絡（Self Organizing neural Networks ）自組織神經(jīng)網(wǎng)絡是一種無導師學習方式，更類似于人類大腦中生物神經(jīng)網(wǎng)絡的學習，其最重要特點是通過自動尋找樣本中的內在規(guī)律和本質屬性，自組織自適應地改變網(wǎng)絡參數(shù)與結構。這種學習方式大大拓寬神經(jīng)網(wǎng)絡在模式識別與分類方面的應用。輸入模式輸出模式競爭層共一百六十二頁人工神經(jīng)網(wǎng)絡的學習(xux) ANN研究中的核心問題 ：How to determine the weights(權值)人工神經(jīng)網(wǎng)絡最具有吸引力的特點是它的學習能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡著名的學習定理：人工神經(jīng)網(wǎng)絡可以學

10、會它可以表達的任何(rnh)東西。人工神經(jīng)網(wǎng)絡的表達能力大大地限制了它的學習能力。人工神經(jīng)網(wǎng)絡的學習過程就是對它的訓練過程 共一百六十二頁有導師學習(Supervised Learning)與有導師訓練(Supervised Training)相對應。輸入向量與其對應的輸出向量構成一個“訓練對”。有導師學習的訓練算法的主要步驟包括：1） 從樣本集合中取一個樣本（Ai，Di）；2） 計算出網(wǎng)絡的實際輸出O； 3） 求E=Di-O；4） 根據(jù)(gnj)E調整權矩陣W； 5） 對每個樣本重復上述過程，直到對整個樣本集來說，誤差不超過規(guī)定范圍。 監(jiān)督學習(xux)(有教師學習(xux)共一百六十二頁監(jiān)

11、督學習(xux)(有教師學習(xux)共一百六十二頁無導師學習(Unsupervised Learning)與無導師訓練(Unsupervised Training)相對應 抽取樣本集合中蘊含的統(tǒng)計特性(txng)，并以神經(jīng)元之間的聯(lián)接權的形式存于網(wǎng)絡中。非監(jiān)督(jind)學習(無導師學習)共一百六十二頁強化(qinghu)學習（reinforcement learning再勵學習） 這種學習(xux)介于上述兩種情況之間，外部環(huán)境對系統(tǒng)構出結果只給出評價（獎或懲）而不是給出正確答案，學習(xux)系統(tǒng)通過強化那些受獎勵的動作來改善自身性能共一百六十二頁神經(jīng)網(wǎng)絡的學習(xux)規(guī)則1）直接設計

12、計算 例如 Hopfield 作優(yōu)化計算2）學習得到,即通過(tnggu)訓練(training)共一百六十二頁神經(jīng)網(wǎng)絡學習(xux)規(guī)則a)誤差糾正(jizhng)學習令 為輸入 時神經(jīng)元 在n時刻的實際輸出， 表示相應的應有的輸出（由訓練樣本給出）誤差：訓練指標：權值調整：共一百六十二頁b) Hebb學習 神經(jīng)心理學家Hebb提出的學習規(guī)則可歸結為”當某一突觸（連接）兩端的神經(jīng)元的激活同步（同為激括或同為抑制）時，該連接的強度(qingd)應增強，反之則應減弱”。 Heb規(guī)則(guz)：權值調整函數(shù)：神經(jīng)網(wǎng)絡的學習規(guī)則共一百六十二頁c) 競爭學習 顧名思義，在竟爭學習時網(wǎng)絡各輸出單元互相竟

13、爭，最后達到只有一個(y )最強者激活。最常見的一種情況是輸出神經(jīng)元之間有側向抑制性連接，這樣眾多輸出單元中如有某一單元較強，則它將獲勝并抑制其他單元，最后只有比較強者處于激活狀態(tài)。神經(jīng)網(wǎng)絡的學習(xux)規(guī)則共一百六十二頁BP反向(fn xin)傳播神經(jīng)網(wǎng)絡 BP（Back Propagation）網(wǎng)絡是1986年由Rumelhart 和 McCelland為首的科學家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伨W(wǎng)絡，是目前應用最廣泛的神經(jīng)網(wǎng)絡模型之一。BP網(wǎng)絡能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數(shù)學方程。它的學習規(guī)則是使用(shyng)誤差最速下降法

14、，通過誤差反向傳播來不斷調整網(wǎng)絡的權值和閾值，使網(wǎng)絡的誤差平方和最小。BP神經(jīng)網(wǎng)絡模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。共一百六十二頁BP反向(fn xin)傳播神經(jīng)網(wǎng)絡 Rumelhart，McClelland于1985年提出了BP網(wǎng)絡的誤差反向后傳BP(Back Propagation)學習算法BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此(rc)一層一層的反傳下去，就獲得了所有其他各層的誤差估計。 J. McClelland David Rumelhart 共一百六十二

15、頁BP神經(jīng)網(wǎng)絡模型(mxng)多層BP神經(jīng)網(wǎng)絡（這里(zhl)是4層）共一百六十二頁BP神經(jīng)網(wǎng)絡算法(sun f)的推導在第 n次迭代中輸出(shch)端的第 j個單元的輸出(shch)為 , 則該單元的誤差信號為定義單元 j的平方誤差為 ,則輸出端總的平方誤差的值為:其中c包括所有輸出單元, 設訓練集中樣本總數(shù)為N, 則平方誤差的均值為共一百六十二頁采用誤差下降法，就是根據(jù)誤差E(n)變化情況調整權值w，另一個角度(jiod)說就是，權值w變化對誤差E信號有何影響。即要求取 ，如果 為正，表示隨著w增加E增加，顯然應該減少w, 如果 為負，表示隨著w增加E減少，當然應該增加w, 即按下列算式

16、調節(jié)，是比例因子，也稱學習效率：BP神經(jīng)網(wǎng)絡算法(sun f)的推導故取w為:故問題的關鍵在于如何求共一百六十二頁誤差(wch)前級輸入(shr)BP神經(jīng)網(wǎng)絡算法的推導 設E（n)為學習的目標函數(shù), 學習的目的是使 E（n)達到最小. 下面就逐個樣本學習的情況推導BP算法.上圖表示第 j 個單元接收到前一層i信號并產(chǎn)生誤差信號的過程求和傳遞函數(shù)實際輸出期望函數(shù)誤差前級輸入權重前級輸入前級輸入前級輸入前級輸入前級輸入前級輸入前級輸入誤差前級輸入前級輸入前級輸入前級輸入前級輸入共一百六十二頁BP神經(jīng)網(wǎng)絡算法(sun f)的推導第 j節(jié)點(ji din)匯聚輸入的加權和為定義傳遞函數(shù)為(.),則節(jié)點

17、 j 的輸出為:求誤差E(n) 對各權值 wji(n)的偏導共一百六十二頁BP神經(jīng)網(wǎng)絡算法(sun f)的推導由于(yuy)故有:按梯度下降法，權值的修正量為：其中負號表示修正量按梯度下降方式，j(n)稱為局部梯度其記為：共一百六十二頁BP神經(jīng)網(wǎng)絡算法(sun f)的推導對兩種節(jié)點進行(jnxng)討論1、單元j是輸出節(jié)點2、單元j是隱節(jié)點 其結構如下圖所示神經(jīng)元k神經(jīng)元 j共一百六十二頁BP神經(jīng)網(wǎng)絡算法(sun f)的推導將此式對yj(n)求導得：2、單元 j 是隱節(jié)點(ji din) 其結構如下圖所示j 節(jié)點后面是輸出節(jié)點k, 則誤差平方和由于所以共一百六十二頁BP神經(jīng)網(wǎng)絡算法(sun f

18、)的推導上式式對yj(n)求導得：而其中(qzhng)q 為單元 的輸入端個數(shù)所以有代入式得：即當j為隱層節(jié)點時，其局部梯度等于下一層局部梯度加權和與激活函數(shù)的乘積。共一百六十二頁BP神經(jīng)網(wǎng)絡算法(sun f)的推導(1)對于輸出節(jié)點(ji din) j, j(n) 為 與誤差信號ej(n) 之積;總結以上推導, 對于節(jié)點j權值修正量可寫為 的計算有兩種情況:(2)對于隱節(jié)點 j, j(n) 為 與與后面一層的 k(n)加權和 之積;共一百六十二頁BP神經(jīng)網(wǎng)絡算法(sun f)的推導權值訓練周期: 學習時每輸入(shr)一次全部訓練樣本稱為一個訓練周期, 學習一個周期一個周期地進行, 直到目標

19、函數(shù)達到最小值或小于某一給定值.訓練網(wǎng)絡有兩種方式: (1)每輸入一個樣本修改一次權值; (2)批處理方式, 待組成一個訓練周期的全部N個樣本都依此輸入后計算總的平均誤差: 權值調整: 其中 計算方法與前面一樣共一百六十二頁BP神經(jīng)網(wǎng)絡算法(sun f)的推導BP算法的步驟如下:(1)初始化, 選定一結構合理的網(wǎng)絡, 置所有可調參數(shù)(cnsh)(權和閾值)為均勻分布的較小數(shù)值;(2)對每個輸入樣本做如下計算: 前向計算 對 l 層的j 單元其中 為前一層（l-1)的單元 送來的工作信號. i=0時共一百六十二頁BP神經(jīng)網(wǎng)絡算法(sun f)的推導設單元 j 的傳遞函數(shù)（激活(j hu)函數(shù)）為

20、sigmoid函數(shù)，則 求導: 當l=1時，有若j屬于輸出層(l=L), 共一百六十二頁BP神經(jīng)網(wǎng)絡算法(sun f)的推導反向(fn xin)計算對輸出單元 按下式修正權值（3）n=n+1 輸入新的樣本(或新一周期樣本), 直至Eav 達到預定要求, 訓練時各周期中樣本的輸入順序要重新隨即排序。對隱層單元共一百六十二頁共一百六十二頁BP網(wǎng)絡(wnglu)的標準學習算法學習的過程：神經(jīng)網(wǎng)絡在外界輸入(shr)樣本的刺激下不斷改變網(wǎng)絡的連接權值,以使網(wǎng)絡的輸出不斷地接近期望的輸出。學習的本質：對各連接權值的動態(tài)調整學習規(guī)則：權值調整規(guī)則，即在學習過程中網(wǎng)絡中各神經(jīng)元的連接權變化所依據(jù)的一定的調整

21、規(guī)則。共一百六十二頁BP網(wǎng)絡(wnglu)的標準學習算法-算法思想學習的類型：有導師學習核心思想：將輸出誤差以某種形式通過隱層向輸入(shr)層逐層反傳學習的過程：信號的正向傳播 誤差的反向傳播將誤差分攤給各層的所有單元各層單元的誤差信號修正各單元權值共一百六十二頁6.4.2 BP網(wǎng)絡的標準(biozhn)學習算法第一步，網(wǎng)絡初始化 給各連接權值分別賦一個區(qū)間（-1，1）內的隨機數(shù)，設定誤差函數(shù)e，給定計算精度值 和最大學習次數(shù)M。第二步,隨機(su j)選取第k 個輸入樣本及對應期望輸出第三步，計算隱含層各神經(jīng)元的輸入和輸出共一百六十二頁BP網(wǎng)絡的標準學習(xux)算法第四步，利用網(wǎng)絡期望輸

22、出和實際輸出，計算誤差函數(shù)對輸出層的各神經(jīng)元的偏導數(shù)。第五步，利用(lyng)隱含層到輸出層的連接權值、輸出層和隱含層的輸出計算誤差函數(shù)對隱含層各神經(jīng)元的偏導數(shù) 。 第六步，利用輸出層各神經(jīng)元和隱含層各神經(jīng)元的輸出來修正連接權值。第七步，利用隱含層各神經(jīng)元的 和輸入層各神經(jīng)元的輸入修正連接權。 共一百六十二頁6.4.2 BP網(wǎng)絡的標準學習(xux)算法第八步，計算全局誤差第九步，判斷網(wǎng)絡誤差是否滿足要求。當誤差達到預設精度或學習次數(shù)大于設定的最大次數(shù)，則結束算法。否則，選取(xunq)下一個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。 共一百六十二頁BP網(wǎng)絡(wnglu)的標準學習

23、算法BP算法直觀解釋情況一直觀表達 當誤差對權值的偏導數(shù)大于零時，權值調整量為負，實際輸出大于期望(qwng)輸出，權值向減少方向調整，使得實際輸出與期望輸出的差減少。whoe0，此時who0共一百六十二頁6.4.2 BP網(wǎng)絡的標準(biozhn)學習算法BP算法直解釋情況二直觀表達當誤差對權值的偏導數(shù)小于零時，權值調整量為正，實際(shj)輸出少于期望輸出，權值向增大方向調整，使得實際輸出與期望輸出的差減少。e0who共一百六十二頁BP神經(jīng)網(wǎng)絡的特點(tdin)非線性映射能力能學習和存貯大量輸入-輸出模式映射關系，而無需事先了解描述這種映射關系的數(shù)學方程。只要能提供足夠多的樣本模式對供網(wǎng)絡進

24、行學習訓練，它便能完成由n維輸入空間(kngjin)到m維輸出空間的非線性映射。泛化能力當向網(wǎng)絡輸入訓練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯能力輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡的輸入輸出規(guī)律影響很小。共一百六十二頁BP神經(jīng)網(wǎng)絡學習算法(sun f)的矩陣實現(xiàn)設BP神經(jīng)網(wǎng)絡有輸入層、隱層和輸出層三層結構，其節(jié)點(ji din)數(shù)分別為n1,n2,n3共一百六十二頁BP神經(jīng)網(wǎng)絡學習算法批訓練(xnlin)的矩陣實現(xiàn)設有個訓練樣本集X1,X2,XN, Xi是n1維向量，將訓練樣本按列排布，得到批輸入(shr)矩陣考慮到閾值，輸入矩

25、陣增加一行 -1，即將X擴充成：共一百六十二頁BP神經(jīng)網(wǎng)絡學習算法(sun f)批訓練的矩陣實現(xiàn)隱層有n2個節(jié)點，設輸入層與隱層節(jié)點間的權值矩陣為IW（含有(hn yu)閾值），則有則N個樣本的輸入加權求和v1矩陣為：共一百六十二頁BP神經(jīng)網(wǎng)絡學習(xux)算法批訓練的矩陣實現(xiàn)設隱層的傳遞函數(shù)（激活(j hu)函數(shù))=1/(1+e-v), 隱層輸出Y矩陣為：與隱層類似，對輸出層加權求和v2矩陣為：共一百六十二頁BP神經(jīng)網(wǎng)絡學習(xux)算法的矩陣實現(xiàn)設輸出層的傳遞函數(shù)(hnsh)（激活函數(shù)(hnsh)=1/(1+e-v), 輸出O矩陣為：反向計算，誤差矩陣E為反向計算，輸出層的局部梯度共一百六

26、十二頁BP神經(jīng)網(wǎng)絡學習(xux)算法的矩陣實現(xiàn)刪除(shnch)隱層與輸出層的權矩陣HW的第一列有：計算隱層的局部梯度更新隱層與輸出層之間的權值矩陣HW共一百六十二頁BP神經(jīng)網(wǎng)絡學習算法的矩陣(j zhn)實現(xiàn)更新(gngxn)輸入層與隱層之間的權值矩陣：計算所有樣本批輸入后的誤差平方和判斷EE閾值（如0.0001），網(wǎng)絡訓練結束，保存權值IW和HW。共一百六十二頁6.4.3 BP神經(jīng)網(wǎng)絡學習算法(sun f)的MATLAB實現(xiàn) MATLAB中BP神經(jīng)網(wǎng)絡的重要(zhngyo)函數(shù)和基本功能 函 數(shù) 名功 能newff()生成一個前饋BP網(wǎng)絡tansig()雙曲正切S型(Tan-Sigmoid

27、)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓練函數(shù)共一百六十二頁BP神經(jīng)網(wǎng)絡學習(xux)算法的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能newff()功能 建立一個(y )前向BP網(wǎng)絡格式 net = newff(PR，S1 S2.SN1，TF1 TF2.TFN1，BTF，BLF，PF)說明 net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡；PR為網(wǎng)絡輸入取向量取值范圍的矩陣；S1 S2SNl表示網(wǎng)絡隱含層和輸出層神經(jīng)元的個數(shù)；TFl TF2TFN1表示網(wǎng)絡隱含層和輸出層的傳輸函數(shù)，默認為tansig；BTF表示網(wǎng)絡的訓練函數(shù)，默認為t

28、rainlm；BLF表示網(wǎng)絡的權值學習函數(shù)，默認為learngdm；PF表示性能數(shù)，默認為mse。 共一百六十二頁BP神經(jīng)網(wǎng)絡學習算法(sun f)的MATLAB實現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡的重要函數(shù)和基本功能tansig()功能 正切sigmoid激活(j hu)函數(shù)格式 a = tansig(n)說明 雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(-1，1)。它是可導函數(shù)，適用于BP訓練的神經(jīng)元。logsig()功能 對數(shù)Sigmoid激活函數(shù)格式 a = logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-，+)映射到(0，1)。它是可導函數(shù)，適用于B

29、P訓練的神經(jīng)元。共一百六十二頁x1x2xixny1ykyq實際(shj)輸入x實際(shj)輸出y期望輸出d根據(jù)誤差e=d-y網(wǎng)絡權值w調節(jié)wBP神經(jīng)網(wǎng)絡算法的基本思想共一百六十二頁MATlAB NN工具箱多層BP神經(jīng)網(wǎng)共一百六十二頁MATlAB NN工具箱多層BP神經(jīng)網(wǎng)共一百六十二頁MATlAB NNT傳遞函數(shù)類型(lixng)共一百六十二頁net=newff(-1 2; 0 5, 3,1,tansig,purelin,traingd);在MATLAB7.0下使用newff創(chuàng)建BP神經(jīng)網(wǎng)。例如我們創(chuàng)建一個2維輸入向量，具有3個隱層節(jié)點和一個輸出(shch)節(jié)點的3層結構的BP神經(jīng)網(wǎng)絡：隱節(jié)點

30、(ji din)數(shù)輸出節(jié)點數(shù)BP神經(jīng)網(wǎng)絡的創(chuàng)建、訓練與仿真1、BP神經(jīng)網(wǎng)絡的創(chuàng)建隱層傳遞函數(shù)輸出層傳遞函數(shù)輸入分量范圍訓練方式共一百六十二頁2、BP神經(jīng)網(wǎng)絡的訓練(xnlin) 當確定完神經(jīng)網(wǎng)絡的具體結構輸入向量維數(shù)、隱層節(jié)點數(shù)、輸出節(jié)點數(shù)，就要采用一定的訓練方法對神經(jīng)網(wǎng)絡進行訓練，目前應用最多的是梯度下降法。在Matlab神經(jīng)網(wǎng)絡工具箱中，設置了這一算法。并通過train( )函數(shù)來實現(xiàn)神經(jīng)網(wǎng)絡的訓練。基本(jbn)語法為：Trained_net= train (net, P, T) 待訓練的網(wǎng)完成的訓練網(wǎng)輸入的特征向量訓練目標BP神經(jīng)網(wǎng)絡的創(chuàng)建、訓練與仿真共一百六十二頁仿真(fn zhn)

31、是對已經(jīng)訓練完成的BP神經(jīng)網(wǎng)絡進行應用模擬，以檢查神經(jīng)網(wǎng)絡的響應性能。即當網(wǎng)絡權值w,偏移值確定后，通過給定輸入Pgiven，檢查實際輸出y與期望是否相符。對于仿真結果滿足要求的網(wǎng)絡就可定型。仿真采用下列函數(shù)：y=sim(trained_net, P);完成(wn chng)的訓練網(wǎng)輸入的特征向量網(wǎng)絡的實際輸出3、BP神經(jīng)網(wǎng)絡的仿真 BP神經(jīng)網(wǎng)絡的創(chuàng)建、訓練與仿真共一百六十二頁1、手寫數(shù)字字符的識別2、人臉的識別3、車型的識別4、車牌的識別5、指紋的識別6、虹膜(hngm)的識別6、剛體目標的識別7、人體目標的識別基于(jy)BP神經(jīng)網(wǎng)絡的圖像識別的應用領域共一百六十二頁神經(jīng)網(wǎng)絡手寫數(shù)字識別設

32、計(shj)實例1、手寫數(shù)字圖像的歸一化處理 將圖像(t xin)歸一到168的像素矩陣2、將168的像素矩陣按列堆疊成128維向量矩陣向量共一百六十二頁3、BP神經(jīng)網(wǎng)絡結構的設計 (1)輸入節(jié)點數(shù)的確定 根據(jù)輸入特征向量是128維，故選輸入節(jié)點為128個。 （2）輸出節(jié)點數(shù)的確定 辨識10個手寫(shuxi)數(shù)字，以每個節(jié)點為1代表一個數(shù)字的 標識，所以輸出節(jié)點可選10個節(jié)點； （3）隱層節(jié)點數(shù)的確定 可按下列公式估計 式中n為輸入(shr)節(jié)點m為輸出節(jié)點數(shù)，a=110為可調常數(shù)。這里取隱層節(jié)點20神經(jīng)網(wǎng)絡手寫數(shù)字識別設計實例共一百六十二頁3、BP神經(jīng)網(wǎng)絡結構的設計 (4)傳遞函數(shù)設計輸入

33、節(jié)點數(shù)的確定 由于以1作為類別的數(shù)值(shz)表示，即輸出最大限為1，故隱層與輸出層傳遞函數(shù)都選擇為logsig。 （5）輸入數(shù)據(jù)和期望值按向量排成的矩陣組織，即220神經(jīng)網(wǎng)絡手寫數(shù)字識別設計(shj)實例共一百六十二頁神經(jīng)網(wǎng)絡手寫(shuxi)數(shù)字識別設計實例實施共一百六十二頁神經(jīng)網(wǎng)絡手寫數(shù)字識別(shbi)設計實例實施共一百六十二頁SOM自組織(zzh)神經(jīng)網(wǎng)絡 采用有導師學習規(guī)則的神經(jīng)網(wǎng)絡(wnglu)是以網(wǎng)絡(wnglu)的誤差或能量函數(shù)作為算法準則。而在很多情況下，人在認知過程中沒有預知的正確模式，人獲得大量知識常常是靠“無師自通”，即通過對客觀事物的反復觀察，分析與比較，自行揭示其

34、內在規(guī)律，并對具有共同特征的事物進行正確歸類。對于人的這種學習方式，基于有導師學習策略的神經(jīng)網(wǎng)絡(wnglu)是無能為力的。 自組織神經(jīng)網(wǎng)絡的無導師學習方式更類似于人類大腦中生物神經(jīng)網(wǎng)絡的學習，其最重要特點是通過自動尋找樣本中的內在規(guī)律和本質屬性，自組織自適應地改變網(wǎng)絡參數(shù)與結構。這種學習方式大大拓寬神經(jīng)網(wǎng)絡在模式識別與分類方面的應用。共一百六十二頁 自組織網(wǎng)結構上屬于層次型網(wǎng)絡，有多種類型。如：自組織特征映射（Self Organizing Feature Map）網(wǎng)絡SOM）； 對偶（向）傳播（Counter Propagation Network)網(wǎng)絡CPN)； 自適應共振理論（Adap

35、tive Resonance Theory)網(wǎng)絡ART等。 其共同特點是都具有競爭層。最簡單(jindn)的網(wǎng)絡結構具有一個輸入層和一個競爭層。輸入模式輸出模式競爭層 輸入層負責接受外界信息并將輸入模式(msh)向競爭層傳遞，起觀察作用。 競爭層負責對該模式進行“分析比較”，找出規(guī)律以正確分類。 這種功能是通過下面要介紹的競爭機制實現(xiàn)的。SOM自組織神經(jīng)網(wǎng)絡共一百六十二頁 競爭學習是自組織網(wǎng)絡中最常用的一種學習策略，首先說明與之相關的幾個基本概念。1 基本概念模式、分類、聚類與相似性模式：一般當網(wǎng)絡涉及識別、分類問題時，常用輸入模式（而不稱輸入樣本）；分類：將待識別的輸入模式劃分為各自的模式類

36、中去；聚類：無導師指導的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類；相似性：輸入模式的聚類依據(jù)。2 相似性測量 神經(jīng)網(wǎng)絡的輸入模式用向量表示，比較不同模式的相似性可轉化為比較兩個(lin )向量的距離，因而可用模式向量間的距離作為聚類判據(jù)。 模式識別中常用到的兩種聚類判據(jù)是歐式最小距離法和余弦法。 一、競爭學習(xux)的概念與原理共一百六十二頁（1）歐式距離(jl)法 X和Xi 兩向量歐式距離 : 兩個模式向量的歐式距離越小，兩個模式越相似，當兩個模式完全相同時，其歐式距離為零。如果對同一類內各個模式向量間的歐式距離作出規(guī)定，不允許(ynx)超過某一最大值 T，則最大歐式距離 T 就

37、成為一種聚類判據(jù)。（2）余弦法計算兩個模式向量夾角的余弦： 兩個模式向量越接近，其類角越小，余弦越大。當兩個模式向量完全相同時，其夾角余弦為1。 若同類內各模式向量間的夾角規(guī)定不大于T，則成為一種聚類判據(jù)。余弦法適合模式向量長度相同或模式特征只與向量方向相關的相似性測量。2 相似性測量共一百六十二頁3 側抑制(yzh)與競爭 自組織網(wǎng)絡（競爭型神經(jīng)網(wǎng)絡）構成的基本思想是網(wǎng)絡的競爭層各神經(jīng)元競爭對輸入模式響應的機會，最后僅有一個神經(jīng)元成為競爭的“勝者”，這一獲勝神經(jīng)元則表示對輸入模式的識別(shbi)。體現(xiàn)了生物生神經(jīng)細胞的側抑制競爭機制。 實驗表明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側抑制現(xiàn)象，

38、即，當一個神經(jīng)細胞興奮后，會對其周圍的神經(jīng)細胞產(chǎn)生抑制作用。 這種側抑制使神經(jīng)細胞之間呈現(xiàn)出競爭，開始時可能多個細胞同時興奮，但一個興奮程度最強的神經(jīng)細胞對周圍神經(jīng)細胞的抑制作用也最強，其結果使其周圍神經(jīng)細胞興奮程度減弱，從而該神經(jīng)細胞是這次競爭的“勝者”，其它神經(jīng)細胞在競爭中失敗。共一百六十二頁 自組織網(wǎng)絡在競爭層神經(jīng)元之間的連線，它們是模擬生物神經(jīng)網(wǎng)絡層內神經(jīng)元相互抑制現(xiàn)象的權值，這類抑制性權值滿足(mnz)一定的分布關系，如距離近的抑制強，距離遠的抑制弱。 這種權值（或說側抑制關系）一般是固定的，訓練過程中不需要調整，在各類自組織網(wǎng)絡拓樸圖中一般予以省略。（不省略時，也只看成抑制關系的表

39、示，不作為網(wǎng)絡權來訓練）。最強的抑制關系是競爭獲勝者“惟我獨興”，不允許其它神經(jīng)元興奮，這種抑制方式也稱為勝者為王。3 側抑制(yzh)與競爭共一百六十二頁4 向量(xingling)歸一化 不同的向量有長短和方向區(qū)別，向量歸一化的目的是將向量變成方向不變長度為1的單位向量。單位向量進行比較(bjio)時，只需比較(bjio)向量的夾角。X向量的歸一化： 競爭學習原理（規(guī)則）競爭學習采用的規(guī)則是勝者為王，該算法可分為3個步驟。得到 ： (1)向量歸一化將自組織網(wǎng)絡中的當前輸入模式向量X和競爭層中各神經(jīng)元對應的內星權向量Wj(j=1,2,m)全部進行歸一化處理。共一百六十二頁(2)尋找(xnzh

40、o)獲勝神經(jīng)元 此式看出，欲兩單位向量的歐式距離(jl)最小，須使兩向量的點積最大。即 因此，求最小歐式距離的問題就轉化為按此式求最大點積的問題，而且權向量與輸入向量的點積正是競爭層神經(jīng)元的凈輸入。共一百六十二頁(3)網(wǎng)絡輸出(shch)與權值調整 勝者為王競爭學習算法規(guī)定，獲勝(hu shn)神經(jīng)元輸出為1，其余輸出為零。即只有獲勝神經(jīng)元才有權調整其權向量，調整后權向量為式中 為學習率，一般其值隨著學習的進展而減小?？梢钥闯?，當 時，對應神經(jīng)無的權值得不到調整，其實質是“勝者”對它們進行了強側抑制，不允許它們興奮。 應注意，歸一化后的權向量經(jīng)過調整后得到的新向量不再是單位向量，需要重新歸一化

41、。步驟（3）完成后回到步驟（1）繼續(xù)訓練，直到學習率衰減到零。 共一百六十二頁二、自組織特征(tzhng)映射（SOM）神經(jīng)網(wǎng)絡1、SOM網(wǎng)絡(wnglu)的生物學基礎 生物學研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡區(qū)域，每個功能區(qū)域完成各自的特定功能，如視覺、聽覺、語言理解和運動控制等等。 當人腦通過感官接受外界的特定時空信息時，將引起大腦皮層的特定區(qū)域興奮。每個區(qū)域有若干神經(jīng)元組成，當該區(qū)域興奮時，總是以某一個神經(jīng)元（細胞）為興奮中心，呈現(xiàn)出墨西哥帽（Mexican Hat）式興奮分布。共一百六十二頁 1981年芬蘭(fn ln)學者kohonen提出一個稱為自組織特征映射（S

42、elf Organization Feature Map-SOM或SOFM）網(wǎng)絡，前述大腦神經(jīng)細胞興奮規(guī)律等，在該網(wǎng)絡中都得到了反應。 網(wǎng)絡區(qū)域中的這種興奮與抑制規(guī)律，將依據(jù)外界輸入環(huán)境的不同，神經(jīng)元（細胞(xbo)）要靠競爭機制來決定勝負。 大腦的這種區(qū)域性結構，雖有遺傳因素，但，各區(qū)域的功能大部分是后天通過 環(huán)境的適應和學習得到的，這就是神經(jīng)網(wǎng)絡的自組織（self organization）特征.1、SOM網(wǎng)絡的生物學基礎共一百六十二頁2、 SOM網(wǎng)絡(wnglu)的拓撲結構與權值調整域2.1 拓撲(tu p)結構 SOM網(wǎng)絡共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜。輸出層模擬做出響應

43、的大腦皮層。輸出層也是競爭層，網(wǎng)絡拓撲結構形式常見有一維線陣和二維平面陣。網(wǎng)絡實現(xiàn)將任意維輸入模式在輸出層映射成一維離散圖形。共一百六十二頁網(wǎng)絡實現(xiàn)將任意維輸入模式在輸出(shch)層映射成二維離散圖形。SOM 二維平面陣結構(jigu)共一百六十二頁3、 SOM網(wǎng)絡(wnglu)的運行原理與學習算法SOM網(wǎng)絡的運行(ynxng)原理 SOM網(wǎng)絡表現(xiàn)為：網(wǎng)絡隨機輸入模式時，對某個特定的輸入模式，輸出層會有某個節(jié)點產(chǎn)生最大響應而獲勝。按生物區(qū)域神經(jīng)興奮機制，獲勝神經(jīng)元對其鄰近神經(jīng)元存在一種側抑制（競爭）機制。 SOM網(wǎng)絡的側抑制方式是：以獲勝神經(jīng)元為中心權值調整量最強，且由近及遠地逐漸遞減程度不

44、同的調整權向量直到抑制。理論上按墨西哥帽分布調整權值，但其計算上的復雜性影響了網(wǎng)絡訓練的收斂性。因此在SOM網(wǎng)的應用中常采用與墨西哥帽函數(shù)類似的簡化函數(shù)或其他一些方式（如優(yōu)勝域）。 以獲勝神經(jīng)元為中心設定一個鄰域優(yōu)勝域。優(yōu)勝鄰域內的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠近不同程度地調整權值。優(yōu)勝鄰域開始可定義得較大，但其大小隨著訓練次數(shù)的增加不斷收縮，最終收縮到半徑為零。共一百六十二頁SOM網(wǎng)絡(wnglu)的學習算法 SOM網(wǎng)絡采用的學習算法稱Kohonen算法，是在勝者為王算法基礎上加以改進而成。其主要(zhyo)區(qū)別在于調整權向量的側抑制方式不同。勝者為王算法中，獲勝神經(jīng)元對周圍神經(jīng)元的

45、抑制是“封殺”式的（只獲勝神經(jīng)調整權向量，周圍其它無權調整） 。 當輸入模式的類別改變時，獲勝節(jié)點也會改變。獲勝節(jié)點對周圍的節(jié)點因側抑制作用也產(chǎn)生較大的響應，于是，獲勝節(jié)點及其優(yōu)勝鄰域內的所有節(jié)點所連接的權向量均向輸入向量的方向作程度不同的調整。 網(wǎng)絡通過自組織方式，用大量訓練樣本調整網(wǎng)絡的權值，最后使輸出層各節(jié)點成為對特定模式類敏感的神經(jīng)元，對應的內星權向量成為各輸入模式類的中心向量。并且當兩個模式類的特征接近時，代表這兩類的節(jié)點在位置上也接近。從而，在輸出層形成能夠反映樣本模式類分布情況的有序特征圖。 Kohonen算法采用優(yōu)勝域思想，模擬生物區(qū)域神經(jīng)興奮競爭機制。3、 SOM網(wǎng)絡的運行原

46、理與學習算法共一百六十二頁Kohonen算法(sun f)（1）初始化 給定學習率初值 (0)，（0(0)1）； 確定初始優(yōu)勝（鄰）域Nj*(0)的初值；一般用半徑表示，可取競爭層陣列幅度的1/31/2,甚至可覆蓋整個競爭層。對各權向量賦隨機(su j)小數(shù)并進行歸一化，得:（2）接受輸入 從訓練集中隨機選取一個輸入模式進行歸一化處理，得: （3）尋找獲勝節(jié)點 計算 與 的點積，j=1,2,m，得到點積最大的獲勝節(jié)點j*；如若輸入模式未歸一化，可計算歐式距離，找出距離最小的為獲勝節(jié)點j*。共一百六十二頁（4）調整權值以j*為中心，對優(yōu)勝域Nj*(t)內的所有(suyu)節(jié)點調整權值：（6）更新

47、鄰域Nj*(t)及學習率(t) Nj*(t) = INT Nj*(0)(1-t/T) t當前學習次數(shù)； T預先設定的最大訓練次數(shù). (t)= (0)1-t/T網(wǎng)絡在t時刻的學習率. Nj*(t)和(t)不限于(xiny)上述形勢，也有其他形式。（5）檢查總模式數(shù)（P）是否全部參與了學習，否則返（2）Kohonen算法共一百六十二頁 Nj*(t)可以說是墨西哥帽函數(shù)的一種具體體現(xiàn)形勢，更新原則是使鄰域不斷(bdun)縮小，這樣輸出平面上相鄰神經(jīng)元對應的權向量之間既有區(qū)別又有相當?shù)南嗨菩?，從而，保證當獲勝節(jié)點對某一類模式產(chǎn)生最大響應時，其臨近節(jié)點也能產(chǎn)生較大的響應。 鄰域的形狀(xngzhun)可

48、以是圓、正方形或六邊形等。 當鄰域是半徑為d圓時,鄰域中的神經(jīng)元描述為: 若25個神經(jīng)元排列成55二維格柵拓撲結構,第13神經(jīng)的指定優(yōu)勝域半徑的區(qū)域內神經(jīng)元為:d=1d=2Kohonen算法共一百六十二頁（7）令t=t+1,返回(fnhu)步驟（2）（8）結束檢查 判斷(t) 是否(sh fu)衰減到某預定精度 或判斷 t=T.Kohonen算法共一百六十二頁Kohonen學習(xux)算法程序流程共一百六十二頁4.2.4 SOM網(wǎng)絡(wnglu)的功能SOM網(wǎng)絡的功能特點之一是：保序映射，即能將輸入空間的樣本模式(msh)類有序地映射在輸出層上。例 動物屬性特征映射1989年Kohonen給

49、出一個SOM網(wǎng)的著名應用實例，即把不同的動物按其屬性映射到二維輸出平面上，使屬性相似的動物在SOM網(wǎng)輸出平面上的位置也相近。訓練集選了16種動物，每種動物用一個29維向量來表示。前16個分量構成符號向量（不同的動物進行16取1編碼），后13個分量構成屬性向量，描述動物的13種屬性的有或無（用1或0表示）。共一百六十二頁16種動物的屬性(shxng)向量（29維向量的后13個分量） 動物屬性鴿子母雞鴨鵝貓頭鷹隼鷹狐貍狗狼貓虎獅馬斑馬牛小1111110000100000中0000001111000000大00000000000111112只腿11111110000000004只腿000000011

50、1111111毛0000000111111111蹄0000000000000111共一百六十二頁 動物屬性鴿子母雞鴨鵝貓頭鷹隼鷹狐貍狗狼貓虎獅馬斑馬牛鬃毛0000000000000110羽毛1111111000000000獵0000111101111000跑0000000011011110飛1001111000000000泳0011000000000000 SOM網(wǎng)輸出平面上有1010個神經(jīng)元，16個動物模式輪番輸入訓練，最后輸出平面呈現(xiàn)16種動物屬性特征映射(yngsh)，屬性相似的挨在一起，實現(xiàn)了特征的有序分布。16種動物(dngw)的屬性向量（29維向量的后13個分量）共一百六十二頁10

51、10神經(jīng)元X向量(xingling)（29維）前16個分量（16取1，表達動物(dngw)種類。）后13個分量（表達動物屬性）鴨鵝鴿母雞馬斑馬牛隼狼虎獅貓狗狐貓頭鷹鷹動物屬性特征映射共一百六十二頁 SOM網(wǎng)的功能特點之二是數(shù)據(jù)壓縮(sh j y su)。 將高維空間的樣本在保持拓撲結構不變的條件下投影到低維空間。如上例中輸入樣本空間為29維，通過SOM網(wǎng)后壓縮為二維平面的數(shù)據(jù)。 SOM網(wǎng)的功能特點之三是特征抽取。（規(guī)律的發(fā)現(xiàn)） 在高維模式空間，很多模式的分布具有復雜的結構，從數(shù)據(jù)觀察很難發(fā)現(xiàn)其內在規(guī)律。當通過SOM網(wǎng)映射到低維輸出空間后，其規(guī)律往往一目了然，實現(xiàn)某種特征抽取的映射。即高維空間的

52、向量經(jīng)過特征抽取后可以在低維特征空間更加清晰地表達，因此映射的意義不僅僅是單純的數(shù)據(jù)壓縮，更是一種規(guī)律發(fā)現(xiàn)。如上例29維映射到二維后，相近屬性的動物實現(xiàn)了聚類分布的特點。 SOM網(wǎng)有許多應用實例：解決旅行商最優(yōu)路經(jīng)問題，皮革外觀效果分類等。共一百六十二頁SVM支持(zhch)向量機 支持向量機(Support Vector Machine,SVM)是Corinna Cortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應用到函數(shù)擬合等其他機器學習問題中。支持向量機方法是建立在統(tǒng)計學習理論的VC維理論和結構風險最小原理基礎(jc

53、h)上的，根據(jù)有限的樣本信息在模型的復雜性（即對特定訓練樣本的學習精度）和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以求獲得最好的推廣能力 。共一百六十二頁SVM支持(zhch)向量機 SVM有如下主要幾個特點：(1)非線性映射是SVM方法的理論基礎,SVM利用內積核函數(shù)代替向高維空間的非線性映射；(2)對特征空間劃分的最優(yōu)超平面是SVM的目標,最大化分類邊際的思想是SVM方法的核心；(3)支持向量是SVM的訓練結果,在SVM分類決策中起決定作用的是支持向量。(4)SVM 是一種有堅實理論基礎的新穎的小樣本學習(xux)方法。它基本上不涉及概率測度及大數(shù)定律等,因此不同于現(xiàn)有的

54、統(tǒng)計方法。從本質上看,它避開了從歸納到演繹的傳統(tǒng)過程,實現(xiàn)了高效的從訓練樣本到預報樣本的“轉導推理”,大大簡化了通常的分類和回歸等問題。共一百六十二頁SVM支持(zhch)向量機 (5)SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定,計算的復雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災難”。(6)少數(shù)支持向量決定了最終結果(ji gu),這不但可以幫助我們抓住關鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡單,而且具有較好的“魯棒”性。這種“魯棒”性主要體現(xiàn)在:增、刪非支持向量樣本對模型沒有影響;支持向量樣本集具有一定的魯棒性;有些成功的應用中,SVM

55、 方法對核的選取不敏感共一百六十二頁SVM支持(zhch)向量機線性分類器 假定大小為n 的訓練樣本集(xi,yi), i=,n ,由二類別組成, 如果xiRd屬于第1類標記為正(yi=1),如果屬于第2類,則標記為負（yi=-1). 學習(xux)的目標是構造一判別函數(shù),將檢測數(shù)據(jù)據(jù)盡可能正確地分類. 針對訓練樣本集為線性和非線性兩種情況分別討論.共一百六十二頁支持(zhch)向量機分類器SVM線性可分情況先考慮二維情況下的線性可分的兩類樣本(,),如圖所示,存在很多條可能的分類線能夠將訓練樣本分開。顯然分類線a最好，因為它更遠離每一類樣本，風險小。而其他的分類線離樣本較近，只要樣本有較小的

56、變化，將會導致錯誤的分類結果。因此分類線a是代表一個最優(yōu)的線性分類器。所謂最優(yōu)分類線就是要求分類線不但能將兩類無誤地分開，而且要使兩類的分類間隔最大。圖中H是最優(yōu)分類線，H1和H2分別為過各類樣本中離分類線最近的點且平行于分類線的直線，H1和H2之間的距離叫做兩類的分類空隙或者分類間隔(margin)。將二維推廣(tugung)到高維，最優(yōu)分類線就成為最優(yōu)分類超平面。abcHH1H2共一百六十二頁SVM線性分類器線性可分情況設線性可分樣本集為(xi,yi), i=1,2,n, xRd, y+1,-1是類別號。d維空間中線性判別函數(shù)的一般形式(xngsh)為g(x)=wTx+b，則分類超平面方程

57、為： wTx+b0其中，w為分類超平面的法線，是可調的權值向量；b為偏置，決定相對原點的位置。當兩類樣本是線性可分時，滿足條件：(wTxi)+b+1yi =+1(wTxi)+b-1yi = -1共一百六十二頁Z1線性可分情況如果(rgu)存在分類超平面使得(sh de) g(x)=wTx+b=0,wTx+b=012SVM線性分類器共一百六十二頁點到平面(pngmin)的距離 由于w是可以按比例改變的，因此可以縮放w 和b使得在1類 g(x)=1,和2類 g(x)= -1，可以用方程(fngchng)表示為 1、 存在一個間隔 ， 滿足 2、 要求滿足SVM線性分類器g(x)=1和 g(x)=

58、-1兩條直線間的距離共一百六十二頁 下面是數(shù)學計算問題，對于(duy)每一個xi, yi（對于1為+1,對于2為-1）表示相應類的標識器。要使間隔 2/|w|最大，實際上就是要|w|最小，即這是一個滿足一系列線性不等式條件的非線性（二次方程）最優(yōu)化問題。采用(ciyng)拉格朗日函數(shù)SVM線性分類器共一百六十二頁根據(jù)Karushi-Kuhn-Tucker條件以上(yshng)最小化問題滿足以下條件： = 1, 2, NT是拉格朗日乘子組成(z chn)的向量。 SVM線性分類器共一百六十二頁這里(zhl) 可以看出采用|w|2平方的好處(ho chu)，可以將|w|變化成wTw,便于求導運算。

59、數(shù)對向量的導數(shù) (wTw)=2w通過L-函數(shù)對w求導計算得SVM線性分類器通過L-函數(shù)對b求導計算得共一百六十二頁拉格朗日乘子只能為0或正數(shù)，所以具有最優(yōu)解的向量(xingling)參數(shù)w是Ns=N 個特征向量的線性組合，即其中 i 不為0向量的線性組合這些i 不為0所對應的向量 xi 就是支持向量，這也是支持向量機的由來，這些向量點就是取得最大間隔(jin g)分類兩個超平面上的點。兩個超平面任何一方的支持向量滿足：SVM線性分類器共一百六十二頁前面我們(w men)通過拉格朗日函數(shù)對w 和b求導得到兩個約束:把這兩個等式和拉格朗日函數(shù)結合起來(q li)，可以把w帶入拉格朗日函數(shù) L,SV

60、M線性分類器共一百六十二頁SVM 線性分類器共一百六十二頁現(xiàn)在(xinzi)求拉格朗日乘子 i 就是求凸函數(shù) L 的最大值，即條件(tiojin)約束 SVM 線性分類器共一百六十二頁 i為與每個樣本對應的L agrange 乘子. 這是一個不等式約束下二次函數(shù)尋優(yōu)的問題, 存在唯一解。 容易證明, 解中將只有一部分(通常是少部分) i 不為零, 對應的樣本就是支持向量. 解上述(shngsh)問題后得到的最優(yōu)分類函數(shù)是.式中的求和實際上只對支持向量進行. b* 是分類(fn li)閾值, 可以用任一個支持向量滿足下式中的等號 求得, 或通過兩類中任意一對支持向量取中值求得SVM 線性分類器共