人工神經(jīng)網(wǎng)絡(luò)SVM深學(xué)習(xí)簡介第1頁/共59頁

以馮·諾依曼型計算機為中心的信息處理技術(shù)的高速發(fā)展，使得計算機在當今的信息化社會中起著十分重要的作用。但是，當用它來解決某些人工智能問題時卻遇到了很大的困難。例如，一個人可以很容易地識別他人的臉孔，但計算機則很難做到這一點。大腦是由生物神經(jīng)元構(gòu)成的巨型網(wǎng)絡(luò)，它在本質(zhì)上不同于計算機，是一種大規(guī)模的并行處理系統(tǒng)，它具有學(xué)習(xí)、聯(lián)想記憶、綜合等能力，并有巧妙的信息處理方法。

人工神經(jīng)網(wǎng)絡(luò)來源于對人腦實際神經(jīng)網(wǎng)絡(luò)的模擬一、神經(jīng)網(wǎng)絡(luò)發(fā)展歷史１．背景知識第2頁/共59頁人腦和CPU第3頁/共59頁神經(jīng)細胞利用電-化學(xué)過程交換信號。輸入信號來自另一些神經(jīng)細胞。這些神經(jīng)細胞的軸突末梢（也就是終端）和本神經(jīng)細胞的樹突相遇形成突觸（synapse），信號就從樹突上的突觸進入本細胞。信號在大腦中實際怎樣傳輸是一個相當復(fù)雜的過程，但就我們而言，重要的是把它看成和現(xiàn)代的計算機一樣，利用一系列的0和1來進行操作。就是說，大腦的神經(jīng)細胞也只有兩種狀態(tài)：興奮（fire）和不興奮（即抑制）。發(fā)射信號的強度不變，變化的僅僅是頻率。神經(jīng)細胞利用一種我們還不知道的方法,把所有從樹突上突觸進來的信號進行相加，如果全部信號的總和超過某個閥值，就會激發(fā)神經(jīng)細胞進入興奮（fire）狀態(tài)，這時就會有一個電信號通過軸突發(fā)送出去給其他神經(jīng)細胞。如果信號總和沒有達到閥值，神經(jīng)細胞就不會興奮起來。第4頁/共59頁人腦和CPU

動物

神經(jīng)細胞的數(shù)目（數(shù)量級）

蝸牛

10,000（=10^4）

蜜蜂

100,000（=10^5）

蜂雀

10,000,000（=10^7）

老鼠

100,000,000（=10^8）

人類

10,000,000,000（=10^10）

大象

100,000,000,000（=10^11）第5頁/共59頁人腦和CPUCPU只具備一個功能就是二進制加法運算第6頁/共59頁人腦的特點對損傷有冗余性(tolerance)能實現(xiàn)無監(jiān)督的學(xué)習(xí)處理信息的效率極高善于歸納推廣CPUi73.0Ghz，4個核人腦100hz，10G個核第7頁/共59頁人工神經(jīng)網(wǎng)絡(luò)一個人工神經(jīng)網(wǎng)絡(luò)(Artificialneuralnetwork,簡稱ANN)就是要在當代數(shù)字計算機現(xiàn)有規(guī)模的約束下，來模擬這種大量的并行性,并在實現(xiàn)這一工作時，使它能顯示許多和生物學(xué)大腦相類似的特性。第8頁/共59頁

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwroks，簡稱ANN）是對人類大腦系統(tǒng)的一種仿真，簡單地講，它是一個數(shù)學(xué)模型，可以用電子線路來實現(xiàn)，也可以用計算機程序來模擬，是人工智能研究的一種方法。

實際上它是由大量的、功能比較簡單的形式神經(jīng)元互相連接而構(gòu)成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，用它可以模擬大腦的許多基本功能和簡單的思維方式。盡管它還不是大腦的完美元缺的模型，但它可以通過學(xué)習(xí)來獲取外部的知識并存貯在網(wǎng)絡(luò)內(nèi)，可以解決計算機不易處理的難題，特別是語音和圖像的識別、理解、知識的處理、組合優(yōu)化計算和智能控制等一系列本質(zhì)上是非計算的問題。

2．什么是人工神經(jīng)網(wǎng)絡(luò)第9頁/共59頁1943年,美國心理學(xué)家W.McCulloch和數(shù)學(xué)家W.Pitts在提出了一個簡單的神經(jīng)元模型，即MP模型。1958年，F(xiàn).Rosenblatt等研制出了感知機(Perceptron）。3．幾個發(fā)展階段

第一次熱潮(40-60年代未)1982年，美國物理學(xué)家J.J.Hopfield提出Hopfield模型，它是一個互聯(lián)的非線性動力學(xué)網(wǎng)絡(luò)他解決問題的方法是一種反復(fù)運算的動態(tài)過程,這是符號邏輯處理方法所不具備的性質(zhì).1987年首屆國際ANN大會在圣地亞哥召開，國際ANN聯(lián)合會成立，創(chuàng)辦了多種ANN國際刊物。1990年12月，北京召開首屆學(xué)術(shù)會議。

低潮(70-80年代初)

第二次熱潮

第三次熱潮GPU大數(shù)據(jù)新方法深度學(xué)習(xí)理論第10頁/共59頁學(xué)習(xí)的類型第11頁/共59頁人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元模型x1…xn表示與該神經(jīng)元相連接的所有神經(jīng)元的輸入（出）w1…wn表示與相連接神經(jīng)元的突觸強度（連接權(quán)）θ表示神經(jīng)元的（電壓）閾值。f()表示激勵函數(shù),單調(diào)上升函數(shù)，且取有限值神經(jīng)元電位值：神經(jīng)元的輸出值：y=f(s)Σf()...ys第12頁/共59頁人工神經(jīng)網(wǎng)絡(luò)激勵函數(shù)的基本作用控制輸入對輸出的激活；對輸入、輸出進行函數(shù)轉(zhuǎn)換；將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。激勵函數(shù)類型閾值函數(shù)線性函數(shù)非線性函數(shù)Sigmoid函數(shù)第13頁/共59頁人工神經(jīng)網(wǎng)絡(luò)Sigmoid函數(shù)就是把神經(jīng)細胞原有的階躍式輸出曲線鈍化為一光滑曲線S型函數(shù)具有非線性放大系數(shù)功能，可以把輸入從負無窮大到正無窮大的信號，變換成-1到l之間輸出對較大的輸入信號，放大系數(shù)較??；而對較小的輸入信號，放大系數(shù)則較大采用S型激活函數(shù)可以處理和逼近非線性輸入/輸出關(guān)系第14頁/共59頁BP神經(jīng)網(wǎng)絡(luò)第15頁/共59頁BP神經(jīng)網(wǎng)絡(luò)計算第16頁/共59頁BP神經(jīng)網(wǎng)絡(luò)Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(BackPropagation)學(xué)習(xí)算法BP神經(jīng)網(wǎng)絡(luò)是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。J.McClelland

DavidRumelhart

第17頁/共59頁學(xué)習(xí)規(guī)則BP算法屬于δ算法，是一種監(jiān)督式的學(xué)習(xí)算法主要思想對于q個輸入學(xué)習(xí)樣本：P1,P2,…,Pq，已知與其對應(yīng)的輸出樣本為：T1,T2,…,Tq使網(wǎng)絡(luò)輸出層的誤差平方和達到最小用網(wǎng)絡(luò)的實際輸出A1,A2,…,Aq,與目標矢量T1,T2,…,Tq之間的誤差修改其權(quán)值，使Am與期望的Tm,(m＝l,…,q)盡可能接近2023/3/518第18頁/共59頁學(xué)習(xí)規(guī)則BP算法是由兩部分組成,信息的正向傳遞與誤差的反向傳播正向傳播過程中，輸入信息從輸入層經(jīng)隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)如果在輸出層未得到期望的輸出，則計算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號沿原來的連接通路反傳回來修改各層神經(jīng)元的權(quán)值直至達到期望目標2023/3/519第19頁/共59頁第20頁/共59頁一般認為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻認為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時間和出現(xiàn)“過擬合”現(xiàn)象。Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個存在性結(jié)論。在設(shè)計BP網(wǎng)絡(luò)時可參考這一點，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個隱層）。一般地，靠增加隱層節(jié)點數(shù)來獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實現(xiàn)。隱層數(shù)多少隱層數(shù)才合適？第21頁/共59頁

隱層節(jié)點數(shù)在BP網(wǎng)絡(luò)中，隱層節(jié)點數(shù)的選擇非常重要，它不僅對建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時出現(xiàn)“過擬合”的直接原因，但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。目前多數(shù)文獻中提出的確定隱層節(jié)點數(shù)的計算公式都是針對訓(xùn)練樣本任意多的情況。事實上，各種計算公式得到的隱層節(jié)點數(shù)有時相差幾倍甚至上百倍。確定隱層節(jié)點數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點數(shù)。研究表明，隱層節(jié)點數(shù)不僅與輸入/輸出層的節(jié)點數(shù)有關(guān)，更與需解決的問題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的型式以及樣本數(shù)據(jù)的特性等因素有關(guān)。第22頁/共59頁應(yīng)用實例第23頁/共59頁net=newff(A,B,{C},’trainfun’)Matlab命令A(yù)是一個n×2的矩陣，第i行元素為輸入信號xi的最小值和最大值；

參數(shù)說明B為一k維行向量，其元素為各隱層節(jié)點數(shù)；trainfun為學(xué)習(xí)規(guī)則采用的訓(xùn)練函數(shù)（常見訓(xùn)練函數(shù)如下表）。C為一k維字符串行向量，每一分量為對應(yīng)層神經(jīng)元的激勵函數(shù)；第24頁/共59頁函數(shù)名功能函數(shù)名traingd梯度下降法traincgftraingdm勢能修正法traincgptraingdx自調(diào)整學(xué)習(xí)效率法traincgbtrainrp恢復(fù)BP法trainscgFR共軛梯度法trainbfgBFGS擬牛頓法PR共軛梯度法trainoss一步共軛+擬牛頓PB共軛梯度法trainlmLM法標量共軛梯度法trainbrBayesian規(guī)范法2.

常見訓(xùn)練函數(shù)第25頁/共59頁MATLAB中激勵函數(shù)為其字符串分別為：’logsig’，’tansig’，’purelin’3.

激勵函數(shù)第26頁/共59頁

除了需要輸入A,B,{C},’trainfun’外，還有些默認的參數(shù)可修改，如下表4.

可修改參數(shù)參數(shù)名功能缺省值net.trainParam.goal目標函數(shù)設(shè)定值0net.trainParam.epochs最大迭代次數(shù)100net.trainParam.show顯示中間結(jié)果的周期25net.trainParam.lr整批學(xué)習(xí)的學(xué)習(xí)效率0.01net.trainParam.mc勢能學(xué)習(xí)規(guī)則traingdm的勢能率0.9注：不同版本Matlab的可修改參數(shù)列表可能不同。第27頁/共59頁

[net,tr,Y1,E]=train(net,X,Y)5.

BP網(wǎng)絡(luò)的訓(xùn)練與泛化

網(wǎng)絡(luò)訓(xùn)練訓(xùn)練跟蹤信息訓(xùn)練后網(wǎng)絡(luò)網(wǎng)絡(luò)實際輸出誤差矩陣網(wǎng)絡(luò)訓(xùn)練函數(shù)未經(jīng)訓(xùn)練網(wǎng)絡(luò)網(wǎng)絡(luò)實際輸入網(wǎng)絡(luò)應(yīng)有輸出X為n×M矩陣，為輸入數(shù)據(jù)矩陣，M為樣本的組數(shù)。Y為m×M矩陣，為輸出數(shù)據(jù)矩陣。第28頁/共59頁

訓(xùn)練結(jié)束后，對新的輸入點數(shù)據(jù)X2，調(diào)用sim函數(shù)進行泛化，得出這些輸入點處的輸出矩陣Y2.

數(shù)據(jù)泛化Y2=sim(net,X2)

用經(jīng)過訓(xùn)練的網(wǎng)絡(luò)對于不是樣本集的輸入，計算出相應(yīng)的輸出。什么是數(shù)據(jù)泛化？第29頁/共59頁例1

由下面的語句生成一組數(shù)據(jù)x和y，用神經(jīng)網(wǎng)絡(luò)進行數(shù)據(jù)擬合

x=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);可知(x,

y)是曲線上的點。x=0:.1:10;y=0.12*exp(-0.213*x)+0.54*exp(-0.17*x).*sin(1.23*x);net=newff([0,10],[5,1],{'tansig','tansig'});net.trainParam.epochs=1000;net=train(net,x,y);x0=0.05:.1:10;figure(1)y1=sim(net,x0);plot(x,y,'o',x0,y1,'r')第30頁/共59頁實例.蠓蟲分類問題的神經(jīng)網(wǎng)絡(luò)方法

（1989年MCM競賽題目

）生物學(xué)家試圖對兩種蠓蟲（Af與Apf）進行鑒別，依據(jù)的資料是觸角和翅膀的長度，已經(jīng)測得9只Af和6只Apf的數(shù)據(jù)如下：

9只Af觸角長：1.241.361.381.381.381.401.481.541.56翅膀長：1.721.741.641.821.901.701.821.822.086只Apf觸角長：1.141.181.201.261.281.30翅膀長：1.781.961.862.002.001.96問題：（1）如何憑借原始資料(15對數(shù)據(jù),被稱之為學(xué)習(xí)樣本)制定一種方法,正確區(qū)分兩類蠓蟲;

（2）依據(jù)確立的方法,對以下三個樣本：

(1.24,1.80)，(1.28,1.84)，(1.40,2.04)加以識別

第31頁/共59頁解法一：建立兩層前向神經(jīng)網(wǎng)絡(luò)如下：

隱層節(jié)點可適量選取（沒有具體標準）。X=為輸入矩陣，x1對應(yīng)于觸角長，x2對應(yīng)于翅膀長。Y=為輸出矩陣規(guī)定Af對應(yīng)的應(yīng)有輸出為，Apf對應(yīng)的應(yīng)有輸出為

輸入層隱層輸出層第32頁/共59頁以上神經(jīng)網(wǎng)絡(luò)模型的MATLAB程序如下：

x=[1.241.361.381.381.381.401.481.541.561.141.181.201.261.281.301.721.741.641.821.901.701.821.822.081.781.961.862.002.001.96];

%原始數(shù)據(jù)x=x-1.1;%數(shù)據(jù)標準化y=[000000000111111;

111111111000000];%應(yīng)有的輸出net=newff([0,1;01],[5,2],{'tansig','tansig'});

%建立兩層前向神經(jīng)網(wǎng)絡(luò)%net.trainParam.goal=0.0000001;%設(shè)定訓(xùn)練誤差net.trainParam.epochs=2000;%設(shè)定最大訓(xùn)練步數(shù)net=train(net,x,y);%訓(xùn)練網(wǎng)絡(luò)y1=sim(net,x)%輸出數(shù)據(jù)yy=sim(net,[1.241.281.40;1.801.842.04])%數(shù)據(jù)泛化第33頁/共59頁underfittingoverfittinggoodfit神經(jīng)網(wǎng)絡(luò)的問題1需要大樣本2隱層的個數(shù)無公式3整個計算過程過于模糊，很容易陷入局部最優(yōu)導(dǎo)致欠擬合或者過擬合第34頁/共59頁SVM的理論基礎(chǔ)傳統(tǒng)的統(tǒng)計模式識別方法只有在樣本趨向無窮大時，其性能才有理論的保證。統(tǒng)計學(xué)習(xí)理論（STL）研究有限樣本情況下的機器學(xué)習(xí)問題。SVM的理論基礎(chǔ)就是統(tǒng)計學(xué)習(xí)理論。傳統(tǒng)的統(tǒng)計模式識別方法在進行機器學(xué)習(xí)時，強調(diào)經(jīng)驗風(fēng)險最小化。而單純的經(jīng)驗風(fēng)險最小化會產(chǎn)生“過學(xué)習(xí)問題”，其推廣能力較差。推廣能力是指:將學(xué)習(xí)機器(即預(yù)測函數(shù),或稱學(xué)習(xí)函數(shù)、學(xué)習(xí)模型)對未來輸出進行正確預(yù)測的能力。第35頁/共59頁SVM根據(jù)統(tǒng)計學(xué)習(xí)理論，學(xué)習(xí)機器的實際風(fēng)險由經(jīng)驗風(fēng)險值和置信范圍值兩部分組成。而基于經(jīng)驗風(fēng)險最小化準則的學(xué)習(xí)方法只強調(diào)了訓(xùn)練樣本的經(jīng)驗風(fēng)險最小誤差，沒有最小化置信范圍值，因此其推廣能力較差。Vapnik提出的支持向量機（SupportVectorMachine,SVM）以訓(xùn)練誤差作為優(yōu)化問題的約束條件，以置信范圍值最小化作為優(yōu)化目標，即SVM是一種基于結(jié)構(gòu)風(fēng)險最小化準則的學(xué)習(xí)方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法。形成時期在1992—1995年。

第36頁/共59頁線性判別函數(shù)和判別面一個線性判別函數(shù)(discriminantfunction)是指由x的各個分量的線性組合而成的函數(shù)

兩類情況:對于兩類問題的決策規(guī)則為如果g(x)>0，則判定x屬于C1，如果g(x)<0，則判定x屬于C2，如果g(x)=0，則可以將x任意分到某一類或者拒絕判定。

第37頁/共59頁最優(yōu)分類面

SVM是從線性可分情況下的最優(yōu)分類面發(fā)展而來的,基本思想可用圖2的兩維情況說明.

圖中,方形點和圓形點代表兩類樣本,H為分類線,H1,H2分別為過各類中離分類線最近的樣本且平行于分類線的直線,它們之間的距離叫做分類間隔(margin)。

所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(訓(xùn)練錯誤率為0),而且使分類間隔最大.推廣到高維空間，最優(yōu)分類線就變?yōu)樽顑?yōu)分類面。

第38頁/共59頁分類超平面示意圖

最優(yōu)分類超平面圖

兩類樣本中離分類面最近的點且平行于最優(yōu)分類超平面的樣本點叫做支持向量。

第39頁/共59頁非線性變換基本思想：選擇非線性映射Φ(X)將x映射到高維特征空間Z，在Z中構(gòu)造最優(yōu)超平面第40頁/共59頁SVM方法的特點①

非線性映射是SVM方法的理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射;②

對特征空間劃分的最優(yōu)超平面是SVM的目標,最大化分類邊際的思想是SVM方法的核心;③

支持向量是SVM的訓(xùn)練結(jié)果,在SVM分類決策中起決定作用的是支持向量。

SVM是一種有堅實理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。它基本上不涉及概率測度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計方法。從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報樣本的“轉(zhuǎn)導(dǎo)推理”(transductiveinference),大大簡化了通常的分類和回歸等問題。第41頁/共59頁SVM方法的特點SVM的最終決策函數(shù)只由少數(shù)的支持向量所確定,計算的復(fù)雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災(zāi)難”。

少數(shù)支持向量決定了最終結(jié)果,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡單,而且具有較好的“魯棒”性。這種“魯棒”性主要體現(xiàn)在:①增、刪非支持向量樣本對模型沒有影響;②支持向量樣本集具有一定的魯棒性;③有些成功的應(yīng)用中,SVM方法對核的選取不敏感。第42頁/共59頁深度學(xué)習(xí)第43頁/共59頁淺層學(xué)習(xí)是機器學(xué)習(xí)的第一次浪潮人工神經(jīng)網(wǎng)絡(luò)（BP算法）—雖被稱作多層感知機，但實際是種只含有一層隱層節(jié)點的淺層模型SVM、Boosting、最大熵方法（如LR，LogisticRegression）—帶有一層隱層節(jié)點（如SVM、Boosting），或沒有隱層節(jié)點（如LR）的淺層模型局限性：有限樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受限?；靖拍顪\層學(xué)習(xí)與深度學(xué)習(xí)第44頁/共59頁2006年，加拿大多倫多大學(xué)教授、機器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton在《科學(xué)》上發(fā)表論文提出深度學(xué)習(xí)主要觀點：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習(xí)實現(xiàn)的?；靖拍畹?5頁/共59頁深度學(xué)習(xí)：深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示深度神經(jīng)網(wǎng)絡(luò)：含有多個隱層的神經(jīng)網(wǎng)絡(luò)基本概念第46頁/共59頁1981年的諾貝爾醫(yī)學(xué)獎獲得者