神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第1頁(yè)圖像特征計(jì)算機(jī)圖像是由一定數(shù)量點(diǎn)陣像素組成。如上所表示，我們看到是一輛車，但實(shí)際上計(jì)算機(jī)了解是一個(gè)由各像素點(diǎn)灰度值組成矩陣，它并不能直接了解“這是一輛車”。我們需要將“這是一輛車”這個(gè)事實(shí)用完全邏輯化語(yǔ)言描述出來(lái)，讓計(jì)算機(jī)建立一個(gè)函數(shù)，這個(gè)矩陣自變量x所對(duì)應(yīng)結(jié)果因變量y就是“車”。難度可想而知。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第2頁(yè)我們先看一個(gè)簡(jiǎn)單例子。一個(gè)數(shù)字9，我們?cè)鯓用枋鏊螤?？現(xiàn)在有這么一個(gè)描述方法：這個(gè)數(shù)字上半部分是一個(gè)圓，下半部分是靠右一撇。用數(shù)學(xué)語(yǔ)言表示就是，上半部分能夠以方程x12+y12=r12(r1>0)擬合，下半部分能以x22+y22=r22(x2<0,y2<0,r2>0)擬合，那么就能說(shuō)明這個(gè)圖形極有可能是數(shù)字9。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第3頁(yè)特征：用來(lái)描述一個(gè)對(duì)象詳細(xì)表現(xiàn)形式邏輯語(yǔ)言。如前頁(yè)所述，“上半部分是圓，下半部分是靠右一撇”就是數(shù)字9形狀特征。特征是組成一個(gè)對(duì)象必要但不充分條件，因?yàn)橐粋€(gè)對(duì)象是由無(wú)數(shù)個(gè)特征組成，在有限數(shù)量特征里，我們永遠(yuǎn)只能預(yù)估該對(duì)象，而不能100%確定該對(duì)象終究是什么。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第4頁(yè)經(jīng)典圖像特征之——Haar特征思索：我們一眼就能看出來(lái)這幅圖像上有一棟房子。但任何一幅圖像都是由一定數(shù)量像素點(diǎn)組成，我們是怎么從這些單純像素點(diǎn)里發(fā)覺(jué)了房子呢？這個(gè)問(wèn)題還能夠換一個(gè)問(wèn)法：我們?cè)趺粗酪环鶊D像中是有前景對(duì)象，對(duì)于一張純色畫(huà)布，我們?yōu)楹螣o(wú)法發(fā)覺(jué)任何對(duì)象？神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第5頁(yè)這包括到一個(gè)現(xiàn)象：顏色突變。上圖所圈出區(qū)域中，都是顏色改變較大區(qū)域。而我們就會(huì)自然地認(rèn)為，這是物體邊緣，而由封閉邊緣組成區(qū)域就是物體。不但是房子這個(gè)整體，房子里門、窗戶等元素我們都能發(fā)覺(jué)，而原因自然也是顏色突變。思索：人能看見(jiàn)絕對(duì)透明（100%透明）玻璃嗎？神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第6頁(yè)我們定義一個(gè)形狀時(shí)候，本質(zhì)上就是在定義其產(chǎn)生顏色突變像素點(diǎn)大致相對(duì)位置。比如圓，在一個(gè)直角坐標(biāo)系圖象上上，存在全部滿足(x-a)2+(y-b)2=r2條件坐標(biāo)點(diǎn)某個(gè)小鄰域內(nèi)有較大顏色突變，那么這幅圖像上就有一個(gè)圓形狀。左上方是一幅色盲測(cè)試圖，不色盲朋友都能看到左下角有一個(gè)藍(lán)色圓，而且是一個(gè)空心圓。思索：我們?cè)撛鯓佑妙伾蛔兎绞蕉x一輛車？（先不考慮前身后身等復(fù)雜情況，假設(shè)全部車都是像左下列圖這么固定角度）神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第7頁(yè)Haar特征：對(duì)大量同類圖像樣本進(jìn)行學(xué)習(xí)，找出這些圖像全部產(chǎn)生了顏色突變相對(duì)坐標(biāo)位置，將這些同類圖片作為正樣本，同時(shí)給出不屬于該類，遠(yuǎn)多于同類圖片負(fù)樣本，讓機(jī)器對(duì)這些樣本進(jìn)行學(xué)習(xí)，并最終生成一個(gè)對(duì)象識(shí)別模型，用來(lái)正確尋找一幅圖像中你所需要尋找元素。所以，Haar特征廣義上來(lái)說(shuō)就是圖像形狀特征。Haar特征對(duì)于鄰域要求有三種：邊緣特征、中心特征、對(duì)角線特征，其中邊緣特征又分橫向和縱向。經(jīng)過(guò)計(jì)算白色區(qū)域像素亮度和與黑色區(qū)域像素亮度和之差來(lái)反應(yīng)圖像顏色突變區(qū)域，即邊緣區(qū)域。尤其地，對(duì)于C模型，需要將黑色區(qū)域乘以2作為其像素亮度和。

神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第8頁(yè)Haar特征實(shí)例——人臉檢測(cè)我們用OpenCV中一個(gè)訓(xùn)練得很好人臉檢測(cè)Haar模型，對(duì)一張照片進(jìn)行人臉檢測(cè)。結(jié)果如上。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第9頁(yè)Haar特征不足之處Haar特征本質(zhì)上是檢測(cè)圖像中顏色突變，所以對(duì)圖像形狀較為敏感，同時(shí)對(duì)其它特征（如顏色等）敏感度較低。而且Haar只適合用于剛性運(yùn)動(dòng)物體檢測(cè)，而不適合用于物體精細(xì)化識(shí)別。人臉檢測(cè)和人臉識(shí)別難度上完全不是一個(gè)數(shù)量級(jí)。實(shí)際上，任何一個(gè)單一圖像特征都是不全方面，是不能適應(yīng)全部場(chǎng)景。其實(shí)，圖像本身只是由像素點(diǎn)組成，圖像特征那是我們?nèi)藶檎沓鰜?lái)，嚴(yán)格地說(shuō)它并不屬于圖像一部分。那我們能不能從圖像像素點(diǎn)本身來(lái)尋找一些算法呢？神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第10頁(yè)最基本決議模型——感知器生活中我們經(jīng)常要對(duì)一些事情做出決議。但不論我們最終選擇了什么，都一定是有原因，而且原因往往不止一個(gè)?，F(xiàn)在我們來(lái)玩一個(gè)情景游戲。假如周末企業(yè)組織員工外出旅游，你是去還是不去呢？這是一個(gè)最簡(jiǎn)單感知器，最終止果只有兩種，Yes和No。只是，結(jié)果即使簡(jiǎn)單，不過(guò)你會(huì)考慮很多原因，最終決定結(jié)果。假設(shè)你考慮以下三個(gè)原因：A.天氣怎樣；B.可否帶搭檔一起去；C.費(fèi)用、伙食、旅館等條件是否符合個(gè)人預(yù)期。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第11頁(yè)假設(shè)你是這么想：和同事一塊出去玩，是極難得一件事，能帶搭檔一起去那是錦上添花，不能也沒(méi)關(guān)系；但天氣是挺主要，陰雨綿綿玩得不開(kāi)心；旅館嘛，這么多人一起，不會(huì)太好，但也不會(huì)太差，最主要是享受。那么這時(shí)候，你決議就和當(dāng)?shù)靥鞖馕ㄒ幌嚓P(guān)，其它兩個(gè)原因沒(méi)有任何影響。感知器本質(zhì)就是對(duì)各個(gè)輸入量加權(quán)和進(jìn)行分析，做出YesorNo決議模型。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第12頁(yè)上述你考慮三個(gè)原因能夠作為感知器三個(gè)輸入量x1,x2,x3，并設(shè)主動(dòng)結(jié)果為1，消極結(jié)果為0。三者都有對(duì)應(yīng)權(quán)重量w1,w2,w3?，F(xiàn)計(jì)算它們加權(quán)和w1x1+w2x2+w3x3，同時(shí)加上一個(gè)偏差值b。若其為正（大于0），則最終回答是Yes，不然（小于或等于0）回答No。假如你想法如前所述，那么你感知器模型能夠是這么：w1=6,w2=2,w3=2,b=-5，即判斷6x1+2x2+3x2–5正負(fù)。在全部輸入量均只能取0和1前提下，我們能夠很顯著地看到，唯獨(dú)當(dāng)x1=1時(shí)，結(jié)果才為正，即決議為Yes，只要x1=0，決議就必定為No。思索：若將b改為-3，其它權(quán)重量不變，那么決議會(huì)變成什么樣？神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第13頁(yè)較為復(fù)雜感知器——多層感知器《非誠(chéng)勿擾》，一個(gè)非常流行電視節(jié)目。男嘉賓上臺(tái)后，在場(chǎng)女嘉賓首先給男嘉賓打印象分，然后經(jīng)過(guò)前后播放多個(gè)不一樣AVR以及各種提問(wèn)對(duì)【自己是否愿意跟男嘉賓走】這個(gè)問(wèn)題給出回答。點(diǎn)評(píng)：很多事情決議，并不是評(píng)定多個(gè)彼此獨(dú)立條件，往往某個(gè)條件是和之前一些條件相關(guān)。比如上面這個(gè)案例，第一印象好壞算作感知器輸入量x1，只有當(dāng)它等于1時(shí)，后面輸入量才有意義。但也不是它等于1就一定表示最終結(jié)果是Yes，還需要分析其它輸入量才能得出最終止果。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第14頁(yè)那么，這種經(jīng)過(guò)多層判斷，得出最終止果感知器，就叫多層感知器。以下列圖所表示，是一個(gè)雙層感知器，第二層神經(jīng)元決議是跟第一層決議相關(guān)。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第15頁(yè)其實(shí)，本質(zhì)上來(lái)講，多層感知器也一樣能夠展開(kāi)成單層感知器，任何一個(gè)決議都是能夠用標(biāo)準(zhǔn)與或式來(lái)表示。而感知器本質(zhì)恰恰就是邏輯電路。那么感知器和邏輯電路二者區(qū)分是什么呢？?jī)蓚€(gè)字：學(xué)習(xí)。感知器能夠經(jīng)過(guò)給定數(shù)據(jù)，經(jīng)過(guò)一定算法來(lái)學(xué)習(xí)各個(gè)輸入量權(quán)重，以及全局偏差值。而這是已經(jīng)固定成型邏輯電路所做不到。多層感知器存在，也是為了建立一個(gè)符合常規(guī)思索方式學(xué)習(xí)模型而存在，展開(kāi)成單層感知器后，學(xué)習(xí)目標(biāo)不顯著，學(xué)習(xí)效果會(huì)下降。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第16頁(yè)學(xué)習(xí)是靠要大量樣本積累。每一個(gè)樣本都有一定數(shù)量輸入量（考查條件）和一個(gè)理想輸出值（理應(yīng)如此），無(wú)須給出各輸入量權(quán)重以及最終偏差值，機(jī)器經(jīng)過(guò)不停自我調(diào)整尋找這些量，使得盡可能多樣本匹配上其理想輸出值。（注：有時(shí)候樣本之間可能會(huì)因?yàn)楦鞣N原因出現(xiàn)矛盾理想輸出值，所以不能確保全部樣本都匹配）不過(guò)這里有一個(gè)問(wèn)題，我們當(dāng)前決議是非此即彼，非常機(jī)械化決議。比如一個(gè)數(shù)字9，假如下方那一撇寫(xiě)得不彎，變成了一條直線，那是不是這個(gè)數(shù)字就不是9了呢？我們是不是應(yīng)該有一個(gè)過(guò)渡過(guò)程呢？神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第17頁(yè)不再非此即彼——Sigmoid神經(jīng)元回想一下我們以前數(shù)學(xué)考試，一道解答題12分，老師批改時(shí)重點(diǎn)看是過(guò)程，就算結(jié)果錯(cuò)了，只要過(guò)程是正確，也絕不會(huì)把12分全扣完。不過(guò)，現(xiàn)在感知器，因?yàn)榻Y(jié)果是非此即彼，所以它做就是把12分全扣完事，俗話叫【一棍子打死】。這么話，即使我們知道做錯(cuò)了，我們也并不知道錯(cuò)在哪里，也極難修正錯(cuò)誤。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第18頁(yè)Sigmoid神經(jīng)元處理了這么問(wèn)題。每一個(gè)輸入量不再像感知器那樣只能是0或1，而能夠是0~1之間實(shí)數(shù)。最終輸出結(jié)果也一樣，不再是斬釘截鐵Yes(1)或No(0)，一樣也能夠是Notsure(between0~1)。我們最終輸出結(jié)果其實(shí)是一個(gè)概率，結(jié)果為主動(dòng)概率，通常被叫做Sigmoid函數(shù)。它表示式和圖像如上圖所表示。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第19頁(yè)Sigmoid神經(jīng)元其實(shí)是由如左上所表示感知器函數(shù)圖像平滑而來(lái)。函數(shù)圖像平滑，當(dāng)任何一個(gè)輸入量x只改變了一點(diǎn)點(diǎn)Δx時(shí)，最終輸出量y也只會(huì)改變一點(diǎn)點(diǎn)Δy。任何時(shí)候，當(dāng)Δx→0時(shí)，一定有Δy→0，而這是感知器做不到。這使得決議不會(huì)產(chǎn)生突變，更有利于學(xué)習(xí)，如右上圖所表示。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第20頁(yè)多層Sigmoid神經(jīng)元——神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)本質(zhì)就是多層感知器/多層Sigmoid神經(jīng)元。它一樣由輸入樣本、輸入量、對(duì)應(yīng)權(quán)重、全局偏差值，以及最終決議組成，只是最左端輸入量成為了輸入層、最右側(cè)最終決議成為了輸出層，中間運(yùn)算量組成了隱藏層。它并不是那么神秘事物。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第21頁(yè)建立神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)模型現(xiàn)在，假設(shè)我們已經(jīng)有一個(gè)手寫(xiě)體數(shù)字圖像數(shù)據(jù)集，而且都已正確歸類為0~9中一個(gè)。那么我們要讓機(jī)器對(duì)這些模型進(jìn)行學(xué)習(xí)，并能對(duì)一個(gè)未知手寫(xiě)體數(shù)字盡可能正確分類。這些樣本都是28x28大小黑白圖像，也就是說(shuō)一個(gè)樣本有28x28=784個(gè)輸入量，它們非0(黑)即1(白)。輸出量一共有10個(gè)，分別代表對(duì)應(yīng)輸入量數(shù)字是0~9各自可能性，各輸出量之和必為1。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第22頁(yè)如左圖所表示，這就是我們建立手寫(xiě)體數(shù)字識(shí)別神經(jīng)網(wǎng)絡(luò)。它有若干個(gè)輸入樣本，每一個(gè)輸入樣本都有784個(gè)輸入量，隱藏層有15個(gè)隱藏神經(jīng)元，輸出量共10個(gè)，表示結(jié)果為各自對(duì)應(yīng)數(shù)字概率值。最終我們要找就是輸出值最大那個(gè)輸出量所對(duì)應(yīng)數(shù)字，這也就是我們神經(jīng)網(wǎng)絡(luò)所識(shí)別出數(shù)字值。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第23頁(yè)成本函數(shù)我們知道，評(píng)價(jià)一個(gè)網(wǎng)絡(luò)最主要是其識(shí)別精度。但這里我們引入一個(gè)中間量，叫成本函數(shù)。假如我們將每個(gè)輸入量x理想決議值（即已經(jīng)要求好決議值）設(shè)為A，將實(shí)際決議值（即經(jīng)過(guò)加權(quán)計(jì)算出決議值）設(shè)為y，這里y能夠表示為x函數(shù)，即y=y(x)，那么我們能夠定義下面這么一個(gè)成本函數(shù)。這實(shí)際上就是均方差。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第24頁(yè)很顯著，實(shí)際輸出值A(chǔ)越靠近理想輸出值y(x)，成本（均方差）就越低，網(wǎng)絡(luò)識(shí)別性能就越好。我們學(xué)習(xí)過(guò)程，其實(shí)是經(jīng)過(guò)不停微調(diào)各權(quán)重量和全局偏差值，以至于這么權(quán)重和偏差值能夠使得成本函數(shù)盡可能小，精度盡可能高。當(dāng)然了，成本函數(shù)不只是均方差這一個(gè)，還有很多函數(shù)能擔(dān)當(dāng)起成本函數(shù)責(zé)任。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第25頁(yè)尋找成本函數(shù)極小值——梯度下降算法回歸簡(jiǎn)單，我們將成本函數(shù)C簡(jiǎn)化為和兩個(gè)自變量相關(guān)形式：C=f(v1,v2)。實(shí)際上這里v1就是權(quán)重向量，v2就是全局偏差值，只是做了簡(jiǎn)化而已。那么，當(dāng)我們對(duì)v1及v2做了微小改變時(shí)，成本函數(shù)全微分ΔC能夠這么表示：神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第26頁(yè)現(xiàn)在定義一個(gè)新概念“梯度”，它是一個(gè)函數(shù)針對(duì)全部自變量偏導(dǎo)數(shù)所組成矩陣轉(zhuǎn)置。它和自變量改變程度息息相關(guān)。我們知道，當(dāng)C降低時(shí)，ΔC及C梯度必定為負(fù)，我們也正是要尋找這么一組權(quán)重量和全局偏差值，使得ΔC及C梯度為負(fù)。我們之前所說(shuō)“顏色突變”，本意就是那個(gè)區(qū)域內(nèi)像素亮度梯度過(guò)大。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第27頁(yè)那么怎么才能讓梯度不停下降呢？我們不妨設(shè)Δv=?η▽C=?η∥▽C∥2，在這里η是一個(gè)很小正數(shù)，通常稱為學(xué)習(xí)率。然后，因?yàn)椤唯孋∥2恒為正，C就會(huì)不停下降。依這類推，對(duì)于我們成本函數(shù)，則對(duì)應(yīng)梯度下降規(guī)則就應(yīng)該是下面這么：神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)第28頁(yè)梯度下降改良——隨機(jī)梯度下降在深度學(xué)習(xí)過(guò)程中，往往伴伴隨大量訓(xùn)練樣本出現(xiàn)。梯度下降是針對(duì)每一個(gè)樣本都要做一次對(duì)應(yīng)運(yùn)算，會(huì)浪費(fèi)掉相當(dāng)多寶貴時(shí)間?，F(xiàn)在我們每次只隨機(jī)取部分樣本，然后對(duì)這一部分樣本統(tǒng)一進(jìn)行梯度下降，然后再去抓取其它樣本。等全部樣本都抓取完后，再重頭開(kāi)始。這種方法叫做隨機(jī)梯度下降。很顯著，因?yàn)槊看味疾皇侨繕颖揪鶇⒓佑?xùn)練，所以最終梯度下降幅度必定是沒(méi)有完整梯度下降算法要強(qiáng)。但我們只要求網(wǎng)絡(luò)到達(dá)一