第9章神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展01淺層神經(jīng)網(wǎng)絡(luò)02卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)03其他深度學(xué)習(xí)模型04本講提綱9.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展（本圖源自網(wǎng)絡(luò)B站）9.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展1890年，美國心理學(xué)家WilliamJames發(fā)表了詳細(xì)論述人腦結(jié)構(gòu)及功能的專著PrinciplesofPsychology(《心理學(xué)原理》)對聯(lián)想記憶、相關(guān)學(xué)習(xí)的基本原理做了開創(chuàng)性研究，其中指出：“讓我們假設(shè)所有我們的后續(xù)推理的基礎(chǔ)遵循這樣的規(guī)則，當(dāng)兩個(gè)基本的腦細(xì)胞曾經(jīng)一起或相繼被激活過，其中一個(gè)受刺激重新激活時(shí)會將刺激傳遞到另一個(gè)”

James也預(yù)言：神經(jīng)細(xì)胞激活是所有輸入疊加的結(jié)果，他認(rèn)為大腦皮層上任一點(diǎn)的刺激量是其它所有發(fā)射點(diǎn)進(jìn)入該點(diǎn)刺激的總和。9.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展1943年，神經(jīng)生理學(xué)家、心理學(xué)家W.S.McCulloch與數(shù)學(xué)家W.A.Pitts發(fā)表論文《神經(jīng)活動內(nèi)在思想的邏輯演算》，公開了他們合作的研究成果

該論文中證明可以使用邏輯演算描述神經(jīng)網(wǎng)絡(luò)的工作機(jī)理，建立了描述生物神經(jīng)元工作原理的第一個(gè)人工神經(jīng)元模型，被稱為M-P模型

此模型雖然功能簡單，但它是第一個(gè)用數(shù)理語言描述腦的信息處理機(jī)制的模型，為后續(xù)的神經(jīng)網(wǎng)絡(luò)研究奠定了理論基礎(chǔ)

9.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展1949年，心理學(xué)家DonaldOldingHebb出版了《行為構(gòu)成》一書，第一次提出了后來被稱為Hebb算法的神經(jīng)網(wǎng)絡(luò)連接權(quán)學(xué)習(xí)算法。他是首先提出“連接主義”一詞的人之一，認(rèn)為源和目的神經(jīng)元均被激活興奮時(shí)將會增強(qiáng)兩者之間的突觸連接強(qiáng)度。這是Hebb學(xué)習(xí)算法的生理學(xué)基礎(chǔ)。四點(diǎn)理論貢獻(xiàn)：①指出神經(jīng)網(wǎng)絡(luò)的信息存儲在連接權(quán)中；②假設(shè)連接權(quán)的學(xué)習(xí)速率正比于神經(jīng)元各活化值之積；③假定連接是對稱的；④提出細(xì)胞連接的假設(shè)，指出當(dāng)學(xué)習(xí)訓(xùn)練時(shí)，連接權(quán)的強(qiáng)度和類型發(fā)生變化，且由這種變化建立起細(xì)胞間的連接。9.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展1958年，F(xiàn)rankRosenblatt提出感知機(jī)(perceptron)模型，并在一臺IBM704計(jì)算機(jī)上完成模擬

感知機(jī)模擬了一個(gè)生物視覺模型，能夠?qū)唵蔚膱D案進(jìn)行學(xué)習(xí)和分類，它通過學(xué)習(xí)改變連接權(quán)值，被稱為“學(xué)習(xí)的機(jī)器”

相對于M-P模型中固定的預(yù)置連接權(quán)重，感知機(jī)通過引入權(quán)重自動調(diào)整機(jī)制而具備了學(xué)習(xí)能力

學(xué)習(xí)對于神經(jīng)網(wǎng)絡(luò)的發(fā)展而言是一個(gè)非常重要的因素，因此感知機(jī)被視為神經(jīng)網(wǎng)絡(luò)發(fā)展史中又一個(gè)重要里程碑

9.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展1969年，M.Minsky和S.Papert出版了《感知機(jī)》一書，發(fā)表了他們對以感知機(jī)為代表的網(wǎng)絡(luò)模型的功能及其局限性所進(jìn)行的深入研究和分析

指出了兩個(gè)對神經(jīng)網(wǎng)絡(luò)發(fā)展產(chǎn)生重大影響的問題：單層網(wǎng)絡(luò)結(jié)構(gòu)無法處理以“異或”問題為代表的線性不可分問題，能夠求解非線性問題的網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)該具有隱藏層，但當(dāng)時(shí)沒有發(fā)現(xiàn)能解決隱藏層學(xué)習(xí)的有效方法當(dāng)時(shí)的計(jì)算機(jī)無法提供大規(guī)模神經(jīng)網(wǎng)絡(luò)所需的算力支持

現(xiàn)實(shí)的困境與作者的影響力疊加，讓許多人對神經(jīng)網(wǎng)絡(luò)的熱情快速降溫，人工神經(jīng)網(wǎng)絡(luò)經(jīng)歷寒冬期9.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展1986年，DavidE.Rumelhart和JamesL.McCelland及其領(lǐng)導(dǎo)的研究小組發(fā)表了《并行分布式處理》一書的前兩卷，后續(xù)又發(fā)表了帶有軟件程序的第三卷

其中提出的并行分布式處理（PDP）網(wǎng)絡(luò)思想為神經(jīng)網(wǎng)絡(luò)研究進(jìn)入新高潮起到了巨大的推動作用。此書最重要的貢獻(xiàn)之一是發(fā)展推廣了反向傳播算法

PDP模型逐漸流行，BP算法成為其主要學(xué)習(xí)方法。BP算法得以推廣排除了神經(jīng)網(wǎng)絡(luò)隱藏層學(xué)習(xí)的障礙，從而消除了異或問題所代表的線性不可分問題，為神經(jīng)網(wǎng)絡(luò)的發(fā)展注入了新的動力

神經(jīng)網(wǎng)絡(luò)在BP算法的加持下逐漸重新成為研究熱點(diǎn)

9.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展隨著網(wǎng)絡(luò)結(jié)構(gòu)層次增多，神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的梯度消失和梯度爆炸問題越來越明顯深度網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練難度越來越大，給神經(jīng)網(wǎng)絡(luò)的進(jìn)一步發(fā)展又增加了障礙神經(jīng)網(wǎng)絡(luò)的發(fā)展速度再次放緩。1995年之后的十來年，神經(jīng)網(wǎng)絡(luò)的流行度又逐漸降低

9.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展2006年，GeoffreyHinton等人在Science期刊上發(fā)表了題為《利用對比反向傳播無監(jiān)督發(fā)現(xiàn)非線性結(jié)構(gòu)》的文章，提出深度學(xué)習(xí)概念，開啟了深度學(xué)習(xí)的浪潮

觀點(diǎn)：①多隱藏層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；②深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層預(yù)訓(xùn)練”得以有效克服。先通過非監(jiān)督的逐層預(yù)訓(xùn)練來學(xué)習(xí)一個(gè)深度神經(jīng)網(wǎng)絡(luò)，并將其權(quán)重作為一個(gè)多層前饋神經(jīng)網(wǎng)絡(luò)的初始化權(quán)重，再用反向傳播算法進(jìn)行精調(diào)。深度神經(jīng)網(wǎng)絡(luò)在圖像分類、語音識別等任務(wù)上的巨大成功，以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)迅速崛起

9.1人工神經(jīng)網(wǎng)絡(luò)的發(fā)展思維提升與小結(jié)：人工神經(jīng)網(wǎng)絡(luò)從萌芽到成長為參天大樹，經(jīng)歷了跌宕起伏的發(fā)展歷程。人生也應(yīng)經(jīng)得起風(fēng)雨，在順境中奮發(fā)，在逆境中堅(jiān)守。

M-P模型建立了人工神經(jīng)元的多輸入、單輸出結(jié)構(gòu)及連接權(quán)概念。感知機(jī)開啟了神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)。9.2淺層神經(jīng)網(wǎng)絡(luò)生物神經(jīng)網(wǎng)絡(luò)9.2淺層神經(jīng)網(wǎng)絡(luò)生物神經(jīng)元9.2淺層神經(jīng)網(wǎng)絡(luò)突觸——神經(jīng)元之間的連接點(diǎn)9.2淺層神經(jīng)網(wǎng)絡(luò)突觸——神經(jīng)元之間的連接點(diǎn)連接強(qiáng)度9.2淺層神經(jīng)網(wǎng)絡(luò)M-P模型的假設(shè)每個(gè)神經(jīng)元都是一個(gè)信息處理單元，具有多個(gè)輸入和單個(gè)輸出

神經(jīng)元輸入分為興奮性輸入和抑制性輸入兩類

神經(jīng)元具有空間整合特性和閾值特性

神經(jīng)元輸入與輸出間有固定的時(shí)滯，主要取決于突觸延擱

忽略時(shí)間整合與不應(yīng)期

神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度都是常數(shù)

9.2淺層神經(jīng)網(wǎng)絡(luò)M-P模型圖示表達(dá)激活函數(shù)閾值輸入連接權(quán)輸出9.2淺層神經(jīng)網(wǎng)絡(luò)M-P模型數(shù)學(xué)表達(dá)接收多個(gè)輸入每個(gè)輸入有連接權(quán)重輸入疊加，表現(xiàn)為加權(quán)求和產(chǎn)生1個(gè)輸出

閾值特性，表現(xiàn)為激活函數(shù)9.2淺層神經(jīng)網(wǎng)絡(luò)M-P模型特點(diǎn)M-P模型是靜態(tài)模型連接權(quán)重事先設(shè)計(jì)確定不存在學(xué)習(xí)機(jī)制具有簡單邏輯運(yùn)算能力重要的理論奠基作用9.2淺層神經(jīng)網(wǎng)絡(luò)激活函數(shù)（轉(zhuǎn)移函數(shù)、變換函數(shù)、激勵(lì)函數(shù)）激活函數(shù)模擬生物神經(jīng)元的激發(fā)特性是神經(jīng)元模型的一個(gè)重要的組成部分，也是神經(jīng)元不同數(shù)學(xué)模型之間的主要區(qū)別不同激活函數(shù)使得神經(jīng)元具有不同的信息處理特性神經(jīng)元的信息處理特性在很大程度上影響著神經(jīng)網(wǎng)絡(luò)的整體性能激活函數(shù)應(yīng)該根據(jù)實(shí)際情況的需要進(jìn)行選擇

9.2淺層神經(jīng)網(wǎng)絡(luò)激活函數(shù)閾值型函數(shù)9.2淺層神經(jīng)網(wǎng)絡(luò)激活函數(shù)0x1-1f

(x)(b)雙極性S形函數(shù)Sigmoid（S形）函數(shù)9.2淺層神經(jīng)網(wǎng)絡(luò)激活函數(shù)分段線性函數(shù)9.2淺層神經(jīng)網(wǎng)絡(luò)激活函數(shù)ReLU函數(shù)9.2淺層神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)人工神經(jīng)元的相互連接構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的工作體現(xiàn)為：神經(jīng)元對所接收到的輸入信息進(jìn)行處理并輸出其處理結(jié)果

在激活函數(shù)選定的情況下，影響人工神經(jīng)元信息處理結(jié)果的核心因素就是神經(jīng)元的連接權(quán)重

神經(jīng)元之間連接權(quán)重的獲得方式有兩種，一種是人為設(shè)計(jì)并設(shè)定，另一種是讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練數(shù)據(jù)而習(xí)得

9.2淺層神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)概念：用數(shù)據(jù)對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，讓神經(jīng)網(wǎng)絡(luò)根據(jù)算法自動調(diào)整連接權(quán)重，使其逐步逼近工作所需的權(quán)重值

本質(zhì)：對具有可變性的權(quán)重進(jìn)行動態(tài)調(diào)整

現(xiàn)代人工神經(jīng)網(wǎng)絡(luò)通常都是通過訓(xùn)練習(xí)得目標(biāo)權(quán)重，網(wǎng)絡(luò)運(yùn)行方式有學(xué)習(xí)模式（訓(xùn)練模式）與工作模式兩種

學(xué)習(xí)模式的運(yùn)行由計(jì)算輸出、權(quán)重調(diào)整兩個(gè)部分交替進(jìn)行

工作模式的運(yùn)行只有計(jì)算輸出這部分

9.2淺層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法已經(jīng)有很多種根據(jù)訓(xùn)練數(shù)據(jù)中是否包含與輸入數(shù)據(jù)相對應(yīng)的期望輸出（標(biāo)簽），可以將這些學(xué)習(xí)算法分為監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)也稱有導(dǎo)師學(xué)習(xí)、有教師學(xué)習(xí)無監(jiān)督學(xué)習(xí)又稱無導(dǎo)師學(xué)習(xí)、無教師學(xué)習(xí)

監(jiān)督學(xué)習(xí)精準(zhǔn)度高，需要制作標(biāo)簽無監(jiān)督學(xué)習(xí)不需制作標(biāo)簽9.2淺層神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)類型分類依據(jù)：拓?fù)浣Y(jié)構(gòu)、信息流向、層次深淺拓?fù)浣Y(jié)構(gòu)：層次型、互聯(lián)型信息流向：前饋型、反饋型9.2淺層神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)類型拓?fù)漕愋停簩哟涡途W(wǎng)絡(luò)結(jié)構(gòu)單純層次結(jié)構(gòu)層內(nèi)有連接的層次結(jié)構(gòu)9.2淺層神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)類型拓?fù)漕愋停簩哟涡途W(wǎng)絡(luò)結(jié)構(gòu)輸出層到輸入層有連接的層次結(jié)構(gòu)9.2淺層神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)類型拓?fù)漕愋停夯ヂ?lián)型網(wǎng)絡(luò)結(jié)構(gòu)全互連的網(wǎng)絡(luò)結(jié)構(gòu)局部互連的網(wǎng)絡(luò)結(jié)構(gòu)9.2淺層神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)類型信息流向類型：前饋網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)信息流向含義：特指工作模式下網(wǎng)絡(luò)中的信息傳遞方向前饋，信息從輸入層朝著輸出層的方向逐層向前傳遞，沒有逆向的信息傳遞

前饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與單純層次結(jié)構(gòu)網(wǎng)絡(luò)完全相同

反饋，前進(jìn)方向上的信息傳遞，也存在與其相反的逆向信息傳遞。前述全互聯(lián)結(jié)構(gòu)

、輸出層到輸入層有連接的層次結(jié)構(gòu)，都是反饋網(wǎng)絡(luò)

9.2淺層神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)類型網(wǎng)絡(luò)結(jié)構(gòu)層次深淺隱藏層數(shù)量可以代表網(wǎng)絡(luò)結(jié)構(gòu)中層次的深淺，有時(shí)也被作為一種網(wǎng)絡(luò)分類依據(jù)

深度網(wǎng)絡(luò)，隱藏層數(shù)量大于或等于3層的神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)，隱藏層數(shù)量少于3層的神經(jīng)網(wǎng)絡(luò)

9.2淺層神經(jīng)網(wǎng)絡(luò)感知機(jī)模型M-P模型中，連接權(quán)重為固定常數(shù)、設(shè)計(jì)確定，對神經(jīng)網(wǎng)絡(luò)的長遠(yuǎn)發(fā)展不利

赫布提出神經(jīng)元間連接強(qiáng)度具有可變性，為人工神經(jīng)元的連接權(quán)重由固定值轉(zhuǎn)變?yōu)榭勺儏?shù)奠定了基礎(chǔ)

感知機(jī)模型開啟了神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，對于復(fù)雜的大規(guī)模神經(jīng)網(wǎng)絡(luò)，通過學(xué)習(xí)確定網(wǎng)絡(luò)參數(shù)非常重要9.2淺層神經(jīng)網(wǎng)絡(luò)感知機(jī)模型輸入數(shù)據(jù)輸出數(shù)據(jù)

令x0=1，w0=b，則sum變形為：

9.2淺層神經(jīng)網(wǎng)絡(luò)感知機(jī)學(xué)習(xí)權(quán)值初始化（隨機(jī)值）輸入訓(xùn)練樣本

Xi加權(quán)求和

sum激活函數(shù)f(sum)實(shí)際輸出

y_out誤差

δ=y_exp-y_out連接權(quán)調(diào)整Wt+1=Wt+αδXi滿足結(jié)束條件？結(jié)束開始是否9.2淺層神經(jīng)網(wǎng)絡(luò)感知機(jī)模型單層多計(jì)算節(jié)點(diǎn)感知器獨(dú)熱編碼（one-hotcoding）m位的編碼中，只有某一位值是1，其余值為0。例如：[1,0,0,0,0,0][0,1,0,0,0,0][0,0,1,0,0,0]……[0,0,0,0,1,0][0,0,0,0,0,1]

9.2淺層神經(jīng)網(wǎng)絡(luò)單層計(jì)算節(jié)點(diǎn)的感知器，無法解決異或問題異或問題的本質(zhì)，是線性不可分線性不可分，是指兩類樣本在其特征空間中無法用直線、平面或超平面分開的情況感知器的局限性單層計(jì)算節(jié)點(diǎn)9.2淺層神經(jīng)網(wǎng)絡(luò)邏輯異或異或數(shù)據(jù)的具象化異或問題線性不可分，是指兩類樣本在其特征空間中無法用直線、平面或超平面分開的情況感知器的局限性類別0類別19.2淺層神經(jīng)網(wǎng)絡(luò)線性可分線性不可分線性不可分感知器的局限性9.2淺層神經(jīng)網(wǎng)絡(luò)多層感知器具有隱藏層的網(wǎng)絡(luò)結(jié)構(gòu)，具有求解線性不可分問題的能力

將單層計(jì)算節(jié)點(diǎn)感知器的輸入層與輸出層之間加入一層全連接的計(jì)算節(jié)點(diǎn)，即形成具有一個(gè)隱藏層的多層感知器（也稱多層前饋網(wǎng)絡(luò)）Kolmogorov理論指出：雙隱層感知器足以解決任何復(fù)雜的分類問題

9.2淺層神經(jīng)網(wǎng)絡(luò)多層感知器結(jié)構(gòu)多層感知器9.2淺層神經(jīng)網(wǎng)絡(luò)新問題：隱藏層在增強(qiáng)神經(jīng)網(wǎng)絡(luò)能力的同時(shí)，也給神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)帶來了新問題單層計(jì)算節(jié)點(diǎn)的感知器，使用標(biāo)簽和實(shí)際輸出可以直接計(jì)算出誤差信號對于隱藏層，其實(shí)際輸出沒有對應(yīng)的標(biāo)簽，無法直接利用感知器的學(xué)習(xí)算法計(jì)算隱藏層權(quán)重調(diào)整量

誤差反向傳播算法（1974提出→1986發(fā)展）多層感知器9.2淺層神經(jīng)網(wǎng)絡(luò)反向傳播（BackPropagation，BP）算法激活函數(shù)采用單極性sigmoid函數(shù)前向計(jì)算：

X→Y反向傳播從輸出層開始計(jì)算誤差信號將誤差信號反向傳播，用于計(jì)算各隱藏層的誤差信號根據(jù)誤差信號計(jì)算各層神經(jīng)元的連接權(quán)調(diào)整量對連接權(quán)進(jìn)行調(diào)整9.2淺層神經(jīng)網(wǎng)絡(luò)反向傳播（BackPropagation，BP）算法激活函數(shù)采用單極性sigmoid函數(shù)誤差信號（計(jì)算、反向傳播）損失函數(shù)9.2淺層神經(jīng)網(wǎng)絡(luò)反向傳播（BackPropagation，BP）算法激活函數(shù)采用單極性sigmoid函數(shù)連接權(quán)調(diào)整量9.2淺層神經(jīng)網(wǎng)絡(luò)反向傳播（BackPropagation，BP）算法激活函數(shù)采用單極性sigmoid函數(shù)連接權(quán)調(diào)整:w=w+Δw每個(gè)訓(xùn)練樣本調(diào)整一次權(quán)值所有訓(xùn)練樣本調(diào)整一次權(quán)值每小批次樣本調(diào)整一次權(quán)值

計(jì)算誤差信號（鏈?zhǔn)揭蕾嚕?jì)算權(quán)值調(diào)整量→更新權(quán)值連接權(quán)調(diào)整量與激活函數(shù)、損失函數(shù)有關(guān)9.2淺層神經(jīng)網(wǎng)絡(luò)損失函數(shù)均方差（MeanSquaredError，MSE）損失函數(shù)多用于解決回歸問題9.2淺層神經(jīng)網(wǎng)絡(luò)損失函數(shù)平均絕對誤差（MeanAbsoluteError，MAE）損失函數(shù)對異常值不敏感，在處理包含異常值或離群點(diǎn)的數(shù)據(jù)時(shí)表現(xiàn)良好9.2淺層神經(jīng)網(wǎng)絡(luò)損失函數(shù)交叉熵?fù)p失函數(shù)（CrossEntropyLossFunction）在分類任務(wù)中是最常用的損失函數(shù)9.2淺層神經(jīng)網(wǎng)絡(luò)損失函數(shù)損失函數(shù)種類較多，各有自身特點(diǎn)和其適用情況各種機(jī)器學(xué)習(xí)框架通常都集成了大量的損失函數(shù)，在基于框架的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中，通常根據(jù)具體任務(wù)特點(diǎn)進(jìn)行適當(dāng)選用即可在一些基礎(chǔ)研究或特殊特殊應(yīng)用場景下，可以根據(jù)實(shí)際需要自定義滿足特定需求的損失函數(shù)9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型自組織特征映射（SOFM或SOM）網(wǎng)絡(luò)

又稱Kohonen網(wǎng)絡(luò)，由芬蘭赫爾辛基大學(xué)的T.Kohonen教授于1981年提出

網(wǎng)絡(luò)結(jié)構(gòu)中各區(qū)域?qū)Σ煌斎肽Ｊ骄哂胁煌捻憫?yīng)特征

采用無監(jiān)督學(xué)習(xí)方式，網(wǎng)絡(luò)結(jié)構(gòu)中有神經(jīng)元的層內(nèi)連接9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型自組織特征映射網(wǎng)絡(luò)的結(jié)構(gòu)自組織特征映射網(wǎng)絡(luò)9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型Kohonen算法，基于勝者為王算法改進(jìn)競爭層中神經(jīng)元對輸入數(shù)據(jù)均做出響應(yīng)，其中輸出值最大者即獲勝者對于勝者為王算法，只有獲勝者才有權(quán)調(diào)整其連接權(quán)自組織特征映射網(wǎng)絡(luò)9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型Kohonen算法主要改進(jìn)獲勝者對其周圍的神經(jīng)元存在一定的影響范圍

除獲勝者自身要調(diào)整連接權(quán)重之外，在其影響范圍中內(nèi)的神經(jīng)元也要不同程度地調(diào)整連接權(quán)重

受影響調(diào)整量變化規(guī)律是：由近到遠(yuǎn)，先是興奮性調(diào)整，量逐漸遞減；然后變?yōu)橐种菩哉{(diào)整，量先逐漸增大后逐漸減小直到為零自組織特征映射網(wǎng)絡(luò)09.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型權(quán)重調(diào)整策略會增強(qiáng)訓(xùn)練中獲勝者對相應(yīng)輸入模式的敏感性，從而使強(qiáng)者更強(qiáng)，在特定輸入模式與對應(yīng)的敏感神經(jīng)元之間建立起穩(wěn)固的關(guān)聯(lián)

當(dāng)兩個(gè)輸入模式特征相近時(shí)，所對應(yīng)的敏感神經(jīng)元在位置上也相接近，這將在輸出層形成可以反映樣本模式分布的有序特征圖SOFM網(wǎng)絡(luò)訓(xùn)練結(jié)束后，網(wǎng)絡(luò)模型就習(xí)得了輸出層神經(jīng)元與輸入模式之間的特定關(guān)系，可以將模型用作模式分類器自組織特征映射網(wǎng)絡(luò)9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)由J.Hopfield于1982年提出，是一種單層的反饋神經(jīng)網(wǎng)絡(luò)引入反饋機(jī)制，具有一定的信息存儲、記憶、聯(lián)想回憶能力

引入能量函數(shù)的概念，使得神經(jīng)網(wǎng)絡(luò)運(yùn)行穩(wěn)定性的判斷有了可靠且簡便的依據(jù)9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)每個(gè)神經(jīng)元的輸入輸出均為二值數(shù)據(jù)，取值0/1或-1/1神經(jīng)元彼此之間都有連接，且這些連接具有對稱性，即Wij=Wji

任何神經(jīng)元都沒有將輸出直接反饋給自己的連接，但其輸出信息可能通過其他神經(jīng)元間接反饋給自己9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)神經(jīng)元連接權(quán)重及閾值獲得方式采用人為設(shè)計(jì)設(shè)定的方式，有時(shí)被稱為監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)之外的第三類學(xué)習(xí)方式：“灌輸式學(xué)習(xí)”運(yùn)行中，每個(gè)神經(jīng)元的輸入全都來自其他神經(jīng)元的輸出，換言之，這些輸入都來自神經(jīng)網(wǎng)絡(luò)內(nèi)部

9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)的初始狀態(tài)，由網(wǎng)絡(luò)外部給定，給定之后整個(gè)網(wǎng)絡(luò)開始進(jìn)入計(jì)算、輸出的迭代演化過程，直至整個(gè)網(wǎng)絡(luò)的輸出穩(wěn)定在某個(gè)狀態(tài)不再變化

這種網(wǎng)絡(luò)輸出穩(wěn)定不變時(shí)的輸出狀態(tài)，被稱為DHNN的吸引子

通過設(shè)計(jì)合適的權(quán)值矩陣，DHNN可以記憶特定的吸引子

9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)模型的工作過程，就是從某個(gè)初始狀態(tài)開始向吸引子演化的過程

能使網(wǎng)絡(luò)穩(wěn)定在同一個(gè)吸引子的所有初始狀態(tài)的集合，稱為吸引子的吸引域

每個(gè)吸引子具有一定的吸引域是反饋網(wǎng)絡(luò)具有聯(lián)想能力的基礎(chǔ)，較大的吸引域可以帶來更強(qiáng)的聯(lián)想能力9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型離散Hopfield網(wǎng)絡(luò)當(dāng)初始樣本帶有一定的噪聲或缺損時(shí)，網(wǎng)絡(luò)模型可以通過聯(lián)想回憶出完整的信息

9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型學(xué)習(xí)向量量化（LearningVectorQuantization，LVQ）網(wǎng)絡(luò)學(xué)習(xí)向量量化網(wǎng)絡(luò)是一種組合學(xué)習(xí)類型的神經(jīng)網(wǎng)絡(luò)組合學(xué)習(xí)，是指神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中將監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)相結(jié)合，使之相互取長補(bǔ)短的混合形式的學(xué)習(xí)機(jī)制學(xué)習(xí)向量量化網(wǎng)絡(luò)是在競爭網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上提出的

9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型學(xué)習(xí)向量量化（LearningVectorQuantization，LVQ）網(wǎng)絡(luò)在監(jiān)督學(xué)習(xí)環(huán)節(jié)，通過教師信號對輸入樣本的分配類別進(jìn)行規(guī)定，克服了單純采用無監(jiān)督的競爭學(xué)習(xí)算法存在的分類信息缺乏的弱點(diǎn)

輸入層節(jié)點(diǎn)接收外部輸入向量，與競爭層節(jié)點(diǎn)完全連接競爭層節(jié)點(diǎn)呈一維線陣排布并分成若干組9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型學(xué)習(xí)向量量化（LearningVectorQuantization，LVQ）網(wǎng)絡(luò)輸出層每個(gè)節(jié)點(diǎn)與競爭層中的一組節(jié)點(diǎn)連接，并且連接權(quán)固定為1訓(xùn)練時(shí)，輸入向量被傳遞到競爭層的每個(gè)節(jié)點(diǎn)，在競爭層采用勝者為王的競爭學(xué)習(xí)規(guī)則產(chǎn)生出獲勝者，獲勝者節(jié)點(diǎn)輸出為1，其他節(jié)點(diǎn)輸出均為09.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型學(xué)習(xí)向量量化（LearningVectorQuantization，LVQ）網(wǎng)絡(luò)在輸出層中，與獲勝者節(jié)點(diǎn)相連接的輸出節(jié)點(diǎn)也輸出1，其他節(jié)點(diǎn)的輸出均為0，這樣輸出層就可以給出輸入樣本的模式類別競爭層學(xué)習(xí)得到的類被稱為子類，輸出層學(xué)習(xí)得到的類被稱為目標(biāo)類9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型學(xué)習(xí)向量量化（LearningVectorQuantization，LVQ）網(wǎng)絡(luò)訓(xùn)練中，輸出層與競爭層之間的連接權(quán)是固定不變的，通過調(diào)整競爭層與輸入層之間的連接權(quán)完成學(xué)習(xí)當(dāng)輸出層的實(shí)際輸出與教師信號相同時(shí)，則表明競爭層輸出結(jié)果正確，對競爭層獲勝節(jié)點(diǎn)與輸入層之間的連接進(jìn)行正向調(diào)節(jié)，反之則進(jìn)行反向調(diào)節(jié)學(xué)習(xí)固定9.2淺層神經(jīng)網(wǎng)絡(luò)淺層網(wǎng)絡(luò)模型學(xué)習(xí)向量量化（LearningVectorQuantization，LVQ）網(wǎng)絡(luò)W=W+η[X-W]9.2淺層神經(jīng)網(wǎng)絡(luò)思維提升與小結(jié)：以異或問題為代表的線性不可分問題，要求神經(jīng)網(wǎng)絡(luò)具有非線性能力。單層感知器不具有非線性能力，隱藏層為神經(jīng)網(wǎng)絡(luò)賦予了這種能力。誤差反向傳播算法為具有隱藏層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)提供了學(xué)習(xí)機(jī)制，從輸出層開始反向求解損失函數(shù)對各層連接權(quán)的偏導(dǎo)數(shù)即可獲得相應(yīng)的誤差信號，誤差信號鏈?zhǔn)揭蕾嚒?.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深度學(xué)習(xí)和深度神經(jīng)網(wǎng)絡(luò)概述卷積神經(jīng)網(wǎng)絡(luò)的概念卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用特征提取的方法和卷積的計(jì)算卷積計(jì)算涉及的幾個(gè)概念經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深度學(xué)習(xí)與深度神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)的概念深度學(xué)習(xí)（DeepLearning，DL）是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，它通過構(gòu)建多層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來學(xué)習(xí)數(shù)據(jù)中的復(fù)雜模式和特征。深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworks,DNN）是深度學(xué)習(xí)中的一種核心模型。深度神經(jīng)網(wǎng)絡(luò)是基于多層感知機(jī)的復(fù)雜模型，在輸入層和輸出層之間堆疊多個(gè)隱藏層。每個(gè)神經(jīng)元之間的連接都有權(quán)重（Weight），權(quán)重決定了輸入信號的重要性。每個(gè)神經(jīng)元還有偏置（Bias），用于調(diào)整激活函數(shù)的輸出。以最小化預(yù)測結(jié)果和實(shí)際結(jié)果之間的誤差。最著名的是卷積神經(jīng)網(wǎng)絡(luò)、遞歸神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)、編碼器解碼器。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)什么是卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork,CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，對于大型圖像處理和語音識別都有出色表現(xiàn)，相比全連接網(wǎng)絡(luò)，它使用更少的權(quán)重，對每一小塊像素區(qū)域的數(shù)據(jù)進(jìn)行計(jì)算。這樣的好處是使用較少的權(quán)重完成分類任務(wù)，且改善訓(xùn)練過程中收斂問題，提高模型的泛化能力。

9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的組成卷積Convolution卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心，它通過滑動一個(gè)卷積核在輸入數(shù)據(jù)上進(jìn)行卷積操作，從而提取出數(shù)據(jù)的局部特征。池化Pooling對卷積層輸出的特征圖進(jìn)行降維處理，從而減少模型參數(shù)和計(jì)算量全連接FullyConnected將池化層輸出的特征向量映射到輸出類別上，從而實(shí)現(xiàn)對輸入數(shù)據(jù)的分類或識別。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)vs全連接網(wǎng)絡(luò)卷積網(wǎng)絡(luò)輸出的每個(gè)節(jié)點(diǎn)都是原數(shù)據(jù)中局部區(qū)域節(jié)點(diǎn)經(jīng)過神經(jīng)元計(jì)算后得到的結(jié)果；全連接網(wǎng)絡(luò)輸出的每個(gè)節(jié)點(diǎn)都是原數(shù)據(jù)中全部節(jié)點(diǎn)經(jīng)過神經(jīng)元計(jì)算后得到的結(jié)果。局部信息明顯使得卷積神經(jīng)網(wǎng)絡(luò)更適合在計(jì)算機(jī)視覺領(lǐng)域廣泛應(yīng)用。x1xlxi隱藏層輸入層輸出層h1.........h2hmy1ykynhj............d1dkdn預(yù)期輸出V1VmW1WnWkVj三維的二維的9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)圖像分類卷積神經(jīng)網(wǎng)絡(luò)在醫(yī)學(xué)圖像分析領(lǐng)域取得了顯著的成就，例如肺部病變檢測，腫瘤分類、皮膚癌診斷等。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)目標(biāo)檢測在圖像中檢測特定的目標(biāo)，比如行人、車輛等9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)圖像識別人臉識別是最典型的圖像識別。門禁系統(tǒng)中或者酒店入住時(shí)，需要身份證或已有的圖片和人臉識別和匹配。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)視頻檢測通過汽車外圍的攝像頭采集到的真實(shí)世界圖像數(shù)據(jù)，經(jīng)過復(fù)雜的感知神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行處理，構(gòu)建真實(shí)世界的三維向量空間。包括汽車、行人等動態(tài)交通參與物，道路線、交通標(biāo)識、紅綠燈、建筑物等靜態(tài)環(huán)境物，以及各元素的坐標(biāo)位置、方向角、距離、速度、加速度等屬性參數(shù)。

9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)圖像重建利用超分辨率技術(shù)提高圖像的視分辨率，可以提高圖像質(zhì)量。算法可以有效的想象出高分辨率圖像中將會出現(xiàn)的細(xì)節(jié)。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深度學(xué)習(xí)的更多用途人臉屬性手勢識別……9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)人臉屬性人臉屬性是在人臉識別過程中，對人臉的屬性特征進(jìn)行識別，包括性別、年齡、表情、魅力、眼鏡、頭發(fā)、口罩、姿態(tài)等，人臉屬性識別在以人、物為中心的應(yīng)用場景中發(fā)揮巨大價(jià)值。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)手勢識別手勢識別在實(shí)際應(yīng)用中的需求非常廣泛，比如聾啞人溝通用的手語、游戲中用的手勢識別動作等。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)人體姿態(tài)人體姿態(tài)識別是通過人體骨骼關(guān)鍵點(diǎn)，獲得人體姿態(tài)三維坐標(biāo)信息進(jìn)而推測人體的動作姿態(tài)，進(jìn)而對人體運(yùn)動意圖進(jìn)行預(yù)測。人體姿態(tài)識別在諸多應(yīng)用領(lǐng)域，如行為識別、人機(jī)交互、游戲、動畫、虛擬現(xiàn)實(shí)、康復(fù)檢測、機(jī)器人等都有著廣闊的市場前景。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)車牌識別車輛識別技術(shù)是智能交通系統(tǒng)中至關(guān)重要的環(huán)節(jié)之一，通過車牌提取、圖像預(yù)處理、特征提取等技術(shù)，識別車輛牌號。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)交通標(biāo)志隨著輔助及無人駕駛的興起，交通環(huán)境感知越發(fā)重要，道路交通標(biāo)志識別是交通環(huán)境感知的重要研究內(nèi)容。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)行人檢測實(shí)時(shí)視頻流中的自動人員檢測和統(tǒng)計(jì)在智能視頻監(jiān)控中很重要，也是智慧城市的一個(gè)關(guān)鍵應(yīng)用。監(jiān)控系統(tǒng)中的行人檢測技術(shù)包括異常事件檢測、人類步態(tài)、人群擁擠、性別分類、老年人跌倒檢測等，這些檢測對于公共領(lǐng)域的安全至關(guān)重要。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)三類卷積神經(jīng)網(wǎng)絡(luò)一維卷積（1D）二維卷積（2D）三維卷積（3D）9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)灰度圖像表示

9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)彩色圖像表示

9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)特征提取

9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)對特征圖再提取特征繼續(xù)對特征圖進(jìn)行卷積，即對特征圖再提取特征，下圖中使用了3次卷積提取特征值，最終得到才是最后想要的特征圖。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積計(jì)算-1內(nèi)積計(jì)算9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積計(jì)算-2滑動卷積核9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積計(jì)算-3步長9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積計(jì)算涉及的參數(shù)卷積核filter步長stride邊界填充padding9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積核filter卷積核一般為奇數(shù)。卷積核偏大，得到的特征值較少，相當(dāng)于在更粗糙的大窗口中尋找特征，沒有深入細(xì)節(jié)。所以，設(shè)計(jì)卷積核尺寸，通常會選擇較小的長和寬，可以得到更多的細(xì)節(jié)特征。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)步長stride當(dāng)完成第一個(gè)區(qū)域的內(nèi)積，需要指定滑動單元格的大小，即步長，開始下一個(gè)區(qū)域的內(nèi)積運(yùn)算。如果步長比較小，意味著要慢慢地盡可能多地選擇特征提取區(qū)域，這樣得到的特征圖信息也會比較豐富。如果步長較大，選中的區(qū)域就會比較少，得到的特征圖也會比較小。步長默認(rèn)是1。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)步長=29.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)步長=19.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)邊界填充Pad原圖基礎(chǔ)上邊界填充幾圈0。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)特征圖規(guī)格計(jì)算

9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)池化(pooling)運(yùn)算最大池化和平均池化，哪個(gè)更好？9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)感受野Receptivefield卷積神經(jīng)網(wǎng)絡(luò)每一層輸出的特征圖上的像素點(diǎn)映射回輸入圖像上的區(qū)域大小。通俗點(diǎn)的解釋是，特征圖上一點(diǎn)，相對于原圖的大小，也是卷積神經(jīng)網(wǎng)絡(luò)特征所能看到輸入圖像的區(qū)域。感受野計(jì)算公式：9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)你會計(jì)算嗎？隨著卷積核的增多（即網(wǎng)絡(luò)的加深），感受野會越來越大。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)帶參數(shù)計(jì)算的層計(jì)入，不帶的層則不計(jì)它有多少層？9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的架構(gòu)9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)AlexNet網(wǎng)絡(luò)VGG網(wǎng)絡(luò)ResNet網(wǎng)絡(luò)9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)AlexNet網(wǎng)絡(luò)AlexNet是由AlexKrizhevsky、IlyaSutskever和GeoffreyHinton在2012年ImageNet圖像分類競賽中提出的一種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)。AlexNet共包含5個(gè)卷積層、3個(gè)池化層和3個(gè)全連接層。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)AlexNet網(wǎng)絡(luò)2012年經(jīng)典網(wǎng)絡(luò)8層網(wǎng)絡(luò)：5層卷積和3層全連接存在很多問題卷積核的選擇都偏大9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)AlexNet網(wǎng)絡(luò)9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)VGG網(wǎng)絡(luò)2014年經(jīng)典網(wǎng)絡(luò)卷積核：3x3（細(xì)粒度提?。┚W(wǎng)絡(luò)層數(shù)：16層或19層使用pooling損失特征，下一次卷積特征圖翻倍。VGG模型的成功證明了增加網(wǎng)絡(luò)的深度，可以更好的學(xué)習(xí)圖像中的特征模式。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)深層網(wǎng)絡(luò)遇到的問題加深網(wǎng)絡(luò)結(jié)構(gòu)，就一定會得到更好的效果嗎？56層的神經(jīng)網(wǎng)絡(luò)表現(xiàn)明顯要比20層的差？Trainingerror(left)andtesterror(right)onCIFAR-10

with20-layerand56-layer“plain”networks.退化現(xiàn)象Degradation9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)殘差網(wǎng)絡(luò)ResNet2023年未來科學(xué)大獎(jiǎng)9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)殘差網(wǎng)絡(luò)ResNetResNet的核心思想是“殘差學(xué)習(xí)”，通過引入“殘差連接”（SkipConnections）或“跳躍連接”（ShortcutConnections），解決了深層網(wǎng)絡(luò)訓(xùn)練中的梯度消失和梯度爆炸問題。這種結(jié)構(gòu)允許網(wǎng)絡(luò)學(xué)習(xí)輸入與輸出之間的殘差（差異），而不是直接學(xué)習(xí)映射關(guān)系，從而使得網(wǎng)絡(luò)可以構(gòu)建得更深，同時(shí)保持訓(xùn)練的穩(wěn)定性。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)殘差塊（ResidualBlock）ResNet網(wǎng)絡(luò)的基本構(gòu)建單元是殘差塊，它包含以下結(jié)構(gòu)：卷積層：用于提取特征。跳躍連接（ShortcutConnection）：直接將輸入添加到后續(xù)層的輸出上，實(shí)現(xiàn)殘差學(xué)習(xí)。激活函數(shù)：通常是ReLU，用于非線性轉(zhuǎn)換。輸入信號首先通過兩個(gè)卷積層（可能還包括批量歸一化層和ReLU激活函數(shù)）。然后，這個(gè)經(jīng)過處理的信號與原始輸入信號（通過跳躍連接）相加。如果輸入和輸出的維度不一致，跳躍連接會使用1x1卷積來調(diào)整維度，以確?？梢赃M(jìn)行元素相加。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)殘差網(wǎng)絡(luò)ResNet9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)殘差網(wǎng)絡(luò)ResNetThincurvesdenotetrainingerror,andboldcurvesdenotevalidationerrorofthecentercrops.Left:plainnetworksof18and34layers.Right:ResNetsof18and34layers.ResNet（ResidualNetwork）是一種深度殘差網(wǎng)絡(luò)架構(gòu)，它在深度學(xué)習(xí)領(lǐng)域，圖像分類、目標(biāo)檢測、語義分割等多個(gè)領(lǐng)域都有廣泛應(yīng)用，尤其是在圖像識別和分類任務(wù)中，取得了革命性的進(jìn)展。9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)ResNet網(wǎng)絡(luò)的優(yōu)缺點(diǎn)解決梯度消失問題提高訓(xùn)練效率增強(qiáng)模型性能泛化能力強(qiáng)預(yù)訓(xùn)練模型可遷移學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)靈活計(jì)算資源消耗大過擬合風(fēng)險(xiǎn)參數(shù)數(shù)量多，對超參數(shù)敏感對輸入數(shù)據(jù)的預(yù)處理要求較高模型復(fù)雜性和對小數(shù)據(jù)集不友好ResNet-50的結(jié)構(gòu)：一共包含49層卷積和1層全連接vs9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)9.3卷積神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)思維提升與小結(jié)：深層神經(jīng)網(wǎng)絡(luò)是人工智能大框架的一部分，是許多當(dāng)前人工智能應(yīng)用的基礎(chǔ)。在語音識別和圖像識別上的突破性應(yīng)用，應(yīng)用量有了爆炸性的增長。卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法。9.4其他深度學(xué)習(xí)模型遞歸神經(jīng)網(wǎng)絡(luò)（RNN）處理序列數(shù)據(jù)，例如語音處理、機(jī)器翻譯生成對抗網(wǎng)絡(luò)（GAN）生成器和判別器，圖像生成、風(fēng)格遷移，視頻語音生成長短期記憶網(wǎng)絡(luò)（LSTM）有效地捕捉序列數(shù)據(jù)中的長期依賴關(guān)系，自然語言處理編碼器-解碼器處理序列到序列（Seq2Seq）問題，自然語言處理Transformer屬于哪一種？實(shí)驗(yàn)介紹實(shí)驗(yàn)介紹PyTorchPyTorch是Torch在Python上的衍生。

因?yàn)門orch是一個(gè)使用Lua語言的神經(jīng)網(wǎng)絡(luò)庫，Torch很好用，但是Lua又不是特別流行，所以開發(fā)團(tuán)隊(duì)將Lua的Torch移植到了更流行的語言Python。從此……看看誰在用PytorchPytorch官網(wǎng)/index.htmlPytorch的幾個(gè)模塊torchVision：主要處理圖像數(shù)據(jù)，包含一些常用的數(shù)據(jù)集、模型、轉(zhuǎn)換函數(shù)等。本實(shí)驗(yàn)用到其中三個(gè)模塊：transforms,models,datasets。

數(shù)據(jù)集：Torchvision提供了多種常用的圖像數(shù)據(jù)集，如MNIST、CIFAR10/100、ImageNet、COCO等，這些數(shù)據(jù)集都繼承了torch.utils.data.Dataset，torch.utils.data.DataLoader用來讀取batch的數(shù)據(jù)。預(yù)訓(xùn)練模型：torchvision.models提供了多種經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)，如AlexNet、VGG、ResNet、Inception等，這些模型已經(jīng)在大規(guī)模圖像數(shù)據(jù)上進(jìn)行了預(yù)訓(xùn)練，可以直接用于遷移學(xué)習(xí)或微調(diào)。數(shù)據(jù)轉(zhuǎn)換：torchvision.transforms提供了豐富的數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)操作，如裁剪、縮放、歸一化等，這些操作可以方便地應(yīng)用于Tensor和PILImage對象。Pytorch的幾個(gè)模塊Torchaudio是一個(gè)強(qiáng)大的音頻處理庫，它是PyTorch