1深度學(xué)習(xí)理論理論基礎(chǔ)概述深度學(xué)習(xí)理論理論基礎(chǔ)概述 11.1深度學(xué)習(xí)概述 1 21.3深度信念網(wǎng)絡(luò) 31.4卷積神經(jīng)網(wǎng)絡(luò) 3 5深度學(xué)習(xí)是學(xué)習(xí)樣本信息的內(nèi)在規(guī)律和說明水平的方法，因此從這些學(xué)習(xí)過程中獲得的信息在解釋文本、圖像和聲音等知識方面有很大的幫助。它的最終目標(biāo)是改變機(jī)器，使其擁有與人類相似1.1深度學(xué)習(xí)概述深度學(xué)習(xí)是目前機(jī)器學(xué)習(xí)領(lǐng)域中最流行的分支，深度學(xué)習(xí)特別習(xí)慣于解決知識選項的深度提取然后將其處理到另一層，因此另一層負(fù)責(zé)輸出信號。然而在深度學(xué)習(xí)中，它不是一個簡單的兩層結(jié)深度學(xué)習(xí)的定義并不嚴(yán)格；簡單來說就是一個多層網(wǎng)絡(luò)結(jié)構(gòu)模型的通用術(shù)語，是機(jī)器學(xué)習(xí)的一如圖1.1所示，神經(jīng)網(wǎng)絡(luò)的機(jī)器模型通常需要大量的互連節(jié)點(diǎn)，并具有以下兩個特點(diǎn)。2圖1.1神經(jīng)網(wǎng)絡(luò)模型深度學(xué)習(xí)的本質(zhì)是通過多層非線性部分來表示抽象知識的一些特征，或者通過分層的非線性網(wǎng)絡(luò)結(jié)構(gòu)來表示一些很多復(fù)雜的功能。在圖像處理中，就是通過超大范圍的訓(xùn)練獲得學(xué)習(xí)的圖像選項深度學(xué)習(xí)就是通過超大范圍的實驗樣本獲得學(xué)習(xí)的圖像選項。目前，可以將深度學(xué)習(xí)的模型大致分成三類：混合型結(jié)構(gòu)：自動編碼器等生成型結(jié)構(gòu)：深度信念網(wǎng)絡(luò)(DeepBeliefNetwork,DBN)等。區(qū)分型深度結(jié)構(gòu)：卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetwork,CNN)等。之后我將會對這三種深度學(xué)習(xí)的主要模型進(jìn)行介紹。傳統(tǒng)的自動編碼器可以被看作是一種信息的壓縮算法程序，其算法程序由解碼和編碼兩個部分組成，并包含一個對稱結(jié)構(gòu)。目前，自動編碼器有2個主要的應(yīng)用，主要的是數(shù)據(jù)去噪，還有一個是視覺圖像和空間屬性的還原。在可接受的空間屬性和掃描次數(shù)限制方面，自動編碼器將比PCA等技術(shù)學(xué)到更多的信息預(yù)測。圖1.2是傳統(tǒng)編碼器的編碼過程。輸入層隱藏層輸出層圖1.2傳統(tǒng)編碼器的編碼過程下面的公式可以展現(xiàn)出此過程：3編碼的偏置、權(quán)重表示為：b?、W?解碼的偏置、權(quán)重表示為：b?.W?損失函數(shù)為：基于梯度的傳統(tǒng)方式可以作為自動編碼器的訓(xùn)練過程。傳統(tǒng)的自編碼器的目的是使輸出盡可能地與輸入相同，這可以完全通過學(xué)習(xí)2個常數(shù)函數(shù)來實現(xiàn)，然而這樣的變形并沒有任何意義，因為我們實際上關(guān)心的是隱含表達(dá)式，而不是特定的輸出。所以，隱層表達(dá)被自動編碼器的增強(qiáng)功能增加了很多約束，迫使輸入與隱層表達(dá)產(chǎn)生區(qū)別。1.3深度信念網(wǎng)絡(luò)深度信念網(wǎng)絡(luò)本身是一個概率生成模型，與神經(jīng)網(wǎng)絡(luò)的正常判別模型不同，生成模型在觀察和標(biāo)簽之間建立一個聯(lián)合分布，評估每個P(觀察標(biāo)簽)和P(標(biāo)簽觀察),而判別模型只評估后者，即P(標(biāo)簽觀察)。DBNs包含多層受限玻爾茲曼機(jī)，一個典型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1.3所示。這些網(wǎng)絡(luò)單元”限制"為一個普通層和一個隱藏層，各層之間有連接，但各層之間的單元沒有連接。隱蔽層中的單元經(jīng)過訓(xùn)練，可以捕捉到可見層中顯示的高階信息的相關(guān)性[26]。V圖1.3深度信念網(wǎng)絡(luò)結(jié)構(gòu)事實上，每個受限的玻爾茲曼機(jī)將被單獨(dú)用作聚類器，副層由隱含層和普通層組成，前者可用于訓(xùn)練計算機(jī)文件，后者則用于特征檢測。深度信仰網(wǎng)絡(luò)由多層受限的玻爾茲曼機(jī)組成，每一層都是生成性和鑒別性模型。DBN被用來指導(dǎo)網(wǎng)絡(luò)模型的利用，并以無監(jiān)督的貪婪方式逐層獲取權(quán)重。1.4卷積神經(jīng)網(wǎng)絡(luò)1.4.1卷積神經(jīng)網(wǎng)絡(luò)概念紐約大學(xué)的YannLecun在1998年提出了CNN,它本質(zhì)上是一個多層感知器，它的成功是由于它使用了本地屬性和權(quán)重共享。一方面，它減少了創(chuàng)建網(wǎng)絡(luò)直接優(yōu)化的權(quán)重數(shù)量，另一方面，它降低了模型的質(zhì)量，即過擬合的機(jī)會。一旦網(wǎng)絡(luò)的輸入是一張圖片，這一優(yōu)勢就非常明顯，這使得圖片直接被用作網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中特征提取和信息重建的困難方法，在處理二維圖片的方法中具有很好的好處。如網(wǎng)絡(luò)會自行提取圖像的顏色、紋理、形狀和拓?fù)浣Y(jié)構(gòu)等選項，在處理二維圖片的過程中，特別是在識別位移、縮放和其他種類的失真無變化等應(yīng)用中，具有良好的魯棒性和運(yùn)行效率。4卷積神經(jīng)網(wǎng)絡(luò)的本質(zhì)是一個多層感知器，其中每個感知器由多個二維平面組成，每個平面由多和信息重建的困難問題。網(wǎng)絡(luò)將通過讀取部分?jǐn)?shù)據(jù)的原生領(lǐng)域獲得精心設(shè)計的數(shù)據(jù)，通過共享權(quán)重削減神經(jīng)元的數(shù)量，削減網(wǎng)絡(luò)輔導(dǎo)時間，削減復(fù)雜性，并通過匯集采樣、減少空間屬性和去除冗余數(shù)據(jù)，整個拓?fù)浣Y(jié)構(gòu)往往是不間斷的旅行、移動和縮放不變的。拓?fù)浣Y(jié)構(gòu)的特點(diǎn)是平移、旋轉(zhuǎn)和縮卷積神經(jīng)網(wǎng)絡(luò)不同于一般的神經(jīng)網(wǎng)絡(luò)，它包含一個由卷積層和子采樣層特征提取器組成的特征并且在一個非常特征平面中的每個神經(jīng)元都共享權(quán)重。在這里，共享權(quán)重指的卷積核操作，而且卷積核的大小有時被初始化為一個隨機(jī)的品種格式化進(jìn)行[29]。在整個網(wǎng)絡(luò)模型結(jié)構(gòu)的輔導(dǎo)方法中，卷積核可以學(xué)習(xí)并獲得一個可承受的權(quán)重。共享權(quán)重的好處是，它們可以縮減網(wǎng)絡(luò)模型每一層之間的關(guān)聯(lián)數(shù)量，并共同減少整個連接方法中的過擬合危險。如圖1.5所示t圖1.5卷積神經(jīng)網(wǎng)絡(luò)基本架構(gòu)有2種方法可以削減卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)數(shù)量，首先是局部感知。一般認(rèn)為，我們通常都是從局部到全局來認(rèn)識外部世界，對于圖片之間的空間關(guān)系也是如此，凡是局部像素，像素之間的空間關(guān)系是相同的，局部像素通常有更緊密的聯(lián)系，而遠(yuǎn)方像素之間的關(guān)聯(lián)性較小30。因此，不是每個神經(jīng)元都需要理解全局圖像。它只需要進(jìn)行局部感知，然后混合本地數(shù)據(jù)，以獲得更高層次的全圖(1)全連接模式圖(2)局部連接模式5圖1.6神經(jīng)網(wǎng)絡(luò)的全連接與局部連接模式不過，網(wǎng)絡(luò)結(jié)構(gòu)中仍有太多的參數(shù)，因此有第二個辦法來縮減參數(shù)的數(shù)量，那就是權(quán)重共享。在高于本地的關(guān)聯(lián)中，每個體細(xì)胞對應(yīng)一百個參數(shù)，總共有一億個神經(jīng)元。如果這十萬個神經(jīng)元的我們將把一百個參數(shù)(即卷積運(yùn)算)視為提取與位置無關(guān)的選項的方式。隱含的原則是，圖像的1個部分的應(yīng)用數(shù)學(xué)特性是相似的，因為圖像的1個部分的應(yīng)用數(shù)學(xué)特性的不同組件與相反的組件相似。這意味著我們在這一半的時間里傾向于學(xué)習(xí)的選項往往適用于不同的組件，此外，我們將一個很直觀的方法是從一個超大尺寸的圖像中隨意選擇一小部分像素，比如有一個8×8的圖片用于圖像的任何部分。具體來說，我們將使用從8×8樣本中學(xué)習(xí)到的選項，從8×8樣本中學(xué)習(xí)到的選項與初始大尺寸圖像進(jìn)行卷積，因此我們將獲得我們將獲得巨大圖像上任何地方的各種選項的如圖1.7所示，3×3卷積核在5×5圖像上的卷積過程。所有卷積都是一種特征提取，它就像一隨機(jī)選擇3×3窗口隨機(jī)選擇3×3窗口