深度學(xué)習(xí)理論理論基礎(chǔ)概述目錄TOC\o"1-2"\h\u12230深度學(xué)習(xí)理論理論基礎(chǔ)概述 1123801.1深度學(xué)習(xí)概述 1324121.2自動(dòng)編碼器 239031.3深度信念網(wǎng)絡(luò) 3268441.4卷積神經(jīng)網(wǎng)絡(luò) 31031.5小結(jié) 5深度學(xué)習(xí)是學(xué)習(xí)樣本信息的內(nèi)在規(guī)律和說(shuō)明水平的方法，因此從這些學(xué)習(xí)過(guò)程中獲得的信息在解釋文本、圖像和聲音等知識(shí)方面有很大的幫助。它的最終目標(biāo)是改變機(jī)器，使其擁有與人類相似的分析性大腦，并能夠識(shí)別像文本、圖像和聲音這樣的信息。1.1深度學(xué)習(xí)概述深度學(xué)習(xí)是目前機(jī)器學(xué)習(xí)領(lǐng)域中最流行的分支，深度學(xué)習(xí)特別習(xí)慣于解決知識(shí)選項(xiàng)的深度提取問(wèn)題[24]。人工神經(jīng)網(wǎng)絡(luò)在管理一些相對(duì)簡(jiǎn)單的問(wèn)題時(shí)，只需要2個(gè)神經(jīng)元，其中一層負(fù)責(zé)輸入信號(hào)，然后將其處理到另一層，因此另一層負(fù)責(zé)輸出信號(hào)。然而在深度學(xué)習(xí)中，它不是一個(gè)簡(jiǎn)單的兩層結(jié)構(gòu)，在輸入和輸出層之間隱藏著幾個(gè)線性或非線性神經(jīng)元。在輸入層和輸出層之間隱藏著幾個(gè)線性或非線性單元，它們將更多地對(duì)傳入的知識(shí)進(jìn)行處理。深度學(xué)習(xí)的定義并不嚴(yán)格；簡(jiǎn)單來(lái)說(shuō)就是一個(gè)多層網(wǎng)絡(luò)結(jié)構(gòu)模型的通用術(shù)語(yǔ)，是機(jī)器學(xué)習(xí)的一部分，它是機(jī)器學(xué)習(xí)的一個(gè)區(qū)域。它的基本特征是模仿大腦信息中的神經(jīng)元傳輸和處理信息數(shù)據(jù)[25]。如圖1.1所示，神經(jīng)網(wǎng)絡(luò)的機(jī)器模型通常需要大量的互連節(jié)點(diǎn)，并具有以下兩個(gè)特點(diǎn)。（1）每一個(gè)節(jié)點(diǎn)都要解決備選相鄰節(jié)點(diǎn)的加權(quán)輸入值的一些缺點(diǎn)[25]。（2)節(jié)點(diǎn)之間傳輸知識(shí)的強(qiáng)度是利用所謂的權(quán)重，因此，算法規(guī)則是通過(guò)連續(xù)的自學(xué)來(lái)調(diào)整的。通過(guò)連續(xù)的自我學(xué)習(xí)來(lái)調(diào)整策略的權(quán)重。圖1.1神經(jīng)網(wǎng)絡(luò)模型深度學(xué)習(xí)的本質(zhì)是通過(guò)多層非線性部分來(lái)表示抽象知識(shí)的一些特征，或者通過(guò)分層的非線性網(wǎng)絡(luò)結(jié)構(gòu)來(lái)表示一些很多復(fù)雜的功能。在圖像處理中，就是通過(guò)超大范圍的訓(xùn)練獲得學(xué)習(xí)的圖像選項(xiàng)深度學(xué)習(xí)就是通過(guò)超大范圍的實(shí)驗(yàn)樣本獲得學(xué)習(xí)的圖像選項(xiàng)。目前，可以將深度學(xué)習(xí)的模型大致分成三類：混合型結(jié)構(gòu)：自動(dòng)編碼器(AutoEncoder，AE)等生成型結(jié)構(gòu)：深度信念網(wǎng)絡(luò)(DeepBeliefNetwork，DBN)等。區(qū)分型深度結(jié)構(gòu)：卷積神經(jīng)網(wǎng)絡(luò)(ConvolutionalNeuralNetwork，CNN)等。之后我將會(huì)對(duì)這三種深度學(xué)習(xí)的主要模型進(jìn)行介紹。1.2自動(dòng)編碼器傳統(tǒng)的自動(dòng)編碼器可以被看作是一種信息的壓縮算法程序，其算法程序由解碼和編碼兩個(gè)部分組成，并包含一個(gè)對(duì)稱結(jié)構(gòu)。目前，自動(dòng)編碼器有2個(gè)主要的應(yīng)用，主要的是數(shù)據(jù)去噪，還有一個(gè)是視覺(jué)圖像和空間屬性的還原。在可接受的空間屬性和掃描次數(shù)限制方面，自動(dòng)編碼器將比PCA等技術(shù)學(xué)到更多的信息預(yù)測(cè)。圖1.2是傳統(tǒng)編碼器的編碼過(guò)程。圖1.2傳統(tǒng)編碼器的編碼過(guò)程下面的公式可以展現(xiàn)出此過(guò)程：hy=編碼的偏置、權(quán)重表示為：b1、解碼的偏置、權(quán)重表示為：b2、損失函數(shù)為：J（W，b）=（L(x,y）=基于梯度的傳統(tǒng)方式可以作為自動(dòng)編碼器的訓(xùn)練過(guò)程。傳統(tǒng)的自編碼器的目的是使輸出盡可能地與輸入相同，這可以完全通過(guò)學(xué)習(xí)2個(gè)常數(shù)函數(shù)來(lái)實(shí)現(xiàn)，然而這樣的變形并沒(méi)有任何意義，因?yàn)槲覀儗?shí)際上關(guān)心的是隱含表達(dá)式，而不是特定的輸出。所以，隱層表達(dá)被自動(dòng)編碼器的增強(qiáng)功能增加了很多約束，迫使輸入與隱層表達(dá)產(chǎn)生區(qū)別。1.3深度信念網(wǎng)絡(luò)深度信念網(wǎng)絡(luò)本身是一個(gè)概率生成模型，與神經(jīng)網(wǎng)絡(luò)的正常判別模型不同，生成模型在觀察和標(biāo)簽之間建立一個(gè)聯(lián)合分布，評(píng)估每個(gè)P（觀察|標(biāo)簽）和P（標(biāo)簽|觀察），而判別模型只評(píng)估后者，即P（標(biāo)簽|觀察）。DBNs包含多層受限玻爾茲曼機(jī)，一個(gè)典型的網(wǎng)絡(luò)結(jié)構(gòu)如圖1.3所示。這些網(wǎng)絡(luò)單元"限制"為一個(gè)普通層和一個(gè)隱藏層，各層之間有連接，但各層之間的單元沒(méi)有連接。隱蔽層中的單元經(jīng)過(guò)訓(xùn)練，可以捕捉到可見(jiàn)層中顯示的高階信息的相關(guān)性[26]。圖1.3深度信念網(wǎng)絡(luò)結(jié)構(gòu)事實(shí)上，每個(gè)受限的玻爾茲曼機(jī)將被單獨(dú)用作聚類器，副層由隱含層和普通層組成，前者可用于訓(xùn)練計(jì)算機(jī)文件，后者則用于特征檢測(cè)。深度信仰網(wǎng)絡(luò)由多層受限的玻爾茲曼機(jī)組成，每一層都是生成性和鑒別性模型。DBN被用來(lái)指導(dǎo)網(wǎng)絡(luò)模型的利用，并以無(wú)監(jiān)督的貪婪方式逐層獲取權(quán)重。1.4卷積神經(jīng)網(wǎng)絡(luò)1.4.1卷積神經(jīng)網(wǎng)絡(luò)概念紐約大學(xué)的YannLecun在1998年提出了CNN，它本質(zhì)上是一個(gè)多層感知器，它的成功是由于它使用了本地屬性和權(quán)重共享。一方面，它減少了創(chuàng)建網(wǎng)絡(luò)直接優(yōu)化的權(quán)重?cái)?shù)量，另一方面，它降低了模型的質(zhì)量，即過(guò)擬合的機(jī)會(huì)。一旦網(wǎng)絡(luò)的輸入是一張圖片，這一優(yōu)勢(shì)就非常明顯，這使得圖片直接被用作網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中特征提取和信息重建的困難方法，在處理二維圖片的方法中具有很好的好處。如網(wǎng)絡(luò)會(huì)自行提取圖像的顏色、紋理、形狀和拓?fù)浣Y(jié)構(gòu)等選項(xiàng)，在處理二維圖片的過(guò)程中，特別是在識(shí)別位移、縮放和其他種類的失真無(wú)變化等應(yīng)用中，具有良好的魯棒性和運(yùn)行效率。1.4.2卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)的本質(zhì)是一個(gè)多層感知器，其中每個(gè)感知器由多個(gè)二維平面組成，每個(gè)平面由多個(gè)神經(jīng)元組成[27]。卷積神經(jīng)網(wǎng)絡(luò)直接使用初始圖像，因?yàn)榫W(wǎng)絡(luò)的輸入避免了一些額外的圖像預(yù)處理和信息重建的困難問(wèn)題。網(wǎng)絡(luò)將通過(guò)讀取部分?jǐn)?shù)據(jù)的原生領(lǐng)域獲得精心設(shè)計(jì)的數(shù)據(jù)，通過(guò)共享權(quán)重削減神經(jīng)元的數(shù)量，削減網(wǎng)絡(luò)輔導(dǎo)時(shí)間，削減復(fù)雜性，并通過(guò)匯集采樣、減少空間屬性和去除冗余數(shù)據(jù)，整個(gè)拓?fù)浣Y(jié)構(gòu)往往是不間斷的旅行、移動(dòng)和縮放不變的。拓?fù)浣Y(jié)構(gòu)的特點(diǎn)是平移、旋轉(zhuǎn)和縮放的不可改變性。卷積神經(jīng)網(wǎng)絡(luò)不同于一般的神經(jīng)網(wǎng)絡(luò)，它包含一個(gè)由卷積層和子采樣層特征提取器組成的特征提取器[28]。在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中，神經(jīng)元只與相鄰層中的少量神經(jīng)元相連接。每個(gè)特征平面都由神經(jīng)元組成，每個(gè)特征平面都由神經(jīng)元組成，這些神經(jīng)元通常以一個(gè)非常矩形的形式組織起來(lái)，并且在一個(gè)非常特征平面中的每個(gè)神經(jīng)元都共享權(quán)重。在這里，共享權(quán)重指的卷積核操作，而且卷積核的大小有時(shí)被初始化為一個(gè)隨機(jī)的品種格式化進(jìn)行[29]。在整個(gè)網(wǎng)絡(luò)模型結(jié)構(gòu)的輔導(dǎo)方法中，卷積核可以學(xué)習(xí)并獲得一個(gè)可承受的權(quán)重。共享權(quán)重的好處是，它們可以縮減網(wǎng)絡(luò)模型每一層之間的關(guān)聯(lián)數(shù)量，并共同減少整個(gè)連接方法中的過(guò)擬合危險(xiǎn)。如圖1.5所示圖1.5卷積神經(jīng)網(wǎng)絡(luò)基本架構(gòu)有2種方法可以削減卷積神經(jīng)網(wǎng)絡(luò)中的參數(shù)數(shù)量，首先是局部感知。一般認(rèn)為，我們通常都是從局部到全局來(lái)認(rèn)識(shí)外部世界，對(duì)于圖片之間的空間關(guān)系也是如此，凡是局部像素，像素之間的空間關(guān)系是相同的，局部像素通常有更緊密的聯(lián)系，而遠(yuǎn)方像素之間的關(guān)聯(lián)性較小[30]。因此，不是每個(gè)神經(jīng)元都需要理解全局圖像。它只需要進(jìn)行局部感知，然后混合本地?cái)?shù)據(jù)，以獲得更高層次的全局信息。像圖1.6表示的一樣：圖(1)是全連接模式的神經(jīng)元，圖(2)局部連接模式的神經(jīng)元。圖（1）全連接模式圖（2）局部連接模式圖1.6神經(jīng)網(wǎng)絡(luò)的全連接與局部連接模式不過(guò)，網(wǎng)絡(luò)結(jié)構(gòu)中仍有太多的參數(shù)，因此有第二個(gè)辦法來(lái)縮減參數(shù)的數(shù)量，那就是權(quán)重共享。在高于本地的關(guān)聯(lián)中，每個(gè)體細(xì)胞對(duì)應(yīng)一百個(gè)參數(shù)，總共有一億個(gè)神經(jīng)元。如果這十萬(wàn)個(gè)神經(jīng)元的所有一百個(gè)參數(shù)都相等，那么參數(shù)的數(shù)量就變成了一百[31]。我們將把一百個(gè)參數(shù)（即卷積運(yùn)算）視為提取與位置無(wú)關(guān)的選項(xiàng)的方式。隱含的原則是，圖像的1個(gè)部分的應(yīng)用數(shù)學(xué)特性是相似的，因?yàn)閳D像的1個(gè)部分的應(yīng)用數(shù)學(xué)特性的不同組件與相反的組件相似。這意味著我們?cè)谶@一半的時(shí)間里傾向于學(xué)習(xí)的選項(xiàng)往往適用于不同的組件，此外，我們將在這個(gè)圖像的最少位置使用類似的學(xué)習(xí)選項(xiàng)[32]。一個(gè)很直觀的方法是從一個(gè)超大尺寸的圖像中隨意選擇一小部分像素，比如有一個(gè)8×8的圖片元素單元作為樣本，并從這個(gè)小樣本中學(xué)習(xí)一些選項(xiàng)，因此我們將從8×8樣本的選項(xiàng)中學(xué)習(xí)檢測(cè)器，用于圖像的任何部分。具體來(lái)說(shuō)，我們將使用從8×8樣本中學(xué)習(xí)到的選項(xiàng)，從8×8樣本中學(xué)習(xí)到的選項(xiàng)與初始大尺寸圖像進(jìn)行卷積，因此我們將獲得我們將獲得巨大圖像上任何地方的各