1、深度學(xué)習(xí)方法在圖像處理中的應(yīng)用與研究1. 概述和背景12.人腦視覺機(jī)理33.深度學(xué)習(xí)的基本思想64.深度學(xué)習(xí)的常用方法75. 總結(jié)與展望9深度學(xué)習(xí)方法在圖像處理中的應(yīng)用與研究 1. 概述和背景 Artificial Intelligence，也就是人工智能，就像長(zhǎng)生不老和星際漫游一樣，是人類最美好的夢(mèng)想之一。雖然計(jì)算機(jī)技術(shù)已經(jīng)取得了長(zhǎng)足的進(jìn)步，但是到目前為止，還沒有一臺(tái)電腦能產(chǎn)生“自我”的意識(shí)。是的，在人類和大量現(xiàn)成數(shù)據(jù)的幫助下，電腦可以表現(xiàn)的十分強(qiáng)大，但是離開了這兩者，它甚至都不能分辨一個(gè)喵星人和一個(gè)汪星人。 圖靈（圖靈，大家都知道吧。計(jì)算機(jī)和人工智能的鼻祖，分別對(duì)應(yīng)于其著名的“圖靈機(jī)”和“

2、圖靈測(cè)試”）在 1950 年的論文里，提出圖靈試驗(yàn)的設(shè)想，即，隔墻對(duì)話，你將不知道與你談話的，是人還是電腦。這無(wú)疑給計(jì)算機(jī)，尤其是人工智能，預(yù)設(shè)了一個(gè)很高的期望值。但是半個(gè)世紀(jì)過(guò)去了，人工智能的進(jìn)展，遠(yuǎn)遠(yuǎn)沒有達(dá)到圖靈試驗(yàn)的標(biāo)準(zhǔn)。這不僅讓多年翹首以待的人們，心灰意冷，認(rèn)為人工智能是忽悠，相關(guān)領(lǐng)域是“偽科學(xué)”。 但是自 2006 年以來(lái)，機(jī)器學(xué)習(xí)領(lǐng)域，取得了突破性的進(jìn)展。圖靈試驗(yàn)，至少不是那么可望而不可及了。至于技術(shù)手段，不僅僅依賴于云計(jì)算對(duì)大數(shù)據(jù)的并行處理能力，而且依賴于算法。這個(gè)算法就是，Deep Learning。借助于 Deep Learning 算法，人類終于找到了如何處理“抽象概念”這

3、個(gè)亙古難題的方法。 在實(shí)際應(yīng)用中，例如對(duì)象分類問(wèn)題如對(duì)象的分類(對(duì)象可是文檔、圖像、音頻等)，我們不得不面對(duì)的一個(gè)是問(wèn)題是如何用數(shù)據(jù)來(lái)表示這個(gè)對(duì)象，當(dāng)然這里的數(shù)據(jù)并非初始的像素或者文字，也就是這些數(shù)據(jù)是比初始數(shù)據(jù)具有更為高層的含義，這里的數(shù)據(jù)往往指的就是對(duì)象的特征。例如人們常常將文檔、網(wǎng)頁(yè)等數(shù)據(jù)用詞的集合來(lái)表示，根據(jù)文檔的詞集合表示到一個(gè)詞組短語(yǔ)的向量空間 (vector space model, VSM模型)中，然后才能根抓不同的學(xué)習(xí)方法設(shè)計(jì)出適用的分類器來(lái)對(duì)目標(biāo)對(duì)象進(jìn)行分類;又如在圖像處理中，像素強(qiáng)度的集合的表示方法可以最初淺的表示一幅圖像，這也是我們視覺意義上的圖像，一可是由于各種原因人

4、們提出了更高層的語(yǔ)義的特征，如SIFT為經(jīng)典的幾何特征、以LBP為經(jīng)典的紋理特征、以特征臉為經(jīng)典的統(tǒng)計(jì)特征等，像SIFT，特征在很多圖像處理的應(yīng)用中突顯出其優(yōu)越性，因此特征選取得好壞對(duì)于實(shí)際應(yīng)用的影響是很深刻的。因此，選取什么特征或者用什么特征來(lái)表示某一對(duì)象對(duì)于解決一個(gè)實(shí)際問(wèn)題非常的重要。然而，人為地選取特征的時(shí)間代價(jià)是非常昂貴，另外勞動(dòng)成本也高，而所謂的啟發(fā)式的算法得到的結(jié)果往往不穩(wěn)定，結(jié)果好壞經(jīng)常是依靠經(jīng)驗(yàn)和運(yùn)氣。既然如此，人們自然考慮到自動(dòng)學(xué)習(xí)來(lái)完成特征抽取這一任務(wù)。Deep Learning的產(chǎn)生就是緣于此任務(wù)，它又被稱為無(wú)監(jiān)督的特征學(xué)習(xí)(Unsupervised Feature Le

5、arning )，一顯然從這個(gè)名稱就可以知道這是一個(gè)沒有人為參與的特征選取方法。 深度學(xué)習(xí)(Deep Learning)的概念是2006年左右由 Geoffrey Hinton等人在science上發(fā)表的一篇文章(Reducing the dimensionality of data with neural networks提出來(lái)的，主要通過(guò)神經(jīng)網(wǎng)絡(luò)(Neural Network NN)來(lái)模擬人的大腦的學(xué)習(xí)過(guò)程，希望借鑒人腦的多層抽象機(jī)制來(lái)實(shí)現(xiàn)對(duì)現(xiàn)實(shí)對(duì)象或數(shù)抓(圖像、語(yǔ)音及文木等)的抽象表達(dá)，整合特征抽取和分類器到一個(gè)學(xué)習(xí)框架下，特征的抽取過(guò)程中應(yīng)該盡量少地減少人為的干預(yù)。 深度學(xué)習(xí)是通過(guò)大量

6、的簡(jiǎn)單神經(jīng)元組成，每層的神經(jīng)元接收更低層的神經(jīng)元的輸入，通過(guò)輸入與輸出之間的非線性關(guān)系，將低層特征組合成更高層的抽象表示，并發(fā)現(xiàn)觀測(cè)數(shù)據(jù)的分布式特征。通過(guò)自下而上的學(xué)習(xí)形成多層的抽象表示，并多層次的特征學(xué)習(xí)是大連理卜大學(xué)碩十學(xué)位論文一個(gè)自動(dòng)地?zé)o人工干預(yù)的過(guò)程。根據(jù)學(xué)習(xí)到的網(wǎng)絡(luò)結(jié)構(gòu)，系統(tǒng)將輸入的樣本數(shù)據(jù)映射到各種層次的特征，并利用分類器或者匹配算法對(duì)頂層的輸出單元進(jìn)行分類識(shí)別等。2.人腦視覺機(jī)理研究表明，哺乳動(dòng)物的大腦皮層，處理輸入信息時(shí)是采用了一種分層機(jī)制，信息從感知器官輸入后，經(jīng)過(guò)多層的神經(jīng)元，在經(jīng)過(guò)每一層神經(jīng)元時(shí)，神經(jīng)元會(huì)將能夠體現(xiàn)對(duì)象本質(zhì)的特征抽取出來(lái)，然后將這些特征繼續(xù)傳遞到下一層神經(jīng)

7、元上，同樣地，后繼的各層神經(jīng)元都是以類似的方式處理和傳遞信息，最后傳至大腦。深層的人工神經(jīng)網(wǎng)絡(luò)的誕生很大程度上受這一發(fā)現(xiàn)的啟示，即構(gòu)建一種包含多層結(jié)點(diǎn)，并且使得信息、得以逐層處理抽象的神經(jīng)網(wǎng)絡(luò)。換言之，哺乳動(dòng)物的大腦是以深度方式組織的，這一類深層的結(jié)構(gòu)組織里的每一層會(huì)對(duì)于輸入進(jìn)行不同層次的信息處理或者抽象表示，因此，實(shí)際生活中，層次化的方法經(jīng)常被用于表示一些抽象的語(yǔ)義概念。與哺乳動(dòng)物一樣，人類的大腦處理信矛息時(shí)也是采用逐層傳輸和表達(dá)的方式，人腦的初級(jí)視覺系統(tǒng)，首先利用某些神經(jīng)元探測(cè)物體邊界、元形狀，然后又利用其他的神經(jīng)元組織，逐步向上處理形成更復(fù)雜的視覺形狀。人腦識(shí)別物體的原理是:外部世界中的

8、物體先在視網(wǎng)膜上進(jìn)行投影，然后大腦的視皮層對(duì)于聚集在視網(wǎng)膜上的投影進(jìn)行分解處理，最后利用這些分解處理后的信息進(jìn)行物體識(shí)別。因此視皮層的功能不是僅限于簡(jiǎn)單的重現(xiàn)視網(wǎng)膜圖像，而是提取和計(jì)算感知信號(hào)。視覺系統(tǒng)的輸入數(shù)據(jù)量在人類感知系統(tǒng)的層次結(jié)構(gòu)進(jìn)行了維數(shù)減約，并剔除了與物體個(gè)性無(wú)關(guān)的信息;例如對(duì)于處理潛在結(jié)構(gòu)是復(fù)雜的豐富數(shù)據(jù)(如圖像、視頻、主意等)，深度學(xué)習(xí)應(yīng)該與人類視覺系統(tǒng)一樣可以精準(zhǔn)地獲取對(duì)象的本質(zhì)特征。深度學(xué)習(xí)的構(gòu)想是借鑒大腦的分層組織方式，通過(guò)由下向上、由簡(jiǎn)單到高級(jí)的逐層抽象的特征學(xué)習(xí)，研究者們期望深度網(wǎng)絡(luò)結(jié)構(gòu)能通過(guò)模擬大腦來(lái)解決復(fù)雜的模式識(shí)別難題。因此，深層的人工神經(jīng)網(wǎng)絡(luò)是一種人工定義用于

9、模擬人腦組織形式的多層神經(jīng)網(wǎng)絡(luò)。從文本來(lái)說(shuō)，一個(gè)doc表示什么意思？我們描述一件事情，用什么來(lái)表示比較合適？用一個(gè)一個(gè)字嘛，我看不是，字就是像素級(jí)別了，起碼應(yīng)該是term，換句話說(shuō)每個(gè)doc都由term構(gòu)成，但這樣表示概念的能力就夠了嘛，可能也不夠，需要再上一步，達(dá)到topic級(jí)，有了topic，再到doc就合理。但每個(gè)層次的數(shù)量差距很大，比如doc表示的概念->topic（千-萬(wàn)量級(jí)）->term（10萬(wàn)量級(jí)）->word（百萬(wàn)量級(jí)）。 一個(gè)人在看一個(gè)doc的時(shí)候，眼睛看到的是word，由這些word在大腦里自動(dòng)切詞形成term，在按照概念組織的方式，先驗(yàn)的學(xué)習(xí)，得到top

10、ic，然后再進(jìn)行高層次的learning。那我們需要有多少個(gè)特征呢？我們知道需要層次的特征構(gòu)建，由淺入深，但每一層該有多少個(gè)特征呢？任何一種方法，特征越多，給出的參考信息就越多，準(zhǔn)確性會(huì)得到提升。但特征多意味著計(jì)算復(fù)雜，探索的空間大，可以用來(lái)訓(xùn)練的數(shù)據(jù)在每個(gè)特征上就會(huì)稀疏，都會(huì)帶來(lái)各種問(wèn)題，并不一定特征越多越好。一些淺層的算法(指僅含一個(gè)隱層的神經(jīng)網(wǎng)絡(luò)、核回歸、支撐向量機(jī)等)，當(dāng)給定有限數(shù)量的樣本和計(jì)算單元時(shí)，淺層結(jié)構(gòu)難以有效地表示復(fù)雜函數(shù)，并且對(duì)于復(fù)雜分類問(wèn)題表現(xiàn)性能及泛化能力針均有明顯的不足，尤其當(dāng)目標(biāo)對(duì)象具有豐富的含義。深度學(xué)習(xí)通過(guò)大量的簡(jiǎn)單神經(jīng)元組成的網(wǎng)絡(luò)，利用輸入與輸出之間的非線性關(guān)

11、系，對(duì)復(fù)雜函數(shù)進(jìn)行近似，對(duì)觀測(cè)樣本進(jìn)行擬合，并在學(xué)習(xí)輸入樣本本質(zhì)特征的抽取上體現(xiàn)了強(qiáng)大的能力。有文獻(xiàn)中就列舉出一系列無(wú)法使用淺層網(wǎng)絡(luò)表示的函數(shù)，這些研究成果揭示了淺層網(wǎng)絡(luò)的局限性，從而也激發(fā)了人們探尋深度網(wǎng)絡(luò)在一些復(fù)雜函數(shù)表示和復(fù)雜分類的應(yīng)用前景。指出深度學(xué)習(xí)結(jié)構(gòu)在對(duì)于復(fù)雜函數(shù)的表示問(wèn)題上具有非常高的效率及效果，而一個(gè)不適用的結(jié)構(gòu)模型否(如淺層網(wǎng)絡(luò))對(duì)數(shù)據(jù)建模時(shí)可能需要數(shù)目非常大的計(jì)算單元。3.深度學(xué)習(xí)的基本思想假設(shè)一個(gè)系統(tǒng)S，它是一個(gè)n層(S1，Sn)的結(jié)構(gòu)，I是系統(tǒng)的輸入，O是系統(tǒng)輸出，形象地表示為:I =>S1=>S2=>.=>Sn=>O，如果輸出O等于輸入

12、I，物理意義也就是表明在經(jīng)過(guò)系統(tǒng)變化之后，輸入I的信息量沒有任何損失，和原始的輸入保持了不變，這表明了輸入I經(jīng)過(guò)每一層S;均沒有丟失任何信息,，即在任何一層S;，它都是輸入I也就是原始信息的另外一種表示。簡(jiǎn)單說(shuō)，深度學(xué)習(xí)的精髓也就是，在一個(gè)n層的神經(jīng)網(wǎng)絡(luò)中，任何一層的輸入I和輸出O是“相等.的。學(xué)習(xí)過(guò)程中，我們希望它是不需要人為干預(yù)的，它能夠自動(dòng)地學(xué)習(xí)對(duì)象的特征。在給定一組原始的輸入I(可以理解為是一堆圖像或者文本、一段語(yǔ)音之類)，經(jīng)過(guò)一個(gè)包含n層的系統(tǒng)S時(shí)，我們通過(guò)調(diào)整系統(tǒng)中參數(shù)，使得輸出與輸出相等，即輸出O仍然是輸入I，這樣，我們就獲取了輸入I(原始數(shù)據(jù))的一系列的層次特征，記為S, .S

13、n。另外，前面是假設(shè)輸出嚴(yán)格地等于輸入，即這個(gè)地方“相等”有兩個(gè)含義在里面:第一個(gè)是說(shuō)O和I不是在絕對(duì)形式上的相等，而是在抽象意義上的相等;另外一點(diǎn)指的是限制的約束的程度，比如說(shuō)是不會(huì)造成歧義的完全“相等”還是有適當(dāng)寬松條件的“相等”。而絕對(duì)意義上的“相等”這個(gè)限制太嚴(yán)格，我們可以略微地放松這個(gè)限制，例如我們只要使得輸入與輸出的差別盡可能地小即可，這個(gè)放松會(huì)形成另外一類不同的深度學(xué)習(xí)的方法。舉個(gè)不太恰當(dāng)?shù)睦?，比如說(shuō)對(duì)“交通工具”這個(gè)概念上，I是“可以駕駛的四個(gè)輪子”，O是“車”，這樣雖然對(duì)兩者的描述不一致，但是我們都一可以理解為“交通工具”了。上述就是深度學(xué)習(xí)的基本思想，而上述中的兩個(gè)思想也

14、對(duì)應(yīng)了深度學(xué)習(xí)中的兩個(gè)經(jīng)典的方法AutoEncoder和Sparse Coding，還有一個(gè)很常用的方法就是受限玻爾茲曼機(jī)(Restrict Boltzmann Machine， RBM )。4. 深度學(xué)習(xí)的常用方法4.1AutoEncoder自動(dòng)編碼器最簡(jiǎn)單的一種方法是利用人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，人工神經(jīng)網(wǎng)絡(luò)(ANN)本身就是具有層次結(jié)構(gòu)的系統(tǒng)，如果給定一個(gè)神經(jīng)網(wǎng)絡(luò)，我們假設(shè)其輸出與輸入是相同的，然后訓(xùn)練調(diào)整其參數(shù)，得到每一層中的權(quán)重，自然地，我們就得到了輸入I的兒種不同表示(每一層是輸入的一種表示)，這些表示就是特征，在研究中可以發(fā)現(xiàn)，如果在原有的特征中加入這些自動(dòng)學(xué)習(xí)得到的特t正可以大大提高

15、精確度，甚至在分類問(wèn)題中比前址好的分類算法效果還要好，這種方法稱為自動(dòng)編碼(AutoEncoder )。4.2、Sparse Coding稀疏編碼如果我們把輸出必須和輸入相等的限制放松，同時(shí)利用線性代數(shù)中基的概念，即O=Wx B, +硯x B, +.+W,x B, , B是基，W;是系數(shù)，我們可以得到這樣一個(gè)優(yōu)化問(wèn)題:Min 11一Olo通過(guò)求解這個(gè)最優(yōu)化式子，我們可以求得系數(shù)W和基B;，這些系數(shù)和基礎(chǔ)就是輸入的另外一種近似表達(dá)，因此，它們可以被當(dāng)成特征來(lái)表達(dá)輸入I，這個(gè)過(guò)程也是自動(dòng)學(xué)習(xí)得到的。如果我們?cè)谏鲜鍪阶由霞由螸1的Regularity限制，得到: MinI一O+u*(IW卜硯I+W，

16、)。(2. 1)種方法被稱為Sparse Coding，它是一種對(duì)對(duì)象的簡(jiǎn)潔表征的方法，這種方法可以自動(dòng)地學(xué)習(xí)到隱藏在對(duì)象數(shù)據(jù)潛在的基函數(shù)。4.3、Restricted Boltzmann Machine(RBM)限制波爾茲曼機(jī)假設(shè)有一個(gè)二部圖，每一個(gè)相同層的節(jié)點(diǎn)之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層(v)，一層是隱層(h)，如果假設(shè)所有的節(jié)點(diǎn)都是二值變量節(jié)點(diǎn)(只能取0或者1值)，同時(shí)假設(shè)聯(lián)合概率分布p(v, h)滿足Boltzmann分布，我們稱這個(gè)模型是受限玻爾茲曼機(jī)(RBM)。下面我們來(lái)看看為什么它是Deep Learning方法。首先，這個(gè)模型因?yàn)槭嵌繄D，所以在己知v的情況下，所有

17、的隱藏節(jié)點(diǎn)之間是條件獨(dú)立的，即p(hIv卜p(h, I 1,) . p(h I v)。同理，在己知隱藏層h的情況下，所有的可視節(jié)點(diǎn)都是條件獨(dú)立的，同時(shí)又由于所有的v和h滿足Boltzmann分布，因此，當(dāng)輸入v的時(shí)候，通過(guò)p(hlv)可以得到隱藏層h，而得到隱藏層h之后，通過(guò)p(vlh)又能重構(gòu)可視層，通過(guò)調(diào)整參數(shù)，我們就是要使得從隱藏層得到的可視層VI與原來(lái)的可視層v如果一樣，那么得到的隱藏層就是可視層的另外一種表達(dá)，因此隱藏層可以作為可視層輸入數(shù)據(jù)的特征，所以它就是一種Dcep Learning方法。文獻(xiàn)X32從理論一上證明，當(dāng)隱層節(jié)點(diǎn)足夠多時(shí)，深度網(wǎng)絡(luò)就可以表示任意離散分布;文獻(xiàn)33指出

18、受限玻爾茲曼機(jī)中的隱層節(jié)點(diǎn)與可視節(jié)點(diǎn)可以為任意的指數(shù)族單元(即給定隱單元(可見單元)，可見單元(隱單元)的分布的形式一可以為任意的指數(shù)族分布)，如高斯單元、softmax單元、泊松單元等等。4.4、Deep BeliefNetworks深信度網(wǎng)絡(luò) DBNs是一個(gè)概率生成模型，與傳統(tǒng)的判別模型的神經(jīng)網(wǎng)絡(luò)相對(duì)，生成模型是建立一個(gè)觀察數(shù)據(jù)和標(biāo)簽之間的聯(lián)合分布，對(duì)P(Observation|Label)和 P(Label|Observation)都做了評(píng)估，而判別模型僅僅而已評(píng)估了后者，也就是P(Label|Observation)。對(duì)于在深度神經(jīng)網(wǎng)絡(luò)應(yīng)用傳統(tǒng)的BP算法的時(shí)候，DBNs遇到了以下問(wèn)題：

19、（1）需要為訓(xùn)練提供一個(gè)有標(biāo)簽的樣本集；（2）學(xué)習(xí)過(guò)程較慢；（3） 不適當(dāng)?shù)膮?shù)選擇會(huì)導(dǎo)致學(xué)習(xí)收斂于局部最優(yōu)解。 目前，和DBNs有關(guān)的研究包括堆疊自動(dòng)編碼器，它是通過(guò)用堆疊自動(dòng)編碼器來(lái)替換傳統(tǒng)DBNs里面的RBMs。這就使得可以通過(guò)同樣的規(guī)則來(lái)訓(xùn)練產(chǎn)生深度多層神經(jīng)網(wǎng)絡(luò)架構(gòu)，但它缺少層的參數(shù)化的嚴(yán)格要求。與DBNs不同，自動(dòng)編碼器使用判別模型，這樣這個(gè)結(jié)構(gòu)就很難采樣輸入采樣空間，這就使得網(wǎng)絡(luò)更難捕捉它的內(nèi)部表達(dá)。但是，降噪自動(dòng)編碼器卻能很好的避免這個(gè)問(wèn)題，并且比傳統(tǒng)的DBNs更優(yōu)。它通過(guò)在訓(xùn)練過(guò)程添加隨機(jī)的污染并堆疊產(chǎn)生場(chǎng)泛化性能。訓(xùn)練單一的降噪自動(dòng)編碼器的過(guò)程和RBMs訓(xùn)練生成模型的過(guò)程一樣

20、。 4.5 Networks卷積神經(jīng)網(wǎng)絡(luò) 卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語(yǔ)音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過(guò)程。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。 CNNs是受早期的延時(shí)神經(jīng)網(wǎng)絡(luò)（TDNN）的影響。延時(shí)神經(jīng)網(wǎng)絡(luò)通過(guò)在時(shí)間維度上共享權(quán)值降低學(xué)習(xí)復(fù)雜度，適用于語(yǔ)音和時(shí)間序列信號(hào)的處理。 CNNs

21、是第一個(gè)真正成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法。它利用空間關(guān)系減少需要學(xué)習(xí)的參數(shù)數(shù)目以提高一般前向BP算法的訓(xùn)練性能。CNNs作為一個(gè)深度學(xué)習(xí)架構(gòu)提出是為了最小化數(shù)據(jù)的預(yù)處理要求。在CNN中，圖像的一小部分（局部感受區(qū)域）作為層級(jí)結(jié)構(gòu)的最低層的輸入，信息再依次傳輸?shù)讲煌膶?，每層通過(guò)一個(gè)數(shù)字濾波器去獲得觀測(cè)數(shù)據(jù)的最顯著的特征。這個(gè)方法能夠獲取對(duì)平移、縮放和旋轉(zhuǎn)不變的觀測(cè)數(shù)據(jù)的顯著特征，因?yàn)閳D像的局部感受區(qū)域允許神經(jīng)元或者處理單元可以訪問(wèn)到最基礎(chǔ)的特征，例如定向邊緣或者角點(diǎn)。5. 總結(jié)與展望1）Deep learning總結(jié) 深度學(xué)習(xí)是關(guān)于自動(dòng)學(xué)習(xí)要建模的數(shù)據(jù)的潛在（隱含）分布的多層（復(fù)雜）表達(dá)的算

22、法。換句話來(lái)說(shuō)，深度學(xué)習(xí)算法自動(dòng)的提取分類需要的低層次或者高層次特征。高層次特征，一是指該特征可以分級(jí)（層次）地依賴其他特征，例如：對(duì)于機(jī)器視覺，深度學(xué)習(xí)算法從原始圖像去學(xué)習(xí)得到它的一個(gè)低層次表達(dá)，例如邊緣檢測(cè)器，小波濾波器等，然后在這些低層次表達(dá)的基礎(chǔ)上再建立表達(dá)，例如這些低層次表達(dá)的線性或者非線性組合，然后重復(fù)這個(gè)過(guò)程，最后得到一個(gè)高層次的表達(dá)。 Deep learning能夠得到更好地表示數(shù)據(jù)的feature，同時(shí)由于模型的層次、參數(shù)很多，capacity足夠，因此，模型有能力表示大規(guī)模數(shù)據(jù)，所以對(duì)于圖像、語(yǔ)音這種特征不明顯（需要手工設(shè)計(jì)且很多沒有直觀物理含義）的問(wèn)題，能夠在大規(guī)模訓(xùn)練數(shù)據(jù)上取得更好的效果。此外，從模式識(shí)別特征和分類器的角度，deep learning框架將feature和分類器結(jié)合到一個(gè)框架中，用數(shù)據(jù)去學(xué)習(xí)feature，在使用中減少了手工設(shè)計(jì)feature的巨大工作量（這是目前工業(yè)界工程師付出努力最多的方面），因此，不僅僅效果可以更好，而且，使用起來(lái)也有很多方便之處，因此，是十