全國高校標(biāo)準(zhǔn)教材《云計算》姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用大數(shù)據(jù)劉鵬主編張燕張重生張志立副主編BIGDATA劉鵬教授，清華大學(xué)博士?，F(xiàn)任南京大數(shù)據(jù)研究院院長、中國信息協(xié)會大數(shù)據(jù)分會副會長、中國大數(shù)據(jù)技術(shù)與應(yīng)用聯(lián)盟副理事長。主持完成科研項目25項，發(fā)表論文80余篇，出版專業(yè)書籍15本。獲部級科技進(jìn)步二等獎4項、三等獎4項。主編的《云計算》被全國高校普遍采用，被引用量在國內(nèi)計算機(jī)圖書類排名居前。創(chuàng)辦了知名的中國云計算（）和中國大數(shù)據(jù)（）網(wǎng)站。曾率隊奪得2002PennySort國際計算機(jī)排序比賽冠軍，兩次奪得全國高?？萍急荣愖罡擢劊⑷螉Z得清華大學(xué)科技比賽最高獎。榮獲“全軍十大學(xué)習(xí)成才標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱號。第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實現(xiàn)全國高校標(biāo)準(zhǔn)教材《云計算》姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用of6536.5手寫體數(shù)字識別項目實例6.6深度學(xué)習(xí)應(yīng)用習(xí)題6.1概述第六章深度學(xué)習(xí)of654深度學(xué)習(xí)（DeepLearning）的概念是由Hinton、YoshuaBengio和YannLecun等人提出的，涉及神經(jīng)網(wǎng)絡(luò)、圖建模、人工智能、模式識別、最優(yōu)化理論和信號處理等領(lǐng)域。由于深度學(xué)習(xí)在各類競賽中，相對于傳統(tǒng)方法有著顯著的性能提升，越來越多的學(xué)術(shù)機(jī)構(gòu)和企業(yè)把目光轉(zhuǎn)向了深度學(xué)習(xí)領(lǐng)域。例如：2010年美國國防部DARPA首次資助深度學(xué)習(xí)項目；2012年11月，微軟在天津展示了全自動同聲傳譯系統(tǒng)，用英文演講，采用深度學(xué)習(xí)作為支撐，后臺計算機(jī)自動完成了語音識別、中英機(jī)器翻譯和中文語音合成；2013年1月，百度創(chuàng)始人宣布成立百度研究院，其中第一個成立的就是“深度學(xué)習(xí)研究所”；2013年4月，《麻省理工學(xué)院技術(shù)評論》雜志將深度學(xué)習(xí)列為2013年十大突破性技術(shù)之首。6.1概述第六章深度學(xué)習(xí)6.1.1人工智能簡史of655發(fā)展歷程三個階段20世紀(jì)40年代中期到50年代末期被稱為人工智能的啟蒙探索階段。20世紀(jì)60年代初期到80年代末期被稱為人工智能的發(fā)展階段。20世紀(jì)90年代初期到現(xiàn)在被稱為人工智能的繁榮階段。6.1概述第六章深度學(xué)習(xí)of656（1）20世紀(jì)40年代中期到50年代末期1950年，英國數(shù)學(xué)家圖靈在論文《計算的機(jī)器與智能》為計算機(jī)的出現(xiàn)奠定了理論基礎(chǔ)。同時期，W.McCullocli和W.Pitts發(fā)表了《神經(jīng)活動內(nèi)在概念的邏輯演算》，證明了可以嚴(yán)格定義的神經(jīng)網(wǎng)絡(luò)。1956年，美國達(dá)特茅斯大學(xué)的一次暑期專題研討會上第一次提出了人工智能，開創(chuàng)了人工智能的這一研究領(lǐng)域。1957年，A.Newell和H.Simon等人編寫了邏輯理論機(jī)的數(shù)學(xué)定理證明的程序，該程序證明了《數(shù)學(xué)原理》書中的38個定理。1956年Samuel編寫的西洋跳棋程序，到1959年這個程序戰(zhàn)勝了他本人，1962年還擊敗了美國Connecticut州的跳棋冠軍。人工智能的啟蒙探索階段6.1概述第六章深度學(xué)習(xí)of657（2）20世紀(jì)60年代初期到80年代末期1968年，第一個用于質(zhì)譜儀分析有機(jī)化合物的分子結(jié)構(gòu)的專家系統(tǒng)DENDRAL研制成功。20世紀(jì)70年代初，Winograd提出了積木世界中理解自然語言的程序等。1974年，N.J.Nillson對之前的一些工作進(jìn)行了綜述，并寫了一篇論文，把對人工智能的研究歸納為4個核心課題。1980年早期，人工智能的研究者研究出了專家系統(tǒng)，并產(chǎn)生了巨大的經(jīng)濟(jì)效益。1982年日本開始了使得邏輯推理與數(shù)值運算一樣快的第五代計算機(jī)的研制計劃。1986年，Rumelhart提出了反向傳播算法，用以解決人工神經(jīng)元網(wǎng)絡(luò)的學(xué)習(xí)問題，進(jìn)而人們進(jìn)一步轉(zhuǎn)向?qū)θ斯ど窠?jīng)元的研究。1987年，第一次神經(jīng)網(wǎng)絡(luò)國際會議在美國召開，宣告了這一新學(xué)科的誕生。人工智能的發(fā)展階段6.1概述第六章深度學(xué)習(xí)of658（3）20世紀(jì)90年代初期至今1997年IBM公司研制了“深藍(lán)計算機(jī)”，首次在正式比賽中以3.5∶2.5的比分戰(zhàn)勝了人類國際象棋世界冠軍。2016年3月15日，谷歌人工智能AlphaGo與圍棋世界冠軍李世石的人機(jī)大戰(zhàn)，最終李世石與AlphaGo以1∶4認(rèn)輸結(jié)束。人工智能的繁榮階段6.1概述第六章深度學(xué)習(xí)6.1.2大數(shù)據(jù)與深度學(xué)習(xí)of6592006年Hinton等人提出深度學(xué)習(xí)的概念，該方法基于深度置信網(wǎng)絡(luò)提出非監(jiān)督逐層訓(xùn)練的算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來了希望，掀起了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。隨著CPU和GPU計算能力的大幅提升，深度學(xué)習(xí)擁有了的更高效的硬件平臺作為支撐。大數(shù)據(jù)時代的海量數(shù)據(jù)解決了早期神經(jīng)網(wǎng)絡(luò)由于訓(xùn)練樣本不足出現(xiàn)的過擬合、泛化能力差等問題。因此，大數(shù)據(jù)需要深度學(xué)習(xí)，深度學(xué)習(xí)的發(fā)展又需要大數(shù)據(jù)的支撐。在未來幾年，深度學(xué)習(xí)將會被廣泛應(yīng)用于大數(shù)據(jù)的預(yù)測，而不是停留在淺層模型上，這將推動“大數(shù)據(jù)+深度模型”時代的來臨，以及人工智能和人機(jī)交互的前進(jìn)步伐。6.1概述第六章深度學(xué)習(xí)6.1.3人工智能的未來of3410人工智能一直處于計算機(jī)技術(shù)的前沿，計算機(jī)技術(shù)的發(fā)展方向?qū)⒑艽蟪潭壬弦蕾嚾斯ぶ悄芾碚摲矫娴难芯亢桶l(fā)現(xiàn)。人工智能對現(xiàn)代社會已經(jīng)產(chǎn)生了巨大的影響，在工業(yè)領(lǐng)域尤其是制造業(yè)，已經(jīng)成功地使用了人工智能技術(shù)，例如，智能設(shè)計、在線分析、仿真、虛擬制造、智能調(diào)度和規(guī)劃等。在金融業(yè)，股票商利用人工智能系統(tǒng)進(jìn)行分析、判斷和決策，信用卡欺詐檢測系統(tǒng)也得到了普遍應(yīng)用；在傳媒領(lǐng)域，新華網(wǎng)推出了自主研發(fā)的第一代生物傳感智能機(jī)器人“Star”。人工智能還對人們的日常生活產(chǎn)生了影響，Siri、實時在線地圖、語音搜索等一系列智能產(chǎn)品已經(jīng)給我們的生活帶來了極大的方便。6.1概述第六章深度學(xué)習(xí)of6511人工智能的未來人工智能結(jié)合數(shù)據(jù)協(xié)助醫(yī)生診斷病癥人工智能操作家用電器，人工智能汽車還可以經(jīng)預(yù)測降低交通事故的發(fā)生率在極端的施工場地承擔(dān)危險的工作，幫助人類降低傷亡的風(fēng)險幫助人類從事詩歌寫作、繪畫藝術(shù)等復(fù)雜的精神活動未來應(yīng)該是一個人工智能的世界。一朵花可能擁有智能，根據(jù)主人的心情來開放；每個人都有一個智能伴侶，讓我們更加理性地購物；甚至還能幫助信徒?jīng)Q定他們的人生信仰等。未來的人工智能將很多領(lǐng)域代替人類，并能服務(wù)我們?nèi)祟愖陨?，處理我們?nèi)粘５纳?。第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實現(xiàn)全國高校標(biāo)準(zhǔn)教材《云計算》姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用of65126.6深度學(xué)習(xí)應(yīng)用習(xí)題6.5手寫體數(shù)字識別項目實例6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.1探秘大腦的工作原理of6513大腦是人類活動的“信息處理中心”，支配著人類大多數(shù)的生命活動。大腦中存在著無數(shù)神經(jīng)元，是大腦處理信息的基本單元。神經(jīng)元之間相互連接，構(gòu)成神經(jīng)網(wǎng)絡(luò)，不同區(qū)域的神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)不同的功能，各區(qū)域相互協(xié)作，完成大腦的所有處理活動。當(dāng)外界信息通過感官系統(tǒng)，傳到大腦時，大腦對其做一個簡單的模式分析和識別，再將其交給對應(yīng)的處理區(qū)域。在學(xué)習(xí)過程中，大腦接收的信息越多，各個區(qū)域存儲的模式以及模式之間的聯(lián)系也就越多。如此積累下去，大腦逐漸理解模式分類的規(guī)則以及模式之間的聯(lián)系，最終形成我們對世界各種事物的認(rèn)知。6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.2人腦神經(jīng)元結(jié)構(gòu)of6514神經(jīng)元結(jié)構(gòu)示意圖樹突是神經(jīng)元兩端呈樹枝狀的突起，是接收其他神經(jīng)元信息的入口。軸突是神經(jīng)元中一個細(xì)長的突起，每個神經(jīng)元只有一個。突觸是兩個神經(jīng)元傳遞沖動相互接觸的地方。與其他神經(jīng)元的樹突相連，當(dāng)興奮達(dá)到一定閾值時，突觸前膜向突觸間隙釋放神經(jīng)傳遞的化學(xué)物質(zhì)，實現(xiàn)神經(jīng)元之間的信息傳遞。人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元模仿了生物神經(jīng)元的這一特性，利用激活函數(shù)將輸入結(jié)果映射到一定范圍內(nèi)，若映射后的結(jié)果大于閾值，則神經(jīng)元被激活。生物神經(jīng)元又叫神經(jīng)細(xì)胞，是一個長突起的細(xì)胞，主要由細(xì)胞體、樹突、軸突、突觸構(gòu)成。6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.3人腦神經(jīng)網(wǎng)絡(luò)of6515人類的大腦并不是一開始就能處理一些復(fù)雜的問題，而是由外界刺激決定了神經(jīng)網(wǎng)絡(luò)的生長，各種信息刺激了腦部發(fā)育，腦內(nèi)的神經(jīng)元之間不斷重組，連接，形成更復(fù)雜的神經(jīng)網(wǎng)絡(luò)，使個體漸漸具有其他的活動能力。6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of65161、感知器是一種權(quán)衡依據(jù)做出的決策方法，隨著權(quán)重和閾值的變化，可以得到不同的決策模型。Rosenblatt提出了一個簡單算法來計算輸出：通過帶權(quán)重

的連接，表示相應(yīng)輸入對輸出的重要性，神經(jīng)元的輸出由加權(quán)和

和閾值

決定，具體的表達(dá)形式如下：6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of65172、神經(jīng)元是構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本單元，通過調(diào)整內(nèi)部節(jié)點之間的相互連接關(guān)系，達(dá)到處理信息的目的。神經(jīng)元使用一個非線性的激活函數(shù)，得到一個輸出，以最簡單的兩層神經(jīng)網(wǎng)絡(luò)為例。這個神經(jīng)網(wǎng)絡(luò)有3個神經(jīng)元：

，+1表示偏置節(jié)點的運算，則相應(yīng)的輸出為：6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of6518（1）階躍函數(shù)：

，函數(shù)圖像如圖所示：階躍函數(shù)示意圖6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of6519（2）Sigmoid函數(shù)：

，Sigmod函數(shù)是一個輸出在（0,1）的開區(qū)間的有界函數(shù)，函數(shù)圖像如圖所示。雙曲線正切函數(shù)示意圖6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of6520（3）雙曲線正切函數(shù)：

，雙曲正切函數(shù)是一個輸出在（-1,1）開區(qū)間有界函數(shù)，函數(shù)圖像如圖所示。Sigmoid函數(shù)示意圖6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)6.2.4人工神經(jīng)網(wǎng)絡(luò)of6521

Rectifier函數(shù)示意圖（4）Rectifier函數(shù)：

，函數(shù)圖像如圖所示。其中，當(dāng)激活函數(shù)為階躍函數(shù)時，神經(jīng)元模型就是感知器。6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)3、神經(jīng)網(wǎng)絡(luò)的架構(gòu)of6522一般的神經(jīng)網(wǎng)絡(luò)是層級結(jié)構(gòu)，每層神經(jīng)元與下一層神經(jīng)元相互連接，同層神經(jīng)元及跨層神經(jīng)元之間相互無連接，每一層神經(jīng)元的輸出作為下一層神經(jīng)元的輸入，這種網(wǎng)絡(luò)被稱為前饋神經(jīng)網(wǎng)絡(luò)。最左邊的一層（第一層）稱為輸入層，其中的神經(jīng)元稱為輸入神經(jīng)元。最右邊的一層（最后一層）稱為輸出層，其中的神經(jīng)元稱為輸出神經(jīng)元。中間一層則被稱為隱藏層，既不是輸入層也不是輸出層。本例討論的是只有一個輸出和一個隱藏層。但是，在實際中神經(jīng)網(wǎng)絡(luò)可以有多個輸出和多個隱藏層。這種多層網(wǎng)絡(luò)有時被稱為多層感知器。

三層神經(jīng)網(wǎng)絡(luò)示意圖6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)of6523多層神經(jīng)網(wǎng)絡(luò)中除了輸入層，每個神經(jīng)元都是一個多輸入單輸出信息處理單元。如圖所示，它表示了一個多層神經(jīng)網(wǎng)絡(luò)，需要注意，網(wǎng)絡(luò)中所有連接都有對應(yīng)的權(quán)重和偏置。但是圖中只標(biāo)記了三個權(quán)重w1，w2，w3。

多層神經(jīng)網(wǎng)絡(luò)示意圖6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)第六章深度學(xué)習(xí)4、誤差逆?zhèn)鞑ニ惴╫f6524多層網(wǎng)絡(luò)的學(xué)習(xí)能力比單層感知機(jī)強(qiáng)得多，如果想要訓(xùn)練多層網(wǎng)絡(luò)，誤差逆?zhèn)鞑ィê喎QBP）是迄今為止最杰出的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。BP是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。梯度下降示意圖第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實現(xiàn)全國高校標(biāo)準(zhǔn)教材《云計算》姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用of65256.5手寫體數(shù)字識別項目實例6.6深度學(xué)習(xí)應(yīng)用習(xí)題6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.1整體架構(gòu)of6526深度神經(jīng)網(wǎng)絡(luò)發(fā)展到今天，學(xué)術(shù)界已經(jīng)提出了多種網(wǎng)絡(luò)模型，其中影響力較大的有以下幾種：卷積神經(jīng)網(wǎng)絡(luò)包含三種類型的層，分別是卷積層、下采樣層及全連接層。通過卷積核與上一層輸出進(jìn)行卷積作為卷積層的輸出，這樣可以達(dá)到權(quán)值共享的目的；下采樣是在卷積層的基礎(chǔ)上，在一個固定區(qū)域中采樣一個點，使得整個網(wǎng)絡(luò)具有一定的縮放、平移及形變不變性。深度置信網(wǎng)絡(luò)由若干層受限玻爾茲曼機(jī)及一個反向傳播網(wǎng)絡(luò)組成。深度置信網(wǎng)絡(luò)的訓(xùn)練過程分為兩步，首先利用貪婪算法無監(jiān)督地訓(xùn)練每一層受限玻爾茲曼機(jī)，然后將上一步訓(xùn)練得到的數(shù)據(jù)作為網(wǎng)絡(luò)初始值，利用BP算法有監(jiān)督地訓(xùn)練整個網(wǎng)絡(luò)。循環(huán)神經(jīng)網(wǎng)絡(luò)該網(wǎng)絡(luò)與傳統(tǒng)前饋網(wǎng)絡(luò)的區(qū)別在于，隱層的輸入不僅包括輸入層的數(shù)據(jù)，還包括前一時刻的隱層數(shù)據(jù)。這種結(jié)構(gòu)的網(wǎng)絡(luò)能有效處理序列數(shù)據(jù)，如自然語言處理。6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6527局部感受區(qū)域在卷積神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元只對視野中的某一區(qū)域產(chǎn)生響應(yīng)，被稱為局部感受區(qū)域。權(quán)值共享一個卷積層中的所有神經(jīng)元均由同一個卷積核對不同區(qū)域數(shù)據(jù)響應(yīng)而得到的，即共享同一個卷積核。降采樣一般在卷積層后面會進(jìn)行降采樣操作，對卷積層提取的特征進(jìn)行聚合統(tǒng)計。三個主要特點6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6528局部感受區(qū)域從大腦進(jìn)行人臉識別的過程圖可以看出，最底層是攝入的原始信息像素，往上逐漸組織形成一些邊緣特征，再向上，邊緣特征組合形成更有表現(xiàn)力的物體局部特征，如眼睛、耳朵等，到了最頂層，不同的高級特征組合起來，形成最終完整的人臉圖像。6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6529權(quán)值共享局部連接的卷積核會對全部圖像數(shù)據(jù)進(jìn)行滑動掃描，使得卷積層訓(xùn)練參數(shù)的數(shù)量急劇減少，提高了網(wǎng)絡(luò)的泛化能力。此外，權(quán)值共享意味著一個卷積層中的神經(jīng)元均在檢測同一種特征，與所處位置無關(guān)，所以，具有平移不變性。6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.2卷積神經(jīng)網(wǎng)絡(luò)of6530降采樣一般的做法是將前一層的局部區(qū)域值映射為單個數(shù)值，與卷積層不同的是，降采樣區(qū)域一般不存在重疊現(xiàn)象。降采樣簡化了卷積層的輸出信息，進(jìn)一步減少了訓(xùn)練參數(shù)的數(shù)量，增強(qiáng)了網(wǎng)絡(luò)的泛化能力。6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.3深度置信網(wǎng)絡(luò)of6531深度置信網(wǎng)絡(luò)打破了深度神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練的觀點。深度置信網(wǎng)絡(luò)是一種生成模型，和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相似，網(wǎng)絡(luò)中存在若干隱藏層，并且同一隱藏層內(nèi)的神經(jīng)元沒有連接，隱藏層間的神經(jīng)元全連接。最上面兩層間為無向連接，其中包含標(biāo)簽神經(jīng)元，稱為聯(lián)合記憶層。其他層間為有向連接，自上而下為生成模型，指定輸出。自下而上則為判定模型，可以用作圖像識別等任務(wù)。6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.4循環(huán)（遞歸）神經(jīng)網(wǎng)絡(luò)of6532循環(huán)神經(jīng)網(wǎng)絡(luò)典型的前饋神經(jīng)網(wǎng)絡(luò)最大的區(qū)別最大區(qū)別在于網(wǎng)絡(luò)中存在環(huán)形結(jié)構(gòu)，隱藏層內(nèi)部的神經(jīng)元是互相連接的，可以存儲網(wǎng)絡(luò)的內(nèi)部狀態(tài)，其中包含序列輸入的歷史信息，實現(xiàn)了對時序動態(tài)行為的描述。6.3深度神經(jīng)網(wǎng)絡(luò)第六章深度學(xué)習(xí)6.3.4循環(huán)（遞歸）神經(jīng)網(wǎng)絡(luò)of6533循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)圖循環(huán)神經(jīng)網(wǎng)絡(luò)示意圖第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實現(xiàn)全國高校標(biāo)準(zhǔn)教材《云計算》姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用of65346.5手寫體數(shù)字識別項目實例6.6深度學(xué)習(xí)應(yīng)用習(xí)題6.4軟硬件實現(xiàn)第六章深度學(xué)習(xí)6.4.1TensorFlowof6535TensorFlow實現(xiàn)了本地和分布式兩種接口機(jī)制。本地實現(xiàn)機(jī)制的client端、master端和worker均運行在同一個機(jī)器中；分布式實現(xiàn)機(jī)制它與本地實現(xiàn)的代碼基本相同，但是client端、master端和worker進(jìn)程一般運行在不同的機(jī)器中，所包含的不同任務(wù)由一個集群調(diào)度系統(tǒng)進(jìn)行管理。具備如下優(yōu)點：1.多樣化部署；2.可被基于梯度的機(jī)器學(xué)習(xí)算法借鑒；3.靈活的Python接口；4.可映射到不同硬件平臺；5.支持分布式訓(xùn)練。6.4軟硬件實現(xiàn)第六章深度學(xué)習(xí)6.4.2Caffeof6536123模塊化表示和實現(xiàn)分離測試覆蓋456Python和Matlab接口預(yù)訓(xùn)練參考模型速度快Caffe特點6.4軟硬件實現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of65371.CNTK2.MXNet3.Theano4.Torch5.Deeplearning4j6.4軟硬件實現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of6538CNTK的5個主要特點訓(xùn)練和測試多種神經(jīng)網(wǎng)絡(luò)的通用解決方案。AB用戶使用一個簡單的文本配置文件指定一個網(wǎng)絡(luò)。C盡可能無縫地把很多計算在一個GPU上進(jìn)行。D自動計算所需要的導(dǎo)數(shù)，網(wǎng)絡(luò)是由許多簡單的元素組成。E通過添加少量的C++代碼來實現(xiàn)必需塊的擴(kuò)展。6.4軟硬件實現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of6539MXNet的7個主要特點：（1）其設(shè)計說明可以被重新應(yīng)用到其他深度學(xué)習(xí)項目中。（2）任意計算圖的靈活配置。（3）整合了各種編程方法的優(yōu)勢，最大限度地提高靈活性和效率。（4）輕量、高效的內(nèi)存，以及支持便攜式的智能設(shè)備，如手機(jī)等。（5）多GPU擴(kuò)展和分布式的自動并行化設(shè)置。（6）支持Python、R、C++和Julia。（7）對云計算友好，直接兼容S3、HDFS和Azure。6.4軟硬件實現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of6540Theano的6個主要特點01與NumPy緊密相關(guān)02透明地使用GPU03高效符號分化04速度和穩(wěn)定性的優(yōu)化05動態(tài)生成C代碼06廣泛的單元測試和自我驗證6.4軟硬件實現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of6541Torch的4個主要特點很多實現(xiàn)索引、切片、移調(diào)的程序。通過LuaJIT的C接口?？焖?、高效的GPU支持。可嵌入、移植到iOS、Android和FPGA的后臺。6.4軟硬件實現(xiàn)第六章深度學(xué)習(xí)6.4.3其他深度學(xué)習(xí)軟件of6542依賴于廣泛使用的編程語言Java?？蓪ｉT用于處理大型文本集合。Canova向量化各種文件形式和數(shù)據(jù)類型。集合了Cuda內(nèi)核，支持CPU和分布式GPU。Deeplearning4j的4個主要特點：6.4軟硬件實現(xiàn)第六章深度學(xué)習(xí)6.4.4深度學(xué)習(xí)一體機(jī)of6543深度學(xué)習(xí)一體機(jī)外觀圖深度學(xué)習(xí)一體機(jī)服務(wù)器內(nèi)部圖第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實現(xiàn)全國高校標(biāo)準(zhǔn)教材《云計算》姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用of65446.5手寫體數(shù)字識別項目實例6.6深度學(xué)習(xí)應(yīng)用習(xí)題6.5手寫體數(shù)字識別項目實例第六章深度學(xué)習(xí)6.5.1數(shù)據(jù)準(zhǔn)備of6545測試集A測試集用來建立模型。訓(xùn)練集B訓(xùn)練集用來評估模型的預(yù)測能力。首先準(zhǔn)備一批圖像數(shù)據(jù)，將圖像數(shù)據(jù)集分為測試集和訓(xùn)練集兩個部分。6.5手寫體數(shù)字識別項目實例第六章深度學(xué)習(xí)6.5.2模型設(shè)計LeNet模型網(wǎng)絡(luò)結(jié)構(gòu)定義一定義二定義三定義四定義了全連接層ip1，非線性層relu1，全連接層ip2，實現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)的高層表示。定義了分類準(zhǔn)確率層accuracy，損失層loss用于計算分類的準(zhǔn)確率accuracy和損失值loss。定義了兩個數(shù)據(jù)層，輸入LMDB格式的數(shù)據(jù)集，分別用于訓(xùn)練和測試階段。定義了卷積層conv1、池化層pool1、卷積層conv2、池化層pool2，用于逐層提取局部特征。of65466.5手寫體數(shù)字識別項目實例第六章深度學(xué)習(xí)6.5.3模型訓(xùn)練of6547學(xué)習(xí)策略定義網(wǎng)絡(luò)結(jié)構(gòu)的文件路徑A測試的迭代次數(shù)B訓(xùn)練的迭代次數(shù)C網(wǎng)絡(luò)參數(shù)DE最大迭代次數(shù)F編寫模型訓(xùn)練腳本包括六點

./build/tools/caffe.bintest\-modelexamples/mnist/lenet_train_totxt\-weightsexamples/mnist/lenet_iter_10000.caffemodel\-iterations1006.5手寫體數(shù)字識別項目實例第六章深度學(xué)習(xí)6.5.4模型測試of6548利用最終訓(xùn)練好的模型權(quán)值文件，可以對測試數(shù)據(jù)集進(jìn)行預(yù)測。命令如下：命令指定了只進(jìn)行模型預(yù)測，不進(jìn)行參數(shù)更新，即只前向傳播計算，不后向傳播計算。指定了模型描述文本文件路徑，模型訓(xùn)練好的權(quán)值文件以及測試的迭代次數(shù)。第六章深度學(xué)習(xí)6.1概述6.2人腦神經(jīng)系統(tǒng)與深度學(xué)習(xí)6.3深度神經(jīng)網(wǎng)絡(luò)6.4軟硬件實現(xiàn)全國高校標(biāo)準(zhǔn)教材《云計算》姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實戰(zhàn)應(yīng)用of65496.5手寫體數(shù)字識別項目實例6.6深度學(xué)習(xí)應(yīng)用習(xí)題6.6深度學(xué)習(xí)應(yīng)用第六章深度學(xué)習(xí)6.6.1語音識別of6550語音識別是實現(xiàn)人機(jī)自由交互、推動人工智能發(fā)展的關(guān)鍵技術(shù)。語音識別技術(shù)主要包括特征提取技術(shù)、模式匹配準(zhǔn)則及模型