深度學習介紹2018年5月1書目深度學習概述深度學習常見場景深度學習常用算法介紹深度學習常用框架介紹TensorFlow入門深度學習將來和展望21.1深度學習概述3深度學習(DeepLearning,DL)由Hinton等人于2006年提出，是機器學習(MachineLearning,ML)的一個新領域。深度學習起源于人工神經網絡，它的定義：通過組合低層特征形成更加抽象的高層特征或類別，從而從大量的輸入數據中學習有效特征表示，并把這些特征用于分類、回來和信息檢索的一種技術。深度學習被引入機器學習使其更接近于最初的目標----人工智能（AI，ArtificialIntelligence）。深度學習是學習樣本數據的內在規(guī)律和表示層次，這些學習過程中獲得的信息對諸如文字、圖像和聲音等數據的說明有很大的幫助。它的最終目標是讓機器能夠像人一樣具有分析學習實力，能夠識別文字、圖像和聲音等數據。1.2與機器學習關系4如上圖，人工智能是最早出現的，也是最大、最外側的同心圓；其次是機器學習，稍晚一點；最內側，是深度學習，當今人工智能大爆炸的核心驅動。1.3基本概念5深度學習(DeepLearning,DL)：通過組合低層特征形成更加抽象的高層特征或類別，從而從大量的輸入數據中學習有效特征表示，并把這些特征用于分類、回來和信息檢索的一種技術。人工神經網絡：是一種仿照動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統(tǒng)的困難程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。深度神經網絡：包含多個隱含層的神經網絡。模型：可以理解成算法和數據的合集。模型訓練：利用模型的算法，運用深度神經網絡進行權值的訓練，最終得出一個最優(yōu)解。模型預料：運用訓練完成的模型進行預料，得出分類識別結果。書目深度學習概述深度學習常見場景深度學習常用算法介紹深度學習常用框架介紹TensorFlow入門深度學習將來和展望62深度學習場景7當前深度學習運用的場景主要在無人駕駛，人臉識別，拍照購，智能客服，文字識別，語音識別，目標檢測，圖片分類等方面。深度學習無人駕駛人臉識別拍照購智能客服文字識別目標檢測圖像分類語音識別2.1深度學習場景-無人駕駛8無人駕駛：深度學習利用其深層的神經網絡，通過確定的算法能訓練出一個識別率特殊高的分類器，從而能夠使環(huán)境感知部分高精度的完成，為駕駛決策模塊供應正確的環(huán)境信息，保證無人駕駛正常的完成。2.2深度學習場景-人臉識別9人臉識別：人臉信息的識別，是對人臉的信息加以提取然后進行識別的方法，一個最重要的目標就是辨別不同人的信息，辨別身份。面部識別的主要方式有：幾何結構、子空間局部特征以及深度學習。安防領域開戶審核考勤門禁......2.3深度學習場景-文字識別10文字識別：基于深度學習的文字識別系統(tǒng)的實現方法，屬于圖像處理技術領域，將包含文字的圖片進行預處理、切分、識別，重組成一段文本，從而實現圖片到文本的轉換。涉及到圖像預處理、圖片切分、圖片識別和文字重組。審核車牌識別文檔識別......2.4深度學習場景-圖像識別11圖片識別：圖像識別與人臉及文字識別類似，主要流程包括圖像預處理，圖像分割，圖像特征提取和圖像分類。圖像審核拍照購工業(yè)醫(yī)療檢測目標識別......2.5深度學習場景-語音識別12語音識別：一個完整的語音識別系統(tǒng)可大致分為3部分：語音特征提取、聲學模型與模式匹配和語言模型與語言處理。其中聲學模型是識別系統(tǒng)的底層模型，并且是語音識別系統(tǒng)中最關鍵的一部分。語音審核語音轉文字語音限制......書目深度學習概述深度學習常見場景深度學習常用算法介紹深度學習常用框架介紹TensorFlow入門深度學習將來和展望133.1人工神經網絡（ANN）14人工神經網絡（ArtificialNeuralNetworks）是一種仿照生物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統(tǒng)的困難程度，通過調整內部大量節(jié)點（神經元）之間相互連接的權重，從而達到處理信息的目的。3.1人工神經網絡（ANN）15神經網絡3.1人工神經網絡（ANN）16人工神經網絡的重要概念：1權值矩陣：相當于神經網絡的記憶！在訓練的過程中，動態(tài)調整和適應。2激勵函數：3.1人工神經網絡（ANN）17人工神經網絡的重要概念：激勵函數很重要，無論是對建立神經網絡的模型，還是理解神經網絡。首先要了解，它有以下幾個影響：1如何能更好的求解目標函數的極值！——高等數學中求解函數極值的學問！可微，單調！2如何提升訓練效率，讓梯度的優(yōu)化方法更穩(wěn)定；3權值的初始值，不影響訓練結果！3.1卷積神經網絡（CNN）18卷積神經網絡（ConvolutionalNeuralNetworks/CNNs/ConvNets）與一般神經網絡特殊相像，它們都由具有可學習的權重和偏置常量(biases)的神經元組成。每個神經元都接收一些輸入，并做一些點積計算，輸出是每個分類的分數，一般神經網絡里的一些計算技巧到這里照舊適用。與一般神經網絡不同之處：卷積神經網絡默認輸入是圖像，可以讓我們把特定的性質編碼入網絡結構，使是我們的前饋函數更加有效率，并削減了大量參數。3.1卷積神經網絡（CNN）19卷積操作：對圖像（不同的數據窗口數據）和濾波矩陣（一組固定的權重：因為每個神經元的權重固定，所以又可以看做一個恒定的濾波器filter）做內積（逐個元素相乘再求和）的操作就是所謂的『卷積』操作，也是卷積神經網絡的名字來源。3.1卷積神經網絡（CNN）203.1卷積神經網絡（CNN）213.1卷積神經網絡（CNN）22卷積層（Convolutionallayer），卷積神經網路中每層卷積層由若干卷積單元組成，每個卷積單元的參數都是通過反向傳播算法優(yōu)化得到的。卷積運算的目的是提取輸入的不同特征，第一層卷積層可能只能提取一些低級的特征如邊緣、線條和角等層級，更多層的網絡能從低級特征中迭代提取更困難的特征。線性整流層（RectifiedLinearUnitslayer,ReLUlayer），這一層神經的激勵函數（Activationfunction）運用線性整流（RectifiedLinearUnits,ReLU）f(x)=max(0,x)。池化層（Poolinglayer），通常在卷積層之后會得到維度很大的特征，將特征切成幾個區(qū)域，取其最大值或平均值，得到新的、維度較小的特征。全連接層（Fully-Connectedlayer）,把全部局部特征結合變成全局特征，用來計算最終每一類的得分。3.1卷積神經網絡（CNN）233.1卷積神經網絡（CNN）24在圖像處理中，往往把圖像表示為像素的向量，比如一個1000×1000的圖像，可以表示為一個1000000的向量。在上一節(jié)中提到的神經網絡中，假如隱含層數目與輸入層一樣，即也是1000000時，那么輸入層到隱含層的參數數據為1000000×1000000=10^12，這樣就太多了，基本沒法訓練。所以圖像處理要想練成神經網絡大法，必先削減參數加快速度。就跟辟邪劍譜似的，一般人練得很挫，一旦自宮后內力變強劍法變快，就變的很牛了。3.1卷積神經網絡（CNN）25卷積神經網絡有兩種神器可以降低參數數目，第一種神器叫做局部感知。在下方右圖中，假如每個神經元只和10×10個像素值相連，那么權值數據為1000000×100個參數，削減為原來的萬分之一。而那10×10個像素值對應的10×10個參數，其實就相當于卷積操作。3.1卷積神經網絡（CNN）26這樣的話參數照舊過多，那么就啟動其次級神器，即權值共享。在上面的局部連接中，每個神經元都對應100個參數，一共1000000個神經元，假如這1000000個神經元的100個參數都是相等的，那么參數數目就變?yōu)?00了。怎么理解權值共享呢？我們可以這100個參數（也就是卷積操作）看成是提取特征的方式，該方式與位置無關。這其中隱含的原理則是：圖像的一部分的統(tǒng)計特性與其他部分是一樣的。這也意味著我們在這一部分學習的特征也能用在另一部分上，所以對于這個圖像上的全部位置，我們都能運用同樣的學習特征。3.1卷積神經網絡（CNN）27上面所述只有100個參數時，表明只有1個100*100的卷積核，明顯，特征提取是不充分的，我們可以添加多個卷積核，比如32個卷積核，可以學習32種特征。在有多個卷積核時，如下圖所示：3.1卷積神經網絡（CNN）28池化，也稱作下采樣，可以實現降維。常用有最大值池化和均值池化。3.1卷積神經網絡（CNN）29全連接層：連接全部的特征，將輸出值送給分類器（如softmax分類器），最終得出識別結果。3.2常見網絡模型30LeNet3.2常見網絡模型31AlexNet3.2常見網絡模型32VGG163.2常見網絡模型33GoogleNet（InceptionV4）3.2常見網絡模型34比較3.3其他深度學習算法35自動編碼器（AutoEncoder）稀疏編碼（SparseCoding）限制玻爾茲曼機（RBM）書目深度學習概述深度學習常見場景深度學習常用算法介紹深度學習常用框架介紹TensorFlow入門深度學習將來和展望364.1開源框架概述37深度學習探討的熱潮持續(xù)高漲，各種開源深度學習框架也層出不窮，其中包括TensorFlow、Caffe、Keras、CNTK、Torch7、MXNet、Leaf、Theano、DeepLearning4、Lasagne、Neon等等。下圖是各個開源框架在GitHub上的數據統(tǒng)計（2017年初）。4.1開源框架概述38Google、Microsoft、Facebook等巨頭都參與了這場深度學習框架大戰(zhàn)，此外，還有畢業(yè)于伯克利高校的賈揚清主導開發(fā)的Caffe，蒙特利爾高校Lisa?Lab團隊開發(fā)的Theano，以及其他個人或商業(yè)組織貢獻的框架。下表是主流深度學習框架在各個維度的評分。4.2TensorFlow39TensorFlow最初是由探討人員和GoogleBrain團隊針對機器學習和深度神經網絡進行探討所開發(fā)的，目前開源之后可以在幾乎各種領域適用。TensorFlow靈敏的架構可以部署在一個或多個CPU、GPU的臺式以及服務器中，或者運用單一的API應用在移動設備中。4.3Caffe40Caffe由加州高校伯克利的PHD賈揚清開發(fā)，全稱ConvolutionalArchitectureforFastFeatureEmbedding，是一個清晰而高效的開源深度學習框架，目前由伯克利視覺學中心（BerkeleyVisionandLearningCenter，BVLC）進行維護。（賈揚清曾就職于MSRA、NEC、GoogleBrain，他也是TensorFlow的作者之一，目前任職于FacebookFAIR試驗室。）Caffe2臉書(Facebook)出品，為生產環(huán)境設計，供應在各種平臺（包括移動設備）的運行。4.4Torch41Torch是一個有大量機器學習算法支持的科學計算框架，其誕生已經有十年之久，但是真正起勢得益于Facebook開源了大量Torch的深度學習模塊和擴展。Torch另外一個特殊之處是接受了編程語言Lua(該語言曾被用來開發(fā)視頻游戲)。PyTorch是基于Torch的衍生，支持Python語言，實現了機器學習框架Torch在Python語言環(huán)境的執(zhí)行。4.5Theano422008年誕生于蒙特利爾理工學院,Theano派生出了大量深度學習Python軟件包，最著名的包括Blocks和Keras。Theano的核心是一個數學表達式的編譯器，它知道如何獲得你的結構。并使之成為一個運用numpy、高效本地庫的高效代碼，如BLAS和本地代碼（C++）在CPU或GPU上盡可能快地運行。它是為深度學習中處理大型神經網絡算法所需的計算而特地設計的，是這類庫的首創(chuàng)之一（發(fā)展始于2007年），被認為是深度學習探討和開發(fā)的行業(yè)標準。4.6Deeplearning4j43Deeplearning4j是“forJava”的深度學習框架，也是首個商用級別的深度學習開源庫。Deeplearning4j由創(chuàng)業(yè)公司Skymind于2014年6月發(fā)布，運用Deeplearning4j的不乏埃森哲、雪弗蘭、博斯詢問和IBM等明星企業(yè)。DeepLearning4j是一個面對生產環(huán)境和商業(yè)應用的高成熟度深度學習開源庫，可與Hadoop和Spark集成，即插即用，便利開發(fā)者在APP中快速集成深度學習功能。4.7MXNet44出自CXXNet、Minerva、Purine等項目的開發(fā)者之手，主要用C++編寫。MXNet強調提高內存運用的效率，甚至能在智能手機上運行諸如圖像識別等任務。4.8CNTK45CNTK（Computational?Network?Toolkit）是微軟探討院（MSR）開源的深度學習框架。它最早由start?the?deep?learning?craze的演講人創(chuàng)建，目前已經發(fā)展成一個通用的、跨平臺的深度學習系統(tǒng)，在語音識別領域的運用尤其廣泛。書目深度學習概述深度學習常見場景深度學習常用算法介紹深度學習常用框架介紹TensorFlow入門深度學習將來和展望465.1引言47TensorFlow的API主要分兩個層次，核心層和基于核心層的高級API。核心層面對機器學習的探討人員，以及對模型限制精細的相關人員。高級API運用和學習相對簡潔，簡化重復性任務，使不同的用戶之間保持一樣性。高級API，如tf.contrib.learn可以幫助管理數據集dataset，估計量estimators，訓練training，推理inference留意，一些高級API的方法名中包含contrib，意味著這些API照舊處于開發(fā)過程中，這些方法在后續(xù)的TensorFlow版本中可能變更或者不再運用本章從核心層起先，后邊會提到如何運用tf.contrib.learn實現模型。了解核心層，在運用高級API的時候知道程序是如何工作的。5.2安裝48舉薦運用Anaconda環(huán)境安裝，集成了Python，numpy等。Windows要求Python版本為3.5。在線環(huán)境干脆運用pipinstalltensorflow（tensorflow_gpu）離線環(huán)境可下載whl包進行安裝（s:///pypi），然后同樣執(zhí)行pipinstallxx.whl進行安裝，安裝過程中若提示缺少依靠包可下載安裝后再接著安裝。舉薦Python開發(fā)工具PyCharm安裝成功后驗證安裝是否成功$python>>importtensorflowastf>>tf.__version__#查看TF版本>>tf.__path__#查看TF安裝路徑5.3張量Tensor49數據的核心單元，一個tensor是一個包含隨意維度的數組，張量的階Tensor'rank是數組的維度，如下：3#0階張量，一個標量scalarwithshape[][1.,2.,3.]#1階張量;一個向量vectorwithshape[3][[1.,2.,3.],[4.,5.,6.]]#2階張量;一個矩陣matrixwithshape[2,3][[[1.,2.,3.]],[[7.,8.,9.]]]#3階張量tensorwithshape[2,1,3]2是指[[1.,2.,3.]]和[[7.,8.,9.]]1是指[[1.,2.,3.]]中有1個[1.,2.,3.]3是指[1.,2.,3.]中有3個：1.,2.,3.5.4計算圖ComputationalGraph50Tensorflow編程包含兩個步驟：1.構造計算圖2.運行計算圖計算圖是什么？計算圖是一系列的計算操作抽象為圖中的節(jié)點。構造一個簡潔的計算圖：每個節(jié)點將0或多個tensor作為輸入，輸出一個tensor。一種類型的節(jié)點是常量節(jié)點constant，就猶如tensorflow中的常數，它有0個輸入，輸出一個值。構建兩個浮點型tensor：node1和node25.4計算圖ComputationalGraph51構造一個簡潔的計算圖：每個節(jié)點將0或多個tensor作為輸入，輸出一個tensor。一種類型的節(jié)點是常量節(jié)點constant，就猶如tensorflow中的常數，它有0個輸入，輸出一個值。構建兩個浮點型tensor：node1和node2node1=tf.constant(3.0,tf.float32)node2=tf.constant(4.0)#alsotf.float32implicitlyprint(node1,node2)輸出結果：Tensor("Const:0",shape=(),dtype=float32)Tensor("Const_1:0",shape=(),dtype=float32)5.4計算圖ComputationalGraph52須要說明，打印結果并不是我們期盼的3.0,4.0，因為這是打印的節(jié)點（屬于計算操作），當評估運行之后，才是我們期盼的值。評估一個節(jié)點，必需在一個會話Session中運行計算圖，會話封裝了Tensorflow運行時的狀態(tài)和限制接下來創(chuàng)建一個Session會話對象，調用run方法，運行計算圖，去評估node1和node2sess=tf.Session()print(sess.run([node1,node2]))輸出結果：[3.0,4.0]5.4計算圖ComputationalGraph53可以運用計算操作將多個節(jié)點組合，構建更困難的計算，例如將兩個常量節(jié)點相加，產生一個新的計算圖：node3=tf.add(node1,node2)print("node3:",node3)print("sess.run(node3):",sess.run(node3))輸出結果：node3:Tensor("Add:0",shape=(),dtype=float32)sess.run(node3):7.05.4計算圖ComputationalGraph54計算圖可以運用占位符placeholder參數化的從外部輸入數據，placeholder的作用是在稍后供應一個值#構造計算圖a=tf.placeholder(tf.float32)b=tf.placeholder(tf.float32)adder_node=a+b#運行計算圖print("adder_node:",adder_node)print(sess.run(adder_node,{a:3,b:4.5}))print(sess.run(adder_node,{a:[1,3],b:[2,4]}))輸出結果：adder_node:Tensor("add:0",dtype=float32)7.5[3.7.]5.4計算圖ComputationalGraph55在機器學習中，須要模型可以隨意輸入，為了模型具有可訓練實力，須要修正計算圖，使對于同樣的輸入得到新的輸出。變量Variable允許我們?yōu)橛嬎銏D添加訓練參數。構造一個變量，須要供應類型和初始值：W=tf.Variable([.3],tf.float32)b=tf.Variable([-.3],tf.float32)x=tf.placeholder(tf.float32)linear_model=W*x+b5.4計算圖ComputationalGraph56常量節(jié)點在調用tf.constant時就被初始化，而變量在調用tf.Variable時并不初始化，必需顯性的執(zhí)行如下操作：init=tf.global_variables_initializer()sess.run(init)意識到init對象是Tensorflow子圖初始化全部全局變量的句柄是重要的，在調用sess.run(init)方法之前，全部變量都是未初始化的。因為x是一個占位符，我們可以指定幾個值來評估linear_model模型（訓練）print("linear_model:",linear_model)print(sess.run(linear_model,{x:[1,2,3,4]}))得到輸出：linear_model:Tensor("add_1:0",dtype=float32)[0.0.300000010.600000020.90000004]5.4計算圖ComputationalGraph57我們創(chuàng)建了一個模型，但是不知道這個模型的效果怎么樣，基于訓練數據來評估模型，還須要一個placeholdery來供應期望值，我們須要一個損失函數lossfunction損失函數測量當前模型與真實數據之間的差距，對于線性模型，我們運用標準損失函數，求模型預料結果與實際數據之間差值的平方和sumthesquaresofthedeltasy=tf.placeholder(tf.float32)squared_deltas=tf.square(linear_model-y)loss=tf.reduce_sum(squared_deltas)print("loss:",loss)print(sess.run(loss,{x:[1,2,3,4],y:[0,-1,-2,-3]}))輸出結果：loss:Tensor("Sum:0",dtype=float32)23.665.4計算圖ComputationalGraph58我們可以通過手動的方式將參數W和b置為W=-1，b=1，使模型最優(yōu)，即損失函數最小。初始化后的變量可以通過tf.assign來更改，tf.assign后須要tf.run生效fixW=tf.as