1、深度學習筆記一、一、Introduction二、二、Background三、三、 Deep Learning 四、四、 Shallow Learning and DL五、五、 DL and Neural Network六、六、Examples ( ( Unsupervised Feature Learning) Unsupervised Feature Learning)瞳孔攝入像素瞳孔攝入像素初步處理：初步處理：（大腦皮層某些細胞（大腦皮層某些細胞）發(fā)現(xiàn)邊緣和方向發(fā)現(xiàn)邊緣和方向抽象：抽象：（大腦判斷）（大腦判斷）進一步抽象：進一步抽象：（大腦進一步判定該物體）（大腦進一步判定該物體）高層的特

2、征是低層特征的高層的特征是低層特征的組合，從低層到高層的特組合，從低層到高層的特征表示越來越抽象，越來征表示越來越抽象，越來越能表現(xiàn)語義或者意圖。越能表現(xiàn)語義或者意圖。而抽象層面越高，存在的而抽象層面越高，存在的可能猜測就越少，就越利可能猜測就越少，就越利于于分類分類。 假設(shè)一個系統(tǒng)S，有n層（S1,Sn），它的輸入是I，輸出是O：I =S1=S2=.=Sn = O。 If Output(O)= Input(I) =經(jīng)過系統(tǒng)處理無任何的信息損失 輸入I經(jīng)過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。 （信息論:“信息逐層丟失” =希望丟掉沒用的信

3、息 ） Deep Learning自動地學習特征：自動地學習特征： 假設(shè)我們有一堆輸入I（如一堆圖像或者文本），假設(shè)我們設(shè)計了一個系統(tǒng)S（有n層），我們通過調(diào)整系統(tǒng)中參數(shù)，使得它的輸出仍然是輸入I，那么我們就可以自動地獲取得到輸入I的一系列層次特征，即S1，, Sn。 自動獲取輸入的一系列層次特征，即S1，, Sn。 特征：特征：是機器學習系統(tǒng)的原材料，決定最終模型。如果數(shù)據(jù)被很好的表達成了特征，通常線性模型就能達到滿意的精度。 特征表示的粒度特征表示的粒度-像素級的特征根本沒有價值 初級（淺層）特征表示初級（淺層）特征表示-稀疏編碼（Sparse Coding） -復雜圖形，往往由一些基本結(jié)

4、構(gòu)組成 結(jié)構(gòu)性特征表示結(jié)構(gòu)性特征表示-上一層的basis組合的結(jié)果，上上層又是上一層的組合basis。 特征的多少特征的多少-任何一種方法，特征越多，給出的參考信息就越多，準確性會得到提升。但特征多意味著計算復雜，探索的空間大，可以用來訓練的數(shù)據(jù)在每個特征上就會稀疏，都會帶來各種問題，并不一定特征越多越好。 淺層機器學習模型： BP算法算法-多層感知機（Multi-layer Perceptron） 支撐向量機支撐向量機（SVM，Support Vector Machines） Boosting 最大熵方法最大熵方法（如LR，Logistic Regression） 特點：特點：這些模型的結(jié)構(gòu)

5、基本上可以看成帶有一層隱層節(jié)點（如SVM、Boosting）或沒有隱層節(jié)點（如LR）。 （1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學習能力，學習得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類； （2）深度神經(jīng)網(wǎng)絡(luò)在訓練上的難度，可以通過“逐層初始化”（layer-wise pre-training）來有效克服。（逐層初始化是通過無監(jiān)督學習實現(xiàn)的） 淺層結(jié)構(gòu)算法淺層結(jié)構(gòu)算法：其局限性在于有限樣本和計算單元情況下對復雜函數(shù)的表示能力有限，針對復雜分類問題其泛化能力受到一定制約。 深度學習深度學習：可通過學習一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)

6、樣本集中學習數(shù)據(jù)集本質(zhì)特征的能力。 區(qū)別于傳統(tǒng)的淺層學習，深度學習的不同在于區(qū)別于傳統(tǒng)的淺層學習，深度學習的不同在于： 1）強調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點； 2）明確突出特征學習的重要性。通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學習特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。 實質(zhì)：實質(zhì)：通過構(gòu)建具有很多隱層的機器學習模型和海量的訓練數(shù)據(jù)，學習更有用的特征從而最終提升分類或預(yù)測的準確性。 “深度模型”是手段，“特征學習”是目的。 深度學習是機器學習機器學習研究中的一個新的領(lǐng)域，其

7、動機動機在于建立、模擬人腦進行分析學習的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。 深度學習是無監(jiān)督無監(jiān)督學習的一種。 深度學習的概念源于人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多含多隱層的多層感知器就是一種深度學習結(jié)構(gòu)層感知器就是一種深度學習結(jié)構(gòu)。 深度學習通過組合低層特征形成更加抽象的高層表示屬性通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)采用的是back propagation的方式進行=采用迭代的算法來訓練整個網(wǎng)絡(luò)，隨機設(shè)定初值，計算當前網(wǎng)絡(luò)的輸出，然后根據(jù)當前輸出和label之間的差去改變前面各層的參數(shù)，直到收斂（整體是一個梯度下降法）。DL整體上是一個layer