DEEPLEARNING深度學(xué)習(xí)培訓(xùn)簡介/訓(xùn)練方法/幾種模型和方法MachineLearningisadisciplinethatisspecializedinstudyinghowputerssimulateorrealizehumanlearningMachineLearningisadisciplineLOGO匯報(bào)人：小覓知時間：20XX年目錄CONTENTS01深度學(xué)習(xí)簡介02深度學(xué)習(xí)的訓(xùn)練方法03ConvolutionalNeuralNetworks卷積神經(jīng)絡(luò)04卷積神經(jīng)絡(luò)（CNN）在腦機(jī)接口中的應(yīng)用01深度學(xué)習(xí)簡介MachineLearningisadisciplinethatisspecializedinstudyinghowputerssimulateorrealizehumanlearningMachineLearningisadisciplinethatstudieshowputerssimulateWhatisDeepLearning?Abriefintroduceofdeeplearning機(jī)器學(xué)習(xí)010203機(jī)器學(xué)習(xí)（MachineLearning）是一門專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，重新組織已有的知識結(jié)構(gòu)市值不斷改善自身的性能的學(xué)科簡單地說，機(jī)器學(xué)習(xí)就是通過算法，使得機(jī)器能從大量的歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律，從而對新的樣本做智能識別或預(yù)測未來。機(jī)器學(xué)習(xí)在圖像識別、語音識別、自然語言理解、天氣預(yù)測、基因表達(dá)、內(nèi)容推薦等很多方面的發(fā)展還存在著沒有良好解決的問題。傳統(tǒng)的模式識別方法：通過傳感器獲取數(shù)據(jù)，然后經(jīng)過預(yù)處理、特征提取、特征選擇、再到推理、預(yù)測或識別。特征提取與選擇的好壞對最終算法的確定性齊了非常關(guān)鍵的作用。而特征的樣式目前一般都是靠人工提取特征。而手工選取特征費(fèi)時費(fèi)力，需要專業(yè)知識，很大程度上靠經(jīng)驗(yàn)和運(yùn)氣，那么機(jī)器能不能自動的學(xué)習(xí)特征呢？深度學(xué)習(xí)的出現(xiàn)就這個問題提出了一種解決方案。特征的自學(xué)習(xí)深度學(xué)習(xí)：自20XX年，深度學(xué)習(xí)（DeepLearning）已經(jīng)成為機(jī)器學(xué)習(xí)研究中的一個新興領(lǐng)域，通常也被叫做深層結(jié)構(gòu)學(xué)習(xí)或分層學(xué)習(xí)。其動機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)絡(luò)，它模擬人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本，深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種。深度學(xué)習(xí)的概念源于人工神經(jīng)絡(luò)的研究，含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，已發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。學(xué)習(xí)特征的自學(xué)習(xí)1981年的諾貝爾醫(yī)學(xué)獎獲得者DavidHubel和TorstenWiesel發(fā)現(xiàn)了視覺系統(tǒng)的信息處理機(jī)制，他們發(fā)現(xiàn)了一種被稱為“方向選擇性細(xì)胞的神經(jīng)元細(xì)胞，當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細(xì)胞就會活躍。由此可知人的視覺系統(tǒng)的信息處理是分級的，高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖，抽象層面越高，存在的可能猜測就越少，就越利于分類。人腦的視覺機(jī)理傳統(tǒng)機(jī)器學(xué)習(xí)和信號處理技術(shù)探索僅含單層非線性變換的淺層學(xué)習(xí)結(jié)構(gòu)。淺層模型的一個共性是僅含單個將原始輸入信號轉(zhuǎn)換到特定問題空間特征的簡單結(jié)構(gòu)。典型的淺層學(xué)習(xí)結(jié)構(gòu)包括傳統(tǒng)隱馬爾科夫模型(HMM)、條件隨機(jī)場(CRFs)、最大熵模型(MaxEnt)、支持向量機(jī)(SVM)、核回歸及僅含單隱層的多層感知器(MLP)等。淺層結(jié)構(gòu)的局限性在于有限的樣本和計(jì)算單元情況下對復(fù)雜的函數(shù)表示能力有限，針對復(fù)雜分類問題其泛化能力受到一定的制約。淺層學(xué)習(xí)與深度學(xué)習(xí)受到大腦結(jié)構(gòu)分層的啟發(fā)，神經(jīng)絡(luò)的研究發(fā)現(xiàn)多隱層的人工神經(jīng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；而深度神經(jīng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”來有效克服。深度學(xué)習(xí)可以通過學(xué)習(xí)一種深層非線性絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本中集中學(xué)習(xí)數(shù)據(jù)及本質(zhì)特征的能力。淺層學(xué)習(xí)與深度學(xué)習(xí)深度學(xué)習(xí)的實(shí)質(zhì)通過構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。深度學(xué)習(xí)與淺層學(xué)習(xí)的區(qū)別明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。淺層學(xué)習(xí)與深度學(xué)習(xí)深度學(xué)習(xí)的訓(xùn)練方法MachineLearningisadisciplinethatisspecializedinstudyinghowputerssimulateorrealizehumanlearningMachineLearningisadisciplinethatstudieshowputerssimulate02不同點(diǎn)：采用不同的訓(xùn)練機(jī)制神經(jīng)絡(luò)：采用BP算法調(diào)整參數(shù)，即采用迭代算法來訓(xùn)練整個絡(luò)。隨機(jī)設(shè)定初值，計(jì)算當(dāng)前絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和樣本真實(shí)標(biāo)簽之間的差去改變前面各層的參數(shù)，直到收斂；深度學(xué)習(xí)：BP算法不適合深度神經(jīng)絡(luò)，如果對所有層同時訓(xùn)練，時間復(fù)雜度會太高，如果每次訓(xùn)練一層，偏差逐層傳遞會出現(xiàn)過擬合。因此深度學(xué)習(xí)整體上是是一個分層訓(xùn)練機(jī)制。相同點(diǎn)二者均采用分層結(jié)構(gòu)，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層絡(luò)，只有相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接，每一層可以看作是一個logistic回歸模型。深度學(xué)習(xí)與神經(jīng)絡(luò)的異同010203自下而上的非監(jiān)督學(xué)習(xí)：從底層開始，一層一層的往頂層訓(xùn)練，分別得到各層參數(shù)。采用無標(biāo)簽數(shù)據(jù)分層訓(xùn)練各層參數(shù)（可以看作是特征學(xué)習(xí)的過程）。自上而下的監(jiān)督學(xué)習(xí)基于第一步的得到的各層參數(shù)進(jìn)一步調(diào)整整個多層模型的參數(shù)，這一步是一個有監(jiān)督的訓(xùn)練過程。深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)常用的幾種模型和方法MachineLearningisadisciplinethatisspecializedinstudyinghowputerssimulateorrealizehumanlearningMachineLearningisadisciplinethatstudieshowputerssimulate0301AutoEncoder（自動編碼器）0204DeepBeliefNetworks（深度信任絡(luò)）05CNN（卷積神經(jīng)絡(luò)）SparseCoding（稀疏編碼）03RBM（限制玻爾茲曼機(jī)）深度學(xué)習(xí)的幾種常用模型ConvolutionalNeuralNetworks卷積神經(jīng)絡(luò)MachineLearningisadisciplinethatisspecializedinstudyinghowputerssimulateorrealizehumanlearningMachineLearningisadisciplinethatstudieshowputerssimulate044231卷積神經(jīng)絡(luò)是人工神經(jīng)絡(luò)的一種，已成為當(dāng)前語音分析和圖像識別領(lǐng)域的研究熱點(diǎn)它的權(quán)值共享絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)絡(luò)，降低了絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在絡(luò)的輸入是多維圖像時表現(xiàn)的更為明顯，使圖像可以直接作為絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程卷積絡(luò)是為識別二維形狀而特殊設(shè)計(jì)的一個多層感知器，這種絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性ConvolutionalNeuralNetworks(CNN)輸入圖像（Input）通過和三個可訓(xùn)練的卷積核和可加偏置進(jìn)行卷積，卷積后在C1層產(chǎn)生三個特征映射圖（Featuremap）然后，C1層的Featuremap在經(jīng)過子采樣（Subsampling）后，加權(quán)值，加偏置，再通過一個Sigmoid函數(shù)得到三個S2層的特征映射圖。卷積神經(jīng)絡(luò)原理圖如圖，原圖像是5*5大小，有25個神經(jīng)元，用一個3*3的卷積核對它進(jìn)行卷積，得到了如右圖所示的卷積后的Featuremap。該特征圖大小為3*3。假設(shè)一種卷積核只提取出圖像的一種特征，所以一般要多個卷積核來提取不同的特征，所以每一層一般都會有多張F(tuán)eaturemap。同一張F(tuán)eaturemap上的神經(jīng)元共用一個卷積核，這大大減少了絡(luò)參數(shù)的個數(shù)。CNN的Convolution過程0102圖像具有一種“靜態(tài)性（stationarity）”的屬性，可以對圖像某一個區(qū)域上的特征取平均值(或最大值)。這種聚合的操作就叫做池化(pooling)。如果人們選擇圖像中的連續(xù)范圍作為池化區(qū)域，并且只是池化相同(重復(fù))的隱藏單元產(chǎn)生的特征，那么，這些池化單元就具有平移不變性(translationinvariant)。這就意味著即使圖像經(jīng)歷了一個小的平移之后，依然會產(chǎn)生相同的(池化的)特征。CNN的Convolution過程010203如果我們有1000x1000像素的圖像，有1百萬個隱層神經(jīng)元，那么他們?nèi)B接的話，就有(1000x1000x1000000)個連接，也就是10^12個權(quán)值參數(shù)。局部連接絡(luò)，每一個節(jié)點(diǎn)與上層節(jié)點(diǎn)同位置附近10x10的窗口相連接，則1百萬個隱層神經(jīng)元就只有10^8個參數(shù)。卷積神經(jīng)絡(luò)避免了顯式的特征取樣，隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)。它可以直接處理灰度圖片，能夠直接用于處理基于圖像的分類。CNN的優(yōu)點(diǎn)參數(shù)輸入圖像和絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合；特征提取和模式分類同時進(jìn)行，并同時在訓(xùn)練中產(chǎn)生；權(quán)重共享可以減少絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)絡(luò)結(jié)構(gòu)變得更簡單，適應(yīng)性更強(qiáng)。卷積神經(jīng)絡(luò)在圖像處理方面有如下優(yōu)點(diǎn)：輸入圖像是32x32的大小,卷積核的大小是5x5的，則C1層的大小是28x28。這里設(shè)定有6個不同的C1層，每一個C1層內(nèi)的權(quán)值是相同的。010203S2層是一個下采樣層，由4個點(diǎn)下采樣為1個點(diǎn)，也就是4個數(shù)的加權(quán)平均，加權(quán)系數(shù)也需要通過學(xué)習(xí)得到。這個過程也叫做Pool。我們很容易得到C3層的大小為10x10，不過，C3層有16個10x10絡(luò)!我們只需要按照一定的規(guī)則來組合S2的特征圖。經(jīng)典例子：文字識別系統(tǒng)LeNet5經(jīng)過計(jì)算，LeNet5系統(tǒng)總共需要大約13萬個參數(shù)，這與前面提到的全連接系統(tǒng)每個隱藏層就需要百萬個參數(shù)有著天壤之別，極大地減少了計(jì)算量。在以上的識別系統(tǒng)中，每個特征圖提取后都緊跟著一個用來求局部平均與二次提取的亞取樣層。這種特有的兩次特征提取結(jié)構(gòu)使得絡(luò)對輸入樣本有較高的畸變?nèi)萑棠芰?。也就是說，卷積神經(jīng)絡(luò)通過局部感受野、共享權(quán)值和亞取樣來保證圖像對位移、縮放、扭曲的魯棒性。總結(jié)卷積神經(jīng)絡(luò)（CNN）在腦機(jī)接口中的應(yīng)用MachineLearningisadisciplinethatisspecializedinstudyinghowputerssimulateorrealizehumanlearningMachineLearningisadisciplinethatstudieshowputerssimulate05原始信號：由電極采集的EEG信號輸入數(shù)據(jù)正則化：從EEG信號樣本中提取子樣本，從而降低數(shù)據(jù)的大小以便分析。等同于把信號用120HZ的抽樣率采樣。用0.1到20HZ的帶通濾波器處理輸入數(shù)據(jù)CNN的輸入：一個矩陣。其中是我們采集EEG信號時所有的電極的數(shù)量。是每個電極采集到的EEG信號正則化以后長度。我們令。每個樣本代表一部分經(jīng)過650ms頻閃燈后采集的信號。P300檢測010203絡(luò)拓?fù)浣Y(jié)構(gòu)是分類器的關(guān)鍵特征。絡(luò)由五層組成，每一層由一個或多個特征圖組成。一個特征圖代表一層的本質(zhì)，含有一個特殊的語義：第一層隱層的每個特征圖代表一個電極通道的特征。第二層隱層時間域上對信號進(jìn)行下采樣和變換。神經(jīng)絡(luò)拓?fù)浣Y(jié)構(gòu)010203在卷積神經(jīng)絡(luò)的學(xué)習(xí)過程當(dāng)中，主要運(yùn)用前向傳播和反向傳播兩種學(xué)習(xí)法則來優(yōu)化權(quán)值，學(xué)習(xí)到一個最優(yōu)的濾波器來提取特征。（1）前向傳播如果用l來表示當(dāng)前的絡(luò)層，那么當(dāng)前絡(luò)層的輸出為：其中，為絡(luò)的輸出激活函數(shù)。輸出激活函數(shù)一般選用sigmoid函數(shù)或者選用雙曲線正切函數(shù)。（2）反向傳播算法我們假設(shè)訓(xùn)練集有N個訓(xùn)練樣本，一共分成2類。對于每一個訓(xùn)練樣本，我們會給予一個標(biāo)簽，通過調(diào)整絡(luò)輸出與給定標(biāo)簽之間的誤差來訓(xùn)練與改變權(quán)值。在代價(jià)函數(shù)方面，我們選擇采用平方誤差代價(jià)函數(shù)。因此N個訓(xùn)練樣本的代價(jià)函數(shù)如下：CNN的學(xué)習(xí)規(guī)律對于N個訓(xùn)練樣本中的第n個訓(xùn)練樣本