基于堆疊邊緣降噪自編碼器的特征學習算法分析案例目錄TOC\o"1-3"\h\u32015基于堆疊邊緣降噪自編碼器的特征學習算法分析案例 1185401.1相關(guān)技術(shù) 1102461.1.1自編碼器 2271581.1.2降噪自編碼器 3203501.2算法描述 4291691.2.1邊緣降噪自編碼器設(shè)計 4210601.2.2改進的激活函數(shù) 6233511.2.3數(shù)據(jù)加噪 7327101.2.4目標函數(shù)分析 8236341.2.5堆疊邊緣降噪自編碼器深度神經(jīng)網(wǎng)絡(luò)設(shè)計 937621.3實驗結(jié)果與分析 10275141.3.1收斂速度 10219101.3.2降噪效果 12醫(yī)療數(shù)據(jù)分類任務(wù)中的一個關(guān)鍵難點在于特征數(shù)據(jù)的獲取。傳統(tǒng)的操作是對采集到的數(shù)據(jù)進行手動的特征提取，然后輸入到分類器。而深度學習算法能夠自動學習原始信號的表征（Representation），這等價于傳統(tǒng)的特征提取環(huán)節(jié)，卻大大減少了人為的干預。如前文所述，醫(yī)療數(shù)據(jù)具有專業(yè)性強、特征繁雜、模糊不完整等特性。針對此類數(shù)據(jù)，降噪自編碼深度神經(jīng)網(wǎng)絡(luò)可以很好地從中學習到有效的特征表示，但是隨著訓練數(shù)據(jù)集的增大，耗時過長的問題也變得更加嚴峻，導致模型不能很好地兼顧表征學習的質(zhì)量和訓練耗時。為了克服這個不足，本章對降噪自編碼器進行了改進，設(shè)計了面向醫(yī)療數(shù)據(jù)表征學習的深度網(wǎng)絡(luò)模型。本章首先對自編碼器和降噪自編碼器等相關(guān)技術(shù)進行說明，然后針對降噪自編碼器訓練耗時過長的問題，在降噪自編碼器的基礎(chǔ)上對其進行改進，設(shè)計了邊緣降噪自編碼器，并以堆疊的形式構(gòu)筑成深度神經(jīng)網(wǎng)絡(luò)模型，最后與基礎(chǔ)網(wǎng)絡(luò)模型進行對比，驗證了堆疊邊緣降噪自編碼深度網(wǎng)絡(luò)模型的優(yōu)越性。1.1相關(guān)技術(shù)自編碼器（Autoencoder，AE）實際上是一個由三層網(wǎng)絡(luò)組成的一個簡單模型，其設(shè)計的初衷是用于對高維數(shù)據(jù)進行降維，但是隨著對深度學習研究的不斷深入，自編碼器被賦予了特征學習的能力ADDINEN.CITE<EndNote><Cite><Author>Betechuoh</Author><Year>2006</Year><RecNum>320</RecNum><DisplayText>[47]</DisplayText><record><rec-number>320</rec-number><foreign-keys><keyapp="EN"db-id="x0r9955slp0fvnev95spxd0qwrsa9xz2rt2z">320</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Betechuoh,BrainLeke</author><author>Marwala,Tshilidzi</author><author>Tettey,Thando</author></authors></contributors><titles><title>AutoencodernetworksforHIVclassification</title><secondary-title>CurrentScience</secondary-title></titles><periodical><full-title>CurrentScience</full-title></periodical><pages>1467-1473</pages><volume>91</volume><number>11</number><dates><year>2006</year></dates><urls></urls></record></Cite></EndNote>[\o"Betechuoh,2006#320"47]。本節(jié)主要介紹自編碼器和其衍生的降噪自編碼器的設(shè)計原理。1.1.1自編碼器自編碼器是利用無監(jiān)督的學習方法（無需類標）對網(wǎng)絡(luò)參數(shù)進行訓練的，旨在學習到原始數(shù)據(jù)的另類表示。在自編碼器中原始輸入和解碼輸出的數(shù)據(jù)維度是保持一致的，通過不斷縮小重構(gòu)誤差的方式，使得解碼輸出盡可能得去貼近原始輸入，這樣就可以將自編碼器中隱藏層的編碼向量視作為原始輸入的特征表示。圖1.1所展示的是自編碼器具體的網(wǎng)絡(luò)結(jié)構(gòu)。圖1.1AE網(wǎng)絡(luò)結(jié)構(gòu)圖此處以單個自編碼器作為示例對其進行說明，取一個訓練集，將訓練集中各樣本的類別標簽去掉之后得到，其中。將其作為自編碼器的輸入，輸入數(shù)據(jù)經(jīng)由編碼器進行編碼，然后，解碼器再對編碼特征進行解碼得到輸出，接著利用與來計算損失函數(shù)，最后根據(jù)損失函數(shù)對網(wǎng)絡(luò)參數(shù)進行學習。AE具體的模型結(jié)構(gòu)圖如圖1.2所示。圖1.2自編碼器的模型圖以來表示自編碼器中激活函數(shù)，則圖1.2中的、以及的數(shù)學表達式分別如式（1.1）到（1.3）所示。 (1.1) (1.2) (1.3)從自編碼器網(wǎng)絡(luò)的目標函數(shù)可知，其訓練目標是讓輸出盡可能地還原輸入信息。網(wǎng)絡(luò)訓練完成之后，數(shù)據(jù)的映射過程即為，對于我們而言，輸出向量只是起到一個約束作用，并不具備實際意義，而隱藏層向量才是我們需要重點關(guān)注的對象，因為是在最大程度保留原始信息的前提下學習而來的，它是輸入向量的特殊表示。1.1.2降噪自編碼器現(xiàn)實生活中的醫(yī)療診斷數(shù)據(jù)大多都是殘缺的，傳統(tǒng)的自編碼器在應(yīng)對此類數(shù)據(jù)時，其效果并不理想，因為其無法恢復含噪輸入的原始面貌。如果對原始輸入進行加噪后，自編碼器的解碼輸出依舊可以還原原始輸入信息，那么自編碼器的隱藏層就能夠?qū)W習到更具魯棒性的特征ADDINEN.CITE<EndNote><Cite><Author>Lu</Author><Year>2017</Year><RecNum>327</RecNum><DisplayText>[48]</DisplayText><record><rec-number>327</rec-number><foreign-keys><keyapp="EN"db-id="x0r9955slp0fvnev95spxd0qwrsa9xz2rt2z">327</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Lu,Chen</author><author>Wang,ZhenYa</author><author>Qin,WeiLi</author><author>Ma,Jian</author></authors></contributors><titles><title>Faultdiagnosisofrotarymachinerycomponentsusingastackeddenoisingautoencoder-basedhealthstateidentification</title><secondary-title>SignalProcessing</secondary-title></titles><periodical><full-title>SignalProcessing</full-title></periodical><pages>377-388</pages><volume>130</volume><number>jan.</number><dates><year>2017</year></dates><urls></urls></record></Cite></EndNote>[\o"Lu,2017#327"48]。于是乎研究學者們在自編碼器的基礎(chǔ)上進行改進提出了一種降噪自編碼器（DenoisingAutoencoder，DAE），通過向原始輸入數(shù)據(jù)中添加噪聲，并以腐化后的原始數(shù)據(jù)作為DAE的輸入，然后DAE再對遭到破壞或者污染的輸入進行編碼與解碼，對原始數(shù)據(jù)進行恢復，進而達到降噪的目的。圖1.3DAE結(jié)構(gòu)圖DAE的具體結(jié)構(gòu)如圖1.3所示，首先利用無偏掩碼噪聲ADDINEN.CITE<EndNote><Cite><Author>Yan</Author><Year>2016</Year><RecNum>328</RecNum><DisplayText>[49]</DisplayText><record><rec-number>328</rec-number><foreign-keys><keyapp="EN"db-id="x0r9955slp0fvnev95spxd0qwrsa9xz2rt2z">328</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Yan,Huaqing</author><author>Zhang,Zenghui</author><author>Gang,Xiong</author><author>Yu,Wenxian</author></authors></contributors><titles><title>RadarHRRPrecognitionbasedonsparsedenoisingautoencoderandmulti-layerperceptrondeepmodel</title><secondary-title>2016FourthInternationalConferenceonUbiquitousPositioning,IndoorNavigationandLocationBasedServices(UPINLBS)</secondary-title></titles><dates><year>2016</year></dates><urls></urls></record></Cite></EndNote>[\o"Yan,2016#328"49]或者高斯白噪聲對原始輸入數(shù)據(jù)進行加噪，從而得到腐化后的數(shù)據(jù)，接著再對進行編碼與解碼，然后讓解碼輸出（即重構(gòu)數(shù)據(jù)）去盡可能地逼近，與傳統(tǒng)自編碼器的損失函數(shù)不同，DAE中的損失函數(shù)為。雖然DAE能夠有效地降低噪聲的干擾，但其在引入噪聲對原始數(shù)據(jù)進行加噪之后，模型訓練的計算代價也會隨著數(shù)據(jù)集的增大而不斷增大。1.2算法描述本節(jié)首先針對降噪自編碼器在學習醫(yī)療數(shù)據(jù)特征表示時計算成本較高的問題，對降噪自編碼器進行了改進，通過邊緣化噪聲干擾來簡化計算過程，得到邊緣降噪自編碼器（MarginalizedDenoisingAutoencoder，mDAE），并對其激活函數(shù)，加噪方式以及目標函數(shù)進行了系統(tǒng)地分析。然后考慮到醫(yī)療數(shù)據(jù)特征維度較高，單個編碼器的學習能力有限，本節(jié)將邊緣降噪自編碼器以堆疊的方式構(gòu)筑成一個深度神經(jīng)網(wǎng)絡(luò)，用以學習醫(yī)療數(shù)據(jù)的深度特征。最后對堆疊邊緣降噪自編碼深度網(wǎng)絡(luò)的訓練方法進行了說明。1.2.1邊緣降噪自編碼器設(shè)計為了解決DAE計算開銷大，訓練時間長的問題，本節(jié)對DAE中的噪聲干擾進行邊緣化處理，從而得到mDAE。首先對DAE中的損失函數(shù)進行泰勒展開，并取其二階展開式式的平均值作為DAE的期望損失函數(shù)的近似表示。令，，其中是對原始輸入數(shù)據(jù)進行加噪后得到的干擾項，且其符合條件分布，則是的數(shù)學期望（即均值）。那么DAE的損失函數(shù)可表示為 (1.4)式（1.4）關(guān)于的泰勒二階展開式如式（1.5）所示 (1.5)其中和分別對應(yīng)于在處的一階偏導（即梯度）和二階偏導（即Hessian矩陣）。對取平均值可得 (1.6)令，則 (1.7)式（1.7）即為DAE的期望損失函數(shù)的近似表達，由于其僅需要對關(guān)于的第一階于第二階泰勒展開式進行計算，所以可以在一定程度上減小訓練過程中的計算開銷。雖然上面所述的近似處理可以節(jié)省一定的計算成本，但是其仍不足以完全克服訓練集增大而產(chǎn)生的計算開銷過大的缺陷。此時，假定作用于輸入數(shù)據(jù)各個維度上的噪聲都是相互獨立的，則式（1.7）中的就可以簡單地表示為一個對角矩陣，所以只需要對Hessian矩陣中的對角項進行計算，進而可以達到降低計算成本的目的，而且這種簡化在應(yīng)對高維數(shù)據(jù)時效果更甚。Hessian矩陣的變換取決于數(shù)據(jù)的維度，但是由于其是一個對角矩陣，所以可以進行線性縮放，因此可以表示為 (1.8)其中表示原始輸入數(shù)據(jù)的維度，則是隱藏層的特征。利用鏈式法則對式（1.8）求取偏導，然后通過的表達式反向傳播。參照LeCunetal所提出的理論ADDINEN.CITE<EndNote><Cite><Author>Lecun</Author><Year>1998</Year><RecNum>317</RecNum><DisplayText>[50]</DisplayText><record><rec-number>317</rec-number><foreign-keys><keyapp="EN"db-id="x0r9955slp0fvnev95spxd0qwrsa9xz2rt2z">317</key></foreign-keys><ref-typename="Book">6</ref-type><contributors><authors><author>Lecun,Yann</author><author>Bottou,Leon</author><author>Orr,GenevieveB.</author><author>Klaus-RobertMüller</author></authors></contributors><titles><title>EfficientBackProp</title></titles><dates><year>1998</year></dates><publisher>SpringerBerlinHeidelberg</publisher><urls></urls></record></Cite></EndNote>[\o"Lecun,1998#317"50]，式（1.8）中的可以被忽略掉，此時就只剩下式（1.9）這個二次項。 (1.9)經(jīng)分析，式（1.9）不僅是一個Hessian矩陣，而且它還是一個正定矩陣。因此可以根據(jù)正定性質(zhì)對其進行簡化，將其轉(zhuǎn)化為對角陣，則式（1.8）最終可以近似表示為式（1.10）。 (1.10)其中代表隱藏層所對應(yīng)的節(jié)點數(shù)（即的維度）。在隱藏層的神經(jīng)元節(jié)點數(shù)量比較多的情況下，上述的簡化操作能夠極大地降低計算成本。如果省去簡化過程直接進行計算，Hessian矩陣所需存儲空間就會變得很大且其計算成本也會增加。綜上所述，mDAE的損失函數(shù)如式（1.11）所示 (1.11)其中表示原始輸入數(shù)據(jù)的第維特征上加載的噪聲項的方差，即為矩陣對應(yīng)的對角陣中的第位元素。1.2.2改進的激活函數(shù)為了增加非線性擬合能力進而對復雜的對象進行學習，自編碼器的隱藏層通常都是采用非線性的激活函數(shù)，其中使用較為廣泛的主要有Sigmoid、Tanh以及ReLU這三種激活函數(shù)。（1）Sigmoid函數(shù)ADDINEN.CITE<EndNote><Cite><Author>Narayan</Author><Year>1997</Year><RecNum>321</RecNum><DisplayText>[51]</DisplayText><record><rec-number>321</rec-number><foreign-keys><keyapp="EN"db-id="x0r9955slp0fvnev95spxd0qwrsa9xz2rt2z">321</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Narayan,Sridhar</author></authors></contributors><titles><title>Thegeneralizedsigmoidactivationfunction</title><secondary-title>InformationSciencesinformatics&ComputerScienceIntelligentSystemsApplicationsAnInternationalJournal</secondary-title></titles><periodical><full-title>InformationSciencesinformatics&ComputerScienceIntelligentSystemsApplicationsAnInternationalJournal</full-title></periodical><dates><year>1997</year></dates><urls></urls></record></Cite></EndNote>[\o"Narayan,1997#321"51]：式（1.12）是Sigmoid的函數(shù)表達式，其取值范圍為，是一種連續(xù)的非線性函數(shù)，有利于網(wǎng)絡(luò)的前向傳輸。但其也存在著一些不可避免的缺陷，在趨向于無窮的地方，函數(shù)值變化很小，容易發(fā)生梯度消失，不利于深層神經(jīng)網(wǎng)絡(luò)的反饋傳輸。 (1.12)（2）Tanh函數(shù)ADDINEN.CITE<EndNote><Cite><Author>Manessi</Author><Year>2018</Year><RecNum>322</RecNum><DisplayText>[52]</DisplayText><record><rec-number>322</rec-number><foreign-keys><keyapp="EN"db-id="x0r9955slp0fvnev95spxd0qwrsa9xz2rt2z">322</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Manessi,Franco</author><author>Rozza,Alessandro</author></authors></contributors><titles><title>LearningCombinationsofActivationFunctions</title><secondary-title>201824thInternationalConferenceonPatternRecognition(ICPR)</secondary-title></titles><dates><year>2018</year></dates><urls></urls></record></Cite></EndNote>[\o"Manessi,2018#322"52]：式（1.13）是Tanh的函數(shù)表達式，其取值范圍為，相較于Sigmoid而言，Tanh的收斂速度更快，且均值為0，故其在實際應(yīng)用中表現(xiàn)更好。但是Tanh同樣也存在梯度消失的問題。 (1.13)（3）ReLU函數(shù)ADDINEN.CITE<EndNote><Cite><Author>Lin</Author><Year>2018</Year><RecNum>323</RecNum><DisplayText>[53]</DisplayText><record><rec-number>323</rec-number><foreign-keys><keyapp="EN"db-id="x0r9955slp0fvnev95spxd0qwrsa9xz2rt2z">323</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Lin,Guifang</author><author>Shen,Wei</author></authors></contributors><titles><title>ResearchonconvolutionalneuralnetworkbasedonimprovedRelupiecewiseactivationfunction</title><secondary-title>ProcediaComputerScience</secondary-title></titles><periodical><full-title>ProcediaComputerScience</full-title></periodical><pages>977-984</pages><volume>131</volume><dates><year>2018</year></dates><urls></urls></record></Cite></EndNote>[\o"Lin,2018#323"53]：式（1.14）展示的是ReLU的函數(shù)表達式。顯然，它是一個分段函數(shù)且每段函數(shù)均為線性，當時，輸出與輸入相等，而當時，輸出為0。故ReLU更容易進行優(yōu)化，此外，ReLU還能夠抑制部分神經(jīng)元，使網(wǎng)絡(luò)更加稀疏，進而減少參數(shù)之間的依存關(guān)系，有效地緩解過擬合現(xiàn)象。然而它也面臨梯度消失的難題。 (1.14)針對ReLU函數(shù)梯度消失的問題，學者們在其基礎(chǔ)上對其進行了改進，設(shè)計了一種PReLU函數(shù)，具體的數(shù)學表達書如式（1.15）所示，其中通常很小。 (1.15)相較于Sigmoid與Tanh等雙曲函數(shù)，基于ReLU改進得到的PReLU函數(shù)有著以下兩個方面的優(yōu)勢：（1）成功解決了梯度消失與梯度爆炸的問題，能夠高效地進行梯度更新與反向傳播。（2）函數(shù)更加簡單，求導更加方便，顯著地節(jié)省了網(wǎng)絡(luò)的計算開銷。綜上所述，本文選取PReLU作為本文中所用到的自編碼器的激活函數(shù)。1.2.3數(shù)據(jù)加噪降噪自編碼器中加入的噪聲通常為高斯噪聲或者是無偏掩碼噪聲，這兩種噪聲所對應(yīng)的數(shù)學統(tǒng)計表達式如表1.1所示。表1.1噪聲干擾的分布均值和方差噪聲干擾類型高斯噪聲無偏掩碼噪聲當向原始輸入數(shù)據(jù)中添加高斯噪聲時，腐化后的數(shù)據(jù)與原始數(shù)據(jù)之間服從，為協(xié)方差矩陣，且與相互獨立。當向原始輸入數(shù)據(jù)中添加無偏掩碼噪聲之時，原始輸入數(shù)據(jù)中的特征會以概率進行抹除（即將其設(shè)置為0），即，與此同時，那些沒有被置0的特征則會被映射成，即 (1.16)以此來避免出現(xiàn)數(shù)據(jù)偏倚的現(xiàn)象。原始數(shù)據(jù)經(jīng)上述方式加噪后變?yōu)椋藭r，輸入層到隱藏層之間的映射關(guān)系的數(shù)學表達式為：，其中為對應(yīng)的激活函數(shù)，與則為待優(yōu)化的網(wǎng)絡(luò)參數(shù)。通常情況下，在應(yīng)對二值數(shù)據(jù)時，我們依據(jù)交叉熵損失（CrossEntropyLoss，CELoss）來計算誤差函數(shù)；而在應(yīng)對具體數(shù)值之時，則是借助平方損失函數(shù)來計算誤差函數(shù)。表1.2總結(jié)了兩種損失函數(shù)的重構(gòu)損失以及式中對應(yīng)的偏導數(shù)形式。表1.2重構(gòu)損失以及對應(yīng)的偏導式名稱交叉熵損失平方損失綜上所述，鑒于實際醫(yī)療診斷場景中待診病例的空缺值較多，且數(shù)據(jù)以具體數(shù)值為主，因此本文在編碼器中所添加的噪聲為無偏掩碼噪聲，隨機地對歷史病例的部分特征進行抹除，至于編碼器的損失函數(shù)則選用平方損失函數(shù)。1.2.4目標函數(shù)分析mDAE的目標函數(shù)在1.1.1小節(jié)中已經(jīng)給出，如式（1.17）所示 (1.17)令，當向原始輸入數(shù)據(jù)中添加無偏掩碼噪聲之后，就可以表示為式（1.18） (1.18)觀察公式（1.18），可以發(fā)現(xiàn)，首先，mDAE在訓練時會保留那些值為1的隱藏層神經(jīng)元，而懲罰那些值為0的隱藏層神經(jīng)元。其次，對于輸入數(shù)據(jù)和其所對應(yīng)的重構(gòu)數(shù)據(jù)而言，能夠調(diào)整計算所涉及到的全部的網(wǎng)絡(luò)參數(shù)和。這表明所產(chǎn)生的影響與文獻ADDINEN.CITE<EndNote><Cite><Author>Wager</Author><Year>2013</Year><RecNum>319</RecNum><DisplayText>[54]</DisplayText><record><rec-number>319</rec-number><foreign-keys><keyapp="EN"db-id="x0r9955slp0fvnev95spxd0qwrsa9xz2rt2z">319</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Wager,Stefan</author><author>Wang,Sida</author><author>Liang,Percy</author></authors></contributors><titles><title>DropoutTrainingasAdaptiveRegularization</title><secondary-title>Advancesinneuralinformationprocessingsystems</secondary-title></titles><periodical><full-title>Advancesinneuralinformationprocessingsystems</full-title></periodical><dates><year>2013</year></dates><urls></urls></record></Cite></EndNote>[\o"Wager,2013#319"54]中所闡述的自適應(yīng)正則化效應(yīng)相吻合，因此作為mDAE的正則項是可行的。最后，相較于傳統(tǒng)的正則化項而言，能夠發(fā)現(xiàn)模型訓練中更深層次的交互作用。舉個例子進行說明，當時，則中的就可以轉(zhuǎn)換為。故對同一隱藏神經(jīng)元而言，起到了相互競爭和抑制的效果。因此，mDAE所學習到的參數(shù)是更趨向于的，即權(quán)重矩陣更稀疏。1.2.5堆疊邊緣降噪自編碼器深度神經(jīng)網(wǎng)絡(luò)設(shè)計mDAE通過對目標函數(shù)進行學習，盡可能地減小重構(gòu)損失，進而將高維輸入數(shù)據(jù)映射成低緯特征表示。由于單個mDAE的特征提取能力十分有限，因此本文將mDAE作為一種基本的構(gòu)建模塊，通過多層堆疊的形式構(gòu)建堆疊式邊緣降噪自編碼器深度神經(jīng)網(wǎng)絡(luò)（StackedMarginalizedDenoisingAutoencoder，SmDAE），其模型如圖1.4所示。圖1.4SmDAE模型圖單個mDAE是一個三層網(wǎng)絡(luò)模型，而只有輸入層到中間編碼層（即隱藏層）之間的特征映射過程才是值得我們關(guān)注的，因此，在完成單個mDAE的訓練之后，就可以忽略掉輸出層。在連接每一個mDAE時，將前一個mDAE的隱藏層的輸出作為后面一個mDAE的輸入層的輸入，以此類推，逐個地連接所有的mDAE，最終組合為一個SmDAE網(wǎng)絡(luò)，其特征映射過程可以表示為，其中，為加入噪聲干擾之后的原始輸入數(shù)據(jù)，則表示第個mDAE中隱藏層的輸出。SmDAE的訓練過程主要由兩個階段組成：首先是預訓練階段，此階段主要是利用無監(jiān)督學習方法逐個地對每個mDAE進行訓練，對網(wǎng)絡(luò)的參數(shù)進行初始化；第二個階段則是利用有監(jiān)督學習方法對網(wǎng)絡(luò)參數(shù)進行微調(diào)。本文采用的是逐層貪婪的預訓練方法ADDINEN.CITE<EndNote><Cite><Author>Bengio</Author><Year>2007</Year><RecNum>330</RecNum><DisplayText>[55]</DisplayText><record><rec-number>330</rec-number><foreign-keys><keyapp="EN"db-id="x0r9955slp0fvnev95spxd0qwrsa9xz2rt2z">330</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Bengio,Y.</author><author>Lamblin,P.</author><author>Popovici,D.</author><author>Larochelle,H.</author></authors></contributors><titles><title>Greedylayer-wisetrainingofdeepnetworks</title><secondary-title>AdvancesinNeuralInformationProcessingSystems19,ProceedingsoftheTwentiethAnnualConferenceonNeuralInformationProcessingSystems,Vancouver,BritishColumbia,Canada,December4-7,2006</secondary-title></titles><dates><year>2007</year></dates><urls></urls></record></Cite></EndNote>[\o"Bengio,2007#330"55]對SmDAE網(wǎng)絡(luò)進行從前到后的逐層訓練，對原始數(shù)據(jù)進行加噪處理得到腐化數(shù)據(jù)，再將腐化數(shù)據(jù)輸入到最外層mDAE進行編碼，然后編碼特征再由最外層mDAE的解碼器進行解碼，接著以式（1.11）作為目標函數(shù)對此mDAE進行訓練，使解碼輸出盡可能還原數(shù)據(jù)中的信息。當目標函數(shù)已經(jīng)收斂或者訓練達到指定的迭代次數(shù)之時，則視作該層mDAE預訓練完成。再仿照以上方式對內(nèi)層mDAE進行預訓練，直至所有mDAE都訓練完成。最后再借助樣本標簽，利用反向傳播算法微調(diào)網(wǎng)絡(luò)的參數(shù)。整個訓練的流程如算法1.1所示。算法1.1SmDAE深度神經(jīng)網(wǎng)絡(luò)訓練輸入:train_set：訓練集，用以訓練SmDAE；noise_level：噪聲水平，對數(shù)據(jù)加噪等級的控制參數(shù)；pretrain_epochs：預訓練迭代次數(shù)；pretrain_lr：預訓練學習速率；finetune_epochs：微調(diào)階段迭代次數(shù)；finetune_lr：微調(diào)階段的學習速率輸出:輸出整個SmDAE模型的網(wǎng)絡(luò)參數(shù)1:2:3：4：5：6：7:8:9:10:11:12:13:14:15:16:17:構(gòu)造n層堆疊的SmDAE網(wǎng)絡(luò)模型Netfordo對第層mDAE的輸入進行加噪forpretrain_epochsdo編碼；解碼；調(diào)用式（1.11）計算重構(gòu)損失使用backpropagation算法來調(diào)整第層mDAE的參數(shù)endendforfinetune_epochsdoendreturn1.3實驗結(jié)果與分析為了檢驗改進方法對于網(wǎng)絡(luò)性能的提升，本節(jié)選取了一個公共醫(yī)療數(shù)據(jù)集Diabetic以及一個從同濟醫(yī)院采集而來的數(shù)據(jù)集Hcc來進行實驗驗證，這兩個數(shù)據(jù)集及其預處理方法的詳細描述見本文3.3.1部分。本節(jié)主要設(shè)計了兩組實驗來驗證改進方法對模型性能的影響，各組實驗中網(wǎng)絡(luò)的層數(shù)，訓練的迭代次數(shù)以及訓練的方法均保持一致。1.3.1收斂速度為了驗證SmDAE網(wǎng)絡(luò)的計算性能，本節(jié)分別采用SmDAE和堆疊降噪自編碼器（StackedDenoisingAutoencoder，SDAE）實現(xiàn)對病例數(shù)據(jù)集的特征提取，在Diabetic和Hcc這兩個數(shù)據(jù)集上的實驗結(jié)果分別見圖1.5和圖1.6。（a）第一層（b）第二層（c）第三層圖1.5Diabet