基于DBN的故障診斷方法分析案例目錄TOC\o"1-3"\h\u6394基于DBN的故障診斷方法分析案例 164631.1DBN的基本原理 1134281.1.1受限玻爾茲曼機(jī) 15631.1.2高斯RBM 483341.1.3深度置信網(wǎng)絡(luò) 5157841.2基于DBN的故障檢測(cè) 643611.3基于DBN的故障根源辨識(shí) 974961.4基于DBN的故障分類方法 10從DBN介紹原理出發(fā)，構(gòu)建DBN算法模型，實(shí)現(xiàn)相應(yīng)功能模型構(gòu)建，通過(guò)和兩個(gè)指標(biāo)完成故障檢測(cè)；然后通過(guò)求連續(xù)偏導(dǎo)數(shù)大致計(jì)算每個(gè)變量對(duì)統(tǒng)計(jì)量中故障指標(biāo)的貢獻(xiàn)率；最后介紹如何建立有監(jiān)督DBN模型的方法，實(shí)現(xiàn)對(duì)故障數(shù)據(jù)的分類。DBN的基本原理DBN是深度學(xué)習(xí)的一種模型。既可以類似于一個(gè)自編碼機(jī)，通過(guò)無(wú)監(jiān)督過(guò)程實(shí)現(xiàn)對(duì)數(shù)據(jù)的降維與特征提?。灰部梢栽诒O(jiān)督學(xué)習(xí)中，在頂層輸出數(shù)據(jù)上加softmax層，作為分類器來(lái)使用。受限玻爾茲曼機(jī)玻爾茲曼機(jī)（BoltzmannMachine，BM）[37]可以抽象描述變量之間的相互作用，由力學(xué)定義演變而來(lái)，可以模擬數(shù)據(jù)的概率分布。它由兩層網(wǎng)絡(luò)構(gòu)成，層內(nèi)各神經(jīng)節(jié)點(diǎn)全連接，這種結(jié)構(gòu)下，使BM在實(shí)際使用中計(jì)算量過(guò)大，模型的連接過(guò)于復(fù)雜，難以模擬到所有分布。在此基礎(chǔ)上，為了使BM更具實(shí)用性，優(yōu)化得到了受限玻爾茲曼機(jī)。（1）RBM能量模型受限玻爾茲曼機(jī)（RestrictedBoltzmanMachine，RBM）由顯層和隱層構(gòu)成，層與層間繼承了BM的全連接形式，層內(nèi)各神經(jīng)元之間則互不相關(guān)。如圖4-1是RBM的基本結(jié)構(gòu)。以二值RBM為例，它有隨機(jī)可見(jiàn)單元，隨機(jī)隱藏單元，神經(jīng)元狀態(tài)取“0”和“1”代表未激活和激活兩種狀態(tài)，表示連接權(quán)重，D和F代表可見(jiàn)單元和隱藏單元的數(shù)量。能量函數(shù)的定義為：（4-1）圖4-1RBM模型的基本結(jié)構(gòu)其中是模型參數(shù)，是可見(jiàn)單元的偏置，是隱藏單元的偏置，是和之間的連接權(quán)重。能量函數(shù)為RBM的訓(xùn)練提供了目標(biāo)函數(shù)與目標(biāo)解，兩層網(wǎng)絡(luò)間的聯(lián)合分布，也可以稱為似然函數(shù)，被定義為：（4-2）（4-3）式中Z是系統(tǒng)的分配函數(shù)。因RBM節(jié)點(diǎn)的連接僅存于層間，層內(nèi)各神經(jīng)元條件獨(dú)立，當(dāng)顯層確定時(shí)，可以推導(dǎo)隱層被激活的概率如式4-4。當(dāng)隱層的狀態(tài)確定時(shí)，可以定義顯層的激活概率如式4-5。RBM激活函數(shù)定義如式4-6。（4-4）（4-5）（4-6）（2）RBM訓(xùn)練算法RBM網(wǎng)絡(luò)的訓(xùn)練目標(biāo)是，經(jīng)過(guò)重構(gòu)的數(shù)據(jù)與原始數(shù)據(jù)間的誤差最小，使符合給定數(shù)據(jù)輸入樣本分布的概率最大，此時(shí)輸出數(shù)據(jù)和原始數(shù)據(jù)的擬合度最高，整個(gè)網(wǎng)絡(luò)的能量也達(dá)到最低。將訓(xùn)練集數(shù)據(jù)標(biāo)準(zhǔn)化后賦值給可見(jiàn)層，通過(guò)求可見(jiàn)層的極大對(duì)數(shù)似然函數(shù)來(lái)訓(xùn)練參數(shù)，使式4-7的概率p(v)的值能達(dá)到最大。每個(gè)參數(shù)的最佳值可使用以下目標(biāo)函數(shù)找到：（4-7）（4-8）訓(xùn)練向量對(duì)數(shù)概率的偏導(dǎo)數(shù)的計(jì)算方法如下：（4-9）（4-10）（4-11）其中代表訓(xùn)練數(shù)據(jù)的期望；代表模型定義的期望。這些樣本可以通過(guò)吉布斯采樣（AlternatingGibbsSampling,AGS）[7]，也被稱為馬爾科夫鏈蒙特羅法（MCMC）計(jì)算出最大似然函數(shù)，而需要花費(fèi)無(wú)窮多步吉布斯采樣，存在訓(xùn)練時(shí)間過(guò)長(zhǎng)、求解緩慢等問(wèn)題。為解決此類問(wèn)題，Hinton等學(xué)者提出了對(duì)比散度（ContrastiveDivergence，CD）算法，也稱算法，當(dāng)時(shí)，即只經(jīng)過(guò)一次吉布斯采樣，就可以實(shí)現(xiàn)很好的訓(xùn)練效果，已成為一種標(biāo)準(zhǔn)方法訓(xùn)練RBMs。如圖4-2所示的步采樣過(guò)程。圖4-2交替吉布斯采樣過(guò)程利用對(duì)比散度算法，可以得到權(quán)值和偏置的更新如式4-12，式中為學(xué)習(xí)率，和為顯層和隱層的重構(gòu)數(shù)據(jù)。具體算法見(jiàn)算法4-1。（4-12）算法4-1CD-1算法輸入：可視向量v，隱藏層單元個(gè)數(shù)，學(xué)習(xí)效率輸出：權(quán)值W、可見(jiàn)層偏置、隱層偏置第一步：初始化連接權(quán)值矩陣W、偏置、偏置第二步：對(duì)所有隱藏層的節(jié)點(diǎn)根據(jù)式（4-5）計(jì)算隱藏層神經(jīng)元激活的概率，并隨機(jī)抽取0-1間的概率值，大于此值激活小于此值則不激活。第三步：根據(jù)上一步隱藏層的狀態(tài)和式（4-6）計(jì)算下一可見(jiàn)神經(jīng)元激活的概率，隨機(jī)二值化，確定可見(jiàn)神經(jīng)元的狀態(tài)。第四步：按照式（4-12）更新參數(shù)值。第五步：判斷當(dāng)前迭代次數(shù)是否到最大值，小于則回到第二步，大于則結(jié)束。高斯RBM在二值RBM的生成過(guò)程中，重構(gòu)后神經(jīng)元狀態(tài)取0或1，這種RBM也稱為伯努利-伯努利（Bernoulli-Bernoulli）RBM，但是若最終輸出需要連續(xù)性的實(shí)值，如本文DBN用于建立故障檢測(cè)指標(biāo)，可見(jiàn)層為實(shí)值輸出，跟據(jù)隱藏層求取可見(jiàn)層不能是根據(jù)的大小，隨機(jī)二值化。需要引入高斯-伯努利（Gaussian-Bernoulli）RBM，對(duì)二值RBM做出一些修改，高斯過(guò)程并不需要精確的范圍，而是取正態(tài)分布的連續(xù)特征，在可視層中引入連續(xù)數(shù)值型高斯噪聲，高斯RBM的能量函數(shù)如式4-15。（4-15）其中是高斯RBM的模型參數(shù)，高斯RBM與二值RBM主要有兩個(gè)地方不同，一是對(duì)能量函數(shù)的定義不同，另一個(gè)是從隱層到可見(jiàn)層的傳遞過(guò)程中，高斯RBM變?yōu)橛酶咚狗植己瘮?shù)為激活函數(shù)。如式4-16、4-17中和可見(jiàn)單元和隱藏單元的概率分布定義被重新定義為：（4-16）（4-17）其中一般為輸入單元的方差。深度置信網(wǎng)絡(luò)深度置信網(wǎng)絡(luò)DBN是一種深度概率模型。DBN的最底層接收經(jīng)過(guò)標(biāo)準(zhǔn)化的數(shù)據(jù)向量，成為第一個(gè)RBM的可見(jiàn)層數(shù)據(jù)，經(jīng)過(guò)RBM轉(zhuǎn)換傳遞數(shù)據(jù)至隱層，即高層RBM的輸入來(lái)自上一層RBM的輸出。然而對(duì)以堆疊RBM訓(xùn)練數(shù)據(jù)的過(guò)程，僅僅是對(duì)原始數(shù)據(jù)的特征提取，要實(shí)現(xiàn)DBN的分類能力，還需將頂層RBM提取的特征數(shù)據(jù)引入分類器，如softmax分類器，分類器需跟整個(gè)DBN一起訓(xùn)練，以擬合用于分類任務(wù)的標(biāo)簽值，此時(shí)DBN由無(wú)監(jiān)督結(jié)構(gòu)變?yōu)橛斜O(jiān)督結(jié)構(gòu)，可以實(shí)現(xiàn)回歸分類。圖4-3兩個(gè)RBM構(gòu)成的DBN如圖4-3是由兩個(gè)RBM堆疊而成的DBN。以兩層網(wǎng)絡(luò)為例，網(wǎng)絡(luò)的聯(lián)合概率分布可表示為：（4-18）其中表示因子化的條件分布由式4-19計(jì)算得到，表示第隱藏層和第隱藏層的連接權(quán)重。：（4-19）整個(gè)DBN網(wǎng)絡(luò)的訓(xùn)練由兩部分構(gòu)成，預(yù)訓(xùn)練和微調(diào)，如圖4-4表示DBN的預(yù)訓(xùn)練和微調(diào)過(guò)程。預(yù)訓(xùn)練即對(duì)連續(xù)的RBM進(jìn)行單獨(dú)訓(xùn)練，使RBM單層最優(yōu)，但并不能使全局DBN網(wǎng)絡(luò)特征輸出最優(yōu)，通常在最后一層疊加反向傳播算法（Backpropagation，BP），對(duì)權(quán)重進(jìn)行微調(diào)。特征生成過(guò)程和重構(gòu)過(guò)程可以看做是是DBN的編碼和解碼過(guò)程。在給定輸入數(shù)據(jù)的情況下，數(shù)據(jù)自下而上傳輸?shù)倪^(guò)程為提取系統(tǒng)特征，從生產(chǎn)的特征數(shù)據(jù)自上而下的過(guò)程可以實(shí)現(xiàn)對(duì)原始數(shù)據(jù)的重構(gòu)。因此在逐層預(yù)訓(xùn)練后，結(jié)合前向傳遞過(guò)程和逆重構(gòu)過(guò)程，然后在整個(gè)網(wǎng)絡(luò)中使用BP算法對(duì)權(quán)重進(jìn)行微調(diào)。訓(xùn)練完成后判斷每個(gè)RBM的參數(shù)是否是最合適值，此時(shí)不會(huì)計(jì)算模型的能量來(lái)判斷系統(tǒng)能量是否最小而達(dá)到最穩(wěn)定的結(jié)構(gòu)，而是采用近似的方法，一般用重構(gòu)誤差，重構(gòu)誤差是指，對(duì)原始的訓(xùn)練樣本進(jìn)行一次吉布斯采樣，返回與初始狀態(tài)一個(gè)維度的數(shù)值，每個(gè)數(shù)值與原始數(shù)據(jù)之間的累計(jì)誤差。圖4-4DBN訓(xùn)練方法基于DBN的故障檢測(cè)通過(guò)無(wú)監(jiān)督的方法訓(xùn)練DBN網(wǎng)絡(luò)，提取正常歷史數(shù)據(jù)的特征來(lái)建立用于判斷設(shè)備狀態(tài)的指標(biāo)，整個(gè)過(guò)程分為離線建模和在線檢測(cè)。用正常工況下的歷史數(shù)據(jù)訓(xùn)練完成DBN模型，完成離線建模過(guò)程，在線檢測(cè)部分實(shí)時(shí)輸入各傳感器采集到的數(shù)據(jù)，以正常歷史數(shù)據(jù)為標(biāo)準(zhǔn)判定正常運(yùn)行或故障發(fā)生。給定一個(gè)由個(gè)測(cè)量變量組成的個(gè)樣本的過(guò)程，首先對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行預(yù)處理，消除物理量綱不同的影響，常用的歸一化方法如表4-1所示。表4-1常用歸一化方法方法原理值域線性歸一化[0,1]平移縮放歸一化[0,1]標(biāo)準(zhǔn)化歸一化[-1,1]峰值歸一化[-1,1]和值歸一化[-1,1]這里使用的標(biāo)準(zhǔn)化方法為零均值和單位方差，測(cè)試數(shù)據(jù)在歷史訓(xùn)練數(shù)據(jù)的基礎(chǔ)上進(jìn)行標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化后數(shù)據(jù)表示為：（4-20）輸入和輸出的特征的數(shù)據(jù)類型要求為實(shí)值，輸入數(shù)據(jù)通過(guò)零均值單位方差近似化為高斯單位，輸出數(shù)據(jù)通過(guò)頂層高斯RBM提取特征輸出高斯單位，中間隱藏單位類型為二進(jìn)制。為了從測(cè)量變量中充分提取有用的特征信息，防止噪聲信號(hào)過(guò)擬合，需要根據(jù)實(shí)際數(shù)據(jù)特征維數(shù)確定特征層的大小。第一層RBM神經(jīng)元個(gè)數(shù)應(yīng)適當(dāng)大于輸入維數(shù)以充分提取特征，隨著RBM層數(shù)加深適當(dāng)減少神經(jīng)元個(gè)數(shù)以降維提取特征。當(dāng)尺寸太小時(shí)，DBN不合適。層數(shù)太多容易使DBN是過(guò)度擬合。訓(xùn)練將特征層大小從1到m的DBNs，分別計(jì)算均方誤差（meansquarederror，MSE）。將最小均方誤差快變和慢變的拐點(diǎn)設(shè)定為特征層的大小。當(dāng)網(wǎng)絡(luò)結(jié)構(gòu)確定后，在給定歸一化數(shù)據(jù)X的情況下，采用CD算法從下到上逐層迭代更新權(quán)值。然后以輸入數(shù)據(jù)和重構(gòu)數(shù)據(jù)之間的MSE作為評(píng)價(jià)此DBN模型指標(biāo)，通過(guò)BP反向傳播完成DBN的微調(diào)。在線檢測(cè)數(shù)據(jù)通過(guò)DBN多層非線性網(wǎng)絡(luò)將m維輸入測(cè)量變量變換到n維特征子空間中，得到特征變量，并由相同的網(wǎng)絡(luò)從特征變量中導(dǎo)出重構(gòu)變量。因此，DBN可以將輸入變量分解為與正態(tài)系統(tǒng)相關(guān)的重構(gòu)變量和與噪聲相關(guān)的殘差變量。殘差變量表示為：（4-21）重構(gòu)變量可以用特征變量非線性表示，故障信息可以在特征變量和殘差變量上出現(xiàn)。統(tǒng)計(jì)量是由霍特林提出的，在多變量生產(chǎn)中檢測(cè)過(guò)程狀況。反映了實(shí)時(shí)數(shù)據(jù)在變化趨勢(shì)和幅值上偏離模型的程度；統(tǒng)計(jì)量是輸入變量的重構(gòu)值對(duì)樣本數(shù)據(jù)的歐式距離，描述傳感器采集到實(shí)時(shí)數(shù)據(jù)的偏離程度，是對(duì)模型外部變化的一種度量和檢驗(yàn)統(tǒng)計(jì)量通過(guò)特征變量和殘差變量來(lái)檢測(cè)過(guò)程的異常變化。檢驗(yàn)統(tǒng)計(jì)量表示為：（4-22）協(xié)方差矩陣可近似為：（4-23）其中表示歷史數(shù)據(jù)通過(guò)DBN網(wǎng)絡(luò)提取的的個(gè)特征的個(gè)樣本變量。SPE測(cè)試統(tǒng)計(jì)數(shù)據(jù)表示為：（4-24）故障檢測(cè)的閾值均建立在正常訓(xùn)練數(shù)據(jù)上，可以用給定的置信水平分別確定，如下所示：（4-25）（4-26）其中,表示具有個(gè)自由度的卡方分布，表示用戶指定的顯著性水平。和分別由和確定，其中表示的平均值，表示檢驗(yàn)統(tǒng)計(jì)量的方差。因此，檢測(cè)邏輯是：（4-27）檢測(cè)指標(biāo)控制限確定后，計(jì)算故障檢測(cè)相關(guān)指標(biāo)，故障檢測(cè)率（Faultdetectionrate，F(xiàn)DR）和故障誤報(bào)率（Falsealarmrate，F(xiàn)AR）定義如下：（4-28）（4-29）基于DBN的故障根源辨識(shí)檢測(cè)出有故障后，還需要確定是那些變量引起異常波動(dòng)，從而完成故障的定位。在建立基于DBN的故障檢測(cè)模型后，得到和兩個(gè)統(tǒng)計(jì)量檢測(cè)指標(biāo)，本文主要用貢獻(xiàn)圖法，根據(jù)統(tǒng)計(jì)量來(lái)完成故障辨識(shí)?；谥笜?biāo)，通過(guò)求每層網(wǎng)絡(luò)函數(shù)對(duì)相應(yīng)變量的鏈?zhǔn)竭B續(xù)偏導(dǎo)數(shù)，求解特征變量對(duì)統(tǒng)計(jì)量的非線性映射，來(lái)衡量特征變量對(duì)故障數(shù)據(jù)的重要性，最終識(shí)別在非線性數(shù)據(jù)下的故障變量。假設(shè)用于故障檢測(cè)的DBN模型由兩層RBM構(gòu)成，實(shí)時(shí)檢測(cè)數(shù)據(jù)由構(gòu)成。DBN中統(tǒng)計(jì)量由式4-確定。則中第個(gè)征變量對(duì)的貢獻(xiàn)率可由式4-28確定。（4-28）式中表示第二層RBM數(shù)據(jù)轉(zhuǎn)換后的輸出，表示第一層RBM數(shù)據(jù)轉(zhuǎn)換后的輸出。根據(jù)DBN在故障檢測(cè)建立的模型，可以確定兩層RBM的輸出如式4-29、4-30所示。（4-29）（4-30）式4-29中和分別表示第一個(gè)RBM的訓(xùn)練完成的由顯層計(jì)算隱含層的權(quán)重值和偏置值。式4-30中和分別表示第二個(gè)RBM訓(xùn)練完成的由顯層計(jì)算隱含層的權(quán)重值和偏置值。和表示兩個(gè)RBM的激活層函數(shù)，激活函根據(jù)輸出數(shù)據(jù)格式來(lái)選擇，若輸出為二值RBM的概率數(shù)據(jù)，則激活函數(shù)選擇sigmoid函數(shù)。若輸出數(shù)據(jù)為高斯單位，則選擇線性單元作為激活函數(shù)。求出每個(gè)變量在某時(shí)刻的貢獻(xiàn)值后，繪制貢獻(xiàn)圖，通過(guò)直方圖直觀對(duì)比顯示每個(gè)變量貢獻(xiàn)大小，根據(jù)貢獻(xiàn)值大的確定引起故障的主要部分，完成故障定位辨識(shí)。DBN無(wú)監(jiān)督下的檢測(cè)和辨識(shí)模型流程圖如圖4-5所示。圖4-5DBN的故障檢測(cè)、辨識(shí)流程圖基于DBN的故障分類方法DBN通過(guò)堆疊RBM實(shí)現(xiàn)特征的提取是個(gè)無(wú)監(jiān)督過(guò)程，模型建立過(guò)程與DBN故障檢測(cè)過(guò)程類似，要實(shí)現(xiàn)分類問(wèn)題，需要在頂層RBM輸出數(shù)據(jù)加Softmax分類層，實(shí)現(xiàn)DBN的有監(jiān)督分類。Softmax屬于線性分類器，其分類器模型如圖4-6所示，其函數(shù)如式4-31所示,式中，表示輸入分類器數(shù)值數(shù)據(jù)組成的向量