人工神經(jīng)網(wǎng)絡(luò)設(shè)計09深度信念網(wǎng)絡(luò)目錄受限玻爾茲曼機01020304深度信念網(wǎng)絡(luò)深度信念網(wǎng)絡(luò)設(shè)計應(yīng)用實例：手寫數(shù)字識別01受限玻爾茲曼機2006年，GeoffreyHinton教授及其同事提出了深度信念網(wǎng)絡(luò)（DeepBeliefNetworks,DBN）。為了保證深層網(wǎng)絡(luò)的訓(xùn)練效果，Hinton教授等人借助受限玻爾茲曼機（RestrictedBoltzmannMachine，RBM）對網(wǎng)絡(luò)進行逐層預(yù)訓(xùn)練，解決了深層神經(jīng)網(wǎng)絡(luò)訓(xùn)練問題，對神經(jīng)網(wǎng)絡(luò)的發(fā)展產(chǎn)生了深遠的影響。

基本概念3玻爾茲曼機（BoltzmannMachine，BM）是一種由二值隨機神經(jīng)元構(gòu)成的全連接對稱神經(jīng)網(wǎng)絡(luò)，包括可見層和隱含層:可見層:用于表示輸入數(shù)據(jù)的特征；隱含層:用于捕捉數(shù)據(jù)中的隱含特征。

玻爾茲曼機圖9-1玻爾茲曼機結(jié)構(gòu)401受限玻爾茲曼機

玻爾茲曼機與受限玻爾茲曼機神經(jīng)元相互連接構(gòu)成全連接概率圖模型，通過調(diào)整神經(jīng)元間之的連接權(quán)值實現(xiàn)似然值最大化，從而建立數(shù)據(jù)的分布關(guān)系。在玻爾茲曼機中，可見單元和隱含單元之間的連接是任意的。例如，任意兩個隱含單元可能存在連接，任意兩個可見單元也可能存在連接。因此，易導(dǎo)致玻爾茲曼機計算復(fù)雜性較高。受限玻爾茲曼機（RestrictedBoltzmannMachine,RBM）應(yīng)運而生。501受限玻爾茲曼機受限玻爾茲曼機是一個二分圖結(jié)構(gòu)的無向圖模型。與玻爾茲曼機類似，受限玻爾茲曼機也由可見層與隱含層組成。不同的是，受限玻爾茲曼機的可見單元或者隱含單元之間沒有連接。受限玻爾茲曼機也被稱為簧風(fēng)琴（Harmonium）

受限玻爾茲曼機圖9-2受限玻爾茲曼機結(jié)構(gòu)601受限玻爾茲曼機假設(shè)一個受限玻爾茲曼機由Kv個可見單元和Kh個隱含單元組成，定義如下：（1）可見單元的狀態(tài)構(gòu)成隨機向量。

受限玻爾茲曼機（2）隱含單元的狀態(tài)構(gòu)成隨機向量

。（4）偏置和，其中ai為可見單元vi的偏置，bj為可見單元hj的偏置。（3）權(quán)值矩陣

，其中元素wij為可見單元vi和隱含單元hj之間邊的權(quán)值。受限玻爾茲曼機結(jié)構(gòu)相對簡單，可以根據(jù)具體任務(wù)的需求選擇使用有監(jiān)督或者無監(jiān)督的學(xué)習(xí)方式，廣泛應(yīng)用于降維、分類、回歸、協(xié)同過濾、特征學(xué)習(xí)以及主題建模等領(lǐng)域。701受限玻爾茲曼機

能量最小化類似于Hopfield神經(jīng)網(wǎng)絡(luò)，玻爾茲曼機和受限玻爾茲曼機會為網(wǎng)絡(luò)定義一個“能量函數(shù)”，當(dāng)能量達到最小值時，網(wǎng)絡(luò)在達到最優(yōu)狀態(tài)。受限玻爾茲曼機的能量函數(shù)定義如下：若將能量函數(shù)寫成向量形式，則表示如下：801受限玻爾茲曼機

能量最小化基于能量函數(shù)，可以得到聯(lián)合概率分布：通過對概率函數(shù)求極值，可以得到網(wǎng)絡(luò)的最佳參數(shù)。式中，Z為配分函數(shù)，也稱歸一化因子：901受限玻爾茲曼機

深度信念網(wǎng)絡(luò)02深度信念網(wǎng)絡(luò)然而，配分函數(shù)的計算涉及對所有可能狀態(tài)的指數(shù)級求和，這在大多數(shù)情況下是不可行的。因此，馬爾可夫鏈蒙特卡洛（MarkovChainMonteCarlo,MCMC）和對比散度（ContrastiveDivergence,CD）等方法被提出，以有效訓(xùn)練受限玻爾茲曼機。誤差反向傳播算法是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的常用方法，但隨著神經(jīng)網(wǎng)絡(luò)隱含層數(shù)量的增加，誤差在從輸出層逐層前向傳遞的過程中會逐漸減小，甚至趨近于零，導(dǎo)致梯度消失，從而使神經(jīng)網(wǎng)絡(luò)得不到有效訓(xùn)練。因此，在深度信念網(wǎng)絡(luò)提出之前，深度神經(jīng)網(wǎng)絡(luò)一度被認為難以訓(xùn)練。10

深度信念網(wǎng)絡(luò)結(jié)構(gòu)深度信念網(wǎng)絡(luò)是一種由多個堆疊的概率生成模型（通常是受限玻爾茲曼機）組成的深層神經(jīng)網(wǎng)絡(luò)。最底層為可見單元，其他層為隱含單元。圖9-3深度信念網(wǎng)絡(luò)結(jié)構(gòu)圖1102深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)結(jié)構(gòu)深度信念網(wǎng)絡(luò)可以看作由多個受限玻爾茲曼機堆疊而成。因此，可以以受限玻爾茲曼機的訓(xùn)練方式為基礎(chǔ)，通過逐層訓(xùn)練的方式對深度信念網(wǎng)絡(luò)參數(shù)進行調(diào)整，這種方法被稱為貪心逐層訓(xùn)練算法。圖9-4深度信念網(wǎng)絡(luò)逐層訓(xùn)練過程1202深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)結(jié)構(gòu)①將輸入向量v和第一個隱含層h1作為受限玻爾茲曼機的可見層和隱含層，通過訓(xùn)練獲得當(dāng)前受限玻爾茲曼機的最佳參數(shù)，包括可見層和隱含層之間的權(quán)值、各神經(jīng)元的偏置等。②將當(dāng)前的隱含層h1作為下一層的可見層，將隱含層h2作為新的受限玻爾茲曼機，訓(xùn)練該受限玻爾茲曼機并獲得參數(shù)，即第二個受限玻爾茲曼機被訓(xùn)練為模擬第一個受限玻爾茲曼機的隱含單元定義的分布。③將當(dāng)前的隱含層h2作為可見層，將隱含層h3作為新的受限玻爾茲曼機隱含層，依次逐層訓(xùn)練。在各受限玻爾茲曼機具體訓(xùn)練過程中，可以采用對比散度算法進行訓(xùn)練。1302深度信念網(wǎng)絡(luò)上述逐層進行訓(xùn)練的過程被稱作預(yù)訓(xùn)練過程。在完成預(yù)訓(xùn)練后，可以執(zhí)行反向傳播算法對網(wǎng)絡(luò)就進行微調(diào)，以進一步提高神經(jīng)網(wǎng)絡(luò)性能。訓(xùn)練完成的深度信念網(wǎng)絡(luò)則可直接用作生成模型。除用作生成模型外，深度信念網(wǎng)絡(luò)是否可以產(chǎn)生特定的輸出？通常情況下，可以在深度信念網(wǎng)絡(luò)的頂層增加一層全連接層（Softmax層或線性層）來產(chǎn)生特點的輸出。全連接層實現(xiàn)將逐層提取的特征映射到目標輸出，例如在分類任務(wù)中的類別標簽，或者在回歸任務(wù)中的數(shù)值預(yù)測。由于在無監(jiān)督預(yù)訓(xùn)練過程中已經(jīng)獲得了權(quán)值和偏置的初始值，因此可以通過反向傳播算法進一步優(yōu)化全連接層的參數(shù)，從而提高模型在特定任務(wù)中的性能。1402深度信念網(wǎng)絡(luò)

對比散度算法對比散度（ContrastiveDivergence，CD）算法是訓(xùn)練受限玻爾茲曼機的標準方法，該算法通過從數(shù)據(jù)樣本中進行采樣，顯著降低了傳統(tǒng)吉布斯采樣所需的計算成本。CD算法的效率提升主要得益于其獨特的采樣過程：它使用一個訓(xùn)練樣本作為可見單元的初始狀態(tài)，隨后通過交替對可見單元和隱含單元進行吉布斯采樣來更新狀態(tài)。與傳統(tǒng)的吉布斯采樣不同，CD算法通常只需進行有限步數(shù)的采樣（即CD-k算法），而無需等待采樣過程完全收斂，從而大幅減少了計算量。1502深度信念網(wǎng)絡(luò)

對比散度算法受限玻爾茲曼機是一種由隨機二值神經(jīng)元組成的網(wǎng)絡(luò)結(jié)構(gòu)，每個神經(jīng)元在要么處于激活狀態(tài)（1），要么處于非激活狀態(tài)（0）。在受限玻爾茲曼機中，單元狀態(tài)的激活概率是通過能量函數(shù)來定義的。能量函數(shù)的值越低，表示對應(yīng)的狀態(tài)在概率分布中越有可能被實現(xiàn)。為了從能量函數(shù)映射到概率分布，引入了邏輯函數(shù)，它能夠?qū)⒛芰亢瘮?shù)的輸出轉(zhuǎn)換為概率形式，即計算給定輸入條件下某個單元處于激活狀態(tài)的概率。邏輯函數(shù)的應(yīng)用，使得受限玻爾茲曼機能夠以概率的形式表達單元狀態(tài)的激活可能性，為模型的訓(xùn)練和預(yù)測提供了數(shù)學(xué)基礎(chǔ)。1602深度信念網(wǎng)絡(luò)

對比散度算法單步對比散度的步驟大致如下：（1）根據(jù)訓(xùn)練集中的樣本設(shè)置可見單元vi，計算隱含單元hj的條件概率。在這一概率分布中通過隨機采樣獲取隱含單元hj

。式中，

為邏輯函數(shù)：1702深度信念網(wǎng)絡(luò)

對比散度算法（2）計算vi與hj的外積vihjT，此結(jié)果稱為正梯度。在CD算法中，使用梯度上升算法更新權(quán)值，根據(jù)受限玻爾茲曼機能量函數(shù)，權(quán)值的梯度可以通過對能量函數(shù)求偏導(dǎo)得到：式中，偏置項與權(quán)值無關(guān)，所以忽略。1802深度信念網(wǎng)絡(luò)

對比散度算法由于直接計算期望梯度通常是非常困難的，它涉及到對所有可能狀態(tài)的求和。為了使CD算法能夠以較低的計算成本有效地訓(xùn)練受限玻爾茲曼機，算法通過采樣來估計期望值。CD算法權(quán)值wij用下式近似地更新：

為學(xué)習(xí)率，;表示使用真實數(shù)據(jù)計算的近似期望梯度（正梯度）;

表示使用重構(gòu)數(shù)據(jù)計算的近似期望梯度（負梯度）。1902深度信念網(wǎng)絡(luò)

對比散度算法（3）根據(jù)hj，計算可見單元

的條件概率。并從中隨機采樣獲取一個重構(gòu)的可見單元

，根據(jù)計算隱含單元的條件概率。之后，根據(jù)這一概率分布獲取隱含單元。這個更新方法的一個特點是僅僅使用了局部信息。即雖然優(yōu)化目標是整個網(wǎng)絡(luò)的能量最低，但是每個權(quán)值的更新只依賴于它連接的相關(guān)變量的狀態(tài)。2002深度信念網(wǎng)絡(luò)

對比散度算法（4）同理，計算與的外積，此結(jié)果稱為負梯度。（5）使用正梯度和負梯度的差值并結(jié)合學(xué)習(xí)率，調(diào)整更新權(quán)值和偏置。2102深度信念網(wǎng)絡(luò)

深度信念網(wǎng)絡(luò)設(shè)計DBN通過層層遞進的方式提取樣本數(shù)據(jù)中的特征，層數(shù)是影響網(wǎng)絡(luò)性能的關(guān)鍵因素。層數(shù)的增加可以提高網(wǎng)絡(luò)的學(xué)習(xí)能力，進而提升泛化性能。然而，網(wǎng)絡(luò)層數(shù)的增加必然會導(dǎo)致計算成本的增加，且過多的層數(shù)也會導(dǎo)致過擬合。因此，如何選擇合適的層數(shù)也是深度信念網(wǎng)絡(luò)研究和應(yīng)用中的難點問題。在目前的DBN研究中，多是憑借經(jīng)驗或者試湊法確定網(wǎng)絡(luò)的層數(shù)，難以快速確定網(wǎng)絡(luò)最佳結(jié)構(gòu)。2203深度信念網(wǎng)絡(luò)設(shè)計

深度信念網(wǎng)絡(luò)設(shè)計本章介紹一種基于重構(gòu)誤差的網(wǎng)絡(luò)層數(shù)（深度）確定方法。引入兩條引理作為理論依據(jù)：RBM的訓(xùn)練精度隨著深度的增加而提高。在DBN網(wǎng)絡(luò)訓(xùn)練中，通過無監(jiān)督學(xué)習(xí)，網(wǎng)絡(luò)權(quán)值已處于較好的位置，而基于梯度下降的反向運算只是在某些小的方面調(diào)節(jié)權(quán)值。2303深度信念網(wǎng)絡(luò)設(shè)計

深度信念網(wǎng)絡(luò)設(shè)計在DBN訓(xùn)練過程中，每個RBM被訓(xùn)練為捕捉輸入數(shù)據(jù)的不同層次特征，每一層RBM都會嘗試對上一層的輸出進行重構(gòu)。通過最小化重構(gòu)誤差，RBM可以學(xué)習(xí)到如何最好地表示數(shù)據(jù)。輸入數(shù)據(jù)首先通過RBM的可見層轉(zhuǎn)化為隱含層表示，然后再從隱含層重構(gòu)出可見層數(shù)據(jù)。重構(gòu)誤差就是評估這個重構(gòu)的可見層與原始輸入的相似度，可由下式評價：2403深度信念網(wǎng)絡(luò)設(shè)計

深度信念網(wǎng)絡(luò)設(shè)計訓(xùn)練規(guī)則如下所示：如果此時網(wǎng)絡(luò)通過訓(xùn)練，重構(gòu)誤差達到目標，即低于預(yù)設(shè)值，則開始進行梯度反向微調(diào)；否則，令網(wǎng)絡(luò)深度自動加一，繼續(xù)進行訓(xùn)練。2503深度信念網(wǎng)絡(luò)設(shè)計

應(yīng)用實例：手寫數(shù)字識別MNIST據(jù)庫是一個包含手寫數(shù)字的大型數(shù)據(jù)庫，由60,000張訓(xùn)練圖像和10,000張測試圖像組成。每張圖像都是從0到9的手寫數(shù)字的掃描，這些數(shù)字是由美國人口普查局的雇員和美國高中生手寫的，不同的書寫風(fēng)格會帶來圖像上的差異。由于這個數(shù)據(jù)集已經(jīng)被廣泛應(yīng)用于各種模式識別技術(shù)的測試，因此被公認為是評估新算法性能的標準基準。在MNIST學(xué)習(xí)任務(wù)的基本版本中，由于沒有提供幾何知識，也沒有進行特殊的預(yù)處理或數(shù)據(jù)增強，即使像素點的位置被隨機且固定地排列，這也不會顯著影響學(xué)習(xí)算法的性能。2604應(yīng)用實例：手寫數(shù)字識別

應(yīng)用實例：手寫數(shù)字識別本節(jié)實驗從數(shù)據(jù)庫中取5000個樣本用于無監(jiān)督學(xué)習(xí)，從中取出1000個樣本用于有監(jiān)督學(xué)習(xí)，再取1000個樣本進行測試。數(shù)據(jù)庫所含樣本為0～9的阿拉伯?dāng)?shù)字，均為手寫體，每個圖像為28×28的像素，5000個樣本分為50批次，每批100個樣本，因此每層的神經(jīng)元默認100個，重構(gòu)誤差條件設(shè)定正確率為99%以上。2704應(yīng)用實例：手寫數(shù)字識別

應(yīng)用實例：手寫數(shù)字識別網(wǎng)絡(luò)在隱含層層數(shù)達到3時停止增加，此時通過測試1000個樣本，產(chǎn)生了75處錯誤，原圖像和產(chǎn)生的錯誤分別如圖所示。通過分析圖中數(shù)字，可進一步統(tǒng)計出網(wǎng)絡(luò)容易在判斷什么樣的圖像、提取什么樣的特征時產(chǎn)生的錯誤，這有助于對進一步提高網(wǎng)絡(luò)性能提供參考。圖9-5三隱含層DBN的分類錯誤圖9-6三隱含層DBN的錯誤識別2804應(yīng)用實例：手寫數(shù)字識別

應(yīng)用實例：手寫數(shù)字識別網(wǎng)絡(luò)產(chǎn)生的權(quán)值圖像如圖所示。這兩張圖顯示的是DBN訓(xùn)練到的權(quán)值具象化，可以看出，隨著深度的增加，網(wǎng)絡(luò)權(quán)值愈加抽象，表明網(wǎng)絡(luò)識別的信息是對這些抽象數(shù)據(jù)的組合（實際上這種組合具有稀疏特性）。圖9-7底層RBM訓(xùn)練權(quán)值圖9-8頂層RBM訓(xùn)練權(quán)值2904應(yīng)用實例：手寫數(shù)字識別

應(yīng)用實例：手寫數(shù)字識別網(wǎng)絡(luò)重構(gòu)誤差曲線如圖。從中可以看出重構(gòu)誤差在每一層RBM中呈下降趨勢。圖9-9底層RBM重構(gòu)誤差圖9-10頂層RBM重構(gòu)誤差3004應(yīng)用實例：手寫數(shù)字識別

應(yīng)用實例：手寫數(shù)字識別將三個RBM的重構(gòu)誤差放到同一張圖里，如圖所示。圖中紅色的曲線為最后一層RBM重構(gòu)誤差，此時已經(jīng)達到預(yù)設(shè)的目標。由于每增加一層RBM，其初始權(quán)值是隨機給定的，故開始的重構(gòu)誤差處于較高的狀態(tài)。而如何更有效地利用先驗知識對其后一層RBM初始化，也值得進一步研究，這將有助于提高網(wǎng)絡(luò)性能。圖9-11各個RBM重構(gòu)誤差3104應(yīng)用實例：手寫數(shù)字識別人工神經(jīng)網(wǎng)絡(luò)設(shè)計10人工神經(jīng)網(wǎng)絡(luò)應(yīng)用目錄基于人工神經(jīng)網(wǎng)絡(luò)的污染物排放智能檢測0102基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制01基于人工神經(jīng)網(wǎng)絡(luò)的污染物排放智能檢測隨著全球生態(tài)文明建設(shè)的推進，污染治理過程的智能化成為重要發(fā)展方向。而人工神經(jīng)網(wǎng)絡(luò)在這一領(lǐng)域展現(xiàn)出巨大潛力，在污染物排放智能檢測方面應(yīng)用廣泛。

城市污水處理系統(tǒng)智能檢測城市污水處理系統(tǒng)分析：城市污水處理系統(tǒng)是一個復(fù)雜的、大滯后的生物化學(xué)反應(yīng)過程數(shù)據(jù)收集與預(yù)處理：數(shù)據(jù)預(yù)處理是構(gòu)建可靠模型最關(guān)鍵的基礎(chǔ)。人工神經(jīng)網(wǎng)絡(luò)設(shè)計：徑向基函數(shù)（RBF）神經(jīng)網(wǎng)絡(luò)因其良好的非線性映射能力而被廣泛應(yīng)用。圖10-1人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖3401基于人工神經(jīng)網(wǎng)絡(luò)的污染物排放智能檢測城市污水處理利用微生物的凝聚、吸附和氧化功能分解去除污水中的有機污染物，是一個復(fù)雜的、大滯后的生物化學(xué)反應(yīng)過程。活性污泥工藝是當(dāng)前城市污水處理中較成熟且應(yīng)用最為廣泛的一種生物處理工藝，下圖為活性污泥法城市污水處理工藝流程。

城市污水處理系統(tǒng)圖10-2城市污水處理工藝流程圖3501基于人工神經(jīng)網(wǎng)絡(luò)的污染物排放智能檢測活性污泥工藝基本流程由初沉池、曝氣池、二沉池、曝氣設(shè)備以及回流設(shè)備組成。

城市污水處理系統(tǒng)工藝分析初沉池：清除污水中的部分有機物和懸浮物，降低后續(xù)處理工藝的負荷。曝氣池：作為工藝核心部分，主要進行好氧和厭氧生物降解，使污水得到凈化。二沉池：實現(xiàn)出水泥水分離以及活性污泥濃縮和回流。曝氣設(shè)備：向曝氣池供氧，使池內(nèi)有機物與溶解氧充分接觸?；亓髟O(shè)備：將二沉池中的部分污泥送回曝氣池，保持污泥活性的同時提高系統(tǒng)穩(wěn)定性。生化需氧量(Biochemicaloxygendemand,BOD)和總磷(TotalPhosphorus,TP)是反映出水水質(zhì)的關(guān)鍵指標參數(shù)，對其進行實時檢測至關(guān)重要。3601基于人工神經(jīng)網(wǎng)絡(luò)的污染物排放智能檢測基于獲取到的北京某污水廠(活性污泥處理工藝)2014年的數(shù)據(jù)，對其進行預(yù)處理后按每天一組進行采樣，得到365組數(shù)據(jù)。將365組數(shù)據(jù)分為三組：183組作為訓(xùn)練樣本；91組作為驗證樣本；91組作為測試樣本。

數(shù)據(jù)收集與預(yù)處理表10-1軟測量模型候選變量注：固體懸浮物濃度(Suspendedsolids,SS)；污泥沉降比(Settlingvelocity,SV)；混合懸浮固體濃度(Mixedliquidsuspendedsolid,MLSS)；溶解氧(Dissolvedoxygen,DO)。3701基于人工神經(jīng)網(wǎng)絡(luò)的污染物排放智能檢測由于城市污水處理過程呈現(xiàn)出高度的非線性特征，經(jīng)典的線性相關(guān)性分析方法難以有效變量間的相關(guān)性，因此引入互信息對參數(shù)變量間的相關(guān)性進行度量。

數(shù)據(jù)收集與預(yù)處理給定兩個隨機變量X和Y，假定其邊緣概率分布和聯(lián)合概率分布分別為p(x)，p(y)和p(x,y)，則兩變量間的互信息I(X;Y)可計算如下：(10-1)選取進水TP、出水H4-N、曝氣池SV、出水油類、曝氣池MLSS、進水油類作為出水BOD的特征變量(藍色框)；選取出水NH4-N、出水溫度、進水TP、曝氣池DO、出水油類以及進水油類作為出水TP的特征變量(紅色框)。3801基于人工神經(jīng)網(wǎng)絡(luò)的污染物排放智能檢測本節(jié)將選用RBF神經(jīng)網(wǎng)絡(luò)分別構(gòu)建面向城市污水處理過程的出水BOD智能檢測模型和出水TP智能檢測模型。

人工神經(jīng)網(wǎng)絡(luò)設(shè)計圖10-3RBF建模策略圖39

網(wǎng)絡(luò)結(jié)構(gòu)對神經(jīng)網(wǎng)絡(luò)性能的影響當(dāng)采用RBF神經(jīng)網(wǎng)絡(luò)建立出水BOD智能檢測模型時，隨著神經(jīng)元數(shù)量增加到11個，網(wǎng)絡(luò)的驗證誤差和測試誤差不再降低反而出現(xiàn)了上升，因此最終隱含層選用10個神經(jīng)元。當(dāng)采用RBF神經(jīng)網(wǎng)絡(luò)建立出水TP智能檢測模型時，神經(jīng)元數(shù)量增加到6個后，網(wǎng)絡(luò)的驗證誤差和測試誤差不再降低反而增加，因此最終選用隱含層選用5個神經(jīng)元。隱含層神經(jīng)元數(shù)量的增加會提高網(wǎng)絡(luò)的學(xué)習(xí)精度，但過大的網(wǎng)絡(luò)結(jié)構(gòu)又會導(dǎo)致網(wǎng)絡(luò)出現(xiàn)過擬合。因此在神經(jīng)網(wǎng)絡(luò)實際應(yīng)用中，應(yīng)根據(jù)具體任務(wù)選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)，以平衡網(wǎng)絡(luò)的學(xué)習(xí)能力和泛化能力。圖10-4出水BOD智能檢測網(wǎng)絡(luò)性能與結(jié)構(gòu)間的關(guān)系圖10-5出水TP智能檢測網(wǎng)絡(luò)性能與結(jié)構(gòu)間的關(guān)系01基于人工神經(jīng)網(wǎng)絡(luò)的污染物排放智能檢測40

出水BOD智能檢測效果上圖分別給出了用于出水BOD檢測的RBF神經(jīng)網(wǎng)絡(luò)輸出與期望輸出的擬合效果以及相應(yīng)的擬合誤差。從圖中可以看出，網(wǎng)絡(luò)實際輸出值能夠較好擬合期望輸出值，擬合誤差在±1之間。圖10-6出水BOD智能檢測效果圖圖10-7出水BOD智能檢測誤差圖01基于人工神經(jīng)網(wǎng)絡(luò)的污染物排放智能檢測41

出水TP智能檢測效果上圖分別給出了用于出水TP檢測的RBF神經(jīng)網(wǎng)絡(luò)輸出與期望輸出的擬合效果以及相應(yīng)的擬合誤差。從圖中可以看出，網(wǎng)絡(luò)實際輸出值同樣能夠較好擬合期望輸出值，擬合誤差在±0.2之間。圖10-8出水TP智能檢測效果圖圖10-9出水TP智能檢測誤差圖01基于人工神經(jīng)網(wǎng)絡(luò)的污染物排放智能檢測42

實驗結(jié)論本實例結(jié)果表明，應(yīng)用增長型RBF神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)對城市污水處理出水BOD和出水TP的精準檢測。盡管用于構(gòu)建RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本數(shù)一樣，但具體任務(wù)不同導(dǎo)致所建立的網(wǎng)絡(luò)隱含層神經(jīng)元數(shù)并不相同，說明通過結(jié)構(gòu)的自組織設(shè)計，網(wǎng)絡(luò)能夠根據(jù)待解決任務(wù)自適應(yīng)確定最佳網(wǎng)絡(luò)結(jié)構(gòu)。01基于人工神經(jīng)網(wǎng)絡(luò)的污染物排放智能檢測4302基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制污染治理不僅需要對污染物排放進行有效檢測，更需要對治理過程進行精準控制；人工神經(jīng)網(wǎng)絡(luò)在污染治理過程智能控制方面也有著重要的應(yīng)用，特別是針對城市固廢焚燒過程中的爐膛溫度控制。

城市固廢焚燒過程智能控制城市固廢焚燒系統(tǒng)分析：城市固廢焚燒過程是一個具有強非線性、不確定性等特點的復(fù)雜動態(tài)系統(tǒng)。模型預(yù)測控制框架：被控對象過程模型、爐膛溫度預(yù)測模型、反饋校正和滾動優(yōu)化。人工神經(jīng)網(wǎng)絡(luò)設(shè)計：基于BP神經(jīng)網(wǎng)絡(luò)的過程模型建立和基于LSTM預(yù)測模型的建立?？刂坡汕蠼膺^程：目標函數(shù)的定義、梯度下降法的應(yīng)用以及控制性能實驗結(jié)果。44城市固廢焚燒(Municipalsolidwasteincineration，MSWI)過程通過熱解、氧化、燃燒將有機物轉(zhuǎn)化為無機物并使得固廢中的有毒有害物質(zhì)被消除，實現(xiàn)城市固廢減容減量的同時獲得可再生能源，兼具減量化、無害化、資源化等特點。下圖為城市固廢焚燒工藝流程圖

城市固廢焚燒系統(tǒng)02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制圖10-10城市固廢焚燒過程工藝流程圖45

城市固廢焚燒系統(tǒng)工藝分析MSWI過程主要包括固廢存儲、固廢燃燒、余熱發(fā)電、煙氣凈化等工藝環(huán)節(jié)，由固廢池、焚燒爐、非選擇性催化還原器、余熱鍋爐、汽輪機、發(fā)電機、脫酸塔、選擇性催化還原器、布袋除塵器等裝置組成。固廢發(fā)酵：發(fā)酵，脫水固廢焚燒：干燥、燃燒、燃燼余熱交換蒸汽發(fā)電煙氣凈化：脫酸、除塵煙氣排放：檢測、排放MSW燃燒熱能燃燒煙氣特性強非線性MSWI過程出現(xiàn)非線性行為強耦合性各個子系統(tǒng)之間相互作用多變量性MSWI過程中多個變量影響穩(wěn)定運行不確定性MSWI過程存在不確定工況02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制46

爐膛溫度控制意義為保證城市固廢充分焚燒的同時減少污染物的排放，將爐膛溫度控制在850℃以上

爐膛溫度控制已成為制約我國固廢焚燒廠運營和發(fā)展的主要瓶頸，能否將其穩(wěn)定快速控制在合理范圍之內(nèi)是固廢焚燒廠高效穩(wěn)定運行的關(guān)鍵。爐溫范圍溫度過低低溫腐蝕生成二噁英焚燒不充分溫度過高高溫結(jié)渣NOx排放增加爐體負擔(dān)增加02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制47

模型預(yù)測控制架構(gòu)模型預(yù)測控制(Modelpredictivecontrol,MPC)是一種基于特定范圍內(nèi)目標函數(shù)優(yōu)化的先進控制策略，可以彌補時變、干擾等引起的不確定性，能夠處理有約束、多變量、多目標的控制問題，已成功應(yīng)用于城市固廢焚燒過程控制中，并表現(xiàn)出了良好的效果。MPC在每個采樣時刻，利用預(yù)測模型預(yù)測未來一段時間內(nèi)系統(tǒng)的動態(tài)行為，通過在線求解一個非線性優(yōu)化問題得到控制序列，進而實現(xiàn)對控制變量的優(yōu)化控制。02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制圖10-11MPC控制策略結(jié)構(gòu)圖48

模型預(yù)測控制架構(gòu)在本實例中，通過利用人工神經(jīng)網(wǎng)絡(luò)設(shè)計DMPC策略，從而實現(xiàn)城市固廢焚燒過程中爐膛溫度的智能控制。本節(jié)介紹的面向城市固廢焚燒過程中爐膛溫度的DMPC策略由四部分組成，包括基于BP神經(jīng)網(wǎng)絡(luò)的被控對象過程模型、基于LSTM神經(jīng)網(wǎng)絡(luò)的爐膛溫度預(yù)測模型、反饋校正和滾動優(yōu)化。其中，為爐膛溫度參考值，是經(jīng)反饋校正后的預(yù)測值，是經(jīng)優(yōu)化后的控制量，是被控對象輸出值，是預(yù)測模型輸出值。02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制圖10-12DMPC控制策略結(jié)構(gòu)圖49

輸入變量選取02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制MSWI過程變量眾多，為準確評估變量間的相關(guān)性關(guān)系以選取輸入變量，選取皮爾遜相關(guān)系數(shù)(Pearsoncorrelationcoefficient,PCC)分析，結(jié)合現(xiàn)場專家的實際工程經(jīng)驗，篩選出與爐膛溫度相關(guān)性較高的工藝變量。其中，PCC分析是目前數(shù)學(xué)統(tǒng)計領(lǐng)域內(nèi)常用的相關(guān)性分析方法，相關(guān)系數(shù)的取值范圍為[-1,1]，絕對值越大，則相關(guān)性越強，可由如下公式表示：其中，和分別是變量x和y的平均值。表10-2候選輸入變量(10-2)50

輸入變量選取02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制表10-3部分工藝變量與爐膛溫度的PCC值由相關(guān)性分析結(jié)果可知，一次風(fēng)量、二次風(fēng)量、一次風(fēng)溫、進料器速度和爐排速度的PCC值較高，與爐膛溫度的相關(guān)性較強，即上述變量變化時對于爐膛溫度變化的影響較大。上述工藝變量與爐膛溫度的PCC值如下表所示：因此，將模型輸入變量確定為以上5個51

輸入變量選取02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制進而，采用準則（即拉依達準則）進行異常值篩選與剔除。其原理為：假設(shè)數(shù)據(jù)集由條樣本組成，每條樣本由個變量組成。計算每一特征變量（這里以第m個特征變量為例）的標準差，如下并對所有樣本的特征變量進行判斷，當(dāng)滿足下式時則被標記為異常樣本：依次重復(fù)上述過程，直到判斷完所有特征變量，最后一次性刪除全部異常樣本。最終，經(jīng)異常值剔除后，獲得爐膛溫度模型的建模數(shù)據(jù)集，共包含2629條樣本。按照2:1:1的比例，將數(shù)據(jù)集分別劃分為訓(xùn)練集、驗證集和測試集。(10-3)(10-4)52

基于BP神經(jīng)網(wǎng)絡(luò)的過程模型建立02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制由于MSWI過程固有的強非線性和不確定性，導(dǎo)致其燃燒過程機理難以用數(shù)學(xué)式表達，因此采用人工神經(jīng)網(wǎng)絡(luò)建立MSWI過程模型。由于反向傳播（Backpropagation,BP）神經(jīng)網(wǎng)絡(luò)具有較強的非線性建模和逼近能力，因此被廣泛應(yīng)用于工業(yè)過程建模中。在本節(jié)中，選用含一層隱含層BP神經(jīng)網(wǎng)絡(luò)構(gòu)建MSWI過程模型。本節(jié)中，我們設(shè)置輸入層神經(jīng)元個數(shù)為5，輸出層神經(jīng)元個數(shù)為1，根據(jù)第3章給出的經(jīng)驗公式確定隱含層神經(jīng)元個數(shù)為9，采用梯度下降法作為優(yōu)化算法，通過誤差的反向傳播調(diào)整網(wǎng)絡(luò)參數(shù)，最大迭代次數(shù)為3000，收斂誤差為0.001，學(xué)習(xí)率為0.1。圖10-13BPNN結(jié)構(gòu)圖53

基于BP神經(jīng)網(wǎng)絡(luò)的過程模型建立02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制本節(jié)提出的基于BP神經(jīng)網(wǎng)絡(luò)的爐膛溫度過程模型的擬合效果如下圖所示，分別為訓(xùn)練集、驗證集和測試集的擬合曲線。圖10-14(a)訓(xùn)練集擬合曲線圖10-14(b)驗證集擬合曲線圖10-14(c)測試集擬合曲線上圖分別給出了三個數(shù)據(jù)集下BP神經(jīng)網(wǎng)絡(luò)的擬合效果。從圖中可以看出，網(wǎng)絡(luò)實際輸出值同樣能夠較好擬合期望輸出值。54

基于BP神經(jīng)網(wǎng)絡(luò)的過程模型建立02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制為了進一步驗證BP神經(jīng)網(wǎng)絡(luò)過程模型對爐膛溫度動態(tài)變化的擬合性能，本節(jié)采用均方根誤差(Rootmeansquareerror,RMSE)、平均絕對誤差(Meanabsoluteerror,MAE)和決定系數(shù)(R-squared,R2)作為評價指標，進行擬合性能評估。上述評價指標的定義如下，且BP神經(jīng)網(wǎng)絡(luò)過程模型對爐膛溫度動態(tài)變化的擬合性能如表10-4所示：表10-4BPNN模型性能指標由表10-4可知，BP神經(jīng)網(wǎng)絡(luò)爐膛溫度過程模型的RMSE和MAE均處于較低水平，且R2接近1。由此可知，該模型對爐膛溫度動態(tài)變化的擬合精度較高。因此，本節(jié)提出的BP神經(jīng)網(wǎng)絡(luò)爐膛溫度過程模型能夠精確反映MSWI過程爐膛溫度的動態(tài)特性。(10-5)(10-6)(10-7)55

基于LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測模型建立02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制建立爐膛溫度預(yù)測模型所采用的數(shù)據(jù)集，是在建立被控對象的數(shù)據(jù)集的基礎(chǔ)上，將過去時刻的各工藝變量和爐膛溫度作為特征變量。在眾多數(shù)據(jù)驅(qū)動模型中，長短期記憶(Longshort-termmemory,LSTM)網(wǎng)絡(luò)可用內(nèi)部存儲單元上的門控機制來學(xué)習(xí)輸入序列數(shù)據(jù)之間的長期依賴關(guān)系，對時間序列數(shù)據(jù)具有較好的預(yù)測性能。因此，在本實例中選取LSTM網(wǎng)絡(luò)用于建立MSWI過程中爐膛溫度的預(yù)測模型。本節(jié)中，我們根據(jù)本書第3章給出的經(jīng)驗公式確定LSTM網(wǎng)絡(luò)隱含層神經(jīng)元個數(shù)為15，采用基于誤差的反向傳播算法調(diào)整網(wǎng)絡(luò)參數(shù)，設(shè)置迭代訓(xùn)練次數(shù)為100，學(xué)習(xí)率為0.05。圖10-15LSTM網(wǎng)絡(luò)結(jié)構(gòu)圖56

基于LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測模型建立02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制本節(jié)提出的基于LSTM的爐膛溫度預(yù)測模型的預(yù)測效果如圖所示，圖中(a)、(b)和(c)分別為訓(xùn)練集、驗證集和測試集的擬合曲線。圖10-16(a)訓(xùn)練集擬合曲線圖10-16(b)驗證集擬合曲線圖10-16(c)訓(xùn)練集擬合曲線上圖分別給出了三個數(shù)據(jù)集下LSTM神經(jīng)網(wǎng)絡(luò)的擬合效果。從圖中可以看出，網(wǎng)絡(luò)實際輸出值同樣能夠較好擬合期望輸出值。57

基于LSTM神經(jīng)網(wǎng)絡(luò)的預(yù)測模型建立02基于人工神經(jīng)網(wǎng)絡(luò)的污染治理過程智能控制此外，為進一步驗證LSTM神經(jīng)網(wǎng)絡(luò)過程模型對爐膛溫度動態(tài)變化的擬合性能，本節(jié)采用RMSE、MAE和R2作為評價指標，進行擬合性能評估。LSTM神經(jīng)網(wǎng)絡(luò)過程模型對爐膛溫度動態(tài)變化的擬合性能如表10-5所示：表10-5LSTM預(yù)測模型性能指標由表10-5可知，LSTM預(yù)測模型的R