苯乙烯本體聚合數(shù)據(jù)驅(qū)動(dòng)建模分析案例目錄TOC\o"1-3"\h\u3608苯乙烯本體聚合數(shù)據(jù)驅(qū)動(dòng)建模分析案例 1197431.1BP神經(jīng)網(wǎng)絡(luò) 1228881.1.1人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 1253101.1.2人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則 3236101.1.3人工神經(jīng)網(wǎng)絡(luò)特點(diǎn) 332921.2基于MATLAB的神經(jīng)網(wǎng)絡(luò)建模 4192091.2.1網(wǎng)絡(luò)訓(xùn)練次數(shù)的選擇 4280831.2.2網(wǎng)絡(luò)隱含層的層數(shù)的選擇 7178711.2.3學(xué)習(xí)率α和動(dòng)量因子η的選擇 8138551.2.4網(wǎng)絡(luò)建立 942131.2.5MATLAB神經(jīng)網(wǎng)絡(luò)擬合GUI工具箱 101.1BP神經(jīng)網(wǎng)絡(luò)1.1.1人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)一般來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)主要是指其連接方式。根據(jù)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，神經(jīng)網(wǎng)絡(luò)屬于以神經(jīng)元為節(jié)點(diǎn)，節(jié)點(diǎn)間有向連接為邊的圖。其結(jié)構(gòu)大致可分為兩類：層狀和網(wǎng)狀；分層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)是由多層結(jié)構(gòu)組成的。每一層都有一定數(shù)量的神經(jīng)元。相鄰層的神經(jīng)元是單向連接的。一般來(lái)說(shuō)，同一層的神經(jīng)元是不能連接的。在網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)中，任意兩個(gè)神經(jīng)元可以雙向連接。網(wǎng)絡(luò)結(jié)構(gòu)主要如下：(1)前向網(wǎng)絡(luò)(前饋網(wǎng)絡(luò))前饋網(wǎng)絡(luò)通常包含許多層，三層網(wǎng)絡(luò)如圖1.1所示。這種網(wǎng)絡(luò)的特點(diǎn)是只有前后相鄰層之間的神經(jīng)元相互連接，神經(jīng)元之間沒(méi)有反饋。每個(gè)神經(jīng)元可以從一層接收多個(gè)輸入，下一層的每個(gè)神經(jīng)元只接收一個(gè)輸出。前饋網(wǎng)絡(luò)分為輸入層、隱層和輸出層。在前向網(wǎng)絡(luò)中，具有計(jì)算功能的節(jié)點(diǎn)稱為計(jì)算單元，而輸入節(jié)點(diǎn)沒(méi)有計(jì)算功能。圖1.1前向網(wǎng)絡(luò)(2)反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)具有從輸出層到輸入層的反饋，即每個(gè)節(jié)點(diǎn)同時(shí)接收外部輸入和其他節(jié)點(diǎn)的反饋輸入，也包括神經(jīng)元輸出信號(hào)引導(dǎo)回自身輸入形成的環(huán)路反饋，如圖1.2所示。反饋網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)都是一個(gè)計(jì)算單元。圖1.2反饋網(wǎng)絡(luò)(3)相互結(jié)合型網(wǎng)絡(luò)組合網(wǎng)絡(luò)屬于網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)中的每個(gè)神經(jīng)元可以在兩個(gè)方向上相互連接，所有神經(jīng)元都作為輸入和輸出。這種網(wǎng)絡(luò)在信息處理上不同于前向網(wǎng)絡(luò)。在前饋網(wǎng)絡(luò)中，信息處理從輸入層到輸出層。在這種網(wǎng)絡(luò)中，如果在某一時(shí)刻從神經(jīng)網(wǎng)絡(luò)外部施加一個(gè)輸入，則每個(gè)神經(jīng)元同時(shí)進(jìn)行信息交互和處理，直到所有神經(jīng)元的活動(dòng)或輸出值收斂到某一平衡值，這就是信息處理的終點(diǎn)。(4)混合型網(wǎng)絡(luò)上述的前向網(wǎng)絡(luò)和相互結(jié)合型網(wǎng)絡(luò)分別是典型的層狀結(jié)構(gòu)網(wǎng)絡(luò)和網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)，介于這兩種網(wǎng)絡(luò)中間的一種聯(lián)接方式，如圖1.4所示，在前向網(wǎng)絡(luò)的同一層間神經(jīng)元有互聯(lián)的結(jié)構(gòu)，稱為混合型網(wǎng)絡(luò)。這種在同一層內(nèi)的互聯(lián)，目的是為了限制同層內(nèi)神經(jīng)元同時(shí)興奮或一直的神經(jīng)元數(shù)目，以完成特定的功能。圖1.4混合型網(wǎng)絡(luò)1.1.2人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則對(duì)于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則的一般描述是：修改網(wǎng)絡(luò)權(quán)值和閾值的過(guò)程，這個(gè)過(guò)程也可以參考訓(xùn)練算法。學(xué)習(xí)規(guī)則的目的是訓(xùn)練網(wǎng)絡(luò)完成某些任務(wù)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則有很多種，可分為有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和增強(qiáng)性學(xué)習(xí)。有監(jiān)督學(xué)習(xí)：給網(wǎng)絡(luò)提供一些樣本集{x1,t1}{x2,t2},...{xq,tq}其中xq表示網(wǎng)絡(luò)的輸入，tq表示與之對(duì)應(yīng)的正確目標(biāo)輸出。根據(jù)實(shí)際輸出與目標(biāo)輸出之間的誤差調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，這是一種有監(jiān)督學(xué)習(xí)規(guī)則；無(wú)監(jiān)督學(xué)習(xí)：只給網(wǎng)絡(luò)只提供輸入，沒(méi)有輸出，網(wǎng)絡(luò)權(quán)值和閾值的調(diào)整只與輸入有關(guān)。一般來(lái)說(shuō)，它不告訴網(wǎng)絡(luò)怎么做，而是讓它學(xué)會(huì)如何處理一些事情；增強(qiáng)型學(xué)習(xí)。增強(qiáng)型學(xué)習(xí)類似于有監(jiān)督的學(xué)習(xí)。通常這種算法只是給出一個(gè)評(píng)分，對(duì)于一系列的樣本輸入這個(gè)評(píng)分就是評(píng)價(jià)這個(gè)網(wǎng)絡(luò)性能的指標(biāo)。1.1.3人工神經(jīng)網(wǎng)絡(luò)特點(diǎn)神經(jīng)網(wǎng)絡(luò)的特點(diǎn)主要有:分布式存儲(chǔ)信息、信息處理和存儲(chǔ)合二為一、并行協(xié)同處理信息、對(duì)信息處理具有自組織自學(xué)習(xí)的能力。(1)分布式存儲(chǔ)信息。神經(jīng)網(wǎng)絡(luò)不同的位置都可以存儲(chǔ)相應(yīng)的信息，主要分布在神經(jīng)元之間的連接和連接權(quán)值上，當(dāng)網(wǎng)絡(luò)受到損害時(shí)，仍然能夠保證信息的正確，具有較強(qiáng)的容錯(cuò)性和魯棒性。(2)信息處理和存儲(chǔ)合二為一。神經(jīng)元不僅具有信息處理能力，還有信息存儲(chǔ)功能。(3)并行協(xié)同處理信息。每一個(gè)神經(jīng)元都可以接收信息并獨(dú)立處理這些信息，同一層的神經(jīng)元可以同時(shí)計(jì)算結(jié)果和輸出結(jié)果，交給下一層進(jìn)行處理。體現(xiàn)了并行運(yùn)算的能力，也使網(wǎng)絡(luò)具有較強(qiáng)的實(shí)時(shí)性。(4)對(duì)信息處理具有自組織自學(xué)習(xí)的能力。結(jié)構(gòu)和參數(shù)是神經(jīng)網(wǎng)絡(luò)兩大要素，權(quán)值與閡值的是評(píng)價(jià)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)。神經(jīng)網(wǎng)絡(luò)可以自行的不斷學(xué)習(xí)和訓(xùn)練，修改自身參數(shù)，從而提高神經(jīng)元的靈敏度[]。人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的主要特點(diǎn)是：信息的分布式存儲(chǔ)，信息處理與存儲(chǔ)的集成，信息的并行協(xié)同處理，信息處理的自組織和自學(xué)習(xí)能力分布式存儲(chǔ)信息：神經(jīng)網(wǎng)絡(luò)的不同位置可以存儲(chǔ)相應(yīng)的信息，主要分布在神經(jīng)元之間的連接和連接權(quán)值。當(dāng)網(wǎng)絡(luò)遭到破壞時(shí)，它仍能保證信息的正確性，并具有很強(qiáng)的容錯(cuò)性和魯棒性；信息處理與存儲(chǔ)相結(jié)合：神經(jīng)元不僅具有信息處理的能力，而且具有信息存儲(chǔ)的功能；信息的并行協(xié)同處理：每個(gè)神經(jīng)元都能獨(dú)立地接收和處理信息。同一層神經(jīng)元可以同時(shí)計(jì)算結(jié)果并輸出結(jié)果，并將結(jié)果發(fā)送到下一層進(jìn)行處理。它體現(xiàn)了并行計(jì)算的能力，使網(wǎng)絡(luò)具有很強(qiáng)的實(shí)時(shí)性；具有信息處理的自組織和自學(xué)習(xí)能力：結(jié)構(gòu)和參數(shù)是神經(jīng)網(wǎng)絡(luò)的兩大要素，權(quán)重和閾值是神經(jīng)網(wǎng)絡(luò)的評(píng)價(jià)標(biāo)準(zhǔn)。神經(jīng)網(wǎng)絡(luò)能夠不斷地進(jìn)行自學(xué)習(xí)和訓(xùn)練，修改自身的參數(shù)，從而提高神經(jīng)元的靈敏度。1.2基于MATLAB的神經(jīng)網(wǎng)絡(luò)建模1.2.1網(wǎng)絡(luò)訓(xùn)練次數(shù)的選擇交代多少組數(shù)據(jù)13202神經(jīng)網(wǎng)絡(luò)的訓(xùn)練次數(shù)會(huì)顯著影響學(xué)習(xí)效率和收斂速度，學(xué)習(xí)次數(shù)過(guò)多則需要較長(zhǎng)的訓(xùn)練時(shí)間。對(duì)于一些復(fù)雜的問(wèn)題，BP算法可能要進(jìn)行十幾個(gè)小時(shí)或者更長(zhǎng)時(shí)間的訓(xùn)練。我們對(duì)訓(xùn)練次數(shù)選取進(jìn)行試驗(yàn)，,隱含層數(shù)8，學(xué)習(xí)率lr=0.05，動(dòng)量因子mc=0.9，設(shè)定的期望誤差1e-3，訓(xùn)練函數(shù)traingdm，分別取訓(xùn)練次數(shù)為50、100、200、500、1000對(duì)擬合誤差進(jìn)行比較，其結(jié)果如表1.1所示。表1.1不同訓(xùn)練次數(shù)下的網(wǎng)絡(luò)性能對(duì)比表訓(xùn)練次數(shù)訓(xùn)練時(shí)間（s）均方誤差5004.53100522.83200422.72500(451收斂)1510.94110002220.953圖1.1訓(xùn)練次數(shù)為500時(shí)的訓(xùn)練結(jié)果圖圖1.3訓(xùn)練次數(shù)為1000時(shí)的訓(xùn)練結(jié)果圖圖1.2訓(xùn)練次數(shù)為500時(shí)的迭代圖圖1.4訓(xùn)練次數(shù)為1000時(shí)的迭代圖由不不不不不不可知，前三組試驗(yàn)由于學(xué)習(xí)次數(shù)過(guò)小導(dǎo)致，網(wǎng)絡(luò)誤差沒(méi)有收斂到最小值。由圖4可知當(dāng)訓(xùn)練次數(shù)為500時(shí)網(wǎng)絡(luò)收斂于451，且均方誤差較小，而學(xué)習(xí)次數(shù)取10000時(shí)網(wǎng)絡(luò)均方差反而較大，這可能是由于過(guò)擬合或陷入局部最小值造成的，過(guò)擬合、最優(yōu)擬合、欠擬合曲線示意圖如圖7所示。因此可選取學(xué)習(xí)次數(shù)為500。圖1.5過(guò)擬合、最優(yōu)擬合、欠擬合曲線示意圖1.2.2網(wǎng)絡(luò)隱含層的層數(shù)的選擇網(wǎng)絡(luò)隱含層的層數(shù)和神經(jīng)元數(shù)的選擇尚無(wú)理論上的指導(dǎo)，一般根據(jù)經(jīng)驗(yàn)或者通過(guò)反復(fù)實(shí)驗(yàn)確定。隱層神經(jīng)元數(shù)的選擇是一個(gè)十分復(fù)雜的問(wèn)題，隱層神經(jīng)元的最佳個(gè)數(shù)與問(wèn)題的要求、輸入層與輸出層神經(jīng)元的數(shù)量、訓(xùn)練樣本的數(shù)量等都有直接關(guān)系。事實(shí)上隱層神經(jīng)元太少不可能將網(wǎng)絡(luò)訓(xùn)練出來(lái)，但太多又使學(xué)習(xí)時(shí)間過(guò)長(zhǎng)，使網(wǎng)絡(luò)不“不強(qiáng)壯”，泛化能力下降，即不能識(shí)別以前沒(méi)有直接接收到的樣本，容錯(cuò)性差。我們做多組嘗試，學(xué)習(xí)代數(shù)500，學(xué)習(xí)率lr=0.05，動(dòng)量因子mc=0.9，設(shè)定期望誤差1e-5，訓(xùn)練函數(shù)為traingdm的基礎(chǔ)上分別選神經(jīng)網(wǎng)絡(luò)模型的各層節(jié)點(diǎn)數(shù)分別為：輸入層1個(gè)；隱層分別取3個(gè)--12個(gè)；輸出層4個(gè)。表1.2不同隱含層數(shù)下的網(wǎng)絡(luò)性能對(duì)比表隱層數(shù)目訓(xùn)練時(shí)間（s）均方誤差340.9944 30.887540.914630.967740.831830.523950.4741040.2561150.6081240.413圖1.6隱含層數(shù)為10的網(wǎng)絡(luò)訓(xùn)練曲線由表2可知隱含層為8時(shí)收斂時(shí)間較小且誤差較小，因此可選取網(wǎng)絡(luò)層數(shù)為10最合適。1.2.3學(xué)習(xí)率α和動(dòng)量因子η的選擇在網(wǎng)絡(luò)參數(shù)中，學(xué)習(xí)率α和動(dòng)量因子η是很重要的參數(shù)，它們的取值直接影響到網(wǎng)絡(luò)的性能，主要是收斂速度。針對(duì)具體的網(wǎng)絡(luò)結(jié)構(gòu)模型和學(xué)習(xí)樣本，都存在一個(gè)最佳的學(xué)習(xí)率α和動(dòng)量因子η，它們的取值范圍一般0～1之間。學(xué)習(xí)率α一般由經(jīng)驗(yàn)選擇。我們?cè)谝詫W(xué)習(xí)代數(shù)500，，動(dòng)量因子mc=0.9，設(shè)定的期望誤差1e-5，訓(xùn)練函數(shù)為traingdm的情況下進(jìn)行分別選擇學(xué)習(xí)率lr為0.005，0.05，0.5進(jìn)行三組實(shí)驗(yàn)。圖1.7學(xué)習(xí)率為L(zhǎng)r=0.005梯度曲線圖1.8學(xué)習(xí)率為L(zhǎng)r=0.05梯度曲線圖1.9學(xué)習(xí)率為L(zhǎng)r=0.5梯度曲線由圖1.7、圖1.8和圖1.9可知看出越接近極小值，由于梯度變化值逐漸趨于零，算法的收斂就越來(lái)越慢。為提高學(xué)習(xí)速度，應(yīng)采用大的α，但α太大卻可能導(dǎo)致在穩(wěn)定點(diǎn)附近振蕩，乃至不收斂。因此可選擇學(xué)習(xí)率lr為0.05。我們?cè)跇颖緮?shù)80（pf20,tf20）,學(xué)習(xí)代數(shù)5000，學(xué)習(xí)率lr=0.05，設(shè)定的期望誤差1e-3，訓(xùn)練函數(shù)traingdm下，內(nèi)通改變?chǔ)强傻镁秸`差如表3表3不同η下的網(wǎng)絡(luò)性能對(duì)比表η時(shí)間（s）均方誤差0.432800.6311.10.940.42由表3可知η=0.9時(shí)均方誤差較小，因此確定η=0.9，所以網(wǎng)絡(luò)模型參數(shù)為：α＝0.05，η＝0.9。1.2.4網(wǎng)絡(luò)建立由1.2.1到1.2.3三個(gè)部分，可以確定，學(xué)習(xí)次數(shù)為500，網(wǎng)絡(luò)隱含層數(shù)為10，網(wǎng)絡(luò)模型參數(shù)：α＝0.05，η＝0.9。可在MATLAB腳本環(huán)境下敲入代碼，運(yùn)行7s后完成，如圖1.12和圖1.13。圖1.11MATLAB神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練曲線圖2.13MATLAB神經(jīng)網(wǎng)絡(luò)訓(xùn)練梯度曲線1.2.5MATLAB神經(jīng)網(wǎng)絡(luò)擬合GUI工具箱MATLAB?2019a提供了方便的神經(jīng)網(wǎng)絡(luò)擬合GUI工具箱，期使用步驟如下：?jiǎn)螕魯M合app圖標(biāo)進(jìn)入工具箱界面；選用NeuralNetFitting；選擇訓(xùn)練輸入P和目標(biāo)值T；選擇隱含層數(shù)；選擇訓(xùn)練算法。使用三種MATLAB自帶的無(wú)需參數(shù)輸入的訓(xùn)練算法的建模結(jié)果如下：列文伯格-馬夸爾特算法（Levenberg-Marquardt）：列文伯格-馬夸爾特算法是最有效的訓(xùn)練算法，不需要提供參數(shù)。LM算法是牛頓法和梯度下降算法相結(jié)合的一種混合算法。梯度下降算法保證收斂到局部極小值，但比較緩慢；牛頓法很快，但很容易不收斂。通過(guò)使用阻尼因子在兩者間插值，生成了LM算