極限學(xué)習(xí)機(jī)相關(guān)理論概述極限學(xué)習(xí)機(jī)是由黃廣斌等人提出的一種單隱含層前饋神經(jīng)網(wǎng)絡(luò)（SingleHiddenLayerFeedforwardNeuralNetworks,SLFNs)，對(duì)比于其余方法，它具有更加簡(jiǎn)單的訓(xùn)練過程，可通過隨機(jī)方式給出輸入權(quán)值及閾值，可以由廣義上的逆矩陣為基礎(chǔ)獲得SLFNs輸出權(quán)值，從而實(shí)現(xiàn)模型的訓(xùn)練，使得其訓(xùn)練效率以及泛化能力得到極大改善。該算法與不少常規(guī)網(wǎng)絡(luò)模型具有相似性，其網(wǎng)絡(luò)架構(gòu)也包括三層，分別為輸入層，隱藏層以及輸出層，實(shí)質(zhì)上，它是前饋網(wǎng)絡(luò)之一，該章節(jié)首先引入前饋網(wǎng)絡(luò)，就該算法的求解優(yōu)點(diǎn)進(jìn)行闡述，僅需要確定其隱藏層節(jié)點(diǎn)數(shù)，而后結(jié)合最小二乘法進(jìn)行直接求解，就能夠獲得由隱藏層至輸出層的權(quán)重，摒棄了不斷重復(fù)的迭代更新過程。再者，將核函數(shù)原理應(yīng)用到ELM內(nèi)，實(shí)現(xiàn)了對(duì)部分低維不可分問題的有效處理，把其轉(zhuǎn)變成高維空間，從而變成可分問題，使運(yùn)算復(fù)雜程度得到有效減小，乃至將無(wú)法運(yùn)算轉(zhuǎn)變成可運(yùn)算問題，最終無(wú)須再將隱藏層特征映射維數(shù)當(dāng)作必要條件，僅須知道核函數(shù)點(diǎn)乘模式就能夠進(jìn)行求解運(yùn)算，同時(shí)總結(jié)出了具體的算法流程。最后在離線模型的基礎(chǔ)上引入一種在線極限學(xué)習(xí)機(jī)模型，即有新的樣本數(shù)據(jù)增加時(shí)，自動(dòng)更新模型，不需要反復(fù)訓(xùn)練，大大提高了計(jì)算效率。1.1極限學(xué)習(xí)機(jī)極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)所采用的具體架構(gòu)為圖1.1所示，并將隱含層所需節(jié)點(diǎn)數(shù)量設(shè)置為L(zhǎng)，隱含層中形成的輸出函數(shù)設(shè)置為，隱含層中所形成的輸出權(quán)值設(shè)置為，訓(xùn)練樣本集。圖1.1極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)結(jié)構(gòu)則SLFNs模型可表示為：(1.1)利用零誤差均值逼近訓(xùn)練樣本，則存在，，，使(1.2)其中，代表第i個(gè)處于隱藏層及輸出層相關(guān)節(jié)點(diǎn)間的具體權(quán)值向量，可采用矩陣進(jìn)行表達(dá)，同時(shí)具有：(1.3)，，其中，代表了處于隱含層以及輸出層中間的相關(guān)權(quán)值矩陣；H代表了隱含層所產(chǎn)生的輸出矩陣，T代表了期望值所形成的輸出矩陣。對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)問題進(jìn)行計(jì)算的過程中，大多選擇使用梯度下降法，通過反復(fù)迭代來(lái)求解神經(jīng)網(wǎng)絡(luò)的輸入權(quán)值矩陣和閾值，雖然這種方法得到的模型準(zhǔn)確度高，但是這種方法存在計(jì)算效率較低的問題。而極限學(xué)習(xí)機(jī)算法主要是將直接選擇的輸入權(quán)值矩陣W以及閾值b兩個(gè)參數(shù)加以利用，同時(shí)選擇最小二乘法來(lái)完成相關(guān)參數(shù)的計(jì)算，不用進(jìn)行多次求解操作，在很大程度上降低了運(yùn)算的復(fù)雜度。黃廣斌則基于相關(guān)經(jīng)驗(yàn)與結(jié)論，給出了兩個(gè)定理[38]：定理1倘若設(shè)SLFNS中相關(guān)隱藏層所具有的節(jié)點(diǎn)數(shù)是L，g(x)代表了處于任何范圍內(nèi)均呈現(xiàn)可微狀態(tài)的激活函數(shù)，對(duì)于訓(xùn)練樣本集，受任意一個(gè)連續(xù)概率分布影響，隨意采用的與參數(shù)，均將隱藏層內(nèi)輸出矩陣H包含在內(nèi)，在實(shí)現(xiàn)可逆的同時(shí)達(dá)到。定理2倘若設(shè)屬于一個(gè)具有無(wú)限小特征的正數(shù)，SLFNS中隱藏層具有的節(jié)點(diǎn)數(shù)設(shè)置為L(zhǎng)，代表處于該范疇內(nèi)的相應(yīng)激活函數(shù)，如果將N個(gè)訓(xùn)練樣本點(diǎn)設(shè)置是，此時(shí)處于以及R兩個(gè)空間中，依照任意一種連續(xù)概率分布方法所隨機(jī)產(chǎn)生的與參數(shù)，必定存在的關(guān)系，并實(shí)現(xiàn)。由以上兩個(gè)定理可知，求解SLFNS只需求解輸出權(quán)值即可：(1.4)通過具體定理1便能得知：代表了該線性系統(tǒng)中所得到的最小二乘解，進(jìn)而通過相關(guān)定理2便能得知最小范數(shù)最小二乘解可采用下式進(jìn)行表示：(1.5)其中，為廣義逆矩陣。通過式1.5可以看出為廣義逆矩陣，所以根據(jù)Moore-Penrose廣義逆相關(guān)定理進(jìn)行求解，通常采用奇異值分解法、迭代法和正交法等解法，這里采用正交法計(jì)算求解。為了進(jìn)一步提高模型的泛化性能，這里引入正則化系數(shù)，則上式變?yōu)椋?1.6)綜上所述，ELM算法的步驟為：對(duì)于給定的樣本(1)確定ELM網(wǎng)絡(luò)的具體結(jié)構(gòu)，例如隱含神經(jīng)元節(jié)點(diǎn)等。(2)隨機(jī)確定隱含神經(jīng)元的輸入權(quán)值和隱含神經(jīng)元的閾值。(3)計(jì)算輸出矩陣H。并根據(jù)H求解其最小二乘解：。1.2核極限學(xué)習(xí)機(jī)KELM由Huang等人在ELM基礎(chǔ)上的改進(jìn)，利用核函數(shù)映射操作可實(shí)現(xiàn)對(duì)隱含層內(nèi)所采用的隨機(jī)映射方式的替代，避免了ELM隨機(jī)給定隱含層參數(shù)而帶來(lái)穩(wěn)定性差的問題，提升了模型的魯棒性[39]。KELM因其計(jì)算速度快、泛化能力強(qiáng)，目前已經(jīng)廣泛應(yīng)用于預(yù)測(cè)、故障診斷、分類問題等領(lǐng)域[40]。其基本原理如下：此時(shí)輸出函數(shù)為，隱含層輸出權(quán)值，所獲得的訓(xùn)練樣本集QUOTE{xi,ti|xi(1.7)應(yīng)用ELM的初衷主要是為了實(shí)現(xiàn)訓(xùn)練誤差最小化，并獲取相應(yīng)的隱含層輸出權(quán)值，由結(jié)構(gòu)風(fēng)險(xiǎn)最小原理，構(gòu)造如式1.8的二次規(guī)劃問題：(1.8)其中，C代表了相應(yīng)的懲罰因子，i代表了第i個(gè)誤差變量。將拉格朗日乘子引進(jìn)到相應(yīng)公式內(nèi)，即可通過式1.8將二次規(guī)劃問題轉(zhuǎn)變成：(1.9)對(duì)，i，分別求導(dǎo)?？梢缘玫剑?1.10)(1.11)這里令：(1.12)則上述式子可寫成：(1.13)對(duì)以上方程組的具體等式進(jìn)行結(jié)合之后，可利用聯(lián)立方程組完成整個(gè)求解過程，最終得到ELM模型輸出權(quán)值：(1.14)其中，H為隱含層矩陣，T為目標(biāo)值矩陣，I為單位矩陣。這里需要注意式h(x)維度的問題，即當(dāng)原本求解維度較高時(shí)，會(huì)使整個(gè)運(yùn)算的繁雜度有所加大。以此處所引進(jìn)的核函數(shù)為基礎(chǔ)，一旦將處于低維環(huán)境中呈現(xiàn)不可分的數(shù)據(jù)映射至高維可分的情況下，無(wú)需再對(duì)有關(guān)隱藏層特征映射的具體維數(shù)有所了解，僅需利用核函數(shù)點(diǎn)乘的方法便能實(shí)現(xiàn)具體求解流程，為了提高模型的預(yù)測(cè)精度和穩(wěn)定性，引入相應(yīng)的核矩陣以對(duì)ELM中隱含層矩陣H進(jìn)行替代，利用核函數(shù)可在高維空間內(nèi)實(shí)現(xiàn)相關(guān)訓(xùn)練樣本的映射操作。定義核矩陣為元素為，元素，構(gòu)造KELM模型如下：(1.15)(1.16)式中，K(xi,xj)往往會(huì)選取兩種函數(shù)進(jìn)行運(yùn)算，一是線性核函數(shù)，二是徑向基核函數(shù)，具體可采用下式進(jìn)行表達(dá)：(1.17)其中，為核函數(shù)寬度參數(shù)。(1.18)1.3在線序列極限學(xué)習(xí)機(jī)在1.1和1.2方法中，要想完成不同模型的搭建，首先要基于實(shí)現(xiàn)離線批量處理算法，也就是通過所有數(shù)據(jù)對(duì)預(yù)測(cè)模型進(jìn)行訓(xùn)練操作，在此背景下，有一定缺損的歷史數(shù)據(jù)必定會(huì)在很大程度上直接影響整個(gè)模型的性能。而真實(shí)的電力系統(tǒng)內(nèi)，很難通過一次操作便實(shí)現(xiàn)對(duì)數(shù)據(jù)的全部采集，通常多采用數(shù)據(jù)流的方式逐漸新增。而批量離線預(yù)測(cè)模型為獲取更加精確的結(jié)果，同時(shí)完成有關(guān)新增數(shù)據(jù)的處置，首先一定要將已完成訓(xùn)練操作的模型拋開，在現(xiàn)有數(shù)據(jù)基礎(chǔ)上實(shí)施多次訓(xùn)練操作，這樣會(huì)在很大程度上給系統(tǒng)整體的運(yùn)算能力以及儲(chǔ)存空間大小造成壓力。近年來(lái)伴隨電網(wǎng)智能化速度的提升，電力數(shù)據(jù)整體的上漲態(tài)勢(shì)表現(xiàn)為“指數(shù)級(jí)”，致使模型更新速度遠(yuǎn)跟不上相關(guān)數(shù)據(jù)的更新速率，進(jìn)而導(dǎo)致負(fù)荷預(yù)測(cè)工作很難快速完成。所以探索一種更加“快、穩(wěn)、準(zhǔn)”的在線負(fù)荷預(yù)測(cè)方式，成為目前各個(gè)電力專家分析的重點(diǎn)，這里采用一種在線序列極限學(xué)習(xí)機(jī)對(duì)負(fù)荷樣本進(jìn)行建模。對(duì)在線序列極限學(xué)習(xí)機(jī)算法來(lái)說(shuō)，有關(guān)輸出權(quán)重的整體學(xué)習(xí)流程將涉及兩個(gè)方面：其一，起始階段，也就是利用部分樣本便可計(jì)算得到ELM中的輸出權(quán)重；其二，在線學(xué)習(xí)階段，也就是通過某個(gè)樣本抑或樣本數(shù)據(jù)塊對(duì)起始階段所獲取的輸出權(quán)重進(jìn)行更新操作，其基本原理如下[41]：假設(shè)有個(gè)訓(xùn)練數(shù)據(jù)為，由1.1節(jié)極限學(xué)習(xí)機(jī)理論可知，希望求得使?jié)M足最小，其中有：，由1.1節(jié)廣義逆求解方法得：(1.19)式中，。當(dāng)有個(gè)新樣本輸入時(shí)，得到式1.20：(1.20)同理，由廣義逆計(jì)算可得：(1.21)(1.22)于是，可表示為：(1.23)而：(1.24)由此可推出，為：(1.25)因此當(dāng)?shù)趉+1次的數(shù)據(jù)過來(lái)后，得到在線學(xué)習(xí)的遞推公式如式1.26和1.27所示：(1.26)(1.27)令，則上式可表示為(1.28)(1.29)綜上所述，OS-ELM算法的步驟為：=1\*GB3①選取初始樣本集。隨機(jī)確定隱含神經(jīng)元輸入權(quán)值和隱含神經(jīng)元閾值。=2\*GB3②計(jì)算初始階段的輸出矩陣