1、 最小二乘類(lèi)辨識(shí)方法的比擬 胡雙紅 摘要：本文系統(tǒng)的探討了三種最小二乘類(lèi)辨識(shí)方法的原理和性能，并對(duì)各種方法在各 種不同的環(huán)境下進(jìn)行了 MATLAB仿真，仿真結(jié)果證明：最小二乘法不適合實(shí)時(shí)處理，在同 等情況下，遞推最小二乘的辨識(shí)速度較快， 但在有色噪聲干擾下效果不理想， 廣義最小二乘 法的辨識(shí)效果最好，且不受噪聲是否有色的影響，但是費(fèi)時(shí)最多。 1引言 系統(tǒng)辨識(shí)是一門(mén)介于現(xiàn)代控制理論和系統(tǒng)理論的邊緣學(xué)科. 它將現(xiàn)代控制論的平滑、濾 波、預(yù)測(cè)和參數(shù)估計(jì)理論，以及系統(tǒng)論的系統(tǒng)分析方法和建模思想應(yīng)用于自然科學(xué)、 社會(huì)科 學(xué)和工程實(shí)踐中的各個(gè)領(lǐng)域，與各個(gè)領(lǐng)域的專業(yè)知識(shí)相給合，形成了一個(gè)個(gè)新的交叉學(xué)科分 支

2、。 關(guān)于系統(tǒng)辨識(shí)的含義，早在 1962年Zacleh曾作如下定義：“根據(jù)系統(tǒng)的輸入和輸出， 在指定的一類(lèi)系統(tǒng)中確定一個(gè)相被辨識(shí)系統(tǒng)等價(jià)的系統(tǒng) 。根據(jù)這個(gè)定義，在系統(tǒng)辨識(shí)中必 須確定三方面的問(wèn)題；第一，必須指定一類(lèi)系統(tǒng).即根據(jù)先驗(yàn)信息確定系統(tǒng)模型的類(lèi)型。 第 二，必須規(guī)定一類(lèi)插入信號(hào)。例如正弦信號(hào)、階躍信號(hào)、脈沖信號(hào)、白噪聲、偽隨機(jī)信號(hào)等。 而且這些信號(hào)從時(shí)域考慮， 必須能持續(xù)地鼓勵(lì)系統(tǒng)的所有狀態(tài)； 從頻域考慮，輸入信號(hào)的頻 帶能覆蓋系統(tǒng)的頻帶寬度。第三，必須規(guī)定 系統(tǒng)等價(jià)的含義及其度量準(zhǔn)那么。 2線性系統(tǒng)的辨識(shí) 2.1問(wèn)題描述 考慮如下線性系統(tǒng)： z(k )+az (k T )+a“z(k -

3、兒)=Su (k 1 ) + . +bn U (k - )+e( k ) (1) 其中，u(k)為系統(tǒng)鼓勵(lì)信號(hào)，y(k)為系統(tǒng)輸出，e(k)為模型噪聲。 其系統(tǒng)模型如圖1所示： 圖1 SISO的系統(tǒng)模型結(jié)構(gòu)圖 其中G(z-1 )是系統(tǒng)函數(shù)模型，N(z-1)為有色噪聲系統(tǒng)模型，e(k)為白噪聲v(k)經(jīng)過(guò)系統(tǒng)函 數(shù)為N(z-1)的系統(tǒng)后的輸出。通常(長(zhǎng)沙理工大學(xué)計(jì)算機(jī)與通信工程學(xué)院，長(zhǎng)沙, 410076) j _1 B z D z 那么系統(tǒng)可表小為: z(k )= - u(k ) - v(k ) (5 ) Az- C 廠 設(shè)樣本和參數(shù)集為： r- - T h(k) =-z(k-1) , -z(k

4、 -2), . - z( k - n), u (k-1), u(k - 2), ., u(k-n) T (6 ) 9 =a1,a2,., an, b1, b2,., bn h(k)為可觀測(cè)的量， 差分方程可寫(xiě)為最小二乘形式 z(k) = hT (k 因 +e(k ) (7) 如何系統(tǒng)噪聲ek存在的情況下從該方程中正確的解出 9 9，即是系統(tǒng)辨識(shí)的任務(wù)。 為了求出9,我們面臨三大問(wèn)題：一是輸入信號(hào)的選擇，二是判決準(zhǔn)那么的選取，三是辨 識(shí)算法的選擇，下面一一探討。 2.2選擇輸入 為了準(zhǔn)確辨識(shí)系統(tǒng)參數(shù)，我們對(duì)輸入信號(hào)有兩大要求，一是信號(hào)要能持續(xù)的鼓勵(lì)系統(tǒng)所 有狀態(tài)，二是信號(hào)頻帶能覆蓋系統(tǒng)的頻帶寬度

5、。 除此之外還要求信號(hào)有可重復(fù)性， 不能是不 可重復(fù)的隨機(jī)噪聲，因此我們通常選擇 M序列或逆M序列作為輸入。 2.3準(zhǔn)那么函數(shù) 因?yàn)楸疚闹饕接懽钚《祟?lèi)辨識(shí)方法，在此選取準(zhǔn)那么函數(shù) 二 2 二 T 2 JU= _ek = Zk-h k E k 4 使準(zhǔn)那么函數(shù) j j6 6= =minmin的 8 8 估計(jì)值記做 e eLSLS，稱作參數(shù) e e 的最小二乘估計(jì)值。 在式7中，令k=1,2,3,L,可構(gòu)成線性方程組： zLk = H：k 滬十eLk 9 式中1 1 1 B z M . D z G z = - - N z = - r A z- C z- 式中： 1 1 2 na Az=1 ay

6、 a?z 次口注一 B z 1 = by b2z -bnbzb 1 1 2 _nc C z 一 =1 即一 C2z n/ c (2) (3) (4) (8) ) e(1)l ) e 一 e(2) , eL ) ?(L)J z 1 ria u 0 - u 1 rib z(2 J ) u(1 )u (2 rib ) i i a z | na u L 1 u L b L =、z k hT k - k蘭一 極小化J(B)，求得參數(shù)e的估計(jì)值，將使模型更好的預(yù)報(bào)系統(tǒng)的輸出。 2.4辨識(shí)算法 常用的最小二乘類(lèi)辨識(shí)方法有以下三種： 最小二乘法，遞推最小二乘法和廣義最小二乘 法。 2.4.1 最小二乘法 設(shè)0

7、LS使得J (8 )= m in ,那么有 展開(kāi)上式，并根據(jù)以下兩個(gè)向量微分公式: : T T a x =a ；x C (xT Ax ) = 2 xT A A為對(duì)稱陣 .:x 得正那么方程： H ： H L Hs = H ： zL -J 當(dāng)H T H L為正那么陣時(shí)，有BLS =(H T H L ) H【ZL 爆=2HLHL?0,所以滿足式(15)的8LS唯一使得J(e)=min ,這 種通過(guò)極小化式(11)計(jì)算0LS的方法稱作最小二乘法。而且可以證明，當(dāng)噪聲 e(k)是均值 z 1 z - |Z(2 ZL W -z 0 H -Z(1) H L : z(L 一1) 準(zhǔn)那么函數(shù)相應(yīng)變?yōu)椋?(10

8、) (11) 2 ZL T zL - H L zL -H LU - 0 (12) (13) (14) (15) j je) ae) a 為0的高斯白噪聲時(shí)，可實(shí)現(xiàn)無(wú)偏估計(jì) 2.4.2遞推最小二乘算法 為了減少計(jì)算量，減少數(shù)據(jù)在計(jì)算機(jī)中占用的內(nèi)存， 并實(shí)時(shí)辨識(shí)出系統(tǒng)動(dòng)態(tài)特性， 我們 常利用最小二乘法的遞推形式。下面我們來(lái)推導(dǎo)遞推最小二乘算法的原理。 首先，將式(11)的最小乘一次完成算法寫(xiě)為 k -1 由此可得：P k -1k -1 h i z i i %LS =,L - T T H L ZL =P L H LZL 1 , (16) 一hi Whizi 定義 1 T P 一 k =Hk Hk k

9、 ,. T = h i h i i J (17) 式中 1 p - k -1 )： = H - hT (1 )1 -hT(1) 1 hT(2) 1 1 hT(2) H k= T T ? (k)- 1 h (k 1 ) (18) 式中，h(i)是一個(gè)列向量， 于未知參數(shù)的個(gè)數(shù)，假設(shè)未知參數(shù)的個(gè)數(shù)是 由式17可得P(k)的遞推關(guān)系為： 也就是 HL的第i行的倒置，P(k)是一個(gè)方陣，他的維數(shù)取決 n,貝U P(k)的維數(shù)是nX n.。 k P、k = hihTi hkhTk i皂 = Pk-1 h k hT k (19) zk _ |_z 1 ,z 2 , ，z k -1 T(20) T -1 T

10、 9 k -1 = H“HkH k4 (21) (22) Hk 由式19和22可得 T 1 T k u k H k H k H k Zk =P k h i z i P k |P 2 k 1 k 1 h k z k =P k J k -h k hT k 71 k -1 k-1，P k h k z k - h k n k -1 引進(jìn)增益矩陣 K(k)，定義K (k )= P(k)h(k) 式 23 可以進(jìn)一步寫(xiě)為 6(k )=8(k 1 )+K (k)，z(k )-hT (k 滬(k1)| 接下來(lái)可以進(jìn)一步把式 20寫(xiě)為 1 T P (k )= P-(k 1 )+h (k )h (k ) I 1

11、1 利用矩陣反演公式 A CC =A-A_C I C A-C C A- 將式(26)演變成 J P k =Pk-1-Pk-1hkhTkPk-n|hT k P k -1 h k 1 - -p p( (k k- -1 1(k k) )h h k k) )I I 1 T h (k)P(k 1)h(k )+1 將上式代入式24,整理后可得 K k )：=P k -1 h k) k P k 1 h k 廠1 綜合式25、27和28可得最小二乘遞推參數(shù)估計(jì)算法 RLS H(k )=8(k -1 )+K (k ) z(k )-hT (k )6(k -1 )1 K (k )= P (k -1 )h (k )h

12、T (k )P (k -1 )h (k )+ 1 P (k )= U -K (k )hT (k )P (k _1 ) 2.4.3 廣義最小二乘法 設(shè)SISO系統(tǒng)采用如下模型： 1 ,、 A(z )z(k ) = B(z )u(k)+ - v(k ) (30) C z 其中A(z-1), B(z-1)和C(z-1)的定義見(jiàn)式？ 假定模型階次na, nb和nc，用廣義最小二乘法可以得到無(wú)偏一致估計(jì)。令 1 zf k =C z z k 二 (31) P k -1 (23) (24) (25) (26) (27) (28) (29) Uf k =C z u k -. T 。-ai,a2,，ana，bi

13、,b2, ,摭 T hf k = -Zf k -1，-Zf k f , Uf k -1，u f k -nb ： J 將模型化為最小二乘格式： zf (k )=h： (k月+v(k ) (33) 由于v(k)是白噪聲，所以用最小二乘可以獲得參數(shù) 0的無(wú)偏估計(jì)，由于噪聲模型 C(z-1) 未知，還需要用迭代的方法來(lái)求得 C(z-1)。令 1 水=WV k 置 . T |e (k )=K,C2,Cn T j he k = -e k 1),，e k | 這樣就把噪聲模型也轉(zhuǎn)變?yōu)樽钚《烁袷剑?e(k )= h： (k J0e+v(k ) 由于上式中的噪聲已為白噪聲，所以用最小二乘也可獲得參數(shù) 0 e的

14、無(wú)偏估計(jì)，但是數(shù) 據(jù)向量中依然含有不可測(cè)的噪聲量 一e(k -1 ),，-e(k -nc ),可用相應(yīng)的估計(jì)值來(lái)代替， 置 he (k )= E(k -1 y-, W(k nc )T，其中 k 0時(shí),按照 T e (k )= z (k)h ( k 滬 (37) 計(jì)算，式中 h(k )= z (k1)，z(kna), u(k1),，u(knb)l (38) 綜上所述，廣義最小二乘法可歸納為 e(k)= e(k 1)+心(k E (k)h： (k)e(k1) Kf (k )=P(k -1 )hf (k)E(k )Pf (k 1 )hf (k )+1 Pf (k )=I -Kf (k Jh； (k

15、)Pf (k 1 ) - (39) &(k )=8e(k 1 )+Ke(k )(k )h(k M(k1 ) Ke(k )=Pe(k 1 )he(k ) (k )Pe(k 1 )h( k ) +1 Pe(k )= l * (k (k )Pe(k-1 ) 3仿真研究 系統(tǒng)模型：x(k)-1.5 x(k-1)+0.7x(k-2)=2 u(k-1)+0.5 u(k-2), y(k)= x(k)+ v (k), v (k)= a 丫 (k), u、x、v、v分別為模型輸入、模型輸出、測(cè)量輸出、干擾噪聲。輸入 u為逆m序列：信號(hào) (32) (34) (35) (36) 幅值a=1、存放器位數(shù)為n=

16、5(信號(hào)長(zhǎng)度N=2n-1=31)，重復(fù)周期數(shù)q=40。a為噪信比調(diào)整因 子，噪信比定義為：NSR=X100 % =竺M X 100 % , b x、。分別為模型輸出 x和噪聲v -x 。x 的均方差(標(biāo)準(zhǔn)差)，丫有兩種模型：(1) 丫為白噪聲，(2) 丫為有色噪聲，噪聲模型為： 丫(k)=e(k)+0.5e(k-1)+0.9 丫 (k-1)-0.95 丫 (k-2),e(k)為白 噪聲。定義 辨識(shí)誤差值：8 = 1 N昌 ，士 1 X100%，其中：N為獨(dú)立的實(shí)驗(yàn)次數(shù)，&為模型真值，8為估計(jì)值。 N i土 R 3.1產(chǎn)生輸入和輸出數(shù)據(jù) 選擇自相關(guān)特性好的逆 m序列作為輸入。利用 MAT

17、LAB產(chǎn)生存放器位數(shù) n=5 ,每周期 長(zhǎng)為31,重復(fù)周期數(shù)q=40的逆m序列，并將其作為輸入得到系統(tǒng)輸出。繪出一個(gè)周期的 輸入輸出圖形分別如圖 2和圖3所示。 圖2 存放器位數(shù)為5的逆m序列 圖3逆m序列經(jīng)過(guò)系統(tǒng)的輸出 3.2 產(chǎn)生系統(tǒng)噪聲 為了后面能較好的區(qū)分每種辨識(shí)方法的性能，我們分別在輸出中疊加白噪聲和有色噪 聲。取NSR=20%,用同一噪聲源產(chǎn)生兩種噪聲模型，分別繪制白噪聲、用相同噪聲模型產(chǎn) 生的有色噪聲和不同噪聲影響下的系統(tǒng)輸出的曲線，如圖 4、圖5圖6和圖7所示。 圖5白噪聲影響下的系統(tǒng)輸出 圖7有色噪聲影響下的系統(tǒng)輸出 3.3 最小二乘辨識(shí)模型辨識(shí) 為較好的研究最小二乘辨識(shí)模型

18、的性能， 作者分別在不同的噪聲模型下， 用不同的噪信 比影響系統(tǒng)輸出，利用輸入輸出數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行辨識(shí)。 V分別采用白噪聲模型和有色噪聲模 型，取 NSR=0%、5%、10%、15%、20%、25%、30%、35%、40%、45%、50%,每種工況 下取獨(dú)立試驗(yàn)次數(shù) N=50 每次獨(dú)立產(chǎn)生噪聲，數(shù)據(jù)序列取前1024點(diǎn)，用最小二乘法辨識(shí) 模型，分別畫(huà)出 NSR 6曲線圖8和圖9。圖中的縱坐標(biāo)辨識(shí)誤差是 50次辨識(shí)誤差 的均值。 圖8白噪聲對(duì)各系數(shù)的辨識(shí)精度影響 圖9有色噪聲對(duì)各系數(shù)的辨識(shí)精度影響 由圖可見(jiàn)： 1 在白噪聲影響下，各系數(shù)的辨識(shí)誤差都很小，欲辨識(shí)參數(shù)為 a1=-1.5, a2=0.7

19、, b1=2 , b2=0.5，即使在噪信比為 50%的情況下，四個(gè)參數(shù)的辨識(shí)誤差都在 10-3 數(shù)量級(jí)，相對(duì)誤差非常小，均可視為無(wú)偏估計(jì)，與理論相符。 2 在有色噪聲影響下，各系數(shù)的辨識(shí)誤差相對(duì)白噪聲影響偏大， 當(dāng)噪信比到達(dá)50% 時(shí)，其中，a1、a2和b1的辨識(shí)誤差都在 0.020.04之間，相對(duì)誤差在10%左右， b2的辨識(shí)誤差甚至到達(dá) 0.16以上，相對(duì)誤差到達(dá) 30%以上。 綜上所述：在只有白噪聲影響下， 最小二乘辨識(shí)法可以到達(dá)無(wú)偏估計(jì)， 但是在有色噪聲 影響下辨識(shí)結(jié)果的相對(duì)誤差較大。 最小二乘法只適合用于只有白噪聲影響下的系統(tǒng)辨識(shí)， 對(duì) 于有色噪聲影響下的系統(tǒng)，我們應(yīng)該尋求更好的辨

20、識(shí)方法。 . 4 遞推最小二乘辨識(shí)模型辨識(shí) V分別采用白噪聲模型和有色噪聲模型，取 NSR=10%、40%,用遞推最小二乘法辨識(shí) 模型參數(shù)，比照畫(huà)出各參數(shù)辨識(shí)結(jié)果隨遞推次數(shù)變化的曲線。 為了比照研究，我們?cè)谕唤M 、 x序列下，用同一白噪聲源 丫產(chǎn)生給定噪信比的白噪聲和有色噪聲干擾。 欲辨識(shí)參數(shù)為 a1=-1.5 , a2=0.7, b1=2, b2=0.5,設(shè)定在兩種辨識(shí)情況下，前后兩次辨 識(shí)誤差小于0.000000005時(shí)，結(jié)束仿真，當(dāng)設(shè)定 NSR=0.1時(shí)，本次仿真循環(huán) 35次時(shí)結(jié)束仿 真，仿真結(jié)果見(jiàn)圖10圖13所示。 T色用特七W歸燃橘度&1 *靖 咨 DU 口 1 口 口了

21、D35 3 U X U i 口 dA 05 nir 圖10白噪聲影響下參數(shù)辨識(shí)結(jié)果 MEP-U 1時(shí)痊* +昭甘谷扭廿M誦平閣諾溟點(diǎn)假設(shè)IT安I 圖11有色噪聲影響下參數(shù)辨識(shí)結(jié)果 I時(shí)害#新5 s識(shí)蛀圈場(chǎng)拊慶蘇rn賣(mài)I (NSR=10% 時(shí)) 修改參數(shù)NSR=0.4,其他條件不變，欲辨識(shí)參數(shù)為 再次運(yùn)行仿真，循環(huán) 35次以后結(jié)束仿真，仿真結(jié)果見(jiàn)圖 14圖17所示 NSR=40% 時(shí) 從仿真結(jié)果圖中我們可以看到，當(dāng)噪信比擬小時(shí)如 NSR=0.1 時(shí)，在白噪聲影響下， 遞推最小二乘能正確辨識(shí)系統(tǒng)參數(shù)， 且辨識(shí)曲線較平穩(wěn)。而在有色噪聲影響下，辨識(shí)結(jié)果有 一點(diǎn)誤差，但辨識(shí)曲線尚較平穩(wěn)。當(dāng)噪信比擬大如

22、NSR=0.4時(shí)，不管是在白噪聲還是有 色噪聲影響下，辨識(shí)曲線的波動(dòng)都較大，且辨識(shí)誤差都比噪信比小時(shí)的辨識(shí)誤差有所增加。 綜上所述：遞推最小二乘法只適合與噪信比擬小時(shí)的白噪聲影響下的系統(tǒng)辨識(shí)， 對(duì)于有 色噪聲影響下的系統(tǒng)辨識(shí)或者噪信比擬大時(shí)的白噪聲影響下的系統(tǒng)辨識(shí)， 我們應(yīng)該尋找更好 的辨識(shí)方法。 3.5 廣義最小二乘辨識(shí)模型 3 3.5.1.5.1 廣義最小二乘與遞推最小二乘的性能比擬 V采用有色噪聲模型，取 法辨識(shí)系統(tǒng)參數(shù)，為了比照研究， 辨識(shí)結(jié)果隨丫次數(shù)變化的曲線。 a1=-1.5 , a2=0.7 , b1=2 , b2=0.5 , 圖16白噪聲影響下的參數(shù)辨識(shí)誤差 圖17有色噪聲影響

23、下的參數(shù)辨識(shí)誤差 NSR=10%、30%,分別用遞推最小二乘和廣義最小二乘遞推 我們?cè)谕唤M u、y序列下進(jìn)行辨識(shí)試驗(yàn)，并畫(huà)出各參數(shù) 圖 18和圖19是取NSR=10%時(shí)分別采用遞推最小二乘法和 20和圖21分別是其相對(duì)辨識(shí)誤差。 圖12白噪聲影響下的參數(shù)辨識(shí)誤差 圖13有色噪聲影響下的參數(shù)辨識(shí)誤差 HEE】時(shí)白柴* W下呂彖#后禎站點(diǎn)M迷健點(diǎn)我的賣(mài)世 % 旭 e aa 旬 n % ID 15 Z r &卷押帶識(shí)雄果閉場(chǎng)在布船rn曳 L 圖14白噪聲影響下參數(shù)辨識(shí)結(jié)果 NEM J時(shí)口業(yè) L 蛔下存如廿.只諷宅M ii,凈就讓tr ID 15 R 圖15有色噪聲影響下參數(shù)辨識(shí)結(jié)果 田*弟

24、日.* T &卷押前識(shí)至閉場(chǎng)在布船rn曳 L 普星S S年 廣義最小二乘法的辨識(shí)結(jié)果，圖 保持其他參數(shù)不變，取 NSR=30%，再次運(yùn)行程序可得圖 22-圖25。 圖24遞推最小二乘法的辨識(shí)精度 圖25廣義最小二乘法的辨識(shí)精度 由圖可見(jiàn)：兩種方法在較小噪信比的有色噪聲影響下均能較好的辨識(shí)出系統(tǒng)參數(shù)， 把相 對(duì)誤差曲線圖鎖定在(-0.02 , 0.02)的區(qū)間上進(jìn)行觀察可得：廣義最小二乘法能更快更平坦 的接近辨識(shí)結(jié)果，辨識(shí)效果更好。當(dāng)有色噪聲強(qiáng)度增加到 30%時(shí)，兩種方法的辨識(shí)結(jié)果均 出現(xiàn)了不同程度的失真， 尤其是遞推最小二乘法， 結(jié)果失真嚴(yán)重且辨識(shí)曲線波動(dòng)較大， 廣義 最小二乘法的辨識(shí)

25、結(jié)果雖有失真， 但仍比擬接近真實(shí)結(jié)果，且辨識(shí)曲線平坦。因此我們可以 圖20遞推最小二乘法的辨識(shí)精度 higi時(shí)商色點(diǎn).窟有下說(shuō)瓣懸小二中注裁躬iFii# im zu 3n ins sn ixn rm KKI 噪聲明SSfin量島阱成 圖18遞推最小二乘法的辨識(shí)結(jié)果 圖21廣義最小二乘法的辨識(shí)精度 圖19廣義最小二乘法的辨識(shí)結(jié)果 華Hi醫(yī)K*im 口 3D dID SU (XU rm KIJ XX IIOJ 噪聲做IS印吸用防事. 曲明 pyttii色蜜.*r胸下.易-舉理注3死供假設(shè)明詛帽果 圖22遞推最小二乘法的辨識(shí)結(jié)果 圖23廣義最小二乘法的辨識(shí)結(jié)果 得出結(jié)論：由于引入了對(duì)噪聲的估計(jì)， 在噪信比擬大的有色噪聲影響下， 廣義最小二乘法仍 然能夠得到較好的辨識(shí)結(jié)果。 3.5.23.5.2