1、最小二乘法（LS） 最小二乘是一種最基本的辨識(shí)方法，最小二乘法可以用于線性系統(tǒng)，也可以用于非線性系統(tǒng)；可用于離線估計(jì)和在線估計(jì)。在隨機(jī)情況下，利用最小二乘法時(shí)，并不要求觀測(cè)數(shù)據(jù)提供其概率統(tǒng)計(jì)方法的信息，而其估計(jì)結(jié)果，卻有相當(dāng)好的統(tǒng)計(jì)特性。但它具有兩方面的缺陷：一是當(dāng)模型噪聲是有色噪聲時(shí)，最小二乘估計(jì)不是無(wú)偏、一致估計(jì)；二是隨著數(shù)據(jù)的增長(zhǎng)，將出現(xiàn)所謂的“數(shù)據(jù)飽和”現(xiàn)象。針對(duì)這兩個(gè)問(wèn)題，出現(xiàn)了相應(yīng)的辨識(shí)算法，如遺忘因子法、限定記憶法、偏差補(bǔ)償法、增廣最小二乘、廣義最小二乘、輔助變量法、二步法及多級(jí)最小二乘法等。廣義最小二乘法（GLS） 廣義最小二乘法的基本思想在于引入一個(gè)所謂成形濾波器（白化濾波器

2、），把相關(guān)噪聲轉(zhuǎn)化成白噪聲。優(yōu)：能夠克服當(dāng)存在有色噪聲干擾時(shí)，基本最小二乘估計(jì)的有偏性，估計(jì)效果較好，在實(shí)際中得到較好的應(yīng)用。缺：1、計(jì)算量大，每個(gè)循環(huán)要調(diào)用兩次最小二乘法及一次數(shù)據(jù)濾波，2、求差分方程的參數(shù)估值，是一個(gè)非線性最優(yōu)化問(wèn)題，不一定總能保證算法對(duì)最優(yōu)解的收斂性。廣義最小二乘法本質(zhì)上是一種逐次逼近法。對(duì)于循環(huán)程序的收斂性還沒(méi)有給出證明。3、GLS算法的最小二乘指標(biāo)函數(shù)J中可能存在一個(gè)以上局部極小值，（特別在信噪比不大時(shí)，J可能是多舉的）。GLS方法的估計(jì)結(jié)果往往取決于所選用參數(shù)的初始估值。參數(shù)估計(jì)初值應(yīng)選得盡量接近優(yōu)參數(shù)。在沒(méi)有驗(yàn)前信息的情況下，最小二乘估值被認(rèn)為是最好的初始條件。4

3、、廣義最小二乘法的收斂速度不是很高。遞推最小二乘法（RLS）優(yōu)點(diǎn)：1、無(wú)需存儲(chǔ)全部數(shù)據(jù)，取得一組觀測(cè)數(shù)據(jù)便可估計(jì)一次參數(shù)，而且都能在一個(gè)采樣周期中完成，所需計(jì)算量小，占用的存儲(chǔ)空間小。 2、具有一定的實(shí)時(shí)處理能力輔助變量法（IV、RIV） 計(jì)算較簡(jiǎn)單，估計(jì)是無(wú)偏估計(jì)，但計(jì)算精度較低 輔助變量法、增廣矩陣法能保證精度和收斂，算法簡(jiǎn)單，可同時(shí)得到參數(shù)和噪聲模型的估計(jì)，工程應(yīng)用效果很好但計(jì)算量也較大。 RIV總收斂于參數(shù)真值。加權(quán)最小二乘法 可對(duì)不同置信度的測(cè)量值采用加權(quán)的辦法分別對(duì)待，置信度加權(quán)高的，權(quán)重取得大些；置信度低的，權(quán)重取的小些。但加權(quán)最小二乘法僅能用于事先能估計(jì)方程誤差對(duì)參數(shù)估計(jì)的影響?？焖俣嚯A段最小二乘法大大減少計(jì)算時(shí)間?？焖俣嚯A段最小二乘法大大減少計(jì)算時(shí)間。 證明矩陣求逆引理矩陣求逆引理的證明：矩陣求逆引理：證明：考慮到由展開上式可得：（2a） (2b)(3a) (3b)和非奇異，由（3a）和（2b）聯(lián)立可得：（4a） (4b)將式4a、4b分別代入（2a）、（3