1、信號(hào)檢測(cè)與估計(jì)信號(hào)檢測(cè)與估計(jì)Signal Detection and Estimation最小二乘估計(jì)最小二乘估計(jì)內(nèi)容安排12345引言線性最小二乘估計(jì)序貫最小二乘估計(jì)非線性最小二乘估計(jì)小結(jié)最小二乘估計(jì)內(nèi)容安排12345引言線性最小二乘估計(jì)序貫最小二乘估計(jì)非線性最小二乘估計(jì)小結(jié)最小二乘估計(jì)引言第一次觀測(cè)：38.0第二次觀測(cè)：37.9第三次觀測(cè)：38.1第四次觀測(cè)：38.1第五次觀測(cè)：37.9前后觀測(cè)五次溫度值如下：取個(gè)平均！38攝氏度攝氏度最小二乘估計(jì)引言l假設(shè)信號(hào)是 ，經(jīng)過N次觀測(cè)，觀測(cè)數(shù)據(jù)為： s nA (0,1,2,1)x n nN如何得到A？取個(gè)平均！101 NnAx nxN最小二乘估

2、計(jì)引言101 NnAx nxN樣本均值估計(jì)即是一種特殊的最小二乘估計(jì)最小二乘估計(jì)引言無偏估計(jì)的類型確定最小方差觀測(cè)數(shù)據(jù)的概率描述各種限制。之前學(xué)過的估計(jì)方法對(duì)觀測(cè)數(shù)據(jù)不做任何概率或統(tǒng)計(jì)描述僅僅假設(shè)一個(gè)數(shù)學(xué)模型最小二乘估計(jì)古老但實(shí)用！最小二乘估計(jì)引言最小二乘估計(jì)（Least Square Estimate，LSE）估計(jì)的目的是使得所有觀測(cè)數(shù)據(jù)和假設(shè)信號(hào)之間的平方誤差最小120( ),0,1,2,1( )NnJnNx ns n2mse( )E均方誤差準(zhǔn)則最小二乘估計(jì)引言假設(shè)取決于未知參量 的信號(hào) ，由于噪聲或模型不準(zhǔn)確，觀測(cè)信號(hào)是受干擾的信號(hào)，用觀測(cè)數(shù)據(jù) 表示， 的最小二乘估計(jì)就是選擇使得 最小的

3、 值( )J s n x n通常用于數(shù)據(jù)的準(zhǔn)確統(tǒng)計(jì)特性未知，或不能找出最優(yōu)估計(jì)的場(chǎng)合最小二乘估計(jì)引言l假設(shè)信號(hào)是 ，經(jīng)過N次觀測(cè)，觀測(cè)數(shù)據(jù)為： s nA (0,1,2,1)x n nN101 NnAx nxN120( )( )NnJ Ax nA使得最小,上式對(duì)A求導(dǎo)，并令結(jié)果為0，可得：100( )NnA x n10*0 NnNAx n最小二乘估計(jì)引言最 小 二 乘 估 計(jì)最 小 方 差 無 偏 估 計(jì) , x nAw n w n是高斯白噪聲最小二乘估計(jì)引言l考慮正弦信號(hào)，信號(hào)模型為：0 cos(2)s nAf n若A是待估計(jì)參量， 是已知的：0f若 是待估計(jì)參量，A是已知的：0f1200 (

4、 cos(2)NnJ Ax nAf n12000( cos(2)NnJ fx nAf n線性最小二乘非線性最小二乘最小二乘估計(jì)內(nèi)容安排12345引言線性最小二乘估計(jì)序貫最小二乘估計(jì)非線性最小二乘估計(jì)小結(jié)最小二乘估計(jì)線性最小二乘估計(jì)表1中是在不同溫度下測(cè)量同一熱敏電阻的阻值，根據(jù)測(cè)量值確定該電阻的數(shù)學(xué)模型，并求出當(dāng)溫度在70攝氏度時(shí)的電阻值。最小二乘估計(jì)線性最小二乘估計(jì)btaRRt數(shù)學(xué)模型：最小二乘估計(jì)線性最小二乘估計(jì)21( ( )( )NnJR nabt nLS為：12( ( )( )0NnJR nabt na 12( ( )( ) ( )0NnJR nabt n t nb 求極值，對(duì)上式求導(dǎo)

5、：11( )( )NNnnNabt nR n2111( )( )( ( ) ( )NNNnnnat nbtnR n t n二元一次方程！最小二乘估計(jì)線性最小二乘估計(jì)211112211( )( )( ( ) ( )( )( )( )NNNNnnnnNNnnR ntnR n t nt naNtnt n1112211( ( ) ( )( )( )( )( )NNNnnnNNnnNR n t nR nt nbNtnt n最小二乘估計(jì)線性最小二乘估計(jì)702.762a 3.4344b tR4344. 3762.702最小二乘估計(jì)線性最小二乘估計(jì)l矢量最小二乘假設(shè)矢量參量 是 維的，信號(hào)是待估計(jì)參量的線性函

6、數(shù)，假設(shè)：1pTNssss,2,1 Hs 觀測(cè)矩陣pN滿秩矩陣)()()(HxHxJTLS為：VHx最小二乘估計(jì)線性最小二乘估計(jì)HHHxxxJTTTT2)(對(duì) 求導(dǎo)，并令其值為0，有：022HHxHTT所以：xHHHTT1)(l定理4.1 若觀測(cè)數(shù)據(jù)可表示為2(0,)NI則則MVU估計(jì)量估計(jì)量最小二乘估計(jì)線性最小二乘估計(jì)當(dāng)系統(tǒng)測(cè)量噪聲V是均值為0，方差為R時(shí)性質(zhì)1. 最小二乘估計(jì)即是無偏估計(jì)，有：)(E0)()()()()()()()()(11111VEHHHxHEHHHxHHHHHHHExHHHEETTTTTTTTTT證 明最小二乘估計(jì)線性最小二乘估計(jì)當(dāng)系統(tǒng)測(cè)量噪聲V是均值為0，方差為R時(shí)性

7、質(zhì)2. 最小二乘估計(jì)的均方誤差為：11)()(HHRHHHHTTT自行證明最小二乘估計(jì)線性最小二乘估計(jì)VHx21zzx11HrrR400)(2111111121211zzzz因此：VHx最小二乘估計(jì)線性最小二乘估計(jì)估計(jì)的均方誤差為：11)()(HHRHHHHTTT4511111140011111111rrrr缺點(diǎn)：對(duì)所有測(cè)量數(shù)據(jù) 同等看待最小二乘估計(jì)線性最小二乘估計(jì)l加權(quán)最小二乘法對(duì)不同置信度的測(cè)量值采用加權(quán)的辦法分別對(duì)待強(qiáng)調(diào)可靠數(shù)據(jù)的重要性)()()(HxWHxJTLS改為：NN維加權(quán)矩陣最小二乘估計(jì)線性最小二乘估計(jì)WxHWHHTT1)(此時(shí)的LSE為：11)()(WHHWRWHHWHHTT

8、T此時(shí)估計(jì)的均方誤差為：l加權(quán)最小二乘法xHHHTT1)(一般的LSE為：11)()(HHRHHHHTTT一般的均方誤差為：最小二乘估計(jì)線性最小二乘估計(jì)l加權(quán)最小二乘法 ) 1(,),1 (),0(diagNwwwW如果 是零均值和具有方差 的不相關(guān)噪聲，那么加權(quán)因子的合理選擇是：)(nw2n21)(nnw當(dāng) 時(shí)，加權(quán)最小二乘退化為普通的最小二乘IW最小二乘估計(jì)線性最小二乘估計(jì)使用加權(quán)最小二乘估計(jì))4/(100/1rrW2121151544100111114100111zzzzrrrr第一次測(cè)量的權(quán)重大了！最小二乘估計(jì)線性最小二乘估計(jì)使用加權(quán)最小二乘估計(jì))4/(100/1rrW11HrrR40

9、0rrrrrrrr54114100111114001111410011111估計(jì)的均方誤差為：最小二乘估計(jì)線性最小二乘估計(jì)l小 結(jié)WxHWHHTT1)(LSE為：11)()(WHHWRWHHWHHTTT估計(jì)的均方誤差為：最小二乘估計(jì)內(nèi)容安排12345引言線性最小二乘估計(jì)序貫最小二乘估計(jì)非線性最小二乘估計(jì)小結(jié)最小二乘估計(jì)序貫最小二乘估計(jì)l前面的方法均是等到所有可供使用的數(shù)據(jù)全部采樣后再進(jìn)行處理。序貫最小二乘估計(jì)不必得到全部數(shù)據(jù)后批處理！求出基于1,1 ,0Nxxx=的最小二乘估計(jì)得到Nx對(duì) 進(jìn)行更新，得到新的xHHHTT1)(而不是利用全部數(shù)據(jù)，套用求得最小二乘估計(jì)序貫最小二乘估計(jì)l假設(shè)信號(hào)是

10、，經(jīng)過N次觀測(cè)，觀測(cè)數(shù)據(jù)為： s nA (0,1,2,1)x n nN1011 NnA Nx nxN利用前面的知識(shí)，容易得到：又得到新的樣本x N，那么此時(shí)的估計(jì)為：01 1NnA Nx nN1011( )(* 1)111111NnA Nx nx NNA Nx NNNNA Nx NNN利用前面的LSE和新的觀測(cè)，可求得新的LSE!最小二乘估計(jì)序貫最小二乘估計(jì)1111NA NA Nx NNN11( 1)1A NA Nx NA NN老的估計(jì)修正項(xiàng)改寫形式最小二乘估計(jì)序貫最小二乘估計(jì)l若對(duì)觀測(cè)數(shù)據(jù)加權(quán)， 21)(nnw120120 11NnnNnnx nA N那么，2202200 11( 1)11N

11、nnNNNnnnnx nA NA Nx NA N2N2N0K N式1最小二乘估計(jì)序貫最小二乘估計(jì)l若 ，其中 是均值為零，方差為 的噪聲 x nAv n2n v n1201var( 1)1NnnA N則：2var( 1)var( 1)NA NK NA N因此有：2201var( 1)var( )1var( 1)1var( 1)NnnnA NA NA NA Nvar( )1 var( 1)A NK NA N式2式3最小二乘估計(jì)序貫最小二乘估計(jì)1( 1)A NA NK Nx NA N式12var( 1)var( 1)NA NK NA N式2var( )1 var( 1)A NK NA N式3200

12、0var( 0)AxA最小二乘估計(jì)內(nèi)容安排12345引言線性最小二乘估計(jì)序貫最小二乘估計(jì)非線性最小二乘估計(jì)小結(jié)最小二乘估計(jì)非線性最小二乘估計(jì)x1 2 3 4 5 6 7 8y15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6bxaey y不是待估計(jì)參量a,b的線性函數(shù)！使用參數(shù)變換方法最小二乘估計(jì)非線性最小二乘估計(jì)x1 2 3 4 5 6 7 8y15.3 20.5 27.4 36.6 49.1 65.6 87.8 117.6bxaey bxay lnlnlny是lna和b的線性函數(shù)！取對(duì)數(shù)VHx最小二乘估計(jì)非線性最小二乘估計(jì)xHHHTT1)(,lnba,12111NH6 .117ln5 .20ln3 .15lnx的最小二乘估計(jì)！和后，就等于得到和求取baba ln最小二乘估計(jì)非線性最小二乘估計(jì)l例：設(shè)有一個(gè)正弦信號(hào)模型為： 1, 2 , 1 , 0),2cos(0NnnfAns和已知，希望估計(jì)Af0nfAnfns002sinsin2cosAcos參數(shù)變換：已知！已知！* sAsinAcos2121n則，令已知量已知量線性了！最小二乘估計(jì)內(nèi)容安排12345引言線性最小二乘估計(jì)序貫最小二乘估計(jì)非線性最