7.6最小二乘估計(jì)（LeastSquareEstimate）最小二乘估計(jì)是一種對(duì)數(shù)據(jù)的概率分布未做任何假定的一種估計(jì)方法，僅對(duì)數(shù)據(jù)模型進(jìn)行假定。SignalModelPerturbationnoiseModelinaccuraciesSignalModel-+7.6最小二乘估計(jì)（LeastSquareEstim1選擇一種的最佳估計(jì),使s(n)最接近z(n)例如：DC電平信號(hào)選擇一種的最佳估計(jì),使s(n)最接近z(n)2例：正弦信號(hào)頻率的估計(jì)最小化難以得到閉合性形式的解，原因是信號(hào)與未知參數(shù)f0之間存在高度的非線性關(guān)系。例：正弦信號(hào)頻率的估計(jì)最小化難以得到閉合性形式的解，原因是信3第二十四講：最小二乘估計(jì)、波形估計(jì)課件4加權(quán)最小二乘估計(jì)加權(quán)最小二乘估計(jì)5討論：（1）當(dāng)觀測(cè)噪聲的均值為零時(shí)，最小二乘與加權(quán)最小二乘是無(wú)偏估計(jì)。討論：（1）當(dāng)觀測(cè)噪聲的均值為零時(shí)，最小二乘與加權(quán)最小二乘6（2）估計(jì)的方差陣（2）估計(jì)的方差陣7(3)對(duì)于加權(quán)最小二乘估計(jì)，如果有一些模型的知識(shí)，如E(v)=0，E[vvT]=R，當(dāng)W=R-1時(shí)，估計(jì)誤差的方差陣達(dá)到最小，這個(gè)最小的方差陣為這時(shí)的估計(jì)稱為馬爾可夫估計(jì)(3)對(duì)于加權(quán)最小二乘估計(jì)，如果有一些模型的知識(shí)，如E(v8例：信號(hào)幅度的估計(jì)設(shè)N次獨(dú)立觀測(cè)為方法一：例：信號(hào)幅度的估計(jì)設(shè)N次獨(dú)立觀測(cè)為方法一：9方法2：方法2：10信號(hào)處理實(shí)例：最小二乘在目標(biāo)跟蹤中的應(yīng)用目標(biāo)的跟蹤問(wèn)題可等效成一個(gè)曲線擬合問(wèn)題假定目標(biāo)做勻速直線運(yùn)動(dòng)運(yùn)動(dòng)模型（只考慮x方向）：信號(hào)處理實(shí)例：最小二乘在目標(biāo)跟蹤中的應(yīng)用目標(biāo)的跟蹤問(wèn)題可等效11觀測(cè)模型：令觀測(cè)模型：令12遞推算法：批處理算法，運(yùn)算量太大。遞推算法：批處理算法，運(yùn)算量太大。13遞推算法：遞推算法：147.7波形估計(jì)(WaveformEstimation)根據(jù){z(n),n[n0,nf]}估計(jì)s(n)波形估計(jì)的應(yīng)用圖像恢復(fù)語(yǔ)音恢復(fù)目標(biāo)跟蹤彈道數(shù)據(jù)處理7.7波形估計(jì)(WaveformEstimation)151.波形估計(jì)的三種類型(1)濾波：根據(jù)當(dāng)前和過(guò)去的觀測(cè)值{z(k),k=n0,n0+1,...,n}對(duì)信號(hào)s(n)進(jìn)行估計(jì)(2)預(yù)測(cè):根據(jù)當(dāng)前和過(guò)去的觀測(cè)值{z(k),k=n0,n0+1,...,nf

}對(duì)未來(lái)時(shí)刻n(n>nf)的信號(hào)s(n)進(jìn)行估計(jì)，預(yù)測(cè)也稱為外推。數(shù)據(jù)數(shù)據(jù)1.波形估計(jì)的三種類型(1)濾波：根據(jù)當(dāng)前和過(guò)去的觀測(cè)值16(3)內(nèi)插:根據(jù)某一區(qū)間的觀測(cè)數(shù)據(jù){z(k),k=n0,n0+1,...,nf

}對(duì)區(qū)間內(nèi)的某一個(gè)時(shí)刻n(n0<n<nf)的信號(hào)進(jìn)行估計(jì)，內(nèi)插也稱為平滑。數(shù)據(jù)(3)內(nèi)插:根據(jù)某一區(qū)間的觀測(cè)數(shù)據(jù)數(shù)據(jù)17波形估計(jì)宜采用可建立遞推算法的線性最小均方估計(jì)或最小二乘估計(jì)。v(n)相互獨(dú)立，且若采用最大似然估計(jì)波形估計(jì)宜采用可建立遞推算法的線性最小均方估計(jì)或最小二乘估計(jì)18這個(gè)估計(jì)量是沒(méi)有意義的，因?yàn)闆](méi)有對(duì)觀測(cè)做任何處理。這個(gè)估計(jì)量是沒(méi)有意義的，因?yàn)闆](méi)有對(duì)觀測(cè)做任何處理。19最小均方估計(jì)：線性最小均方估計(jì)：濾波最小均方估計(jì)：線性最小均方估計(jì)：濾波20由正交原理：Wiener-Holf方程波形估計(jì)的關(guān)鍵是如何求解Wiener-Holf方程由正交原理：Wiener-Holf方程波形估計(jì)的關(guān)鍵是如何21維納濾波器假定信號(hào)和觀測(cè)過(guò)程是平穩(wěn)隨機(jī)序列，并且是聯(lián)合平穩(wěn)隨機(jī)序列，系統(tǒng)為線性時(shí)不變離散時(shí)間線性系統(tǒng)，n0=-，即觀測(cè)數(shù)據(jù)為{z(k),-<k}，維納濾波器假定信號(hào)和觀測(cè)過(guò)程是平穩(wěn)隨機(jī)序列，并且是聯(lián)合平穩(wěn)隨22維納濾波器維納濾波器23當(dāng)信號(hào)s(n)與觀測(cè)噪聲統(tǒng)計(jì)獨(dú)立時(shí)當(dāng)信號(hào)s(n)與觀測(cè)噪聲統(tǒng)計(jì)獨(dú)立時(shí)24如果假定{z(k),-<k}，系統(tǒng)為因果的線性時(shí)不變系統(tǒng)如果假定{z(k),-<k}，系統(tǒng)為因果的線性25第二十四講：最小二乘估計(jì)、波形估計(jì)課件26當(dāng)觀測(cè)為白噪聲的時(shí)候，當(dāng)觀測(cè)為白噪聲的時(shí)候，27如果不是白噪聲，那么可以先白化Hw(z)H2(z)如果不是白噪聲，那么可以先白化Hw(z)H2(z)28例7.13設(shè)觀測(cè)過(guò)程為z(n)=s(n)+v(n)，其中假定觀測(cè)噪聲v(n)為零均值白噪聲，方差為1，s(n)是具有有理譜的平穩(wěn)隨機(jī)序列，功率譜密度為信號(hào)s(n)與v(n)統(tǒng)計(jì)獨(dú)立，求估計(jì)s(n)的維納濾波器例7.13設(shè)觀測(cè)過(guò)程為z(n)=s(n)+v(n)，其中假29解：解：30第二十四講：最小二乘估計(jì)、波形估計(jì)課件31第二十四講：最小二乘估計(jì)、波形估計(jì)課件32連續(xù)時(shí)間的維納濾波器離散時(shí)間濾波連續(xù)時(shí)間濾波物理可實(shí)現(xiàn)物理可實(shí)現(xiàn)連續(xù)時(shí)間的維納濾波器離散時(shí)間濾波連續(xù)時(shí)間濾波物理可實(shí)現(xiàn)物理可33例7.13設(shè)觀測(cè)過(guò)程為z(t)=s(t)+v(t)，-<t<其中假定觀測(cè)噪聲v(n)為零均值白噪聲，功率譜密度為1，s(n)是具有有理譜的平穩(wěn)隨機(jī)過(guò)陳，功率譜密度為求估計(jì)s(t)的維納濾波器。例7.13設(shè)觀測(cè)過(guò)程為z(t)=s(t)+v(t)，-<34第二十四講：最小二乘估計(jì)、波形估計(jì)課件35第七章小結(jié)貝葉斯估計(jì)非貝葉斯估計(jì)最小均方估計(jì)條件中位數(shù)估計(jì)最大后驗(yàn)概率估計(jì)線性最小均方估計(jì)最大似然估計(jì)最小二乘估計(jì)都需要計(jì)算后驗(yàn)概率密度需要計(jì)算似然函數(shù)只對(duì)數(shù)據(jù)模型進(jìn)行假定第七章小結(jié)貝葉斯估計(jì)非貝葉斯估計(jì)最小均方估計(jì)最大似然估計(jì)都需361.最小均方估計(jì)平方代價(jià)函數(shù)的貝葉斯估計(jì)最小均方估計(jì)是無(wú)偏估計(jì)2.條件中位數(shù)估計(jì)絕對(duì)值代價(jià)函數(shù)的貝葉斯估計(jì)1.最小均方估計(jì)平方代價(jià)函數(shù)的貝葉斯估計(jì)最小均方估計(jì)是無(wú)偏373.最大后驗(yàn)概率估計(jì)采用絕對(duì)值代價(jià)函數(shù)的貝葉斯估計(jì)最大后驗(yàn)概率方程3.最大后驗(yàn)概率估計(jì)采用絕對(duì)值代價(jià)函數(shù)的貝葉斯估計(jì)最大后驗(yàn)38貝葉斯估計(jì)都需要計(jì)算后驗(yàn)概率密度，需要已知被估計(jì)量的分布特性。先驗(yàn)信息的應(yīng)用，有利于提高估計(jì)的性能。貝葉斯估計(jì)都需要計(jì)算后驗(yàn)概率密度，需要已知被估計(jì)量的分布特性39Mean=Median=Mode高斯后驗(yàn)分布Mean=Median=Mode高斯后驗(yàn)分布404.最大似然估計(jì)最大似然方程：4.最大似然估計(jì)最大似然方程：41常用信號(hào)參數(shù)的估計(jì)（1）高斯白噪聲中恒定電平的估計(jì)（2）高斯白噪聲的方差估計(jì)均值為零均值已知均值未知常用信號(hào)參數(shù)的估計(jì)（1）高斯白噪聲中恒定電平的估計(jì)（2）42（3）信號(hào)幅度的估計(jì)z[n]=As[n]+v[n]，n=0,1,….N-1正弦信號(hào)幅度估計(jì):（3）信號(hào)幅度的估計(jì)z[n]=As[n]+v[n]，n=043(4)正弦信號(hào)相位的估計(jì)(4)正弦信號(hào)相位的估計(jì)445.估計(jì)的性能0DesirePDF概率密度越尖越好均值要等于真值方差越小越好對(duì)于有偏估計(jì)，均方誤差越小越好性能指標(biāo)：無(wú)偏性有效性一致性5.估計(jì)的性能0DesirePDF概率密度越尖越好對(duì)于有45估計(jì)量的CRLB當(dāng)且僅當(dāng)任何無(wú)偏估計(jì)的方差滿足估計(jì)量的CRLB當(dāng)且僅當(dāng)任何無(wú)偏估計(jì)的方差滿足46達(dá)到CRLB的估計(jì)稱為效估計(jì)量如果有效估計(jì)量存在，則該有效估計(jì)量一定是最大似然估計(jì)如果有效估計(jì)量不存在，則最大似然估計(jì)的方差不一定是最小的。最大似然估計(jì)是漸近有效估計(jì)量，即達(dá)到CRLB的估計(jì)稱為效估計(jì)量如果有效估計(jì)量存在，則該有效估47隨機(jī)參量的CRLB任何無(wú)偏估計(jì)的均方誤差滿足等號(hào)成立的條件隨機(jī)參量的CRLB任何無(wú)偏估計(jì)的均方誤差滿足等號(hào)成立的條件48如果有某個(gè)無(wú)偏估計(jì)達(dá)到CRLB,那么該估計(jì)必定是最大后驗(yàn)概率估計(jì).而最小均方估計(jì)的均方誤差也是最小的,所以這時(shí)最小均方估計(jì)與最大后驗(yàn)概率估計(jì)等價(jià).如果有某個(gè)無(wú)偏估計(jì)達(dá)到CRLB,那么該估計(jì)必定是最大后驗(yàn)概率496.線性最小均方估計(jì)6.線性最小均方估計(jì)50線性最小均方估計(jì)是無(wú)偏的。當(dāng)觀測(cè)與被估計(jì)量是聯(lián)合高斯分布式，線性最小均方估計(jì)與最小均方估計(jì)等價(jià)。矢量形式：線性最小均方估計(jì)是無(wú)偏的。當(dāng)觀測(cè)與被估計(jì)量是聯(lián)合高斯分布式517.最小二乘估計(jì)7.最小二乘估計(jì)52第二十四講：最小二乘估計(jì)、波形估計(jì)課件53性質(zhì)：當(dāng)觀測(cè)噪聲的均值為零時(shí)，最小二乘與加權(quán)最小二乘是無(wú)偏估計(jì)。W=R-1時(shí)稱為馬爾可夫估計(jì)性質(zhì)：W=R-1時(shí)稱為馬爾可夫估計(jì)548.波形估計(jì)濾波、預(yù)測(cè)、平滑的概念運(yùn)用正交原理獲得Wiener-Holf方程8.波形估計(jì)濾波、預(yù)測(cè)、平滑的概念運(yùn)用正交原理獲得Wien55離散時(shí)間濾波連續(xù)時(shí)間濾波物理可實(shí)現(xiàn)物理可實(shí)現(xiàn)離散時(shí)間濾波連續(xù)時(shí)間濾波物理可實(shí)現(xiàn)物理可實(shí)現(xiàn)56習(xí)題：7.237.247.25習(xí)題：7.237.247.25577.6最小二乘估計(jì)（LeastSquareEstimate）最小二乘估計(jì)是一種對(duì)數(shù)據(jù)的概率分布未做任何假定的一種估計(jì)方法，僅對(duì)數(shù)據(jù)模型進(jìn)行假定。SignalModelPerturbationnoiseModelinaccuraciesSignalModel-+7.6最小二乘估計(jì)（LeastSquareEstim58選擇一種的最佳估計(jì),使s(n)最接近z(n)例如：DC電平信號(hào)選擇一種的最佳估計(jì),使s(n)最接近z(n)59例：正弦信號(hào)頻率的估計(jì)最小化難以得到閉合性形式的解，原因是信號(hào)與未知參數(shù)f0之間存在高度的非線性關(guān)系。例：正弦信號(hào)頻率的估計(jì)最小化難以得到閉合性形式的解，原因是信60第二十四講：最小二乘估計(jì)、波形估計(jì)課件61加權(quán)最小二乘估計(jì)加權(quán)最小二乘估計(jì)62討論：（1）當(dāng)觀測(cè)噪聲的均值為零時(shí)，最小二乘與加權(quán)最小二乘是無(wú)偏估計(jì)。討論：（1）當(dāng)觀測(cè)噪聲的均值為零時(shí)，最小二乘與加權(quán)最小二乘63（2）估計(jì)的方差陣（2）估計(jì)的方差陣64(3)對(duì)于加權(quán)最小二乘估計(jì)，如果有一些模型的知識(shí)，如E(v)=0，E[vvT]=R，當(dāng)W=R-1時(shí)，估計(jì)誤差的方差陣達(dá)到最小，這個(gè)最小的方差陣為這時(shí)的估計(jì)稱為馬爾可夫估計(jì)(3)對(duì)于加權(quán)最小二乘估計(jì)，如果有一些模型的知識(shí)，如E(v65例：信號(hào)幅度的估計(jì)設(shè)N次獨(dú)立觀測(cè)為方法一：例：信號(hào)幅度的估計(jì)設(shè)N次獨(dú)立觀測(cè)為方法一：66方法2：方法2：67信號(hào)處理實(shí)例：最小二乘在目標(biāo)跟蹤中的應(yīng)用目標(biāo)的跟蹤問(wèn)題可等效成一個(gè)曲線擬合問(wèn)題假定目標(biāo)做勻速直線運(yùn)動(dòng)運(yùn)動(dòng)模型（只考慮x方向）：信號(hào)處理實(shí)例：最小二乘在目標(biāo)跟蹤中的應(yīng)用目標(biāo)的跟蹤問(wèn)題可等效68觀測(cè)模型：令觀測(cè)模型：令69遞推算法：批處理算法，運(yùn)算量太大。遞推算法：批處理算法，運(yùn)算量太大。70遞推算法：遞推算法：717.7波形估計(jì)(WaveformEstimation)根據(jù){z(n),n[n0,nf]}估計(jì)s(n)波形估計(jì)的應(yīng)用圖像恢復(fù)語(yǔ)音恢復(fù)目標(biāo)跟蹤彈道數(shù)據(jù)處理7.7波形估計(jì)(WaveformEstimation)721.波形估計(jì)的三種類型(1)濾波：根據(jù)當(dāng)前和過(guò)去的觀測(cè)值{z(k),k=n0,n0+1,...,n}對(duì)信號(hào)s(n)進(jìn)行估計(jì)(2)預(yù)測(cè):根據(jù)當(dāng)前和過(guò)去的觀測(cè)值{z(k),k=n0,n0+1,...,nf

}對(duì)未來(lái)時(shí)刻n(n>nf)的信號(hào)s(n)進(jìn)行估計(jì)，預(yù)測(cè)也稱為外推。數(shù)據(jù)數(shù)據(jù)1.波形估計(jì)的三種類型(1)濾波：根據(jù)當(dāng)前和過(guò)去的觀測(cè)值73(3)內(nèi)插:根據(jù)某一區(qū)間的觀測(cè)數(shù)據(jù){z(k),k=n0,n0+1,...,nf

}對(duì)區(qū)間內(nèi)的某一個(gè)時(shí)刻n(n0<n<nf)的信號(hào)進(jìn)行估計(jì)，內(nèi)插也稱為平滑。數(shù)據(jù)(3)內(nèi)插:根據(jù)某一區(qū)間的觀測(cè)數(shù)據(jù)數(shù)據(jù)74波形估計(jì)宜采用可建立遞推算法的線性最小均方估計(jì)或最小二乘估計(jì)。v(n)相互獨(dú)立，且若采用最大似然估計(jì)波形估計(jì)宜采用可建立遞推算法的線性最小均方估計(jì)或最小二乘估計(jì)75這個(gè)估計(jì)量是沒(méi)有意義的，因?yàn)闆](méi)有對(duì)觀測(cè)做任何處理。這個(gè)估計(jì)量是沒(méi)有意義的，因?yàn)闆](méi)有對(duì)觀測(cè)做任何處理。76最小均方估計(jì)：線性最小均方估計(jì)：濾波最小均方估計(jì)：線性最小均方估計(jì)：濾波77由正交原理：Wiener-Holf方程波形估計(jì)的關(guān)鍵是如何求解Wiener-Holf方程由正交原理：Wiener-Holf方程波形估計(jì)的關(guān)鍵是如何78維納濾波器假定信號(hào)和觀測(cè)過(guò)程是平穩(wěn)隨機(jī)序列，并且是聯(lián)合平穩(wěn)隨機(jī)序列，系統(tǒng)為線性時(shí)不變離散時(shí)間線性系統(tǒng)，n0=-，即觀測(cè)數(shù)據(jù)為{z(k),-<k}，維納濾波器假定信號(hào)和觀測(cè)過(guò)程是平穩(wěn)隨機(jī)序列，并且是聯(lián)合平穩(wěn)隨79維納濾波器維納濾波器80當(dāng)信號(hào)s(n)與觀測(cè)噪聲統(tǒng)計(jì)獨(dú)立時(shí)當(dāng)信號(hào)s(n)與觀測(cè)噪聲統(tǒng)計(jì)獨(dú)立時(shí)81如果假定{z(k),-<k}，系統(tǒng)為因果的線性時(shí)不變系統(tǒng)如果假定{z(k),-<k}，系統(tǒng)為因果的線性82第二十四講：最小二乘估計(jì)、波形估計(jì)課件83當(dāng)觀測(cè)為白噪聲的時(shí)候，當(dāng)觀測(cè)為白噪聲的時(shí)候，84如果不是白噪聲，那么可以先白化Hw(z)H2(z)如果不是白噪聲，那么可以先白化Hw(z)H2(z)85例7.13設(shè)觀測(cè)過(guò)程為z(n)=s(n)+v(n)，其中假定觀測(cè)噪聲v(n)為零均值白噪聲，方差為1，s(n)是具有有理譜的平穩(wěn)隨機(jī)序列，功率譜密度為信號(hào)s(n)與v(n)統(tǒng)計(jì)獨(dú)立，求估計(jì)s(n)的維納濾波器例7.13設(shè)觀測(cè)過(guò)程為z(n)=s(n)+v(n)，其中假86解：解：87第二十四講：最小二乘估計(jì)、波形估計(jì)課件88第二十四講：最小二乘估計(jì)、波形估計(jì)課件89連續(xù)時(shí)間的維納濾波器離散時(shí)間濾波連續(xù)時(shí)間濾波物理可實(shí)現(xiàn)物理可實(shí)現(xiàn)連續(xù)時(shí)間的維納濾波器離散時(shí)間濾波連續(xù)時(shí)間濾波物理可實(shí)現(xiàn)物理可90例7.13設(shè)觀測(cè)過(guò)程為z(t)=s(t)+v(t)，-<t<其中假定觀測(cè)噪聲v(n)為零均值白噪聲，功率譜密度為1，s(n)是具有有理譜的平穩(wěn)隨機(jī)過(guò)陳，功率譜密度為求估計(jì)s(t)的維納濾波器。例7.13設(shè)觀測(cè)過(guò)程為z(t)=s(t)+v(t)，-<91第二十四講：最小二乘估計(jì)、波形估計(jì)課件92第七章小結(jié)貝葉斯估計(jì)非貝葉斯估計(jì)最小均方估計(jì)條件中位數(shù)估計(jì)最大后驗(yàn)概率估計(jì)線性最小均方估計(jì)最大似然估計(jì)最小二乘估計(jì)都需要計(jì)算后驗(yàn)概率密度需要計(jì)算似然函數(shù)只對(duì)數(shù)據(jù)模型進(jìn)行假定第七章小結(jié)貝葉斯估計(jì)非貝葉斯估計(jì)最小均方估計(jì)最大似然估計(jì)都需931.最小均方估計(jì)平方代價(jià)函數(shù)的貝葉斯估計(jì)最小均方估計(jì)是無(wú)偏估計(jì)2.條件中位數(shù)估計(jì)絕對(duì)值代價(jià)函數(shù)的貝葉斯估計(jì)1.最小均方估計(jì)平方代價(jià)函數(shù)的貝葉斯估計(jì)最小均方估計(jì)是無(wú)偏943.最大后驗(yàn)概率估計(jì)采用絕對(duì)值代價(jià)函數(shù)的貝葉斯估計(jì)最大后驗(yàn)概率方程3.最大后驗(yàn)概率估計(jì)采用絕對(duì)值代價(jià)函數(shù)的貝葉斯估計(jì)最大后驗(yàn)95貝葉斯估計(jì)都需要計(jì)算后驗(yàn)概率密度，需要已知被估計(jì)量的分布特性。先驗(yàn)信息的應(yīng)用，有利于提高估計(jì)的性能。貝葉斯估計(jì)都需要計(jì)算后驗(yàn)概率密度，需要已知被估計(jì)量的分布特性96Mean=Median=Mode高斯后驗(yàn)分布Mean=Median=Mode高斯后驗(yàn)分布974.最大似然估計(jì)最大似然方程：4.最大似然估計(jì)最大似然方程：98常用信號(hào)參數(shù)的估計(jì)（1）高斯白噪聲中恒定電平的估計(jì)（2）高斯白噪聲的方差估計(jì)均值為零均值已知均值未知常用信號(hào)參數(shù)的估計(jì)（1）高斯白噪聲中恒定電平的估計(jì)（2）99（3）信號(hào)幅度的估計(jì)z[n]=As[n]+v[n]，n=0,1,….N-1正弦信號(hào)幅度估計(jì):（3）信號(hào)幅度的估計(jì)z[n]=As[n]+v[n]，n=0100(4)正弦信號(hào)相位的估計(jì)(4)正弦信號(hào)相位的估計(jì)1015.估計(jì)的性能0DesirePDF概率密度越尖越好均值要等于真值方差越小越好對(duì)于有偏估計(jì)，均方誤差越小越好性能指標(biāo)：無(wú)偏性