現(xiàn)在是1頁\一共有63頁\編輯于星期六貝葉斯估計理論和小結(jié)現(xiàn)在是2頁\一共有63頁\編輯于星期六貝葉斯估計理論——內(nèi)容安排主要內(nèi)容引言線性貝葉斯估計量（LMMSE）估計量總結(jié)現(xiàn)在是3頁\一共有63頁\編輯于星期六一般貝葉斯估計量選擇估計量使得平均代價（貝葉斯風(fēng)險）最小對給定代價函數(shù)，可得最優(yōu)估計量的形式現(xiàn)在是4頁\一共有63頁\編輯于星期六三種代價函數(shù)圖11.2不同代價函數(shù)的估計量最小均方誤差（MMSE）估計最大后驗概率（MAP）估計條件中位數(shù)估計現(xiàn)在是5頁\一共有63頁\編輯于星期六LMMSE的引入MMSE含有多重積分，MAP含有多維最大值求解問題。聯(lián)合高斯假設(shè)條件下容易得到，一般情況下難以求得不能做出高斯假定時，選擇保留MMSE準(zhǔn)則限定估計量線性LMMSE估計類似于BLUE估計量的顯式可由前兩階矩來確定卡爾曼濾波器是維納濾波器的重要推廣現(xiàn)在是6頁\一共有63頁\編輯于星期六貝葉斯估計理論——內(nèi)容安排主要內(nèi)容引言線性貝葉斯估計量（LMMSE）估計量總結(jié)現(xiàn)在是7頁\一共有63頁\編輯于星期六線性MMSE估計假定標(biāo)量參數(shù)給定數(shù)據(jù)矢量假定：聯(lián)合PDF未知；已知前兩階矩；

X與θ統(tǒng)計相關(guān)目標(biāo)：求滿足如下形式的最佳估計量選擇加權(quán)系數(shù)使貝葉斯MSE最小，導(dǎo)出的估計量稱為LMMSE估計量現(xiàn)在是8頁\一共有63頁\編輯于星期六最佳加權(quán)系數(shù)的推導(dǎo)代入得對求偏導(dǎo)數(shù)，現(xiàn)在是9頁\一共有63頁\編輯于星期六代入可得這里標(biāo)量！現(xiàn)在是10頁\一共有63頁\編輯于星期六展開可得現(xiàn)在是11頁\一共有63頁\編輯于星期六對加權(quán)系數(shù)求偏導(dǎo)可得注意：LMMSE估計僅需1階和2階矩，不需PDF現(xiàn)在是12頁\一共有63頁\編輯于星期六代入并化簡可得若和統(tǒng)計獨立，則完全基于先驗信息，數(shù)據(jù)無用現(xiàn)在是13頁\一共有63頁\編輯于星期六例12.1WGN中具有均勻先驗PDF的DC電平若，需要積分而無法得到閉合形式的解因此，采用LMMSE回顧例10.11×N現(xiàn)在是14頁\一共有63頁\編輯于星期六幾何解釋內(nèi)積空間(IPSpaces)現(xiàn)在是15頁\一共有63頁\編輯于星期六矢量：全部隨機變量集合/0均值、有限方差（ZMFV）標(biāo)量：全部實數(shù)集合內(nèi)積：<X,Y>=E{XY}構(gòu)成內(nèi)積空間首先：是矢量空間現(xiàn)在是16頁\一共有63頁\編輯于星期六用于估計標(biāo)量隨機變量由N個隨機變量的線性組合進(jìn)行估計現(xiàn)在是17頁\一共有63頁\編輯于星期六應(yīng)用正交原理假定可逆現(xiàn)在是18頁\一共有63頁\編輯于星期六矢量LMMSE估計待估參數(shù)線性估計量目標(biāo)：對每個元素，使最小可將矩陣A的第i行和矢量a第i個元素，看成的標(biāo)量LMMSE估計量的形式已知每個待估參數(shù)的標(biāo)量LMMSE形式得出相應(yīng)的解組合為矢量形式

現(xiàn)在是19頁\一共有63頁\編輯于星期六矢量LMMSE的解矢量LMMSE估計若相似地，可得矩陣現(xiàn)在是20頁\一共有63頁\編輯于星期六LMMSE估計量的兩個性質(zhì)1.在線性變換上是可以轉(zhuǎn)換的若且為LMMSE估計量，則為的LMMSE估計量2.未知參數(shù)之和的LMMSE估計量是每個估計量之和若則現(xiàn)在是21頁\一共有63頁\編輯于星期六貝葉斯高斯-馬爾可夫定理令數(shù)據(jù)為應(yīng)用前面的結(jié)果，可得與貝葉斯線性估計（已包含高斯假定）形式相同除非最佳估計線性，通常為次佳估計LMMSE只需得到均值和協(xié)方差矩陣現(xiàn)在是22頁\一共有63頁\編輯于星期六則若定理4.2一般線性模型的MVUE定理11.1貝葉斯線性模型下MMSE估計現(xiàn)在是23頁\一共有63頁\編輯于星期六現(xiàn)在是24頁\一共有63頁\編輯于星期六序貫LMMSE估計與序貫LS方法相同固定參數(shù)個數(shù)（在此為隨機的），增加數(shù)據(jù)樣本數(shù)目數(shù)據(jù)模型目標(biāo)：給定基于的估計，當(dāng)新的數(shù)據(jù)樣本到達(dá)時，更新估計到現(xiàn)在是25頁\一共有63頁\編輯于星期六求序貫LMMSE在此，我們利用矢量空間得到“白噪聲中的直流電平”的解，再推廣到一般情況假定和均為0均值，給定，其LMMSE估計再由尋求該估計的序貫更新現(xiàn)在是26頁\一共有63頁\編輯于星期六看作矢量空間首先估計新數(shù)據(jù)，即求利用正交原理由提供的新的非冗余信息，稱為“新息”由舊數(shù)據(jù)，估計新數(shù)據(jù)預(yù)測現(xiàn)在是27頁\一共有63頁\編輯于星期六A在誤差矢量上的投影正是所求的修正項回顧特性：現(xiàn)在是28頁\一共有63頁\編輯于星期六新息序列新息序列是：推導(dǎo)和應(yīng)用序貫LMMSE的關(guān)鍵正交的（即不相關(guān)的）矢量序列在信號處理和控制中非常重要現(xiàn)在是29頁\一共有63頁\編輯于星期六一般序貫LMMSE估計

初始化：無數(shù)據(jù)，利用先驗信息估計量更新：現(xiàn)在是30頁\一共有63頁\編輯于星期六序貫LMMSE框圖框圖與序貫LS相同現(xiàn)在是31頁\一共有63頁\編輯于星期六現(xiàn)在是32頁\一共有63頁\編輯于星期六回顧貝葉斯MSE最小的估計量稱為LMMSE估計量注意：LMMSE估計僅需1階和2階矩，不需PDF現(xiàn)在是33頁\一共有63頁\編輯于星期六矢量：全部隨機變量集合/0均值、有限方差（ZMFV）標(biāo)量：全部實數(shù)集合內(nèi)積：<X,Y>=E{XY}構(gòu)成內(nèi)積空間上節(jié)課回顧現(xiàn)在是34頁\一共有63頁\編輯于星期六上節(jié)課回顧矢量LMMSE估計若矩陣現(xiàn)在是35頁\一共有63頁\編輯于星期六上節(jié)課回顧

初始化：無數(shù)據(jù)，利用先驗信息估計量更新：一般序貫LMMSE估計現(xiàn)在是36頁\一共有63頁\編輯于星期六信號處理的例子——維納濾波器信號模型：問題表述：用線性濾波器處理，得到去噪的信號，使得所求信號相關(guān)的最小WSS廣義平穩(wěn)現(xiàn)在是37頁\一共有63頁\編輯于星期六濾波、平滑、預(yù)測現(xiàn)在是38頁\一共有63頁\編輯于星期六現(xiàn)在是39頁\一共有63頁\編輯于星期六FIR維納濾波原理上：實際中：現(xiàn)在是40頁\一共有63頁\編輯于星期六IIR維納濾波可看作，此時維納濾波為時不變的則維納-霍夫等式為可采用“譜因式分解”求得維納濾波為IIR時不變的現(xiàn)在是41頁\一共有63頁\編輯于星期六定長FIR維納濾波數(shù)據(jù)：現(xiàn)在是42頁\一共有63頁\編輯于星期六FIR平滑器為便于解釋，考慮N=1的情況：現(xiàn)在是43頁\一共有63頁\編輯于星期六IIR平滑器基于數(shù)據(jù)估計維納-霍夫方程為：IIR維納濾波現(xiàn)在是44頁\一共有63頁\編輯于星期六1步預(yù)測的結(jié)果：對于自回歸AR（3）現(xiàn)在是45頁\一共有63頁\編輯于星期六貝葉斯估計理論——內(nèi)容安排主要內(nèi)容引言線性貝葉斯估計量（LMMSE）估計量總結(jié)現(xiàn)在是46頁\一共有63頁\編輯于星期六估計方法在經(jīng)典方法中，數(shù)據(jù)信息總結(jié)在概率密度函數(shù)p(x;θ)中，其中PDF是θ的函數(shù)。在貝葉斯方法中，由于先驗PDFp(θ)描述了有關(guān)θ的知識而增加了數(shù)據(jù)的信息。數(shù)據(jù)信息總結(jié)在聯(lián)合PDFp(x,θ)中?，F(xiàn)在是47頁\一共有63頁\編輯于星期六CRLB現(xiàn)在是48頁\一共有63頁\編輯于星期六CRLB現(xiàn)在是49頁\一共有63頁\編輯于星期六BLUE現(xiàn)在是50頁\一共有63頁\編輯于星期六BLUE現(xiàn)在是51頁\一共有63頁\編輯于星期六MLE現(xiàn)在是52頁\一共有63頁\編輯于星期六MLE現(xiàn)在是53頁\一共有63頁\編輯于星期六LSE現(xiàn)在是54頁\一共有63頁\編輯于星期六LSE現(xiàn)在是55頁\一共有63頁\編輯