第二章多元正態(tài)分布的參數(shù)估計詳解演示文稿當前第1頁\共有63頁\編于星期三\9點優(yōu)選第二章多元正態(tài)分布的參數(shù)估計當前第2頁\共有63頁\編于星期三\9點例1（二元正態(tài)分布）設X~N2(μ,Σ)，這里易見，ρ是X1和

X2的相關系數(shù)。當|ρ|<1時，可得X的概率密度函數(shù)為：當前第3頁\共有63頁\編于星期三\9點二元正態(tài)分布的密度曲面圖下圖是當時二元正態(tài)分布的鐘形密度曲面圖。當前第4頁\共有63頁\編于星期三\9點二元正態(tài)分布等高線等高（橢圓）線：上述等高線上的密度值當前第5頁\共有63頁\編于星期三\9點二元正態(tài)分布的密度等高線族

（由10000個二維隨機數(shù)生成）|ρ|越大，長軸越長，短軸越短，即橢圓越扁平；|ρ|越小，長軸越短，短軸越長，即橢圓越圓；|ρ|=1時橢圓退化為一條線段；|ρ|=0時即為圓。當前第6頁\共有63頁\編于星期三\9點§2.2多元正態(tài)分布的性質（1）多元正態(tài)分布的特征函數(shù)是：（2）設X是一個p維隨機向量，則X服從多元正態(tài)分布，當且僅當它的任何線性函數(shù)均服從一元正態(tài)分布。性質（2）?？捎脕碜C明隨機向量服從多元正態(tài)分布。（3）設X~Np

(μ,Σ)，Y=CX+b其中C為r×p常數(shù)矩陣，則該性質表明，（多元）正態(tài)變量的任何線性變換仍為（多元）正態(tài)變量。當前第7頁\共有63頁\編于星期三\9點（4）設X~Np

(μ,Σ)，則X的任何子向量也服從（多元）正態(tài)分布，其均值為μ的相應子向量，協(xié)方差矩陣為Σ的相應子矩陣。該性質說明了多元正態(tài)分布的任何邊緣分布仍為（多元）正態(tài)分布。需注意，隨機向量的任何邊緣分布皆為（多元）正態(tài)分布未必表明該隨機向量就服從多元正態(tài)分布。§2.2多元正態(tài)分布的性質當前第8頁\共有63頁\編于星期三\9點正態(tài)變量的線性組合未必就是正態(tài)變量。證明:

反證法。若命題“一元正態(tài)變量X1,X2,?,Xn的一切線性組合一定是一元正態(tài)變量”成立，則由性質（2）知，X1,X2,?,Xn的聯(lián)合分布必為多元正態(tài)分布，于是命題“一元正態(tài)變量的聯(lián)合分布必為多元正態(tài)分布”成立，從而矛盾?！?.2多元正態(tài)分布的性質當前第9頁\共有63頁\編于星期三\9點

當前第10頁\共有63頁\編于星期三\9點當前第11頁\共有63頁\編于星期三\9點當前第12頁\共有63頁\編于星期三\9點當前第13頁\共有63頁\編于星期三\9點當前第14頁\共有63頁\編于星期三\9點則（i）

；

（ii）

；（iii）

。例3

設X~N4(μ,Σ)，這里當前第15頁\共有63頁\編于星期三\9點§2.2多元正態(tài)分布的性質（5）設X1,X2,?,Xn相互獨立，且Xi~Np

(μi,Σi)，i=1,2,?,n，則對任意n個常數(shù)，有此性質表明，獨立的多元正態(tài)變量（維數(shù)相同）的任意線性組合仍為多元正態(tài)變量。（6）設X~Np

(μ,Σ)，對X,μ,Σ(>0)作如下的剖分：當前第16頁\共有63頁\編于星期三\9點則子向量X1和X2相互獨立，當且僅當Σ12=0。該性質指出，對于多元正態(tài)變量而言，其子向量之間互不相關和相互獨立是等價的。（7）設X~Np

(μ,Σ),Σ>0，則例4

設X~N3(μ,Σ)，其中

則X2和X3不獨立，X1和(X2,X3)獨立。當前第17頁\共有63頁\編于星期三\9點（8）設X~Np

(μ,Σ),Σ>0，作如下剖分

則給定X2時X1的條件分布為，其中μ1·2和Σ11·2分別是條件數(shù)學期望和條件協(xié)方差矩陣，Σ11·2通常稱為偏協(xié)方差矩陣。當前第18頁\共有63頁\編于星期三\9點這一性質表明，對于多元正態(tài)變量，其子向量的條件分布仍是（多元）正態(tài)的。例5設X~N3(μ,Σ)，其中

試求給定X1+2X3時

的條件分布。當前第19頁\共有63頁\編于星期三\9點§2.3復相關系數(shù)和偏相關系數(shù)一、復相關系數(shù)二、偏相關系數(shù)當前第20頁\共有63頁\編于星期三\9點一、復相關系數(shù)相關系數(shù)度量了一個隨機變量x1與另一個隨機變量x2之間線性關系的強弱。復相關系數(shù)度量了一個隨機變量X1與一組隨機變量X2,?,Xp之間線性關系的強弱。將X,Σ(>0)剖分如下：當前第21頁\共有63頁\編于星期三\9點

X1和X2的線性函數(shù)間的最大相關系數(shù)稱為X1和X2間的復(或多重)相關系數(shù)(multiplecorrelationcoefficient)，記作ρ1?2,?,p,它度量了一個變量X1與一組變量X2,?,Xp間的相關程度?？赏茖С隼?

隨機變量X1,?,Xp的任一線性函數(shù)F=l1X1+?+lpXp與X1,?,Xp的復相關系數(shù)為1。證明:當前第22頁\共有63頁\編于星期三\9點二、偏相關系數(shù)將X,Σ(>0)剖分如下：稱為給定X2時X1的偏協(xié)方差矩陣。記，稱為偏協(xié)方差，它是剔除了的（線性）影響之后，Xi和Xj之間的協(xié)方差。當前第23頁\共有63頁\編于星期三\9點給定X2時Xi

和Xj的偏相關系數(shù)（partialcorrelationcoefficient）定義為:其中。ρij?k+1,?,p度量了剔除Xk+1,?,Xp的（線性）影響之后，Xi和Xj間相關關系的強弱。對于多元正態(tài)變量X，由于Σ11?2也是條件協(xié)方差矩陣，故此時偏相關系數(shù)與條件相關系數(shù)是同一個值，從而ρij?k+1,?,p同時也度量了在Xk+1,?,Xp值給定的條件下Xi和Xj間相關關系的強弱。當前第24頁\共有63頁\編于星期三\9點§2.4極大似然估計及估計量的性質一、樣本X1,X2,?,Xn的聯(lián)合概率密度二、μ和Σ的極大似然估計三、相關系數(shù)的極大似然估計四、估計量的性質當前第25頁\共有63頁\編于星期三\9點設X~Np(μ,Σ),Σ>0，X1,X2,?,Xn是從總體X中抽取的一個簡單隨機樣本（今后簡稱為樣本），即滿足：X1,X2,?,Xn獨立，且與總體分布相同。令稱之為（樣本）數(shù)據(jù)矩陣或觀測值矩陣。當前第26頁\共有63頁\編于星期三\9點一、樣本X1,X2,?,XN的聯(lián)合概率密度極大似然估計是通過似然函數(shù)來求得的，似然函數(shù)可以是樣本聯(lián)合概率密度

f(x1,x2,?,xn)的任意正常數(shù)倍，我們不妨取成相等，記為L(μ,Σ)。可具體表達為：當前第27頁\共有63頁\編于星期三\9點二、Μ和Σ的極大似然估計一元正態(tài)情形：多元正態(tài)情形：其中稱為樣本均值向量（簡稱為樣本均值），

稱為樣本離差矩陣。當前第28頁\共有63頁\編于星期三\9點三、相關系數(shù)的極大似然估計1.簡單相關系數(shù)2.復相關系數(shù)3.偏相關系數(shù)當前第29頁\共有63頁\編于星期三\9點1.簡單相關系數(shù)相關系數(shù)ρij的極大似然估計為:其中

。稱S為樣本協(xié)方差矩陣、rij為樣本相關系數(shù)、

為樣本相關矩陣。當前第30頁\共有63頁\編于星期三\9點2.復相關系數(shù)將X,Σ(>0),S剖分如下：則復相關系數(shù)ρ1?2,?,p的極大似然估計為r1?2,?,p,稱之為樣本復相關系數(shù)。其中

當前第31頁\共有63頁\編于星期三\9點3.偏相關系數(shù)將X,Σ(>0),S剖分如下：則偏相關系數(shù)ρij?k+1,?,p的極大似然估計為rij?k+1,?,p，稱之為樣本偏相關系數(shù)，其中當前第32頁\共有63頁\編于星期三\9點§3.5和(N?1)S2的抽樣分布一、的抽樣分布二、(n?1)S的抽樣分布當前第33頁\共有63頁\編于星期三\9點一、的抽樣分布1.正態(tài)總體設X~Np

(μ,Σ),Σ>0，X1,X2,?,Xn是從總體X中抽取的一個樣本，則2.非正態(tài)總體（中心極限定理）設X1,X2,?,Xn是來自總體X的一個樣本，μ和Σ存在，當n很大且n相對于p也很大時，上式近似地成立。當前第34頁\共有63頁\編于星期三\9點當前第35頁\共有63頁\編于星期三\9點

當前第36頁\共有63頁\編于星期三\9點當前第37頁\共有63頁\編于星期三\9點當前第38頁\共有63頁\編于星期三\9點

當前第39頁\共有63頁\編于星期三\9點

當前第40頁\共有63頁\編于星期三\9點當前第41頁\共有63頁\編于星期三\9點

當前第42頁\共有63頁\編于星期三\9點二、均值向量與協(xié)差陣的最大似然估計

當前第43頁\共有63頁\編于星期三\9點

當前第44頁\共有63頁\編于星期三\9點

當前第45頁\共有63頁\編于星期三\9點

當前第46頁\共有63頁\編于星期三\9點

當前第47頁\共有63頁\編于星期三\9點三、估計量的性質1.無偏性2.有效性3.一致性4.充分性當前第48頁\共有63頁\編于星期三\9點充分統(tǒng)計量1充分性的概念例1為研究某種產品的合格品率，我們對該產品進行檢查，從該產品中隨機抽取10件進行觀測，發(fā)現(xiàn)除第三、六件產品不合格外，其余8件產品都是合格品。這樣的觀測結果包含了兩種信息：(1)10件產品有8件是合格品；(2)2件不合格品分別是第三和第六件。當前第49頁\共有63頁\編于星期三\9點第二種信息對了解該產品合格品率是沒有什么幫助的。一般地，設我們對該產品進行n次觀測，得到x1,x2,…,xn，每個xj

取值非0即1，合格為1，不合格為0。令T=x1+…+xn

，T為觀測到的合格品數(shù)。在這種場合僅僅記錄使用T不會丟失任何與合格品率有關的信息，統(tǒng)計上將這種“樣本加工不損失信息”稱為“充分性”。樣本x=(x1,x2,…,xn)有一個樣本分布F

(x)，這個分布包含了樣本中一切有關的信息。當前第50頁\共有63頁\編于星期三\9點統(tǒng)計量T=T(x1,x2,…,xn)也有一個抽樣分布FT(t)，這個分布包含了統(tǒng)計量T中一切有關的信息.當我們期望用統(tǒng)計量T代替原始樣本且不損失任何有關的信息時，也就是期望抽樣分布FT(t)像F(x)一樣概括了有關的一切信息.這即是說在統(tǒng)計量T取值為t的情況下樣本x的條件分布F(x|T=t)已不含的信息，這正是統(tǒng)計量具有充分性的含義。當前第51頁\共有63頁\編于星期三\9點定義

(充分統(tǒng)計量)設x1,x2,…,xn

是來自某個總體的樣本，總體分布函數(shù)為F

(x;)，統(tǒng)計量T=T(x1,x2,…,xn)稱為的充分統(tǒng)計量，如果在給定T的取值后，x1,x2,…,xn的條件分布與無關.當前第52頁\共有63頁\編于星期三\9點例2設總體為二點分布為樣本,令

則T是的充分統(tǒng)計量;若則S不是的充分統(tǒng)計量.下面我們給出幾個例子,根據(jù)定義來驗證一個統(tǒng)計量是不是充分的.當前第53頁\共有63頁\編于星期三\9點在一般場合直接由定義出發(fā)驗證一個統(tǒng)計量是充分統(tǒng)計量比較困難.奈曼(Neyman)給出了一個簡單的判別方法---因子分解定理.充分性原則：在充分統(tǒng)計量存在的場合，任何統(tǒng)計推斷都可以基于充分統(tǒng)計量進行，這可以簡化統(tǒng)計推斷的程序,稱該原則為充分性原則.當前第54頁\共有63頁\編于星期三\9點

當前第55頁\共有63頁\編于星期三\9點四、WISHART分布

當前第56頁\共有63頁\編于星期三\9點

當前第57頁\共有63頁\編于星期三\9點當前第58頁\共有63頁\編于星期三\9點當前第59頁\