1、4.5 協(xié)方差和相關(guān)系數(shù),對于單個的隨機變量我們總是關(guān)心它的平均值和方差。但是對于兩個隨機變量的關(guān)系，我們關(guān)心的是它們之間有沒有聯(lián)系，如果有聯(lián)系，則聯(lián)系程度有多大？,當然可以用獨立性來描述兩個隨機變量有沒有聯(lián)系。但是獨立這件事情是需要研究它們的聯(lián)合分布，聯(lián)合分布通常要有一個概率密度的函數(shù)來描述，因此相當復(fù)雜，統(tǒng)計學界是不喜歡用的。希望能夠找到一個數(shù)字特征，單憑這個數(shù)，就能夠在相當程度上知道兩個隨機變量的關(guān)系有多緊密。而在統(tǒng)計學界最喜歡用的就是協(xié)方差和相關(guān)系數(shù)。,在研究兩個隨機變量X與Y的關(guān)系時，通常研究它們的偏差之間的關(guān)系，即令X1=X-E(X), Y1=Y-E(Y)，研究X1與Y1之間的關(guān)系

2、，這時候E(X1)=E(Y1)=0。,在研究兩個隨機變量X與Y的關(guān)系時，通常研究它們的偏差之間的關(guān)系，即令X1=X-E(X), Y1=Y-E(Y)，研究X1與Y1之間的關(guān)系，這時候E(X1)=E(Y1)=0。從大數(shù)定律的角度看，假設(shè)對(X1,Y1)試驗了n次得到n對數(shù)(a1,b1),(an,bn)，求它們相乘的平均值如何？即研究E(X1Y1)，這時候近似有,既然X1和Y1都是0均值的，它們的試驗數(shù)據(jù)一定有正數(shù)也有負數(shù)，而且正數(shù)和負數(shù)的數(shù)量大致差不多。如果X1,Y1相互獨立，則式(4.35)中分子的乘積項必然也是有正有負的，因為同號相乘的機會和異號相乘的機會也都差不多，因此可想而知分子上的數(shù)據(jù)加

3、起來會正負相消而等于0。,但是如果X1,Y1不相互獨立，比如說，它們同號的機會多，則上式能夠統(tǒng)計出一個正值來，這時可以粗糙地說X1越大則Y1越大，當然X,Y也是這個結(jié)論。而異號的機會多，則上式可以統(tǒng)計出一個負值來，這時可以粗糙地說X1越大則Y1越小，或者X越大Y越小。因此我們給出如下的協(xié)方差的定義和相關(guān)系數(shù)的定義。,定義 4.4設(shè)隨機變量X,Y的方差都存在且大于0，則稱它們的偏差相乘的數(shù)學期望為它們的協(xié)方差，用符號cov(X,Y)表示，即cov(X,Y)=EX-E(X)Y-E(Y)(4.36)將cov(X,Y)除以X和Y的標準差，稱得到的數(shù)為X,Y的相關(guān)系數(shù)，記作rXY, 即,定理 4.3 c

4、ov(X,Y)可用下式計算cov(X,Y)=E(XY)-E(X)E(Y)(4.38)證 由定義4.4,cov(X,Y)=EX-E(X)Y-E(Y)=EXY-E(X)Y-XE(Y)+E(X)E(Y)=E(XY)-E(X)E(Y)-E(X)E(Y)+E(X)E(Y)=E(XY)-E(X)E(Y),cov(X,Y)=E(XY)-E(X)E(Y)(4.38)通常用式(4.38)計算cov(X,Y)更為省事，記憶的方法是協(xié)方差等于相乘的均值減均值的相乘。當X,Y獨立時它們的協(xié)方差等于0。因此，計算cov(X,Y)，首先要算出E(X),E(Y)，然后將g(X,Y)=XY代入式(4.18)得如果(X,Y)是

5、離散型隨機變量，則將g(X,Y)=XY代入到式(4.19)得,定理 4.4隨機變量(X,Y)的相關(guān)系數(shù)的絕對值不大于1，即|rXY|1, 當|rXY|=1時，X-E(X)以概率1和Y-E(Y)成正比。證 令X1=X-E(X)為X的偏差，Y1=Y-E(Y)為Y的偏差，任給一常數(shù)t, X1+tY1為一隨機變量，它的均方值，即平方的期望必然不小于0，即有E(X1+tY1)20(4.41)而上面不等式的左邊展開得：,即上式右端為一t的形如at2+bt+c一元二次多項式，既然它不小于0，說明相應(yīng)的一元二次方程要么沒有實根，要么只有一對重的實根，其充分必要條件為方程的判別式b2-4ac0, 對應(yīng)于上面的,

6、注意及cov(X,Y)=E(X1Y1)則上面的不等式可以整理成即得|rXY|1。而當|rXY|=1時，上面的所有不等式相應(yīng)地都有等式，對應(yīng)的一元二次方程有機會存在重根，即存在某個數(shù)k, 使得當t=k時，式(4.41)成立等式E(X1+kY1)2=0(4.42),E(X1+kY1)2=0(4.42)因為式中是對一個隨機變量X1+kY1的平方取數(shù)學期望都等于0，根據(jù)上一節(jié)的討論必有X1+kY1=0以概率1成立，也就是X1與Y1以概率1成正比，證畢。,如果兩個隨機變量的相關(guān)系數(shù)等于0，被稱之為這兩個隨機變量不相關(guān)，反之，就稱這兩個隨機變量相關(guān)。當然，兩個隨機變量如果相互獨立，就一定不相關(guān)，但是反過來

7、不一定成立，就是說如果不相關(guān)，不一定就獨立，因為獨立是一種更為嚴格的兩個隨機變量毫無關(guān)系的表示。,而當相關(guān)系數(shù)的絕對值接近于1的時候，說明兩個隨機變量具有一定的“越越”的關(guān)系。在科學研究中之所以注重相關(guān)系數(shù)，也是因為科學家要尋找這種“越越”的關(guān)系。例如，“身高越高，體重越重”，就是一種“越越”的關(guān)系，但并不是說每一個人的身高和體重這兩個隨機變量是一個函數(shù)關(guān)系，并不象一個圓的周長和直徑成正比那樣的關(guān)系。,一般科學研究都是要提出一些“越越”的假說并給以驗證的。經(jīng)常有的時候是通過條件來控制一個隨機變量，來達到間接控制另一個隨機變量的目標。在控制論中經(jīng)常是有的隨機變量是可控的，因此就成為條件，另一個隨

8、機變量不可直接控制，卻可以通過對可控的隨機變量進行控制來達到間接控制另一個隨機變量的目標。,例如，如果發(fā)現(xiàn)“廣告費越高，銷售量就越大”，這時候相關(guān)系數(shù)應(yīng)當是正數(shù)，屬于正相關(guān)。再比如說有一種除草劑，“使用的量越多，則雜草的數(shù)量越少”就是一種負相關(guān)，這時候相關(guān)系數(shù)應(yīng)當是負數(shù)。,在科學研究中有時候需要重新定義適當?shù)碾S機變量來揭示這種“越越”的關(guān)系。例如，假設(shè)有兩個物理量的隨機變量X,Y滿足YkX2，則有可能X與Y的相關(guān)系數(shù)為0，但是如果這時候定義一個新的隨機變量X1=X2，定義這是一個新的物理指標，則X1與Y的相關(guān)系數(shù)的絕對值就是1。,如果X與Y大致滿足 這時可以新定義一個物理量 ，則Y與X1的相關(guān)

9、系數(shù)會等于1或-1。,當然，如果X與Y相互獨立，則無論怎么重新根據(jù)X定義新的隨機變量X1，相關(guān)系數(shù)也仍然是0，這時候在科學研究上可以宣布這兩個量毫無關(guān)系。,定理 4.5任給兩個隨機變量X,Y，如果它們的方差存在，則有D(X+Y)=D(X)+D(Y)+2cov(X,Y) (4.43)證 記X1與Y1為X,Y的偏差，X1=X-E(X), Y1=Y-E(Y)，則根據(jù)數(shù)學期望與方差的性質(zhì)知E(X1)=E(Y1)=E(X1+Y1)=0,因此，由可得式(4.43)，證畢。,D(X+Y)=D(X)+D(Y)+2cov(X,Y) (4.43)由式(4.43)可知，當X,Y不相關(guān)時，即cov(X,Y)=0或者r

10、XY=0時，成立下式：D(X+Y)=D(X)+D(Y)(4.44)即本來是X,Y獨立時滿足的方差的性質(zhì)，其實只要X,Y不相關(guān)也就具有同樣的性質(zhì)。,例 4.13求例 4.5中隨機變量X,Y的協(xié)方差cov(X,Y)和相關(guān)系數(shù)rXY。解 在例 4.5中已經(jīng)求出 , 因此,回顧例4.5例 4.5設(shè)隨機變量(X,Y)在區(qū)域A內(nèi)服從均勻分布，A是由x軸、y軸及直線x+y=1包圍的區(qū)域，試求E(X), E(Y), E(X2),E(Y2), E(XY)。解 區(qū)域A的面積是1/2，因此(X,Y)的概率密度f(x,y)就是在A內(nèi)取常數(shù)值為1/2的倒數(shù)2，即f(x,y)=2in(x;0,1)in(y;0,1-x)應(yīng)

11、當知道x,y,x2,y2,xy都可以視為某種二元函數(shù)，例如，當g(x,y)=x時，不過就是函數(shù)值與自變量y無關(guān)罷了，讀者應(yīng)當學會這種思考。因此利用式(4.18)可得,而此題中X和Y是對稱的，就是說(X,Y)的分布與(Y,X)的分布相同，因此知道,根據(jù)對稱性知,象此例中的求E(XY)，如果非要先算出Z=XY的概率密度再求E(Z)，那是相當麻煩的。,例 4.13求例 4.5中隨機變量X,Y的協(xié)方差cov(X,Y)和相關(guān)系數(shù)rXY。解 在例 4.5中已經(jīng)求出 , 因此,因此由X,Y的對稱性知,例 4.14求例 4.6中隨機變量X,Y的協(xié)方差cov(X,Y)和相關(guān)系數(shù)rXY。解 在例 4.6中已經(jīng)算得

12、E(X)=1.7, E(Y)=1.4, E(X2)=3.5, E(Y2)=2.2, E(XY)=2.4, 因此D(X)=E(X2)-E(X)2=3.5-1.72=0.61D(Y)=E(Y2)-E(Y)2=2.2-1.42=0.24cov(X,Y)=E(XY)-E(X)E(Y)=2.4-1.71.4=0.02,下面給出隨機變量的標準化變量的概念并研究相關(guān)系數(shù)和標準化變量之間的關(guān)系。定義 4.5 設(shè)隨機變量X的期望E(X)和方差D(X)都存在，則稱為X的標準化隨機變量。易證E(X*)=0, D(X*)=1, 即X的標準化隨機變量通過線性函數(shù)將數(shù)學期望和方差標準化為0和1。,定理 4.6 設(shè)隨機變量

13、(X,Y)的相關(guān)系數(shù)存在，X和Y的標準化隨機變量分別為X*,Y*，則下式成立：,證 由得,定理 4.7 設(shè)隨機變量X的標準化隨機變量X*存在，設(shè)X1=aX+b, a0, 則X1的標準化隨機變量仍然是X*，換言之，將aX+b, a0稱之為X的非退化的線性函數(shù)，則X的非退化的線性函數(shù)不改變其標準化隨機變量。證 由X1=aX+b, a0, 及數(shù)學期望和方差的性質(zhì)可知E(X1)=aE(X)+b, D(X1)=a2D(X), 則X1的標準化隨機變量為,證 由X1=aX+b, a0, 及數(shù)學期望和方差的性質(zhì)可知E(X1)=aE(X)+b, D(X1)=a2D(X), 則X1的標準化隨機變量為,定理 4.8

14、 設(shè)隨機變量(X,Y)的相關(guān)系數(shù)存在，并設(shè)X1=aX+b, Y1=cY+d, 其中a0, c0, 則即兩個隨機變量X,Y經(jīng)過非退化的線性函數(shù)算出新的兩個隨機變量X1,Y1，則X1,Y1的相關(guān)系數(shù)和X,Y的一樣，保持不變。,證 由定理所給條件及定理 4.7，X1,Y1的標準化隨機變量仍然是X,Y的標準化隨機變量X*,Y*, 再由定理 4.6可得,4.6 矩和協(xié)方差矩陣,前面已經(jīng)定義的一些隨機變量的數(shù)字特征可以統(tǒng)一地稱為矩，定義如下。,定義 4.6 對隨機變量X,Y，稱E(X)是X的1階原點矩或簡稱為1階矩，稱E(X2)是X的2階原點矩或2階矩，稱D(X)為X的2階中心矩，稱E(XY)為X和Y的2階混合原點矩，稱cov(X,Y)為X,Y的2階混合中心矩。記1階和2階原點矩為m1,m2, 記D(X)為n2。當然以此類推也可以定義3階及以上的各種矩，即k階原點矩和k階中心矩，但是超出本書有用的范圍了。,對n維隨機變量(X1,X2,Xn), 記cij=cov(Xi,Xj),(i,j=1,2,n)(4.48)假設(shè)這些