1、第十章 典型相關(guān)分析,10.1 引言 10.2 總體典型相關(guān) 10.3 樣本典型相關(guān) 10.4 典型相關(guān)系數(shù)的顯著性檢驗(yàn),1,10.1 引言,典型相關(guān)分析是研究兩組變量之間相關(guān)關(guān)系的一種統(tǒng)計(jì)分析方法，它能夠有效地揭示兩組變量之間的相互線性依賴關(guān)系。 典型相關(guān)分析是由霍特林（Hotelling,1935,1936）首先提出的。,2,典型相關(guān)分析的應(yīng)用例子,在工廠里，考察產(chǎn)品的q個(gè)質(zhì)量指標(biāo)(y1,y2,yq)與原材料的p個(gè)質(zhì)量指標(biāo)(x1,x2,xp)之間的相關(guān)關(guān)系； 牛肉、豬肉的價(jià)格與按人口平均的牛肉、豬肉的消費(fèi)量之間的相關(guān)關(guān)系； 初一學(xué)生的閱讀速度、閱讀才能與數(shù)學(xué)運(yùn)算速度、數(shù)學(xué)運(yùn)算才能之間的相關(guān)

2、關(guān)系； 碩士研究生入學(xué)考試的各科成績與本科階段一些主要課程成績之間的相關(guān)關(guān)系； 一組政府政策變量與一組經(jīng)濟(jì)目標(biāo)變量之間的相關(guān)關(guān)系。,3,10.2 總體典型相關(guān),一、典型相關(guān)的定義及導(dǎo)出 二、典型變量的性質(zhì) 三、從相關(guān)矩陣出發(fā)計(jì)算典型相關(guān),4,一、典型相關(guān)的定義及導(dǎo)出,設(shè)x=(x1,x2,xp)和y=(y1,y2,yq)是兩組隨機(jī)變量，且V(x)=11(0)，V(y)=22(0)，Cov(x, y)=12，即有 其中21=12。 我們研究u=ax與v=by之間的相關(guān)關(guān)系，其中 a=(a1,a2,ap)，b=(b1,b2,bq) Cov(u,v)=Cov(ax,by)=aCov(x,y)b=a12

3、b V(u)=V(ax)=aV(x)a=a11a V(v)=V(by)=bV(y)b=b22b,5,所以 附加約束條件 V(u)=1，V(v)=1 即 a11a=1，b22b=1 在此約束條件下，求aRp和bRq，使得 (u,v)=a12b 達(dá)到最大。,(10.2.5),6,都有著相同的非零特征值，可記為 ，這里m為12的秩。這是因?yàn)椋?記i是 的算術(shù)平方根，i=1,2,m。,7,設(shè) 相應(yīng)于 的正交單位特征向量為1,2,m，令 1,2,m為 相應(yīng)于 的正交單位特征向量。 a1,a2,am為 相應(yīng)于 的特征向量。 b1,b2,bm為 相應(yīng)于 的特征向量。,8,當(dāng)取a = a1，b = b1時(shí)，滿

4、足約束條件(10.2.5)，且(u,v)=a12b達(dá)到最大值1 ，顯然11。我們稱 為第一對(duì)典型變量，稱a1，b1為第一對(duì)典型系數(shù)向量，稱1為第一典型相關(guān)系數(shù)。 第一對(duì)典型變量u1,v1提取了x與y之間相關(guān)的最主要部分，如果這一部分還顯得不夠，可以在剩余相關(guān)中再求出第二對(duì)典型變量u2=ax,v2=by，也就是a,b應(yīng)滿足標(biāo)準(zhǔn)化條件且應(yīng)使得第二對(duì)典型變量不包括第一對(duì)典型變量所含的信息，即 (u2,u1)=(ax,a1x)=Cov(ax, a1x)=a11a1=0 (v2,v1)=(by,b1y)=Cov(by,b1y)=b22b1=0,9,在這些約束條件下使得 (u2,v2)=(ax,by)=a

5、12b 達(dá)到最大。 一般地，第i（1im）對(duì)典型變量ui=ax,vi=by是指，找出aRp,bRq，在約束條件 a11a=1，b22b=1 a11ak=0，b22bk=0，k=1,2,i1 下，使得 (ui,vi)=(ax,by)=a12b 達(dá)到最大。 當(dāng)取a=ai，b=bi時(shí)，能滿足上述約束條件，并使(ui,vi)達(dá)到最大值i，稱它為第i典型相關(guān)系數(shù)，稱ai，bi為第i對(duì)典型系數(shù)向量。,10,二、典型相關(guān)變量的性質(zhì),1.同一組的典型變量互不相關(guān) 2.不同組的典型變量之間的相關(guān)性 3.原始變量與典型變量之間的相關(guān)系數(shù) 4.典型相關(guān)系數(shù)也是某種復(fù)相關(guān)系數(shù) 5.簡單相關(guān)、復(fù)相關(guān)和典型相關(guān)之間的關(guān)系

6、,11,1.同一組的典型變量互不相關(guān),設(shè)x,y的第i對(duì)典型變量為 ui=aix，vi=biy， i=1,2,m 則有 V(ui)=ai11ai=1，V(vi)=bi22bi=1，i=1,2,m (ui,uj)=Cov(ui,uj)=ai11aj=0，1ijm (vi,vj)=Cov(vi,vj)=bi22bj=0，1ijm,12,2.不同組的典型變量之間的相關(guān)性,(ui,vi)=i，i=1,2,m 記u=(u1,u2,um)，v=(v1,v2,vm)，則上述兩個(gè)性質(zhì)可用矩陣表示為 V(u)=I，V(v)=I，Cov(u,v)= 或 其中=diag(1,2,m)。,13,3.原始變量與典型變量之

7、間的相關(guān)系數(shù),記A=(a1,a2,am)，B=(b1,b2,bm)，則 u=Ax， v=By 原始變量與典型變量之間的協(xié)方差矩陣為 Cov(x,u)=Cov(x,Ax)=11A Cov(x,v)=Cov(x,By)=12B Cov(y,u)=Cov(y,Ax)=21A Cov(y,v)=Cov(y,By)=22B,14,原始變量與典型變量之間的相關(guān)矩陣為 其中,(10.2.18),15,(10.2.18)式的證明,現(xiàn)證明第一個(gè)等式，其余三個(gè)等式的證明是完全類似的。令 其中1=E(x)，2=E(y)，即對(duì)x和y的各分量作標(biāo)準(zhǔn)化變換，于是,16,4.典型相關(guān)系數(shù)也是某種復(fù)相關(guān)系數(shù),與y的復(fù)相關(guān)系數(shù)

8、為 與x的復(fù)相關(guān)系數(shù)為,17,5.簡單相關(guān)、復(fù)相關(guān)和典型相關(guān)之間的關(guān)系,當(dāng)p=q=1時(shí)，x與y之間的（唯一）典型相關(guān)就是它們之間的簡單相關(guān)。 當(dāng)p=1或q=1時(shí)，x與y之間的（唯一）典型相關(guān)就是它們之間的復(fù)相關(guān)。 可見，復(fù)相關(guān)是典型相關(guān)的一個(gè)特例，而簡單相關(guān)是復(fù)相關(guān)的一個(gè)特例。 第一典型相關(guān)系數(shù)至少同x（或y）的任一分量與y（或x）的復(fù)相關(guān)系數(shù)一樣大，即使所有這些復(fù)相關(guān)系數(shù)都較小，第一典型相關(guān)系數(shù)仍可能很大； 同樣，當(dāng)p=1（或q=1）時(shí)，x（或y）與y（或x）之間的復(fù)相關(guān)系數(shù)也不會(huì)小于x（或y）與y（或x）的任一分量之間的相關(guān)系數(shù)，即使所有這些相關(guān)系數(shù)都較小，復(fù)相關(guān)系數(shù)仍可能很大。,18,三

9、、從相關(guān)矩陣出發(fā)計(jì)算典型相關(guān),有時(shí)，x和y的各分量的單位不全相同，我們希望在對(duì)各分量作標(biāo)準(zhǔn)化變換之后再作典型相關(guān)分析。 設(shè) 為 的相關(guān)矩陣，現(xiàn)來求x*和y*的典型相 關(guān)變量 。,19,于是 因?yàn)?所以 式中 ，有 。同理 式中 ，有 。,20,由此可見， 為x*和y*的第i對(duì)典型系數(shù)，其第i典型相關(guān)系數(shù)仍為i，在標(biāo)準(zhǔn)化變換下具有不變性，這一點(diǎn)與主成分分析有所不同。 由于 故x*和y*的第i對(duì)典型變量 是x和y的第i對(duì)典型變量ui=aix，vi=biy的中心化值，自然都具有零均值。 例10.2.1 設(shè)x,y有如下相關(guān)矩陣： 這里|1, | |1，可以保證 存在。,21,由于11有唯一的非零特征值

10、11=2，故 有唯一非零特征值 在約束條件 下，相應(yīng)于特征值 的特征向量為 。同理，在約束條件 下，,22,相應(yīng)于特征值 的特征向量為 。所以，第一對(duì)典型變量為 第一典型相關(guān)系數(shù)為 。由于|，表明第一典型相關(guān)系數(shù)大于兩組原始變量之間的相關(guān)系數(shù)。,23,10.3 樣本典型相關(guān),設(shè)數(shù)據(jù)矩陣為 則樣本協(xié)方差矩陣為 S可用來作為的估計(jì)。當(dāng)np+q時(shí)， 可分別作為 的估計(jì)；它們的非零特征值 可用來估計(jì) ；,24,相應(yīng)的特征向量 作為a1,a2,am的估計(jì)， 作為b1,b2,bm的估計(jì)。 的正平方根rj稱為第i樣本典型相關(guān)系數(shù)， 稱為第i對(duì)樣本典型相關(guān)變量, i=1,2,m。 中心化的m對(duì)典型變量為 將樣

11、本(xj,yj)，j=1,2,n代入上式，有 分別稱uji和vij為（第j個(gè)樣品的）xj和yj的第i樣本典型變量得分。由約束條件可得ui的樣本方差,25,同理可得vi的樣本方差 可畫出第一對(duì)典型變量得分(uj1,vj1)，j=1,2,n的散點(diǎn)圖，該圖能最大限度地呈現(xiàn)兩組變量之間的相關(guān)性，也可用來檢查是否有異常值出現(xiàn)。如需要，可再畫出第二對(duì)或更多對(duì)的典型變量得分散點(diǎn)圖。 樣本典型變量對(duì)（在前述的約束條件下）使樣本相關(guān)系數(shù)達(dá)到最大，而非使（總體）相關(guān)系數(shù)達(dá)到最大；同組的樣本典型變量之間是樣本不相關(guān)，而非（總體）不相關(guān)；樣本典型變量的樣本方差為1，而非（總體）方差為1。,26,例10.3.1 某康復(fù)

12、俱樂部對(duì)20名中年人測量了三個(gè)生理指標(biāo)：體重(x1)、腰圍(x2)、脈搏(x3)和三個(gè)訓(xùn)練指標(biāo)：引體向上(y1)、起坐次數(shù)(y2)、跳躍次數(shù)(y3)。其數(shù)據(jù)列于表10.3.1。,表10.3.1某康復(fù)俱樂部的生理指標(biāo)和訓(xùn)練指標(biāo)數(shù)據(jù),27,28,的特征值分別為0.6330、0.0402和0.0053，于是 r1=0.796，r2=0.201，r3=0.073 相應(yīng)的樣本典型系數(shù)向量為,29,因此，第一對(duì)樣本典型變量為 如果需要，第二對(duì)樣本典型變量為,30,例10.3.2 在研究組織結(jié)構(gòu)對(duì)“職業(yè)滿意度”的影響時(shí)，作為其中一部分，鄧訥姆(Dunham)調(diào)查了職業(yè)滿意度與職業(yè)特性相關(guān)的程度。對(duì)從一大型零

13、售公司各分公司挑出的n=784個(gè)行政人員，測量了p=5個(gè)職業(yè)特性變量：用戶反饋(x1)、任務(wù)重要性(x2)、任務(wù)多樣性(x3)、任務(wù)特性(x4)及自主權(quán)(x5)和q=7個(gè)職業(yè)滿意度量：主管滿意度(y1)、事業(yè)前景滿意度(y2)、財(cái)政滿意度(y3)、工作強(qiáng)度滿意度(y4)、公司地位滿意度(y5)、工種滿意度(y6)及總體滿意度(y7)。對(duì)784個(gè)被測者的樣本相關(guān)矩陣為,31,樣本典型相關(guān)系數(shù)和樣本典型系數(shù)列于表10.3.2中。,32,表10.3.2 典型相關(guān)系數(shù)和典型系數(shù),33,第一對(duì)樣本典型變量為 根據(jù)典型系數(shù)，u1*主要代表了用戶反饋和自主權(quán)這兩個(gè)變量，三個(gè)任務(wù)變量顯得并不重要；而v1*主要

14、代表了主管滿意度和工種滿意度變量，其次代表了事業(yè)前景滿意度和公司地位滿意度變量。我們也可從相關(guān)系數(shù)的角度來解釋典型變量，原始變量與第一對(duì)典型變量間的樣本相關(guān)系數(shù)列于表10.3.3中。,34,所有五個(gè)職業(yè)特性變量與第一典型變量u1*有大致相同的相關(guān)系數(shù)，故u1*可以解釋為職業(yè)特性變量，這與基于典型系數(shù)的解釋不同。v1*主要代表了主管滿意度、事業(yè)前景滿意度、公司地位滿意度和工種滿意度，v1*可以解釋為職業(yè)滿意度公司地位變量，這與基于典型系數(shù)的解釋基本相一致。第一對(duì)典型變量u1*與v1*的樣本相關(guān)系數(shù)r1=0.55，可見，職業(yè)特性與職業(yè)滿意度之間有一定程度的相關(guān)性。,表10.3.3 原始變量與典型變

15、量的樣本相關(guān)系數(shù),35,10.4 典型相關(guān)系數(shù)的顯著性檢驗(yàn),一、全部總體典型相關(guān)系數(shù)均為零的檢驗(yàn) 二、部分總體典型相關(guān)系數(shù)為零的檢驗(yàn),36,一、全部總體典型相關(guān)系數(shù)均為零的檢驗(yàn),設(shè) 。又設(shè)S為樣本協(xié)差陣，且np+q。 考慮假設(shè)檢驗(yàn)問題： H0：1=2=m=0 H1：1,2,m至少有一個(gè)不為零 其中m=minp,q。若檢驗(yàn)接受H0，則認(rèn)為討論兩組變量之間的相關(guān)性沒有意義；若檢驗(yàn)拒絕H0，則認(rèn)為第一對(duì)典型變量是顯著的。 (10.4.1)式等價(jià)于假設(shè)檢驗(yàn)問題 H0：12=0，H1：120 H0成立表明x與y互不相關(guān)。,(10.4.1),37,似然比檢驗(yàn)統(tǒng)計(jì)量為 對(duì)于充分大的n，當(dāng)H0成立時(shí)，統(tǒng)計(jì)量

16、在給定的下，若 ，則拒絕H0，認(rèn)為典型變量u1與v1之間的相關(guān)性是顯著的；否則，就認(rèn)為第一典型相關(guān)系數(shù)不顯著。,38,例10.4.1 在例10.3.1中，假設(shè)為多元正態(tài)數(shù)據(jù)，欲檢驗(yàn)： H0：1=2=3=0，H1：10 它的似然比統(tǒng)計(jì)量為 查2分布表得， ，因此在=0.10的顯著性水平下，拒絕原假設(shè)H0，也即認(rèn)為至少有一個(gè)典型相關(guān)是顯著的(p=0.062) 。,39,二、部分總體典型相關(guān)系數(shù)為零的檢驗(yàn),若H0：1=2=m=0經(jīng)檢驗(yàn)被拒絕，則應(yīng)進(jìn)一步檢驗(yàn)假設(shè) H0：2=m=0 H1：2,m至少有一個(gè)不為零 若原假設(shè)H0被接受，則認(rèn)為只有第一對(duì)典型變量是顯著的；若原假設(shè)H0被拒絕，則認(rèn)為第二對(duì)典型變量也是顯著的。 如此進(jìn)行下去，直至對(duì)某個(gè)k，假設(shè)H0：k+1=m=0被接受，這時(shí)可認(rèn)為只有前k對(duì)典型變量是顯著的。 對(duì)于假設(shè)檢驗(yàn)問題 H0：k+1=m=0 H1：k+1,m至少有一個(gè)不為零,40,其檢驗(yàn)統(tǒng)計(jì)量為 對(duì)于充分大的n，當(dāng)H0為真時(shí)，統(tǒng)計(jì)量 近似服從2 (pk)(qk) 。給定，若 ，則拒絕H