1、多元統(tǒng)計(jì)分析,典型相關(guān)分析及應(yīng)用,研究多個(gè)變量與多個(gè)變量之間的相關(guān)性,典型相關(guān)分析,典型相關(guān)分析基本理論,典型相關(guān)分析求解方法,典型相關(guān)系數(shù)的假設(shè)檢驗(yàn),典型相關(guān)分析在SPSS中的運(yùn)用,統(tǒng)計(jì)思想和基本理論,典型相關(guān)分析 ( Canonical Correlation Analysis) 是研究兩組變量之間相關(guān)關(guān)系的一種多元計(jì)方法。它能夠揭示出兩組變之間的內(nèi)在聯(lián)系。也是一種運(yùn)用于多元統(tǒng)計(jì)中的降維技術(shù)。 其目的是識別并量化兩組變量之間的聯(lián)系，將兩組變量相關(guān)關(guān)系的分析，轉(zhuǎn)化為一組變量的線性組合與另一組變量線性組合之間的相關(guān)關(guān)系分析。,統(tǒng)計(jì)思想和基本理論,典型相關(guān)分析最早由1936年霍特林 Hotell

2、ing在生物統(tǒng)計(jì)上發(fā)表的論文兩組變量之間的關(guān)系提出， 其計(jì)算方法后經(jīng)過多年的應(yīng)用日趨完善。,哈羅德霍特林（HaroldHotelling,18951973）：統(tǒng)計(jì)學(xué)界、經(jīng)濟(jì)學(xué)界、數(shù)學(xué)界公認(rèn)大師,典型相關(guān)分析相關(guān)實(shí)例,典型相關(guān)分析的應(yīng)用十分廣泛。 例如,典型相關(guān)分析相關(guān)實(shí)例,再如 考察一些與財(cái)政政策有關(guān)的指標(biāo)-如財(cái)政支出總額的增長率，財(cái)政赤字增長率，稅率降低, 和與經(jīng)濟(jì)發(fā)展的一系列指標(biāo)如國內(nèi)GDP增長率，就業(yè)增長率，物價(jià)上漲率等，來研究擴(kuò)張性財(cái)政政策實(shí)施后對宏觀經(jīng)濟(jì)發(fā)展的影響.,典型相關(guān)分析求解方法,一元統(tǒng)計(jì)分析: 用相關(guān)系數(shù)來衡量兩個(gè)隨機(jī)變量之間的線性相關(guān)關(guān)系；用復(fù)相關(guān)系數(shù)研究一個(gè)隨機(jī)變量和多

3、個(gè)隨機(jī)變量的線性相關(guān)關(guān)系。 Q： 遇到比較兩組變量的相關(guān)性問題，怎么辦？ 多元統(tǒng)計(jì)分析: 運(yùn)用典型相關(guān)分析研究兩組變量x1,x2xp 與 y1, y2yq之間的線性關(guān)系， 將每一組變量作為一個(gè)整體進(jìn)行分析。兩組變量間的相關(guān)關(guān)系。,典型相關(guān)分析求解方法,典型相關(guān)分析通常可采取兩種方法： 方法1 討論第一組每個(gè)變量和第二組每個(gè)變量的相互關(guān)系，得到pq個(gè)相關(guān)系數(shù)，再用這些相關(guān)系數(shù)反應(yīng)兩組變量的關(guān)系。 BUT 。在兩組變量較多時(shí)，方法繁瑣也不容易抓到問題實(shí)際。,簡單相關(guān)系數(shù)的局限性,只是孤立考慮單個(gè)X與單個(gè)Y間的相關(guān)，沒有考慮X、Y變量組內(nèi)部各變量間的相關(guān)。 兩組間有許多簡單相關(guān)系數(shù)（例每組30個(gè)變量

4、），使問題顯得復(fù)雜，難以從整體描述。 難以抓到重點(diǎn),- 用來描述兩個(gè)變量的之間的線性相關(guān)性。,典型相關(guān)分析求解方法,方法2 在每組變量中選擇若干個(gè)由代表性的綜合指標(biāo)，這些指標(biāo)是原始變量的線性組合，代表了原始變量的大部分信息， 且兩組綜合指標(biāo)的相關(guān)程度最大。 （類似于主成分分析法） 新產(chǎn)生的綜合指標(biāo)成為典型相關(guān)變量 Canonical Variable，通過少數(shù)的幾個(gè)綜合變量來反應(yīng)兩組變量的相關(guān)性質(zhì)。 方法2更為簡潔直接 典型相關(guān)分析的中心思想。,典型相關(guān)分析的基本思想,首先在每組變量中找出變量的線性組合，使得兩組的線性組合之間具有最大的相關(guān)系數(shù)。 然后選取和最初挑選的這對線性組合不相關(guān)的線性組

5、合，使其配對，并選取相關(guān)系數(shù)最大的一對，如此繼續(xù)下去，直到兩組變量之間的相關(guān)性被提取完畢為此。 被選出的線性組合配對稱為典型變量，它們的相關(guān)系數(shù)稱為典型相關(guān)系數(shù)。典型相關(guān)系數(shù)度量了這兩組變量之間聯(lián)系的強(qiáng)度。,典型相關(guān)分析的基本思想,一般情況，設(shè) 為兩個(gè)相互關(guān)聯(lián)的隨機(jī)向量，分別在兩組變量中選取若干有代表性的綜合變量Ui、Vi，使得每一個(gè)綜合變量是原變量的線性組合，即,典型相關(guān)分析的基本思想,與,典型相關(guān)分析的基本思想,典型相關(guān)分析的基本思想,第一步：估計(jì)組合系數(shù)使得對應(yīng)的典型變量和相關(guān)系數(shù)達(dá)到最大。最大的相關(guān)系數(shù)為第一典型相關(guān)系數(shù)，且稱有最大相關(guān)系數(shù)的這對典型變量為典型相關(guān)變量。 第二步：再次估

6、計(jì)組合相關(guān)系數(shù)，找出第二大的典型相關(guān)系數(shù)，稱為第二典型相關(guān)西湖，稱有第二大相關(guān)系數(shù)的這對典型變量為第二典型相關(guān)變量。 設(shè)兩組的變量個(gè)數(shù)為p, q， pq, 那么尋求典型變量的過程可一直重復(fù)， 直到得到P對典型變量。,典型相關(guān)分析的基本思想,當(dāng)有少數(shù)幾對或者一對典型變量能夠反映原數(shù)據(jù)的主要信息， 那么兩個(gè)變量組的相關(guān)程度的分析就可以轉(zhuǎn)化為對少數(shù)幾對，或者對一對典型變量的相關(guān)分析， 這就是典型相關(guān)分析的基本目的。,典型相關(guān)分析與主成分分析,典型相關(guān)分析在某些方面與主成分分析類似，但并不完全相同。 二者均是通過構(gòu)造原變量的適當(dāng)線性組合提取不同信息，主成分分析著眼于考慮變量的“分散性”信息，考慮的是一

7、組變量內(nèi)部各個(gè)變量直接的相關(guān)關(guān)系。 而典型相關(guān)分析則立足于識別和量化二組變量的統(tǒng)計(jì)相關(guān)性，是兩個(gè)隨機(jī)變量之間的相關(guān)性在兩組變量之下的推廣。,典型相關(guān)分析求解方法,例 1985年中國28 省市城市男生(1922歲)的調(diào)查數(shù)據(jù)。記形態(tài)指標(biāo)身高(cm)、坐高、體重(kg)、胸圍、肩寬、盆骨寬分別為X1，X2，X6；機(jī)能指標(biāo)脈搏(次/分)、收縮壓(mmHg) 、舒張壓(變音)、舒張壓(消音)、肺活量(ml)分別為Y1，Y2，Y5?，F(xiàn)欲研究這兩組變量之間的相關(guān)性。,20,行業(yè)重點(diǎn),簡單相關(guān)系數(shù)矩陣,Corr（X）R11,Corr（X）R11,Corr（X）R11,Corr（Y）R22,典型相關(guān)系數(shù)和典型

8、變量的求法,在約束條件：,下，求a1和b1，使uv達(dá)到最大。令,根據(jù)數(shù)學(xué)分析中條件極值的求法，引入Lagrange乘數(shù)，求極值問題，則可以轉(zhuǎn)化為求,的極大值，其中和是 Lagrange乘數(shù)。,23,行業(yè)重點(diǎn),將上面的3式分別左乘 和,24,行業(yè)重點(diǎn),由（3）式的第二式，得,代入（3）式的第一式，得,的特征根是 ，相應(yīng)的特征向量為,由（3）式的第一式，得,代入（3）式的第二式，得,的特征根是 ，相應(yīng)的特征向量為,26,行業(yè)重點(diǎn),結(jié)論： 既是M1又是M2的特征根， 和 是相應(yīng)于M1和M2的特征向量。,至此，典型相關(guān)分析轉(zhuǎn)化為求M1和M2特征根和特征向量的問題。,第一對典型變量提取了原始變量X與Y之

9、間相關(guān)的主要部分，如果這部分還不能足以解釋原始變量，可以在剩余的相關(guān)中再求出第二對典型變量和他們的典型相關(guān)系數(shù)。,在剩余的相關(guān)中再求出第二對典型變量和他們的典型相關(guān)系數(shù)。設(shè)第二對典型變量為：,在約束條件：,求使 達(dá)到最大的 和 。,例 Text book p 277,典型相關(guān)系數(shù)的假設(shè)檢驗(yàn),全部總體典型相關(guān)系數(shù)均為0 部分總體典型相關(guān)系數(shù)為0,例 家庭特征與家庭消費(fèi)之間的關(guān)系,為了了解家庭的特征與其消費(fèi)模式之間的關(guān)系。調(diào)查了70個(gè)家庭的下面兩組變量：,分析兩組變量之間的關(guān)系。,變量間的相關(guān)系數(shù)矩陣,兩個(gè)反映消費(fèi)的指標(biāo)與第一對典型變量中u1的相關(guān)系數(shù)分別為0.9866和0.8872，可以看出u1

10、可以作為消費(fèi)特性的指標(biāo)，第一對典型變量中v1與Y2之間的相關(guān)系數(shù)為0.9822，可見典型變量v1主要代表了了家庭收入， u1和 v1的相關(guān)系數(shù)為0.6879，這就說明家庭的消費(fèi)與一個(gè)家庭的收入之間其關(guān)系是很密切的；,第二對典型變量中u2與x2的相關(guān)系數(shù)為0.4614，可以看出u2可以作為文化消費(fèi)特性的指標(biāo)，第二對典型變量中v2與Y1和Y3之間的分別相關(guān)系數(shù)為0.8464和0.3013，可見典型變量v2主要代表了家庭成員的年齡特征和教育程度， u2和 v2的相關(guān)系數(shù)為0.1869，說明文化消費(fèi)與年齡和受教育程度之間的相關(guān)性。,4、各組原始變量被典型變量所解釋的方差,X組原始變量被ui解釋的方差比

11、例,X組原始變量被vi解釋的方差比例,y組原始變量被ui解釋的方差比例,y組原始變量被vi解釋的方差比例,典型相關(guān)分析在SPSS中的運(yùn)用,（一）操作步驟 在SPSS中沒有提供典型相關(guān)分析的專門菜單項(xiàng)，要想利用SPSS實(shí)現(xiàn)典型相關(guān)分析，必須在語句窗口中調(diào)用SPSS的 Canonical correlation.sps 宏。 具體方法如下： 1. 按FileNewSyntax的順序新建一個(gè)語句窗口。在語句窗口中輸入下面的語句： INCLUDE (路徑）/Canonical correlation.sps. CANCORR SET1=x1 x2 x3 x4 / SET2=y1 y2 y3 / .,典

12、型相關(guān)分析在SPSS中的運(yùn)用,2. 點(diǎn)擊語句窗口Run菜單中的All子菜單項(xiàng)，運(yùn)行典型相關(guān)宏命令，得出結(jié)果。,典型相關(guān)分析求解方法,典型相關(guān)分析在SPSS中的運(yùn)用,（二）主要運(yùn)行結(jié)果解釋 1. Correlations for Set-1、Correlations for Set-2、 Correlations Between Set-1 and Set-2（分別給出 兩組變量內(nèi)部以及兩組變量之間的相關(guān)系數(shù)矩陣） 2. Canonical Correlations（給出典型相關(guān)系數(shù)）,3. Test that remaining correlations are zero（給出典 型相關(guān)的顯著

13、性檢驗(yàn)）,4. Raw Canonical Coefficients（分別給出兩組典型變量的未標(biāo)準(zhǔn)化系數(shù)） 5. Standardized Canonical Coefficients（分別給出兩組典型變量的標(biāo)準(zhǔn)化系數(shù)）,7. Redundancy Analysis（分別給出兩組典型變量的冗余分析）,6. Canonical Loadings for Set-1 , 2 (分別給出兩組數(shù)據(jù)中的典型載荷包括交叉載荷，典型載荷是衡量原始變量與典型變量的相關(guān)程度的指標(biāo)。,典型相關(guān)分析在SPSS中的運(yùn)用,例2 ， 第277頁SPSS算法 C.R.Rao（1952）關(guān)于典型相關(guān)的經(jīng)典例子進(jìn)行分析，列舉了

14、25個(gè)家庭的成年長子和次子的頭長和頭寬。利用典型相關(guān)分析法分析長子和次子頭型的相關(guān)性。,典型相關(guān)分析求解方法,典型相關(guān)分析在SPSS中的運(yùn)用,典型相關(guān)分析求解方法,典型相關(guān)分析在SPSS中的運(yùn)用,典型相關(guān)分析求解方法,典型相關(guān)分析在SPSS中的運(yùn)用,SPSS操作步驟 1. 按FileNewSyntax的順序新建一個(gè)語句窗口。在語句窗口中輸入下面的語句： INCLUDE Canonical correlation.sps. CANCORR SET1=x1 x2 / SET2=y1 y2 / . 2. 點(diǎn)擊語句窗口Run菜單中的All子菜單項(xiàng)，運(yùn)行典型相關(guān)宏命令，得出結(jié)果。,典型相關(guān)分析求解方法,典型相關(guān)分析在SPSS中的運(yùn)用,主要運(yùn)行結(jié)果解釋 1. 典型相關(guān)系數(shù)和典型相關(guān)的顯著性檢驗(yàn) 從下表可以看出，兩隊(duì)典型變量中，第一對的典型相關(guān)系數(shù)達(dá)到0.788，屬于強(qiáng)相關(guān)，而第二對典型變量的相關(guān)則比較弱。在之后的顯著性檢驗(yàn)的結(jié)果在