典型相關(guān)分析因子分析1第1頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月要點(diǎn)典型相關(guān)分析的數(shù)學(xué)表達(dá)方式，假定條件；典型相關(guān)系數(shù)的數(shù)學(xué)含義；典型變量系數(shù)的數(shù)學(xué)含義；簡(jiǎn)單相關(guān)，復(fù)相關(guān)和典型相關(guān)的意義；典型相關(guān)的應(yīng)用2第2頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月一、什么是典型相關(guān)分析及基本思想

通常情況下，為了研究?jī)山M變量的相關(guān)關(guān)系，可以用最原始的方法，分別計(jì)算兩組變量之間的全部相關(guān)系數(shù)，一共有pq個(gè)簡(jiǎn)單相關(guān)系數(shù)，這樣又煩瑣又不能抓住問題的本質(zhì)。如果能夠采用類似于主成分的思想，分別找出兩組變量的各自的某個(gè)線性組合，討論線性組合之間的相關(guān)關(guān)系，則更簡(jiǎn)捷。第3頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月在解決實(shí)際問題中，這種方法有廣泛的應(yīng)用。如，在工廠里常常要研究產(chǎn)品的q個(gè)質(zhì)量指標(biāo)和p個(gè)原材料的指標(biāo)

之間的相關(guān)關(guān)系；也可以是采用典型相關(guān)分析來解決的問題。如果能夠采用類似于主成分的思想，分別找出兩組變量的線性組合既可以使變量個(gè)數(shù)簡(jiǎn)化，又可以達(dá)到分析相關(guān)性的目的。第4頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月例家庭特征與家庭消費(fèi)之間的關(guān)系為了了解家庭的特征與其消費(fèi)模式之間的關(guān)系。調(diào)查了70個(gè)家庭的下面兩組變量：分析兩組變量之間的關(guān)系。第5頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00變量間的相關(guān)系數(shù)矩陣第6頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月y2y3y1x2x1第7頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

典型相關(guān)分析的思想：首先分別在每組變量中找出第一對(duì)線性組合，使其具有最大相關(guān)性，

第8頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月然后再在每組變量中找出第二對(duì)線性組合，使其分別與本組內(nèi)的第一線性組合不相關(guān)，第二對(duì)本身具有次大的相關(guān)性。

u2和v2與u1和v1相互獨(dú)立，但u2和v2相關(guān)。如此繼續(xù)下去，直至進(jìn)行到r步，兩組變量的相關(guān)性被提取完為止。rmin(p,q)，可以得到r組變量。9第9頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月二、典型相關(guān)的數(shù)學(xué)描述

考慮兩組變量的向量其協(xié)方差陣為（一）想法其中11是第一組變量的協(xié)方差矩陣；22是第二組變量的協(xié)方差矩陣；是X和Y的其協(xié)方差矩陣。第10頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月如果我們記兩組變量的第一對(duì)線性組合為：其中：所以，典型相關(guān)分析就是求1和b1，使uv達(dá)到最大。第11頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月（二）典型相關(guān)系數(shù)和典型變量的求法在約束條件:下，求a1和b1，使uv達(dá)到最大。令第12頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月利用柯西不等式有（參看1.8.4式）13第13頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月記m為12的秩，則記為相應(yīng)的特征向量為其余的零特征根對(duì)應(yīng)的向量為14第14頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月由特征向量可以構(gòu)成一個(gè)正交矩陣T，有15第15頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月若取則16第16頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月相應(yīng)的特征向量為

a1和b1分別構(gòu)成了第一組變量和第二組變量的第一對(duì)典型變量的系數(shù)。17第17頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月第一對(duì)典型相關(guān)變量提取了原始變量x組和y組之間相關(guān)的主要部分，那么這部分的信息不夠，則還可以在剩余相關(guān)中提取第二對(duì)典型變量：在以下的約束條件下：18第18頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月求令則，約束條件等價(jià)于19第19頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月20第20頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月當(dāng)取這時(shí)uk和vk達(dá)到最大值k,稱它為第k個(gè)典型相關(guān)系數(shù)，稱ak和

bk為第k對(duì)典型變量系數(shù)。21第21頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月相應(yīng)的特征向量為

ak和bk分別構(gòu)成了第一組變量和第二組變量的第k對(duì)典型變量的系數(shù)。22第22頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月注有相同的特征根，而可以驗(yàn)證：根據(jù)線性代數(shù)的思想，下列矩陣23第23頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月方法二根據(jù)數(shù)學(xué)分析中條件極值的求法，引入Lagrange乘數(shù)，求極值問題，則可以轉(zhuǎn)化為求的極大值，其中和是

Lagrange乘數(shù)。24第24頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月將上面的3式分別左乘和第25頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月將左乘（3）的第二式，得并將第一式代入，得的特征根是，相應(yīng)的特征向量為第26頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月將左乘（3）的第一式，并將第二式代入，得的特征根是，相應(yīng)的特征向量為第27頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

結(jié)論：既是M1又是M2的特征根，和是相應(yīng)于M1和M2的特征向量。至此，典型相關(guān)分析轉(zhuǎn)化為求M1和M2特征根和特征向量的問題。

第一對(duì)典型變量提取了原始變量X與Y之間相關(guān)的主要部分，如果這部分還不能足以解釋原始變量，可以在剩余的相關(guān)中再求出第二對(duì)典型變量和他們的典型相關(guān)系數(shù)。。第28頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

在剩余的相關(guān)中再求出第二對(duì)典型變量和他們的典型相關(guān)系數(shù)。設(shè)第二對(duì)典型變量為：

在約束條件：求使達(dá)到最大的和。第29頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月例家庭特征與家庭消費(fèi)之間的關(guān)系為了了解家庭的特征與其消費(fèi)模式之間的關(guān)系。調(diào)查了70個(gè)家庭的下面兩組變量：分析兩組變量之間的關(guān)系。30第30頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00變量間的相關(guān)系數(shù)矩陣31第31頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月典型相關(guān)分析

典型相關(guān)系數(shù)調(diào)整典型相關(guān)系數(shù)近似方差

典型相關(guān)系數(shù)的平方10.6879480.6878480.0052680.47327220.1868650.1866380.0096510.034919第32頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月X組典型變量的系數(shù)

U1U2X1(就餐）0.7689-1.4787X2（電影）0.27211.6443Y組典型變量的系數(shù)

V1V2Y1（年齡）0.04911.0003Y2（收入）0.8975-0.5837Y3（文化）0.19000.2956第33頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月三、典型變量的性質(zhì)

1、同一組的典型變量之間互不相關(guān)

X組的典型變量之間是相互獨(dú)立的：Y組的典型變量之間是相互獨(dú)立的：因?yàn)樘卣飨蛄恐g是正交的。故第34頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月2、不同組的典型變量之間相關(guān)性不同組內(nèi)一對(duì)典型變量之間的相關(guān)系數(shù)為：第35頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月同對(duì)則協(xié)方差為i，不同對(duì)則為零。36第36頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月3、原始變量與典型變量之間的相關(guān)系數(shù)

原始變量相關(guān)系數(shù)矩陣X典型變量系數(shù)矩陣第37頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月y典型變量系數(shù)矩陣第38頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月第39頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月40第40頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月第41頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月42第42頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月例家庭特征與家庭消費(fèi)之間的關(guān)系為了了解家庭的特征與其消費(fèi)模式之間的關(guān)系。調(diào)查了70個(gè)家庭的下面兩組變量：分析兩組變量之間的關(guān)系。43第43頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

X1X2y1y2y3X11.000.800.260.670.34X20.801.000.330.590.34y10.260.331.000.370.21y20.670.590.371.000.35y30.340.340.210.351.00變量間的相關(guān)系數(shù)矩陣44第44頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月典型相關(guān)分析

典型相關(guān)系數(shù)調(diào)整典型相關(guān)系數(shù)近似方差

典型相關(guān)系數(shù)的平方10.6879480.6878480.0052680.47327220.1868650.1866380.0096510.034919第45頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月X組典型變量的系數(shù)

U1U2X1(就餐）0.7689-1.4787X2（電影）0.27211.6443Y組典型變量的系數(shù)

V1V2Y1（年齡）0.04911.0003Y2（收入）0.8975-0.5837Y3（文化）0.19000.2956第46頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月典型變量的結(jié)構(gòu)（相關(guān)系數(shù)）

U1U2X10.9866-0.1632X20.88720.4614

V1V2Y10.42110.8464Y20.9822-0.1101Y30.51450.3013第47頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月典型變量的結(jié)構(gòu)（相關(guān)系數(shù)）

V1V2X10.6787-0.0305X20.61040.0862

U1U2Y10.28970.1582Y20.6757-0.0206Y30.35390.0563第48頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月兩個(gè)反映消費(fèi)的指標(biāo)與第一對(duì)典型變量中u1的相關(guān)系數(shù)分別為0.9866和0.8872，可以看出u1可以作為消費(fèi)特性的指標(biāo)，第一對(duì)典型變量中v1與Y2之間的相關(guān)系數(shù)為0.9822，可見典型變量v1主要代表了了家庭收入，u1和v1的相關(guān)系數(shù)為0.6879，這就說明家庭的消費(fèi)與一個(gè)家庭的收入之間其關(guān)系是很密切的；49第49頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月第二對(duì)典型變量中u2與x2的相關(guān)系數(shù)為0.4614，可以看出u2可以作為文化消費(fèi)特性的指標(biāo)，第二對(duì)典型變量中v2與Y1和Y3之間的分別相關(guān)系數(shù)為0.8464和0.3013，可見典型變量v2主要代表了家庭成員的年齡特征和教育程度，u2和v2的相關(guān)系數(shù)為0.1869，說明文化消費(fèi)與年齡和受教育程度之間的有關(guān)。第50頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月4、各組原始變量被典型變量所解釋的方差X組原始變量被ui解釋的方差比例X組原始變量被vi解釋的方差比例y組原始變量被ui解釋的方差比例y組原始變量被vi解釋的方差比例51第51頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月被典型變量解釋的X組原始變量的方差

被本組的典型變量解釋被對(duì)方Y(jié)組典型變量解釋比例累計(jì)比例典型相關(guān)系數(shù)平方比例累計(jì)比例10.88030.88030.47330.41660.416620.11971.00000.03490.00420.4208第52頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月被典型變量解釋的Y組原始變量的方差

被本組的典型變量解釋被對(duì)方X組典型變量解釋比例累計(jì)比例典型相關(guān)系數(shù)平方比例累計(jì)比例1

0.46890.46890.47330.22190.22192

0.27310.74200.03490.00950.2315第53頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

5、簡(jiǎn)單相關(guān)、復(fù)相關(guān)和典型相關(guān)之間的關(guān)系若p＝1且q＝1，則x和y的典型相關(guān)就是簡(jiǎn)單相關(guān)；若p＝1或q＝1，則x和y的典型相關(guān)就是復(fù)相關(guān)；

54第54頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月五、樣本典型相關(guān)系數(shù)在實(shí)際應(yīng)用中，總體的協(xié)方差矩陣常常是未知的，類似于其他的統(tǒng)計(jì)分析方法，需要從總體中抽出一個(gè)樣本，根據(jù)樣本對(duì)總體的協(xié)方差或相關(guān)系數(shù)矩陣進(jìn)行估計(jì)，然后利用估計(jì)得到的協(xié)方差或相關(guān)系數(shù)矩陣進(jìn)行分析。由于估計(jì)中抽樣誤差的存在，所以估計(jì)以后還需要進(jìn)行有關(guān)的假設(shè)檢驗(yàn)。55第55頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

1、假設(shè)有X組和Y組變量，樣本容量為n。假設(shè)(X1,Y1),(X2,Y2),…,(Xn,Yn)，觀測(cè)值矩陣為：56第56頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月57第57頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月

2、計(jì)算特征根和特征向量求M1和

M2的特征根，對(duì)應(yīng)的特征向量。則特征向量構(gòu)成典型變量的系數(shù)，特征根為典型變量相關(guān)系數(shù)的平方。58第58頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月對(duì)兩組變量x和y進(jìn)行典型相關(guān)分析，采用的也是一種降維技術(shù)。我們希望使用盡可能少的典型變量對(duì)數(shù)，為此需要對(duì)一些較小的典型相關(guān)系數(shù)是否為零進(jìn)行假設(shè)檢驗(yàn)。H0經(jīng)檢驗(yàn)被拒絕，則應(yīng)進(jìn)一步檢驗(yàn)假設(shè)。

59第59頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月典型相關(guān)分析的基本思想：首先分別在每組變量中找出第一對(duì)線性組合，使其具有最大相關(guān)性，然后再在每組變量中找出第二對(duì)線性組合，使其分別與本組內(nèi)的第一線性組合不相關(guān)，第二對(duì)本身具有最大相關(guān)性。如此下去，直至兩組變量的相關(guān)性被提取完為止。本例想利用我國(guó)1999年城鎮(zhèn)居民的家庭收入來源和消費(fèi)性支出的數(shù)據(jù)了解我國(guó)居民消費(fèi)構(gòu)成及主要影響因素分析所用的數(shù)據(jù)來自：《中國(guó)統(tǒng)計(jì)年鑒》2000。我國(guó)居民消費(fèi)構(gòu)成及主要影響因素第60頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月收入指標(biāo)：X1——可支配收入

X2——實(shí)際收入

X3——國(guó)有單位職工收入

X4——集體單位職工收入

X5——其他經(jīng)濟(jì)類型職工收入，

X6——轉(zhuǎn)移收入支出指標(biāo)：Y1——消費(fèi)性支出

Y2——食品

Y3——衣著

Y4——交通和通訊

Y5——醫(yī)療和保健

Y6——娛樂、教育、文化服務(wù)

Y7——居住第61頁(yè)，課件共65頁(yè)，創(chuàng)作于2023年2月序號(hào)典型相關(guān)系數(shù)典型變量10.990174U1

=0.9989X1+-0.0595X2+0.0776X3+0.0489X4-0.0931X5+0.0074X6

V1=1.3263Y1-0.0270Y2-0.0005Y3-0.0769Y4-0.0717Y5-0.2031Y6-0.0219Y20.868704U2=-4.8668X1+0.1264X2+1.9585X3+0.3299X4+1.4095X5+2.6453X6

V2

=-4.4920Y1+2.5421Y2+1.2480Y3-0.4621Y4+1.0443Y5+0.8610Y6+0.0586Y7

第62頁(yè)，課件共65頁(yè)，創(chuàng)作于2023