主成分分析PrincipalComponentAnalysis2023/9/3Dept.ofEpidemio&Biostat,SPH2統(tǒng)計(jì)學(xué)研究的核心問(wèn)題？沒(méi)有變異就沒(méi)有統(tǒng)計(jì)學(xué)變異VARIATION變異性的度量？方差Variance2023/9/3Dept.ofEpidemio&Biostat,SPH3方差是什么？方差是信息多元世界的信息度量多元世界的每個(gè)變量的包含信息不同在單個(gè)變量方差不變的情況下，各變量相關(guān)性越高，則總信息量越小2023/9/3Dept.ofEpidemio&Biostat,SPH42023/9/3Dept.ofEpidemio&Biostat,SPH5兩組變量:AB2023/9/3Dept.ofEpidemio&Biostat,SPH62023/9/3Dept.ofEpidemio&Biostat,SPH72023/9/3Dept.ofEpidemio&Biostat,SPH82023/9/3Dept.ofEpidemio&Biostat,SPH9協(xié)方差矩陣樣本的方差-協(xié)方差矩陣（variance-covariancematrix)

如果有p個(gè)觀測(cè)變量，則樣本的協(xié)方差矩陣記為2023/9/3Dept.ofEpidemio&Biostat,SPH10相關(guān)矩陣

如果有p個(gè)觀測(cè)變量，其相關(guān)陣（correlationmatrix）記為2023/9/3Dept.ofEpidemio&Biostat,SPH11矩陣的特征值和特征向量對(duì)于方陣A，如存在常數(shù)λ及非零向量x，使

Ax=λx

則λ為A的一個(gè)特征值，x為與λ對(duì)應(yīng)的矩陣A的特征向量。

n介方陣有n對(duì)特征值和特征向量2023/9/3Dept.ofEpidemio&Biostat,SPH12正交向量（陣）、單位向量正交向量：a=(a1,…,ap)’,b=(b1,…,bp)’

如果a’b=a1b1+…+apbp=0,則稱a、b正交單位向量：向量a=(a1,…,ap)’，如果

則稱a為單位向量正交陣：n階方陣A，如果

AA’=A’A=I，則稱A為n階正交陣，其中A的列向量（或行向量）為正交向量，A’=A-12023/9/3Dept.ofEpidemio&Biostat,SPH132023/9/3Dept.ofEpidemio&Biostat,SPH142023/9/3Dept.ofEpidemio&Biostat,SPH152023/9/3Dept.ofEpidemio&Biostat,SPH162023/9/3Dept.ofEpidemio&Biostat,SPH172023/9/3Dept.ofEpidemio&Biostat,SPH18

主成分的概念1設(shè)x1,x2,…xp為p維隨機(jī)變量X1,X2,…,Xp的標(biāo)準(zhǔn)化變換如果其線性組合滿足則稱C1為第一主成分。2023/9/3Dept.ofEpidemio&Biostat,SPH19主成分的概念2若滿足則稱C2為第二主成分。類似地，共可得到至多p個(gè)主成分。2023/9/3Dept.ofEpidemio&Biostat,SPH20主成分的性質(zhì)主成分C1，C2，…，Cp具有以下性質(zhì)：(1)主成分間互不相關(guān)Corr(Ci，Cj)=0i

j

(2)組合系數(shù)(ai1，ai2，…，aip)構(gòu)成的向量為單位向量(3)各主成分的方差是依次遞減的，

即Var(C1)≥Var(C2)≥…≥Var(Cp)(4)總方差不增不減，即

Var(C1)+Var(C2)+…+Var(Cp)=Var(x1)+Var(x2)+…+Var(xp)=p

2023/9/3Dept.ofEpidemio&Biostat,SPH21主成分的計(jì)算

1設(shè)R為X1,X2,…,Xp

的相關(guān)矩陣，則存在

1≥

2≥…≥

p≥0，和正交矩陣A，使其中

i為相關(guān)矩陣R的第i個(gè)特征值(eigenvalue)(ai1ai2…aip)’則是相關(guān)矩陣R的第i個(gè)特征值對(duì)應(yīng)的特征向量。

i是第i個(gè)主成分的方差2023/9/3Dept.ofEpidemio&Biostat,SPH22主成分的計(jì)算

2記主成分C=(C1C2…Cp)’，則

C=A’x即2023/9/3Dept.ofEpidemio&Biostat,SPH23主成分的計(jì)算

3因子模型（全分量模型）表達(dá)形式

x=AC即矩陣A稱載荷矩陣，反映各主成分對(duì)原始變量x各分量的貢獻(xiàn)大小。2023/9/3Dept.ofEpidemio&Biostat,SPH24主成分的計(jì)算

4因子模型（全分量模型）表達(dá)--

主成分標(biāo)準(zhǔn)化變換2023/9/3Dept.ofEpidemio&Biostat,SPH25x=Lclij是xj和ci的相關(guān)系數(shù)SPSS輸出的系數(shù)矩陣是L矩陣2023/9/3Dept.ofEpidemio&Biostat,SPH26實(shí)例

城市男生形態(tài)資料

數(shù)據(jù)來(lái)自方積乾《醫(yī)學(xué)統(tǒng)計(jì)學(xué)與電腦試驗(yàn)》第2版

2023/9/3Dept.ofEpidemio&Biostat,SPH27實(shí)例主成分分析結(jié)果—

特征值（方差）及其比例2023/9/3Dept.ofEpidemio&Biostat,SPH28主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后2023/9/3Dept.ofEpidemio&Biostat,SPH29主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后2023/9/3Dept.ofEpidemio&Biostat,SPH30主成分和原變量的關(guān)系觀察L矩陣，由相關(guān)系數(shù)做出解釋主成分未必一定有明確的解釋選取有明確解釋的主成分做綜合指標(biāo)，主成分得分就是“綜合指數(shù)”。2023/9/3Dept.ofEpidemio&Biostat,SPH31實(shí)例的標(biāo)準(zhǔn)化第一主成分得分2023/9/3Dept.ofEpidemio&Biostat,SPH32實(shí)例的標(biāo)準(zhǔn)化第一、二主成分得分2023/9/3Dept.ofEpidemio&Biostat,SPH33主成分?jǐn)?shù)目的保留—降維問(wèn)題保留多少個(gè)主成分取決于保留部分的累積方差在方差總和中所占百分比，它標(biāo)志著前幾個(gè)主成分概括信息之多寡。實(shí)際上就是看特征值λ的大小保留多少主成分為宜主要根據(jù)實(shí)際問(wèn)題和經(jīng)驗(yàn)決定，并無(wú)嚴(yán)格統(tǒng)計(jì)規(guī)則。2023/9/3Dept.ofEpidemio&Biostat,SPH34主成分分析的應(yīng)用綜合指標(biāo)的抽取主成分回歸解決自變量嚴(yán)重共線性問(wèn)題主成分判別解決解釋變量的共線性問(wèn)題變量聚類中計(jì)算相似系數(shù)因子分析2023/9/3Dept.ofEpidemio&Biostat,SPH35例--主成分回歸22例胎兒受精齡（Y,周）與胎兒外型測(cè)量指標(biāo)：均數(shù)標(biāo)準(zhǔn)差身高（X1,cm）33.059.71頭圍（X2,cm）23.266.86體重（X3,g）936.9690.3試求由X1、X2、X3推算Y的回歸方程2023/9/3Dept.ofEpidemio&Biostat,SPH36例--主成分回歸結(jié)果1直接做多重回歸結(jié)果2023/9/3Dept.ofEpidemio&Biostat,SPH37X1、X2、X3與Y的相關(guān)陣X1X2X3YX11X20.9981X30.9440.9471Y0.9520.9430.97012023/9/3Dept.ofEpidemio&Biostat,SPH38主成分分析結(jié)果

(表中上半部的系數(shù)矩陣是矩陣A)C1C2C3x10.58-0.420.70x20.58-0.39-0.71x30.570.820.02Var2.930.070.00%97.542.380.08累積%97.5499.921002023/9/3Dept.ofEpidemio&Biostat,SPH39主成分回歸分析結(jié)果2023/9/3Dept.ofEpidemio&Biostat,SPH40主成分回歸分析結(jié)果附：本例嶺回歸分析結(jié)果2023/9/3Dept.ofEpidemio&Biostat,SPH41主成分分析應(yīng)用實(shí)例—綜合指標(biāo)選取計(jì)算主成分的兩種方法

如果各變量具有同等尺度對(duì)角化相關(guān)陣還是協(xié)方差陣？

從協(xié)方差陣計(jì)算主成分的一個(gè)特點(diǎn)：方差大的變量?jī)A向在第一主成分上占有更大的比重（與從相關(guān)陣計(jì)算比較）。2023/9/3Dept.ofEpidemio&Biostat,SPH42廣州市某年空氣污染指標(biāo)的主成分分析結(jié)果從相關(guān)陣計(jì)算從協(xié)方差陣計(jì)算C1C2C3C1’