主成分分析,Principal Component Analysis,2019/5/24,Dept. of Epidemio & Biostat, SPH,2,統(tǒng)計學(xué)研究的核心問題？,沒有變異就沒有統(tǒng)計學(xué),變 異 VARIATION,變異性的度量？,方差 Variance,2019/5/24,Dept. of Epidemio & Biostat, SPH,3,方差是什么？,方差是信息 多元世界的信息度量 多元世界的每個變量的包含信息不同 在單個變量方差不變的情況下，各變量相關(guān)性越高，則總信息量越小,2019/5/24,Dept. of Epidemio & Biostat, SPH,4,2019/5/24,Dept. of Epidemio & Biostat, SPH,5,兩組變量: A B,2019/5/24,Dept. of Epidemio & Biostat, SPH,6,2019/5/24,Dept. of Epidemio & Biostat, SPH,7,2019/5/24,Dept. of Epidemio & Biostat, SPH,8,2019/5/24,Dept. of Epidemio & Biostat, SPH,9,協(xié)方差矩陣,樣本的方差-協(xié)方差矩陣（variance-covariance matrix) 如果有p個觀測變量 ， 則樣本的協(xié)方差矩陣記為,2019/5/24,Dept. of Epidemio & Biostat, SPH,10,相關(guān)矩陣,如果有p個觀測變量 ，其相關(guān)陣（correlation matrix）記為,2019/5/24,Dept. of Epidemio & Biostat, SPH,11,矩陣的特征值和特征向量,對于方陣A，如存在常數(shù)及非零向量x，使 Ax= x 則為A的一個特征值，x為與對應(yīng)的矩陣A的特征向量。 n介方陣有n對特征值和特征向量,2019/5/24,Dept. of Epidemio & Biostat, SPH,12,正交向量（陣）、單位向量,正交向量： a=(a1,ap), b=(b1,bp) 如果ab=a1b1+apbp=0,則稱a、b正交 單位向量：向量a=(a1,ap)，如果 則稱a為單位向量 正交陣：n階方陣A，如果 AA=AA=I，則稱A為n階正交陣，其中 A的列向量（或行向量）為正交向量，A=A-1,2019/5/24,Dept. of Epidemio & Biostat, SPH,13,2019/5/24,Dept. of Epidemio & Biostat, SPH,14,2019/5/24,Dept. of Epidemio & Biostat, SPH,15,2019/5/24,Dept. of Epidemio & Biostat, SPH,16,2019/5/24,Dept. of Epidemio & Biostat, SPH,17,2019/5/24,Dept. of Epidemio & Biostat, SPH,18,主成分的概念 1,設(shè)x1,x2,xp為 p 維隨機(jī)變量 X1,X2,Xp的標(biāo)準(zhǔn)化變換 如果其線性組合 滿足 則稱C1為第一主成分。,2019/5/24,Dept. of Epidemio & Biostat, SPH,19,主成分的概念 2,若 滿足 則稱C2為第二主成分。 類似地，共可得到至多 p 個主成分。,2019/5/24,Dept. of Epidemio & Biostat, SPH,20,主成分的性質(zhì),主成分 C1，C2，Cp 具有以下性質(zhì)： (1)主成分間互不相關(guān)Corr(Ci，Cj)=0 i j (2) 組合系數(shù)(ai1，ai2，aip)構(gòu)成的向量為單位向量 (3)各主成分的方差是依次遞減的， 即 Var(C1)Var(C2)Var(Cp) (4) 總方差不增不減， 即 Var(C1)+Var(C2)+ +Var(Cp) =Var(x1)+Var(x2)+ +Var(xp) =p,2019/5/24,Dept. of Epidemio & Biostat, SPH,21,主成分的計算 1,設(shè) R 為 X1,X2,Xp 的相關(guān)矩陣，則存在12p0，和正交矩陣A，使 其中i為相關(guān)矩陣R的第i個特征值(eigenvalue) (ai1 ai2 aip)則是相關(guān)矩陣R的第i個特征值對應(yīng)的特征向量。 i是第i個主成分的方差,2019/5/24,Dept. of Epidemio & Biostat, SPH,22,主成分的計算 2,記主成分C=(C1 C2 Cp)，則 C=Ax 即,2019/5/24,Dept. of Epidemio & Biostat, SPH,23,主成分的計算 3,因子模型（全分量模型）表達(dá)形式 x=AC 即 矩陣A稱載荷矩陣，反映各主成分對原始變量x各分量的貢獻(xiàn)大小。,2019/5/24,Dept. of Epidemio & Biostat, SPH,24,主成分的計算 4,因子模型（全分量模型）表達(dá)- 主成分標(biāo)準(zhǔn)化變換,2019/5/24,Dept. of Epidemio & Biostat, SPH,25,x=Lc,lij是xj和ci的相關(guān)系數(shù) SPSS輸出的系數(shù)矩陣是L矩陣,2019/5/24,Dept. of Epidemio & Biostat, SPH,26,實例 城市男生形態(tài)資料 數(shù)據(jù)來自方積乾醫(yī)學(xué)統(tǒng)計學(xué)與電腦試驗第2版,2019/5/24,Dept. of Epidemio & Biostat, SPH,27,實例主成分分析結(jié)果 特征值（方差）及其比例,2019/5/24,Dept. of Epidemio & Biostat, SPH,28,主成分分析結(jié)果L矩陣,注意L矩陣的下標(biāo)，是列在前，行在后,2019/5/24,Dept. of Epidemio & Biostat, SPH,29,主成分分析結(jié)果L矩陣,注意L矩陣的下標(biāo)，是列在前，行在后,2019/5/24,Dept. of Epidemio & Biostat, SPH,30,主成分和原變量的關(guān)系,觀察L矩陣，由相關(guān)系數(shù)做出解釋 主成分未必一定有明確的解釋 選取有明確解釋的主成分做綜合指標(biāo)，主成分得分就是“綜合指數(shù)”。,2019/5/24,Dept. of Epidemio & Biostat, SPH,31,實例的標(biāo)準(zhǔn)化第一主成分得分,2019/5/24,Dept. of Epidemio & Biostat, SPH,32,實例的標(biāo)準(zhǔn)化第一、二主成分得分,2019/5/24,Dept. of Epidemio & Biostat, SPH,33,主成分?jǐn)?shù)目的保留降維問題,保留多少個主成分取決于保留部分的累積方差在方差總和中所占百分比，它標(biāo)志著前幾個主成分概括信息之多寡。 實際上就是看特征值 的大小 保留多少主成分為宜主要根據(jù)實際問題和經(jīng)驗決定，并無嚴(yán)格統(tǒng)計規(guī)則。,2019/5/24,Dept. of Epidemio & Biostat, SPH,34,主成分分析的應(yīng)用,綜合指標(biāo)的抽取 主成分回歸 解決自變量嚴(yán)重共線性問題 主成分判別 解決解釋變量的共線性問題 變量聚類中計算相似系數(shù) 因子分析,2019/5/24,Dept. of Epidemio & Biostat, SPH,35,例-主成分回歸,22例胎兒受精齡（Y,周）與胎兒外型測量指標(biāo)： 均數(shù) 標(biāo)準(zhǔn)差 身高（X1, cm） 33.05 9.71 頭圍（X2, cm） 23.26 6.86 體重（X3, g） 936.9 690.3 試求由X1、X2、X3推算Y的回歸方程,2019/5/24,Dept. of Epidemio & Biostat, SPH,36,例-主成分回歸 結(jié)果1,直接做多重回歸結(jié)果,2019/5/24,Dept. of Epidemio & Biostat, SPH,37,X1、X2、X3與Y的相關(guān)陣,2019/5/24,Dept. of Epidemio & Biostat, SPH,38,主成分分析結(jié)果 (表中上半部的系數(shù)矩陣是矩陣A),2019/5/24,Dept. of Epidemio & Biostat, SPH,39,主成分回歸分析結(jié)果,2019/5/24,Dept. of Epidemio & Biostat, SPH,40,主成分回歸分析結(jié)果,附：本例嶺回歸分析結(jié)果,2019/5/24,Dept. of Epidemio & Biostat, SPH,41,主成分分析應(yīng)用實例綜合指標(biāo)選取,計算主成分的兩種方法 如果各變量具有同等尺度 對角化