主成分分析PrincipalComponentAnalysis11/20/20221第一頁，共43頁。統(tǒng)計學(xué)研究的核心問題？沒有變異就沒有統(tǒng)計學(xué)變異VARIATION變異性的度量？方差Variance11/20/20222第二頁，共43頁。方差是什么？方差是信息多元世界的信息度量多元世界的每個變量的包含信息不同在單個變量方差不變的情況下，各變量相關(guān)性越高，則總信息量越小11/20/20223第三頁，共43頁。11/20/20224第四頁，共43頁。兩組變量:AB11/20/20225第五頁，共43頁。11/20/20226第六頁，共43頁。11/20/20227第七頁，共43頁。11/20/20228第八頁，共43頁。協(xié)方差矩陣樣本的方差-協(xié)方差矩陣（variance-covariancematrix)如果有p個觀測變量，則樣本的協(xié)方差矩陣記為11/20/20229第九頁，共43頁。相關(guān)矩陣如果有p個觀測變量，其相關(guān)陣（correlationmatrix）記為11/20/202210第十頁，共43頁。矩陣的特征值和特征向量對于方陣A，如存在常數(shù)λ及非零向量x，使Ax=λx則λ為A的一個特征值，x為與λ對應(yīng)的矩陣A的特征向量。n介方陣有n對特征值和特征向量11/20/202211第十一頁，共43頁。正交向量（陣）、單位向量正交向量：a=(a1,…,ap)’,b=(b1,…,bp)’

如果a’b=a1b1+…+apbp=0,則稱a、b正交單位向量：向量a=(a1,…,ap)’，如果

則稱a為單位向量正交陣：n階方陣A，如果AA’=A’A=I，則稱A為n階正交陣，其中A的列向量（或行向量）為正交向量，A’=A-111/20/202212第十二頁，共43頁。11/20/202213第十三頁，共43頁。11/20/202214第十四頁，共43頁。11/20/202215第十五頁，共43頁。11/20/202216第十六頁，共43頁。11/20/202217第十七頁，共43頁。主成分的概念1設(shè)x1,x2,…xp為p維隨機變量X1,X2,…,Xp的標(biāo)準化變換如果其線性組合滿足則稱C1為第一主成分。11/20/202218第十八頁，共43頁。主成分的概念2若滿足則稱C2為第二主成分。類似地，共可得到至多p個主成分。11/20/202219第十九頁，共43頁。主成分的性質(zhì)主成分C1，C2，…，Cp具有以下性質(zhì)：(1)主成分間互不相關(guān)Corr(Ci，Cj)=0ij

(2)組合系數(shù)(ai1，ai2，…，aip)構(gòu)成的向量為單位向量(3)各主成分的方差是依次遞減的，

即Var(C1)≥Var(C2)≥…≥Var(Cp)(4)總方差不增不減，即Var(C1)+Var(C2)+…+Var(Cp)=Var(x1)+Var(x2)+…+Var(xp)=p

11/20/202220第二十頁，共43頁。主成分的計算1設(shè)R為X1,X2,…,Xp的相關(guān)矩陣，則存在1≥2≥…≥p≥0，和正交矩陣A，使其中i為相關(guān)矩陣R的第i個特征值(eigenvalue)(ai1ai2…aip)’則是相關(guān)矩陣R的第i個特征值對應(yīng)的特征向量。

i是第i個主成分的方差11/20/202221第二十一頁，共43頁。主成分的計算2記主成分C=(C1C2…Cp)’，則C=A’x即11/20/202222第二十二頁，共43頁。主成分的計算3因子模型（全分量模型）表達形式x=AC即矩陣A稱載荷矩陣，反映各主成分對原始變量x各分量的貢獻大小。11/20/202223第二十三頁，共43頁。主成分的計算4因子模型（全分量模型）表達--主成分標(biāo)準化變換11/20/202224第二十四頁，共43頁。x=Lclij是xj和ci的相關(guān)系數(shù)SPSS輸出的系數(shù)矩陣是L矩陣11/20/202225第二十五頁，共43頁。實例

城市男生形態(tài)資料

數(shù)據(jù)來自方積乾《醫(yī)學(xué)統(tǒng)計學(xué)與電腦試驗》第2版

11/20/202226第二十六頁，共43頁。實例主成分分析結(jié)果—

特征值（方差）及其比例11/20/202227第二十七頁，共43頁。主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后11/20/202228第二十八頁，共43頁。主成分分析結(jié)果—L矩陣注意L矩陣的下標(biāo)，是列在前，行在后11/20/202229第二十九頁，共43頁。主成分和原變量的關(guān)系觀察L矩陣，由相關(guān)系數(shù)做出解釋主成分未必一定有明確的解釋選取有明確解釋的主成分做綜合指標(biāo)，主成分得分就是“綜合指數(shù)”。11/20/202230第三十頁，共43頁。實例的標(biāo)準化第一主成分得分11/20/202231第三十一頁，共43頁。實例的標(biāo)準化第一、二主成分得分11/20/202232第三十二頁，共43頁。主成分數(shù)目的保留—降維問題保留多少個主成分取決于保留部分的累積方差在方差總和中所占百分比，它標(biāo)志著前幾個主成分概括信息之多寡。實際上就是看特征值λ的大小保留多少主成分為宜主要根據(jù)實際問題和經(jīng)驗決定，并無嚴格統(tǒng)計規(guī)則。11/20/202233第三十三頁，共43頁。主成分分析的應(yīng)用綜合指標(biāo)的抽取主成分回歸解決自變量嚴重共線性問題主成分判別解決解釋變量的共線性問題變量聚類中計算相似系數(shù)因子分析11/20/202234第三十四頁，共43頁。例--主成分回歸22例胎兒受精齡（Y,周）與胎兒外型測量指標(biāo)：均數(shù)標(biāo)準差身高（X1,cm）33.059.71頭圍（X2,cm）23.266.86體重（X3,g）936.9690.3試求由X1、X2、X3推算Y的回歸方程11/20/202235第三十五頁，共43頁。例--主成分回歸結(jié)果1直接做多重回歸結(jié)果11/20/202236第三十六頁，共43頁。X1、X2、X3與Y的相關(guān)陣X1X2X3YX11X20.9981X30.9440.9471Y0.9520.9430.970111/20/202237第三十七頁，共43頁。主成分分析結(jié)果

(表中上半部的系數(shù)矩陣是矩陣A)C1C2C3x10.58-0.420.70x20.58-0.39-0.71x30.570.820.02Var2.930.070.00%97.542.380.08累積%97.5499.9210011/20/202238第三十八頁，共43頁。主成分回歸分析結(jié)果11/20/202239第三十九頁，共43頁。主成分回歸分析結(jié)果附：本例嶺回歸分析結(jié)果11/20/202240第四十頁，共43頁。主成分分析應(yīng)用實例—綜合指標(biāo)選取計算主成分的兩種方法

如果各變量具有同等尺度對角化相關(guān)陣還是協(xié)方差陣？

從協(xié)方差陣計算主成分的一個特點：方差大的變量傾向在第一主成分上占有更大的比重（與從相關(guān)陣計算比較）。11/20/202241第四十一頁，共43頁。廣州市某年空氣污染指標(biāo)的主成分分析結(jié)果從相關(guān)陣計算從協(xié)方差陣計算C1C2C3C1’C2’C3’iNOx0.63-0.17-0.760.93-0.30-0.21iTSP0.5