主成分分析主成分分析是一種化繁為簡，將指標數(shù)盡可能壓縮的降維技術，也是一種綜合評價方法。在現(xiàn)實生活中，人們往往會對樣品收集盡可能多的指標，例如人口普查往往要調查每個人的姓名、年齡、性別、文化程度、住房、職業(yè)、收入、消費等幾十項指標，從收集資料的角度來看，收集較多的數(shù)據有利于完整反映樣品的特征，但是這些指標從統(tǒng)計角度來看相互之間具有一定的依賴關系，從而使所觀測的數(shù)據在反映信息上有一定重疊。因此，人們希望通過克服相關性、重疊性，用較少的變量來代替原來較多的變量，而這種代替可以反映原來多個變量的大部分信息，這實際上是一種“降維”的思想。主成分分析也稱主分量分析，是由Hotelling于1933年首先提出的。由于多個變量之間往往存在著一定程度的相關性。人們自然希望通過線性組合的方式，從這些指標中盡可能快地提取信息。當?shù)谝粋€線性組合不能提取更多的信息時，再考慮用第二個線性組合繼續(xù)這個快速提取的過程，……，直到所提取的信息與原指標相差不多時為止。這就是主成分分析的思想。一般說來，在主成分分析適用的場合，用較少的主成分就可以得到較多的信息量。以各個主成分為分量，就得到一個更低維的隨機向量；因此，通過主成分既可以降低數(shù)據“維數(shù)”又保留了原數(shù)據的大部分信息。我們知道，當一個變量只取一個數(shù)據時，這個變量（數(shù)據）提供的信息量是非常有限的，當這個變量取一系列不同數(shù)據時，我們可以從中讀出最大值、最小值、平均數(shù)等信息。變量的變異性越大，說明它對各種場景的“遍歷性”越強，提供的信息就更加充分，信息量就越大。主成分分析中的信息，就是指標的變異性，用標準差或方差表示它。主成分分析的數(shù)學模型是，設p個變量構成的p維隨機向量為X=

（X1，…，Xp）′對X作正交變換，令Y=T′X，其中T為正交陣，要求Y的各分量是不相關的，并且Y的第一個分量的方差是最大的，第二個分量的方差次之，……，等等。為了保持信息不丟失，Y的各分量方差和與X的各分量方差和相等。Y是列向量T為正交陣有：T’T=I;T’=T^(-1)主成分的幾何解釋主成分分析用數(shù)學模型表達，即對X進行正交變換，在幾何上就是作一個坐標旋轉。因此，主成分分析在二維空間中有明顯的幾何意義。假設共有n個樣品，每個樣品都測量了兩個指標（X1，X2），它們大致分布在一個橢圓內：事實上，散點的分布總有可能沿著某一個方向略顯擴張，這個方向就把它看作橢圓的長軸方向。顯然，在坐標系x1Ox2中，單獨看這n個點的分量X1和X2，它們沿著x1方向和x2方向都具有較大的離散性，其離散的程度可以分別用的X1方差和X2的方差測定。如果僅考慮X1或X2中的任何一個分量，那么包含在另一分量中的信息將會損失，因此，直接舍棄某個分量不是“降維”的有效辦法。易見，n個點在新坐標系下的坐標Y1和Y2幾乎不相關。稱它們?yōu)樵甲兞縓1和X2的綜合變量，n個點y1在軸上的方差達到最大，即在此方向上包含了有關n個樣品的最大量信息。 因此，欲將二維空間的點投影到某個一維方向上，則選擇y1軸方向能使信息的損失最小。我們稱Y1為第一主成分，稱Y2為第二主成分。

第一主成分的效果與橢圓的形狀有很大的關系，橢圓越是扁平，n個點在y1軸上的方差就相對越大，在y2軸上的方差就相對越小，用第一主成分代替所有樣品所造成的信息損失也就越小。x1x2p1p2坐標旋轉：找到正交陣T使樣品點的信息更多的體現(xiàn)在P1方向，而P2方向與P1方向無關，但同時也包含了一部分樣本信息。我們從空間上轉換觀察數(shù)據的角度，以突出數(shù)據變異的方向，找到重要信息以上給出的是二維數(shù)據的情況，若將此推廣到一般情況，則設變量為p維向量。在原始變量的p維空間中，已知其均值為U=E(X),方差為。通過正交變換找到新的p個坐標軸，其關系可以表示為：在這p個新變量Y中可以找到m個（m<p）的變量（y1,y2,…,ym）能解釋原始數(shù)據中大部分方差所包含的信息。此時我們將原始的p個變量X縮減為m個新變量y，通過m個新變量來傳遞原始變量的大部分信息，同時縮減了數(shù)據的維數(shù)。如何找到新變量Y及正交陣T之前說過，這一組新的變量y1,y2,…,yp要充分反映原變量的信息，且相互獨立。信息能否反映充分，我們用變量的離異程度來衡量，即標準差或方差。因此尋找主成分Y的問題轉化為，在保證新變量y1,y2,…,yp相互獨立的條件下，求某一個線性組合T，使D(Y)達到最大。第一主成分的約束條件第二主成分的約束條件：2個主成分的性質隨機向量X的方差協(xié)方差陣對角線上的元素主成分的方差協(xié)方差矩陣的對角線元素正交矩陣T中對應的第k行第i列元素性質4：，關于主成分的方差貢獻率：主成分分析之前的協(xié)方差矩陣標準化實際應用中要特別注意的一點，隨機向量X的協(xié)方差矩陣在進行主成分提取之前要先進行標準化。由于不同的變量往往有不同的單位，對同一變量單位的改變會產生不同的主成分，主成分傾向于多歸納方差大的變量的信息，對于方差小的變量就可能體現(xiàn)得不夠，也存在“大數(shù)吃小數(shù)”的問題。為使主成分分析能夠均等地對待每一個原始變量，應消除由于單位的不同可能帶來的影響。我們常將各原始變量做標準化處理：顯然，的協(xié)方差矩陣就是X的相關系數(shù)矩陣。實際應用中，X的相關系數(shù)矩陣可以利用樣本數(shù)據來估計。這里我們需要進一步強調的是，從相關陣求得的主成分與協(xié)差陣求得的主成分一般情況是不相同的。實際表明，這種差異有時很大。我們認為，如果各指標之間的數(shù)量級相差懸殊，特別是各指標有不同的物理量綱的話，較為合理的做法是使用R代替∑。對于研究經濟問題所涉及的變量單位大都不統(tǒng)一，采用R代替∑后，可以看作是用標準化的數(shù)據做分析，這樣使得主成分有現(xiàn)實經濟意義，不僅便于剖析實際問題，又可以避免突出數(shù)值大的變量。用主成分分析進行綜合評價人們在對某個單位或某個系統(tǒng)進行綜合評價時都會遇到如何選擇評價指標體系和如何對這些指標進行綜合的困難。一般情況下，選擇評價指標體系后通過對各指標加權的辦法來進行綜合。但是，如何對指標加權是一項具有挑戰(zhàn)性的工作。指標加權的依據是指標的重要性，指標在評價中的重要性判斷難免帶有一定的主觀性，這影響了綜合評價的客觀性和準確性。由于主成分分析能從選定的指標體系中歸納出大部分信息，根據主成分提供的信息進行綜合評價，不失為一個可行的選擇。這個方法是根據指標間的相對重要性進行客觀加權，可以避免綜合評價者的主觀影響，在實際應用中越來越受到人們的重視。對主成分進行加權綜合。我們利用主成分進行綜合評價時，主要是將原有的信息進行綜合，因此，要充分的利用原始變量提供的信息。將主成分的權數(shù)根據它們的方差貢獻率來確定，因為方差貢獻率反映了各個主成分的信息含量多少。SPSS實現(xiàn)主成分分析某市工業(yè)部門13個行業(yè)的8項重要經濟指標的數(shù)據，這8項經濟指標分別是：

X1：年末固定資產凈值，單位：萬元；

X2：職工人數(shù)據，單位：人；

X3：工業(yè)總產值，單位：萬元；

X4：全員勞動生產率，單位：元/人年；

X5：百元固定資產原值實現(xiàn)產值，單位：元；

X6：資金利稅率，單位：%；

X7：標準燃料消費量，單位：噸；

X8：能源利用效果，單位：萬元/噸。請問：如何從這些經濟指標出發(fā)，對各工業(yè)部門進行綜合評價與排序？我們的目標是：先對數(shù)據進行標準化，得到相關矩陣R以后，計算該矩陣的8個特征值及對應的特征向量。由下式建立8個主成分：分別計算各主成分然后以各主成分的方差貢獻率為權重，重新對各工業(yè)部門計算綜合得分：其計算公式為：由該式計算各工業(yè)部門的綜合得分并進行排序。SPSS沒有提供主成分分析的專用功能，只有因子分析的功能。但是因子分析和主成分分析有著密切的聯(lián)系。因子分析的重要步驟——因子的提取最常用的方法就是“主成分法”。利用因子分析的結果，可以很容易地實現(xiàn)主成分分析。具體來講，就是利用因子載荷陣和相關系數(shù)矩陣的特征根來計算特征向量。即：特征向量的元素其中，為第j個特征向量的第i個元素；為因子載荷陣第i行第j列的元素；λj為第j個因子對應的特征根。然后再利用 計算出的特征向量來計算主成分。我國2005年第1、2季度分地區(qū)城鎮(zhèn)居民家庭收支基本情況。通過這個例子，介紹如何利用SPSS軟件實現(xiàn)主成分分析。（一）利用SPSS進行因子分析將原始數(shù)據輸入SPSS數(shù)據編輯窗口，將5個變量分別命名為X1～X5。在SPSS窗口中選擇Analyze→Data

Reduction→Factor菜單項，調出因子分析主界面，并將變量X1～X5移入Variables框中，其他均保持系統(tǒng)默認選項，單擊OK按鈕，執(zhí)行因子分析過程（關于因子分子在SPSS中實現(xiàn)的詳細過程，我們將在下一節(jié)課講解。）因子提取的方法：主成分用相關矩陣提取特征向量用X的方差協(xié)方差陣進行分析：默認數(shù)據無標準化由R矩陣計算的特征根前兩個特征根的方差解釋度達到80%Total列為各因子對應的特征根，本例中共提取兩個公因子；%ofVariance列為各因子的方差貢獻率；Cumulative%列為各因子累積方差貢獻率，由表中可以看出，前兩個因子已經可以解釋79.31%的方差二）利用因子分析結果進行主成分分析

1.將下表中因子載荷陣中的數(shù)據輸入SPSS數(shù)據編輯窗口，分別命名為a1和a2。2.為了計算第一個特征向量，點擊菜單項中的Transform→Compute，調出Computevariable對話框，在對話框中輸入等式：

z1=a1/SQRT(2.576)

點擊OK按鈕，即可在數(shù)據編輯窗口中得到以z1為變量名的第一特征向量。 再次調出Computevariable對話框，在對話框中輸入等式：

z2=a2/SQRT(1.389)

點擊OK按鈕，得到以z2為變量名第二特征向量。這樣，我們得到了特征向量矩陣：從而有，兩個主成分的表達式：3.再次使用Compute命令，就可以計算得到兩個主成分。以下我們用SPSS對上例中13個行業(yè)的綜合排序：進入SPSS的factor分析窗口，用相應的命令獲得以下結果：對R矩陣計算得到的特征值得到因子載荷陣：此時僅提取前3個因子，已經能夠解釋86%的原變量方差利用載荷陣與特征向量之間的關系，我們計算前三個特征向量：T1T2T3.4767.2961.1037.4727.2779.1628.4239.3778.1566-.2128.4512-.0083-.3882.3308.3215-.3524.4030.1452.2151-.3772.1400.0550.2726-.8918這三個主成分Y是在標準化數(shù)據基礎上提煉得到的，因此在計算綜合得分時，要注意先將原始數(shù)據標準化。由上表看出，第一主成分除了與X8的相關性最弱以外，基本反映了其它7個原始變量的信息；第二主成分與8個原始變量的相關性都差不多，也是綜合反映了信息；第三個主成分僅與X8的相關性最高，主要反映了工業(yè)行業(yè)中能源利用率的問題。因此，我們得到三個主成分具體表達式：接下來，利用各特征值的方差貢獻率做權重計算各行業(yè)的綜合得分：行業(yè)Y1Y2Y3綜合得分排名冶金1.475250.758590.537770.909852電力0.49833-2.591150.22756-0.7186413煤炭1.05657-3.224610.40801-0.7104512化學0.460071.18356-0.998750.491083機器4.528142.262230.466092.630961建材0.32958-1.773420.0310