1、主成分分析類型：一種處理高維數(shù)據(jù)的方法。降維思想：在實際問題的研究中，往往會涉及眾多有關的變量。但是，變量太多不但會增加計算的復雜性，而且也會給合理地分析問題和解釋問題帶來困難。一般說來，雖然每個變量都提供了一定的信息，但其重要性有所不同，而在很多情況下，變量間有一定的相關性，從而使得這些變量所提供的信息在一定程度上有所重疊。因而人們希望對這些變量加以“改造”，用為數(shù)極少的互補相關的新變量來反映原變量所提供的絕大部分信息，通過對新變量的分析達到解決問題的目的。一、總體主成分1.1 定義設 X1，X2，Xp 為某實際問題所涉及的 p 個隨機變量。記X=(X1，X2，,Xp)T，其協(xié)方差矩陣為 它

2、是一個 p 階非負定矩陣。設 （1）則有 （2）第 i 個主成分：一般地，在約束條件 及下，求 li 使 Var(Yi)達到最大，由此 li 所確定的 稱為 X1，X2，Xp 的第 i 個主成分。1.2 總體主成分的計算設 是的協(xié)方差矩陣，的特征值及相應的正交單位化特征向量分別為 及則 X 的第 i 個主成分為 （3）此時 1.3 總體主成分的性質(zhì)1.3.1 主成分的協(xié)方差矩陣及總方差記 為主成分向量，則 Y=PTX，其中，且 由此得主成分的總方差為即主成分分析是把 p 個原始變量 X1，X2，Xp 的總方差分解成 p 個互不相關變量 Y1，Y2，Yp的方差之和，即而 。第 k 個主成分的貢獻

3、率：；前m個主成分累計貢獻率：，它表明前 m 個主成分Y1，Y2，Ym綜合提供 X1，X2，Xp中信息的能力。1.3.2 主成分 Yi 與變量 Xj 的相關系數(shù)由于 Y=PTX，故 X=PY，從而由此可得 Yi 與 Xj 的相關系數(shù)為 （4）1.4 標準化變量的主成分在實際問題中，不同的變量往往有不同的量綱，由于不同的量綱會引起各變量取值的分散程度差異較大，這時總體方差則主要受方差較大的變量的控制。為了消除由于量綱的不同可能帶來的影響，常采用變量標準化的方法，即令 （5）其中 這時 的協(xié)方差矩陣便是的相關矩陣 ，其中 （6）利用 X 的相關矩陣 作主成分分析，有如下結論：設 為標準化的隨機向量

4、，其協(xié)方差矩陣（即 X 的相關矩陣）為 ，則 的第 i 個主成分為 （7）并且 （8）其中 為 的特征值，為相應于特征值 的正交單位特征向量。第 i 個主成分的貢獻率：；前 m 個主成分的累計貢獻率：；與的相關系數(shù)為 。二、樣本主成分前面討論的是總體主成分，但在實際問題中，一般 （或）是未知的，需要通過樣本來估計。設為取自 的一個容量為n的簡單隨機樣本，則樣本協(xié)方差矩陣及樣本相關矩陣分別為 （9）其中分別以 S 和 R 作為 和的估計，然后按總體主成分分析的方法作樣本主成分分析。三、 例 題某市為了全面分析機械類個企業(yè)的經(jīng)濟效益，選擇了8個不同的利潤指標，14企業(yè)關于這8個指標的統(tǒng)計數(shù)據(jù)如下表

5、所示，試進行主成分分析。表1 14家企業(yè)的利潤指標的統(tǒng)計數(shù)據(jù)變量企業(yè)序號凈產(chǎn)值利潤率（%）xi1 固定資產(chǎn)利潤率（%）xi2 總產(chǎn)值利潤率（%）xi2 銷售收入利潤率（%）xi3 產(chǎn)品成本利潤率(%)xi5物耗利潤率(%)xi6人均利潤率xi7(千元/人)流動資金利潤率(%)xi8140.424.77.26.18.38.72.44220.0225.012.711.211.012.920.23.5429.1313.23.33.94.34.45.50.5783.6422.36.75.63.76.07.40.1767.3534.311.87.17.18.08.91.72627.5635.612.51

6、6.416.722.829.33.01726.6722.07.89.910.212.617.60.84710.6848.413.410.99.910.913.91.77217.8940.619.119.819.029.739.62.44935.81024.88.09.88.911.916.20.78913.71112.59.74.24.24.66.50.8743.9121.80.60.70.70.81.10.0561.01332.313.99.48.39.813.32.12617.11438.59.111.39.512.216.41.32711.6解：樣本均值向量為：,樣本協(xié)方差矩陣為：由于S

7、中主對角線元素差異較大，因此我們樣本相關矩陣R出發(fā)進行主成分分析。樣本相關矩陣R為：矩陣R的特征值及相應的特征向量分別為：特征值特征向量6.13660.32113 0.29516 0.38912 0.38472 0.37955 0.37087 0.31996 0.355461.0421-0.4151 -0.59766 0.22974 0.27869 0.31632 0.37151 -0.27814 -0.156840.43595-0.45123 0.10303 -0. 0. -0. 0. 0.77059 -0.424780.22037-0.66817 0.36336 -0.22596 -0.1

8、1081 0.14874 0. -0.13495 0.559490.15191-0. 0.62435 0.12273 -0. 0.15928 0.21062 -0.43006 -0.581050.-0.10167 0.13584 -0.15811 0.86226 -0.25204 -0.34506 -0.13934 -0.0.0.1596 -0. -0.53966 0. 0.7609 -0.27809 0.06203 -0.131260.0.19295 -0. -0.64176 0.11002 -0.25397 0.68791 -0. -0.R的特征值及貢獻率見下表特征值貢獻率（%）累計貢獻率

9、（%）6.13660.767080.767081.04210.130270.897340.435950.0.951840.220370.0.979380.151910.0.998370.0.0.999480.0.0.999850.0.1前3個標準化樣本主成分類及貢獻率已達到95.184%，故只需取前三個主成分即可。前3個標準化樣本主成分中各標準化變量 前的系數(shù)即為對應特征向量，由此得到3個標準化樣本主成分為注意到，y1近似是8個標準化變量的等權重之和，是反映各企業(yè)總效應大小的綜合指標，y1的值越大，則企業(yè)的效益越好。由于y1的貢獻率高達76.708%，故若用y1的得分值對各企業(yè)進行排序，能從整體上反映企業(yè)之間的效應差別。將S中sii的值及中各的值以及各企業(yè)關于xi的觀測值代入y1的表達式中，可求得各企業(yè)y1的得分及其按其得分由大到小的排序結果。企業(yè)序號得分12-0.973544-0.648563-0.6274311-0.4855810-0.2194