第5節(jié)主成分分析

主成分分析的基本原理主成分分析的解法

主成分分析方法應(yīng)用實(shí)例問(wèn)題的提出地理系統(tǒng)是多要素的復(fù)雜系統(tǒng)。在地理學(xué)研究中，多變量問(wèn)題是經(jīng)常會(huì)遇到的。變量太多，無(wú)疑會(huì)增加分析問(wèn)題的難度與復(fù)雜性，而且在許多實(shí)際問(wèn)題中，多個(gè)變量之間是具有一定的相關(guān)關(guān)系的。能否在相關(guān)分析的基礎(chǔ)上，用較少的新變量代替原來(lái)較多的舊變量，而且使這些較少的新變量盡可能多地保留原來(lái)變量所反映的信息？主成分分析方法就是綜合處理這種問(wèn)題的一種強(qiáng)有力的工具。主成分分析是把原來(lái)多個(gè)變量劃為少數(shù)幾個(gè)綜合指標(biāo)的一種統(tǒng)計(jì)分析方法。從數(shù)學(xué)角度來(lái)看，這是一種降維處理技術(shù)。例，成績(jī)數(shù)據(jù)100個(gè)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)的成績(jī)?nèi)缦卤恚ú糠郑谋纠赡芴岢龅膯?wèn)題目前的問(wèn)題是，能不能把這個(gè)數(shù)據(jù)的6個(gè)變量用一兩個(gè)綜合變量來(lái)表示呢？這一兩個(gè)綜合變量包含有多少原來(lái)的信息呢？能不能利用找到的綜合變量來(lái)對(duì)學(xué)生排序呢？這一類數(shù)據(jù)所涉及的問(wèn)題可以推廣到對(duì)企業(yè)，對(duì)學(xué)校進(jìn)行分析、排序、判別和分類等問(wèn)題。例中的數(shù)據(jù)點(diǎn)是六維的；也就是說(shuō)，每個(gè)觀測(cè)值是6維空間中的一個(gè)點(diǎn)。我們希望把6維空間用低維空間表示。先假定只有二維，即只有兩個(gè)變量，它們由橫坐標(biāo)和縱坐標(biāo)所代表；因此每個(gè)觀測(cè)值都有相應(yīng)于這兩個(gè)坐標(biāo)軸的兩個(gè)坐標(biāo)值；如果這些數(shù)據(jù)形成一個(gè)橢圓形狀的點(diǎn)陣（這在變量的二維正態(tài)的假定下是可能的）。那么這個(gè)橢圓有一個(gè)長(zhǎng)軸和一個(gè)短軸。在短軸方向上，數(shù)據(jù)變化很少；在極端的情況，短軸如果退化成一點(diǎn)，那只有在長(zhǎng)軸的方向才能夠解釋這些點(diǎn)的變化了；這樣，由二維到一維的降維就自然完成了。當(dāng)坐標(biāo)軸和橢圓的長(zhǎng)短軸平行，那么代表長(zhǎng)軸的變量就描述了數(shù)據(jù)的主要變化，而代表短軸的變量就描述了數(shù)據(jù)的次要變化。但是，坐標(biāo)軸通常并不和橢圓的長(zhǎng)短軸平行。因此，需要尋找橢圓的長(zhǎng)短軸，并進(jìn)行變換，使得新變量和橢圓的長(zhǎng)短軸平行。如果長(zhǎng)軸變量代表了數(shù)據(jù)包含的大部分信息，就用該變量代替原先的兩個(gè)變量（舍去次要的一維），降維就完成了。橢圓（球）的長(zhǎng)短軸相差得越大，降維也越有道理。對(duì)于多維變量的情況和二維類似，也有高維的橢球，只不過(guò)無(wú)法直觀地看見(jiàn)。首先把高維橢球的主軸找出來(lái)，再用代表大多數(shù)數(shù)據(jù)信息的最長(zhǎng)的幾個(gè)軸作為新變量；這樣，主成分分析就基本完成。注意，和二維情況類似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，叫做主成分。正如二維橢圓有兩個(gè)主軸，三維橢球有三個(gè)主軸一樣，有幾個(gè)變量，就有幾個(gè)主成分。選擇越少的主成分，降維就越好。什么是標(biāo)準(zhǔn)呢？那就是這些被選的主成分所代表的主軸的長(zhǎng)度之和占了主軸長(zhǎng)度總和的大部分。有些文獻(xiàn)建議，所選的主軸總長(zhǎng)度占所有主軸長(zhǎng)度之和的大約85%即可，其實(shí)，這只是一個(gè)大體的說(shuō)法；具體選幾個(gè)，要看實(shí)際情況而定。一、主成分分析方法的基本原理假定有n個(gè)地理樣本，每個(gè)樣本共有p個(gè)變量，構(gòu)成一個(gè)n×p階的地理數(shù)據(jù)矩陣。當(dāng)p較大時(shí)，在p維空間中考察問(wèn)題比較麻煩。為了克服這一困難，就需要進(jìn)行降維處理，即用較少的幾個(gè)綜合指標(biāo)代替原來(lái)較多的變量指標(biāo)，而且使這些較少的綜合指標(biāo)既能盡量多地反映原來(lái)較多變量指標(biāo)所反映的信息，同時(shí)它們之間又是彼此獨(dú)立的。主成分分析的幾何意義主成分分析的過(guò)程就是坐標(biāo)系旋轉(zhuǎn)的過(guò)程，各主成分就是新坐標(biāo)與原坐標(biāo)的轉(zhuǎn)換關(guān)系，在新坐標(biāo)系中，各坐標(biāo)軸的方向就是原始數(shù)據(jù)變差最大的方向。（一）主成分分析的幾何解釋X2X1Z1Z2θN個(gè)樣品無(wú)論沿X1軸方向還是沿X2軸方向均有較大的離散性，其離散程度可以分別用觀測(cè)變量X1的方差和X2的方差定量地表示，顯然，若只考慮X1和X2中的任何一個(gè)，原始數(shù)據(jù)中的信息均會(huì)有較大的損失。Z1Z2主成分分析的實(shí)質(zhì)就是要求出方差—協(xié)方差矩陣的特征向量及其對(duì)應(yīng)的特征值，即要找出方差—協(xié)方差矩陣所確定的橢球的主軸，并確定其長(zhǎng)度。方差—協(xié)方差陣的特征向量表示主軸的方向，而其對(duì)應(yīng)的特征值表示主軸的長(zhǎng)度。（二）特征值與特征向量與方差--協(xié)方差矩陣的聯(lián)系（主成分的數(shù)學(xué)解釋）例如6個(gè)樣方、2個(gè)種的多度數(shù)據(jù)是：樣方123456物種X1564603物種X21187622數(shù)據(jù)的中心化樣方123456總和物種X11202-4-10物種X25210-4-40中心化后的原始數(shù)據(jù)矩陣把坐標(biāo)軸X1、X2剛性地旋轉(zhuǎn)一個(gè)角度，得到圖中虛線表示的新坐標(biāo)軸Y1和Y2。Y1Y26個(gè)樣方點(diǎn)在新坐標(biāo)系中位置的數(shù)據(jù)為：與中心化后的原始數(shù)據(jù)有如下關(guān)系：

寫成矩陣的形式有：U是坐標(biāo)旋轉(zhuǎn)的變換矩陣，它是正交矩陣，有UT=U-1，即UUT=I（I為單位矩陣）希望Y1軸就是要找的直線：6個(gè)點(diǎn)在該線上垂足的離差平方和最大（即畸變最小）∵∴中心化以后的數(shù)據(jù),相當(dāng)于對(duì)原始數(shù)據(jù)的離差求和對(duì)剛性旋轉(zhuǎn)后的新軸而言，坐標(biāo)原點(diǎn)仍在形心（）。于是6個(gè)點(diǎn)在Y1軸上垂足的離差平方和就是它們?cè)赮1軸上坐標(biāo)之平方和。由它的取值只依賴于坐標(biāo)軸旋轉(zhuǎn)角度一個(gè)變量，取極大值的必要條件是對(duì)θ的導(dǎo)數(shù)為0。即=0=0上述條件等同于因此，如果原坐標(biāo)旋轉(zhuǎn)后的Y1軸是我們要求的使Var(Y1)最大的直線的話，則必然有Var(Y2)最小，且。這說(shuō)明6個(gè)樣方點(diǎn)對(duì)新坐標(biāo)的離差矩陣應(yīng)為是對(duì)角矩陣，并且方差—協(xié)方差矩陣∴

其中XXT是已中心化數(shù)據(jù)的離差矩陣S，它是對(duì)稱的。又因U是正交矩陣UT=U-1，則上式可寫為：USU-1=Λ和是對(duì)稱離差矩陣S的兩個(gè)特征根（），而U的每一行是相應(yīng)的特征向量。定義：記x1，x2，…，xP為原變量指標(biāo)，z1，z2，…，zm（m≤p）為新變量指標(biāo)系數(shù)lij的確定原則

zi與zj（i≠j；i，j=1，2，…，m）相互無(wú)關(guān)。z1是x1，x2，…，xP的一切線性組合中方差最大者，z2是與z1不相關(guān)的x1，x2，…，xP的所有線性組合中方差最大者；……zm是與z1，z2，……，zm－1都不相關(guān)的x1，x2，…xP，的所有線性組合中方差最大者。則新變量指標(biāo)z1，z2，…，zm分別稱為原變量指標(biāo)x1，x2，…，xP的第一，第二，…，第m主成分。二、主成分分析的解法（一）用方差—協(xié)方差矩陣求解主成分例例:設(shè)有一組古生物腕足動(dòng)物貝殼標(biāo)本的兩個(gè)變量:長(zhǎng)度和寬度.所測(cè)量的數(shù)據(jù)列于表中.X1X2X1X232121041012116513668131461013157213177131478915139517139817179141819107202011121、方差—協(xié)方差的計(jì)算2、主成分分析的實(shí)質(zhì)就是要求出方差—協(xié)方差矩陣的特征向量及其對(duì)應(yīng)的特征值，即要找出方差—協(xié)方差矩陣所確定的橢球的主軸，并確定其長(zhǎng)度。由教材中例：方差—協(xié)方差矩陣為求特征值特征向量的求解當(dāng)時(shí),化為聯(lián)立方程求得同理求得時(shí)的特征向量算出第一主成分I：特征值為37.9，特征向量為第二主成分II：特征值為6.5，特征向量為特征向量的方向由I、II中包括的兩個(gè)數(shù)字控制。矩陣的總方差為20.3+24.1=44.4，變量X1所占的比重為20.3/44.4，占總方差的46%，X2占總方差的54%。由矩陣代數(shù)可知，兩個(gè)特征值分別為兩個(gè)特征向量所組成的橢圓的兩個(gè)主軸的長(zhǎng)度，而主軸長(zhǎng)度之和可用來(lái)表示數(shù)據(jù)組的總方差。第一主成分Z1的方差為37.9，第二主成分Z2的方差為6.5。兩者之和恰為X1和X2的總方差44.4。可見(jiàn)，兩個(gè)主成分Z1、Z2所代表的信息分別為86%和14%。如果用Z1代表原來(lái)的數(shù)據(jù),則僅損失信息14%。但若用X1和X2來(lái)代表原來(lái)的數(shù)據(jù)，則將損失信息46%或54%。3、主成分得分的計(jì)算根據(jù)（8-3）式，得到主成分的表達(dá)式為原始數(shù)據(jù)的主成分得分Z1Z2Z1Z23.480.9315.422.410.14-3.616.171.747.711.213.085.799.96-0.7819.080.5111.46-2.119.83-0.156.123.9321.33-1.4714.37-3.3314.495.8812.030.0619.652.679.693.4520.974.1711.941.4723.971.5316.44-2.4926.130.9611.852.8828.21.816.260.33（二）用相關(guān)系數(shù)矩陣做主成分分析的步驟對(duì)原始地理數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理（標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化），即其中計(jì)算相關(guān)系數(shù)矩陣R計(jì)算特征值和特征向量根據(jù)特征方程