1、第13章 主成分分析與因子分析,介紹： 1、主成分分析與因子分析的概念 2、主成分分析與因子分析的過程,主成分分析與因子分析的概念,需要與可能：在各個領(lǐng)域的科學研究中，往往需要對反映事物的多個變量進行大量的觀測，收集大量數(shù)據(jù)以便進行分析尋找規(guī)律。多變量大樣本無疑會為科學研究提供豐富的信息，但也在一定程度上增加了數(shù)據(jù)采集的工作量，更重要的是在大多數(shù)情況下，許多變量之間可能存在相關(guān)性而增加了問題分析的復雜性，同時對分析帶來不便。如果分別分析每個指標，分析又可能是孤立的，而不是綜合的。盲目減少指標會損失很多信息，容易產(chǎn)生錯誤的結(jié)論。因此需要找到一個合理的方法，減少分析指標的同時，盡量減少原指標包含信

2、息的損失，對所收集的資料作全面的分析。由于各變量間存在一定的相關(guān)關(guān)系，因此有可能用較少的綜合指標分別綜合存在于各變量中的各類信息。主成分分析與因子分析就是這樣一種降維的方法。 主成分分析與因子分析是將多個實測變量轉(zhuǎn)換為少數(shù)幾個不相關(guān)的綜合指標的多元統(tǒng)計分析方法 直線綜合指標往往是不能直接觀測到的，但它更能反映事物的本質(zhì)。因此在醫(yī)學、心理學、經(jīng)濟學等科學領(lǐng)域以及社會化生產(chǎn)中得到廣泛的應用。,主成分分析與因子分析的概念（續(xù)）,由于實測的變量間存在一定的相關(guān)關(guān)系，因此有可能用較少數(shù)的綜合指標分別綜合存在于各變量中的各類信息，而綜合指標之間彼此不相關(guān)，即各指標代表的信息不重疊。綜合指標稱為因子或主成分

3、（提取幾個因子），一般有兩種方法： 特征值1 累計貢獻率0.8,主成分分析實例P316不旋轉(zhuǎn),使用默認值進行最簡單的主成分分析(默認為主成分分析法:Principal components) 例子P316：對美國洛杉磯12個人口調(diào)查區(qū)的5個經(jīng)濟學變量的數(shù)據(jù)進行因子分析，data13-01a，數(shù)據(jù)見下一張幻燈片） 菜單：AnalyzeData ReductionFactor Variables ：pop，School，employ，Services， house 其他使用默認值（主成分分析法Principal components，選取特征值1，不旋轉(zhuǎn)) 比較有用的結(jié)果：兩個主成分(因子)f1,

4、f2及因子載荷矩陣(Component Matrix)，根據(jù)該表可以寫出每個原始變量（標準化值）的因子表達式： Pop0.581f1 + 0.806f2 School 0.767f1 - 0.545f2 employ 0.672f1 + 0.726f2 Services 0.932f1 - 0.104f2 house 0.791f1 - 0.558f2 每個原始變量都可以是5個因子的線性組合，提取兩個因子f1和f2，可以概括原始變量所包含信息的93.4%。 f1和f2前的系數(shù)表示該因子對變量的影響程度，也稱為變量在因子上的載荷。 但每個因子（主成分）的系數(shù)(載荷)沒有很明顯的差別，所以不好命名

5、。因此為了對因子進行命名，可以進行旋轉(zhuǎn)，使系數(shù)向0和1兩極分化，這就要使用選擇項。,洛衫磯對12個人口調(diào)查區(qū)的數(shù)據(jù),編號 總?cè)丝?中等學校平均 總雇員數(shù) 專業(yè)服務 中等房價 no pop 校齡School employ 項目數(shù)Services house 15700 12.8 2500 270 25000 21000 10.9 600 10 10000 33400 8.8 1000 10 9000 43800 13.6 1700 140 25000 54000 12.8 1600 140 25000 68200 8.3 2600 6012000 71200 11.4 400 1016000 8

6、9100 11.5 3300 6014000 99900 12.5 3400 180 18000 109600 13.7 3600 390 25000 119600 9.6 3300 80 12000 129400 11.4 4000 100 13000,因子分析實例322旋轉(zhuǎn)Rotation,由于系數(shù)沒有很明顯的差別,所以要進行旋轉(zhuǎn)(Rotation：method一般用Varimax方差最大旋轉(zhuǎn)),使系數(shù)向0和1兩極分化, 例子同上 菜單：AnalyzeData ReductionFactor Variables ：pop，School，employ，Services， house Extr

7、action：使用默認值（ method：Principal components，選取特征值1） Rotation：method選Varimax Score:Save as variables 和Display factor score Coefficient matrix 比較有用的結(jié)果：兩個主成分(因子)f1,f2及旋轉(zhuǎn)后的因子載荷矩陣(Rotated Component Matrix) ，根據(jù)該表可以寫出每個原始變量（標準化值）的因子表達式： Pop 0.01602 f1 + 0.9946f2 School 0 .941f1 - 0.00882f2 employ 0.137f1 + 0

8、.98f2 Services 0.825f1 +0.447f2 house 0.968f1 - 0.00605f2 第一主因子對中等學校平均校齡,專業(yè)服務項目,中等房價有絕對值較大的載荷(代表一般社會福利-福利條件因子); 而第二主因子對總?cè)丝诤涂偣蛦T數(shù)有較大的載荷(代表人口-人口因子). P326 比較有用的結(jié)果:因子得分fac1_1, fac2_1。其計算公式：因子得分系數(shù)和原始變量的標準化值的乘積之和（P326)。然后可以利用因子得分進行聚類p327（Analyze-Classify-Hierarchical Cluster）。,主成分分析實例P330 不旋轉(zhuǎn)市場研究中的顧客偏好分析,在

9、市場研究中，常常要求分析顧客的偏好和當前市場的產(chǎn)品與顧客偏好之間的差別，從而找出新產(chǎn)品開發(fā)的方向。顧客偏好分析時常用到主成分分析方法（因子沒有旋轉(zhuǎn)）。 例子P330：數(shù)據(jù)來自SAS公司，1980年一個汽車制造商在競爭對手中選擇了17種車型，訪問了25個顧客，要求他們根據(jù)自己的偏好對17種車型打分。打分范圍09.9， 9.9表示最高程度的偏好。data13-02a（1725：17個case，25個變量V1-V25） 菜單：AnalyzeData ReductionFactor Variables ：V1-V25 Extraction：method：Principal components Ext

10、ract:Number of factors:3 要三個主成分 Score:Save as variables 比較有用的結(jié)果：3個主成分及其因子載荷矩陣(Component Matrix)：第一主成分和第二主成分的載荷圖（Loading plots） 比較有用的結(jié)果:因子得分fac1_1, fac2_1 , fac3_1。然后可以利用因子得分進行各種分析：做偏好圖： 用fac1_1, fac2_1做散點圖（Graphs-Scatter：X- fac1_1 , Y- fac2_1）:第一主成分反映了車的產(chǎn)地，第二主成分反映了車的特性（質(zhì)量、動力、座位數(shù)等） 具體見P332-334,補充：主成分

11、分析和因子分析,以下的講義是吳喜之教授有關(guān)主成分分析和因子分析的講義，我覺得比書上講得清楚。,主成分分析和因子分析,匯報什么？,假定你是一個公司的財務經(jīng)理，掌握了公司的所有數(shù)據(jù)，比如固定資產(chǎn)、流動資金、每一筆借貸的數(shù)額和期限、各種稅費、工資支出、原料消耗、產(chǎn)值、利潤、折舊、職工人數(shù)、職工的分工和教育程度等等。 如果讓你向上面介紹公司狀況，你能夠把這些指標和數(shù)字都原封不動地擺出去嗎？ 當然不能。 你必須要把各個方面作出高度概括，用一兩個指標簡單明了地把情況說清楚。,主成分分析,每個人都會遇到有很多變量的數(shù)據(jù)。 比如全國或各個地區(qū)的帶有許多經(jīng)濟和社會變量的數(shù)據(jù)；各個學校的研究、教學等各種變量的數(shù)據(jù)

12、等等。 這些數(shù)據(jù)的共同特點是變量很多，在如此多的變量之中，有很多是相關(guān)的。人們希望能夠找出它們的少數(shù)“代表”來對它們進行描述。 本章就介紹兩種把變量維數(shù)降低以便于描述、理解和分析的方法：主成分分析（principal component analysis）和因子分析（factor analysis）。實際上主成分分析可以說是因子分析的一個特例。在引進主成分分析之前，先看下面的例子。,成績數(shù)據(jù)（student.sav）,100個學生的數(shù)學、物理、化學、語文、歷史、英語的成績?nèi)缦卤恚ú糠郑?從本例可能提出的問題,目前的問題是，能不能把這個數(shù)據(jù)的6個變量用一兩個綜合變量來表示呢？ 這一兩個綜合變量

13、包含有多少原來的信息呢？ 能不能利用找到的綜合變量來對學生排序呢？這一類數(shù)據(jù)所涉及的問題可以推廣到對企業(yè)，對學校進行分析、排序、判別和分類等問題。,主成分分析,例中的的數(shù)據(jù)點是六維的；也就是說，每個觀測值是6維空間中的一個點。我們希望把6維空間用低維空間表示。 先假定只有二維，即只有兩個變量，它們由橫坐標和縱坐標所代表；因此每個觀測值都有相應于這兩個坐標軸的兩個坐標值；如果這些數(shù)據(jù)形成一個橢圓形狀的點陣（這在變量的二維正態(tài)的假定下是可能的） 那么這個橢圓有一個長軸和一個短軸。在短軸方向上，數(shù)據(jù)變化很少；在極端的情況，短軸如果退化成一點，那只有在長軸的方向才能夠解釋這些點的變化了；這樣，由二維到

14、一維的降維就自然完成了。,主成分分析,當坐標軸和橢圓的長短軸平行，那么代表長軸的變量就描述了數(shù)據(jù)的主要變化，而代表短軸的變量就描述了數(shù)據(jù)的次要變化。 但是，坐標軸通常并不和橢圓的長短軸平行。因此，需要尋找橢圓的長短軸，并進行變換，使得新變量和橢圓的長短軸平行。 如果長軸變量代表了數(shù)據(jù)包含的大部分信息，就用該變量代替原先的兩個變量（舍去次要的一維），降維就完成了。 橢圓（球）的長短軸相差得越大，降維也越有道理。,主成分分析,對于多維變量的情況和二維類似，也有高維的橢球，只不過無法直觀地看見罷了。 首先把高維橢球的主軸找出來，再用代表大多數(shù)數(shù)據(jù)信息的最長的幾個軸作為新變量；這樣，主成分分析就基本完

15、成了。 注意，和二維情況類似，高維橢球的主軸也是互相垂直的。這些互相正交的新變量是原先變量的線性組合，叫做主成分(principal component)。,主成分分析,正如二維橢圓有兩個主軸，三維橢球有三個主軸一樣，有幾個變量，就有幾個主成分。 選擇越少的主成分，降維就越好。什么是標準呢？那就是這些被選的主成分所代表的主軸的長度之和占了主軸長度總和的大部分。有些文獻建議，所選的主軸總長度占所有主軸長度之和的大約85%即可，其實，這只是一個大體的說法；具體選幾個，要看實際情況而定。,對于我們的數(shù)據(jù)，SPSS輸出為,這里的Initial Eigenvalues就是這里的六個主軸長度，又稱特征值（

16、數(shù)據(jù)相關(guān)陣的特征值）。頭兩個成分特征值累積占了總方差的81.142%。后面的特征值的貢獻越來越少。,特征值的貢獻還可以從SPSS的所謂碎石圖看出,怎么解釋這兩個主成分。前面說過主成分是原始六個變量的線性組合。是怎么樣的組合呢？SPSS可以輸出下面的表。,這里每一列代表一個主成分作為原來變量線性組合的系數(shù)（比例）。比如第一主成分作為數(shù)學、物理、化學、語文、歷史、英語這六個原先變量的線性組合，系數(shù)（比例）為-0.806, -0.674, -0.675, 0.893, 0.825, 0.836。,如用x1,x2,x3,x4,x5,x6分別表示原先的六個變量，而用y1,y2,y3,y4,y5,y6表示

17、新的主成分，那么，原先六個變量x1,x2,x3,x4,x5,x6與第一和第二主成分y1,y2的關(guān)系為： X1=-0.806y1 + 0.353y2 X2=-0.674y1 + 0.531y2 X3=-0.675y1 + 0.513y2 X4= 0.893y1 + 0.306y2 x5= 0.825y1 + 0.435y2 x6= 0.836y1 + 0.425y2 這些系數(shù)稱為主成分載荷（loading），它表示主成分和相應的原先變量的相關(guān)系數(shù)。 比如x1表示式中y1的系數(shù)為-0.806，這就是說第一主成分和數(shù)學變量的相關(guān)系數(shù)為-0.806。 相關(guān)系數(shù)(絕對值）越大，主成分對該變量的代表性也越

18、大?？梢钥吹贸?，第一主成分對各個變量解釋得都很充分。而最后的幾個主成分和原先的變量就不那么相關(guān)了。,可以把第一和第二主成分的載荷點出一個二維圖以直觀地顯示它們?nèi)绾谓忉屧瓉淼淖兞康?。這個圖叫做載荷圖。,該圖左面三個點是數(shù)學、物理、化學三科，右邊三個點是語文、歷史、外語三科。圖中的六個點由于比較擠，不易分清，但只要認識到這些點的坐標是前面的第一二主成分載荷，坐標是前面表中第一二列中的數(shù)目，還是可以識別的。,因子分析,主成分分析從原理上是尋找橢球的所有主軸。因此，原先有幾個變量，就有幾個主成分。 而因子分析是事先確定要找?guī)讉€成分，這里叫因子（factor）（比如兩個），那就找兩個。 這使得在數(shù)學模型

19、上，因子分析和主成分分析有不少區(qū)別。而且因子分析的計算也復雜得多。根據(jù)因子分析模型的特點，它還多一道工序：因子旋轉(zhuǎn)（factor rotation）；這個步驟可以使結(jié)果更好。 當然，對于計算機來說，因子分析并不比主成分分析多費多少時間。 從輸出的結(jié)果來看，因子分析也有因子載荷（factor loading）的概念，代表了因子和原先變量的相關(guān)系數(shù)。但是在輸出中的因子和原來變量相關(guān)系數(shù)的公式中的系數(shù)不是因子載荷，也給出了二維圖；該圖雖然不是載荷圖，但解釋和主成分分析的載荷圖類似。,主成分分析與因子分析的公式上的區(qū)別,主成分分析 P312,因子分析(mp) P314,因子得分 P315,對于我們的數(shù)

20、據(jù)，SPSS因子分析輸出為,這里，第一個因子主要和語文、歷史、英語三科有很強的正相關(guān)；而第二個因子主要和數(shù)學、物理、化學三科有很強的正相關(guān)。因此可以給第一個因子起名為“文科因子”，而給第二個因子起名為“理科因子”。從這個例子可以看出，因子分析的結(jié)果比主成分分析解釋性更強。,這兩個因子的系數(shù)所形成的散點圖（雖然不是載荷，在SPSS中也稱載荷圖，,可以直觀看出每個因子代表了一類學科,計算因子得分,可以根據(jù)前面的因子得分公式（因子得分系數(shù)和原始變量的標準化值的乘積之和），算出每個學生的第一個因子和第二個因子的大小，即算出每個學生的因子得分f1和f2。 人們可以根據(jù)這兩套因子得分對學生分別按照文科和理科排序。當然得到因子得分只是SPSS軟件的一個選項（可將因子得分存為新變量、顯示因子得分系數(shù)矩陣）,因子分析和主成分分析的一些注意事項,可以看出，因子分析和主成分分析都依賴于原始變量，也只能反映原始變量的信息。所以原始變量的選擇很重要。 另外，如果原始變量都本質(zhì)上獨立，那么降維就可能失敗