統(tǒng)計(jì)學(xué)─從數(shù)據(jù)到結(jié)論第十章主成分分析和因子分析

匯報(bào)什么？假定你是一個(gè)公司的財(cái)務(wù)經(jīng)理，掌握了公司的所有數(shù)據(jù)，這包括眾多的變量，如：固定資產(chǎn)、流動(dòng)資金、借貸的數(shù)額和期限、各種稅費(fèi)、工資支出、原料消耗、產(chǎn)值、利潤(rùn)、折舊、職工人數(shù)、分工和教育程度等等。如果讓你向上級(jí)或有關(guān)方面介紹公司狀況，你能夠把這些指標(biāo)和數(shù)字都原封不動(dòng)地?cái)[出去嗎？

需要高度概括在如此多的變量之中，有很多是相關(guān)的。人們希望能夠找出它們的少數(shù)“代表”來(lái)對(duì)它們進(jìn)行描述。需要把這種有很多變量的數(shù)據(jù)進(jìn)行高度概括。本章介紹兩種把變量維數(shù)降低以便于描述、理解和分析的方法：主成分分析（principalcomponentanalysis）和因子分析（factoranalysis）。實(shí)際上主成分分析可以說(shuō)是因子分析的一個(gè)特例。在引進(jìn)主成分分析之前，先看下面的例子。10.1主成分分析成績(jī)數(shù)據(jù)（student.txt）100個(gè)學(xué)生的數(shù)學(xué)、物理、化學(xué)、語(yǔ)文、歷史、英語(yǔ)的成績(jī)?nèi)缦卤恚ú糠郑?。SPSS數(shù)據(jù)形式從本例可能提出的問(wèn)題目前的問(wèn)題是，能否把這個(gè)數(shù)據(jù)的6個(gè)變量用一兩個(gè)綜合變量來(lái)表示呢？這一兩個(gè)綜合變量包含有多少原來(lái)的信息呢？能否利用找到的綜合變量來(lái)對(duì)學(xué)生排序或據(jù)此進(jìn)行其他分析呢？空間的點(diǎn)例中數(shù)據(jù)點(diǎn)是六維的；即每個(gè)觀測(cè)值是6維空間中的一個(gè)點(diǎn)。希望把6維空間用低維空間表示。先假定只有二維，即只有兩個(gè)變量，由橫坐標(biāo)和縱坐標(biāo)所代表；每個(gè)觀測(cè)值都有相應(yīng)于這兩個(gè)坐標(biāo)軸的兩個(gè)坐標(biāo)值；空間拴的點(diǎn)如果辰這些手?jǐn)?shù)據(jù)們形成頭一個(gè)核橢圓膊形狀戲的點(diǎn)扮陣（測(cè)這在謎二維芽正態(tài)食的假政定下護(hù)是可亦能的嗽）該乞橢圓聽(tīng)有一祖?zhèn)€長(zhǎng)朝軸和招一個(gè)肝短軸婆。在怪短軸米方向蘆上數(shù)合據(jù)變怕化很擺少；在極擇端的膊情況搶?zhuān)虜噍S如盟退化盤(pán)成一奮點(diǎn)，頌長(zhǎng)軸謝的方芬向可裂以完收全解念釋這增些點(diǎn)壞的變羊化，瓦由二干維到解一維塞的降背維就起自然垃完成懇了。橢圓祝的長(zhǎng)勵(lì)短軸當(dāng)坐眾標(biāo)軸蔬和橢適圓的愿長(zhǎng)短禾軸平苦行，齡那么檔代表旨長(zhǎng)軸廳的變預(yù)量就隆描述愁了數(shù)頸據(jù)的雄主要混變化瘋，而銷(xiāo)代表假短軸導(dǎo)的變?cè)斄烤蛻?zhàn)描述謝了數(shù)疏據(jù)的襯次要嘉變化跳。但是劇，坐掉標(biāo)軸耀通常輪并不度和橢抱圓的怕長(zhǎng)短仗軸平殺行。資因此足，需綱要尋劑找橢用圓的餓長(zhǎng)短獻(xiàn)軸，俱并進(jìn)腥行變依換，什使得御新變井量和亡橢圓誤的長(zhǎng)鈴短軸恩平行章。橢圓拖的長(zhǎng)遞短軸如果啄長(zhǎng)軸抱變量悄代表孕了數(shù)束據(jù)包壓含的踐大部村分信箱息，啄就用播該變過(guò)量代便替原鳳先的塘兩個(gè)恰變量唱（舍配去次原要的舍一維弦），翻降維仁就完袍成了負(fù)。橢圓性的長(zhǎng)蔽短軸終相差垃得越男大，程降維節(jié)也越廈有道耍理。主軸迎和主歡成分多維紀(jì)變量法的情哥況和束二維族類(lèi)似翅，也貨有高躲維的豎橢球市，只者不過(guò)且不那宇么直緊觀罷稼了。首先懶把高罩維橢進(jìn)球的賭主軸半找出鵝來(lái)，朱再用照代表買(mǎi)大多得數(shù)數(shù)徐據(jù)信俗息的監(jiān)最長(zhǎng)超的幾托個(gè)軸定作為泳新變集量；亂這樣昂，主窮成分旁分析贈(zèng)就基串本完愚成了顛。主軸曉和主海成分正如留二維停橢圓滿有兩靈個(gè)主蘇軸，葬三維挺橢球薪有三嶼個(gè)主屑軸一胸樣，膠有幾測(cè)個(gè)變扛量，竄就有組幾個(gè)級(jí)主軸屋。和二睜維情臟況類(lèi)磨似，脾高維振橢球鍋的主昂軸也咐是互磨相垂彈直的胞。這些陶互相竭正交惑的新癥變量劫是原鄉(xiāng)豐先變?nèi)柿康募倬€性格組合沃，叫土做主挑成分(p批ri恒nc茶ip紡al帖c濕om雷po仿ne坦nt豈)。主成歸分之紗選取選擇盲越少州的主撓成分目，降肝維就軋?jiān)胶媚骸Ｊ部苊词谦I(xiàn)標(biāo)準(zhǔn)攤呢？那就絡(luò)是這帶些被裁選的徹主成泥分所洞代表攔的主聽(tīng)軸的正長(zhǎng)度寧之和陪占了漿主軸所長(zhǎng)度攻總和草的大鍋部分隊(duì)。有些萍文獻(xiàn)拖建議由，所針選的罷主軸撈總長(zhǎng)注度占召所有茶主軸狂長(zhǎng)度結(jié)之和肚的大約85手%即可掌，其撫實(shí)，這只棟是一毫個(gè)大趨體的挨說(shuō)法；具以體選薪幾個(gè)掃，要先看實(shí)正際情掉況而宴定。主成課分分惱析的落數(shù)學(xué)要尋喊找方上差最痰大的過(guò)方向蹦。即宿，使向量X的線骨性組永合a’X的方不差最眾大的攤方向a.而Va麻r(a’X)=a’C由ov如(X黃)a;由于Co低v(洪X)未知續(xù)；于是較用X的樣本諸相關(guān)然陣R來(lái)近曾似.要尋埋找向小量a使得a’Ra最大(注意兆相關(guān)贏陣和焰協(xié)方苗差陣開(kāi)差一佛個(gè)常猴數(shù)）這涉峰及相硬關(guān)陣爐和特好征值變?；仡檵D一下隱吧!選擇繳幾個(gè)蘆主成憲分呢?要看升“貢婚獻(xiàn)率.”對(duì)于駕我們恥的數(shù)含據(jù)，SP旗SS輸出騰為這里滋的In蘇it棟ia打lEi鼓ge坑nv野al播ue答s就是賢這里僅的六右個(gè)主遮軸長(zhǎng)懲度，浙又稱(chēng)監(jiān)特征狂值（賢數(shù)據(jù)維相關(guān)觀陣的堤特征撤值）。頭兩幻玉個(gè)成沿分特坐征值瞇累積體占了增總方味差的81忙.1丟42眨%。后些面的護(hù)特征塑值的該貢獻(xiàn)治越來(lái)豪越少連。特征悅值的月貢獻(xiàn)唇還可扣以從SP土SS的所月謂碎依石圖薦看出怎么使解釋御這兩筐個(gè)主窩成分撒。主行成分照是原后始六筒個(gè)變皆量的容線性蓋組合握。這徹由下鐵表給仙出。這里店每一屈列代喂表一董個(gè)主投成分挽作為裹原來(lái)桌變量放線性瞞組合援的系符數(shù)（追比例莫）。憐比如港第一店主成猴分為旱數(shù)學(xué)貿(mào)、物害理、互化學(xué)丸、語(yǔ)訊文、奔?xì)v史破、英柜語(yǔ)這驗(yàn)六個(gè)擊變量籠的線龍性組艘合，四系數(shù)后（比碰例）民為-0紅.8盒06最,致-0獄.6邁74添,漂-0職.6捎75恭,驗(yàn)0.敘89戚3,灣0妥.8秋25隨,趨0.睬83脆6。如用x1,x2,x3,x4,x5,x6分別深表示乓原先渡的六寨個(gè)變舅量，戚而用y1,y2,y3,y4,y5,y6表示考新的任主成頑分，眨那么頁(yè)，第折一和拆第二錦主成造分為這些薯系數(shù)演稱(chēng)為語(yǔ)主成飼分載漏荷（lo卷ad關(guān)in咸g），它表涂示主研成分報(bào)和相肯應(yīng)的譜原先扔變量膠的相壘關(guān)系眾數(shù)。比如y1表示悼式中x1的系孤數(shù)為-0堡.8民06，這撿就是回說(shuō)第作一主喂成分杯和數(shù)且學(xué)變黎量的內(nèi)相關(guān)帥系數(shù)追為-0刃.8英06。相關(guān)忽系數(shù)(絕對(duì)前值）窮越大打，主驅(qū)成分?jǐn)n對(duì)該淡變量予的代嘗表性家也越鑄大。隔可以妄看得晝出，塵第一撐主成泰分對(duì)富各個(gè)平變量圈解釋碎得都蠶很充刪分。鴉而最什后的辜幾個(gè)膏主成漂分和稼原先棄的變屈量就津不那抬么相泥關(guān)了順。可以錯(cuò)把第館一和吩第二刻主成據(jù)分的劈燕載荷絡(luò)點(diǎn)出狂一個(gè)茶二維暑圖以曾直觀依地顯最示它卸們?nèi)缰缓谓饪歪屧瑏?lái)的暫變量轎的。抹這個(gè)遣圖叫拔做載惑荷圖續(xù)。該圖左面腰三個(gè)纏點(diǎn)是依數(shù)學(xué)組、物表理、救化學(xué)扁三科，右邊循三個(gè)規(guī)點(diǎn)是奧語(yǔ)文徑、歷軟史、殖外語(yǔ)甘三科烈。圖中孕的六丑個(gè)點(diǎn)知由于撲比較錦擠，朗不易加分清賓，但爐只要沸認(rèn)識(shí)蓋到這塔些點(diǎn)況的坐鈴標(biāo)是霸前面路的第舟一二擋主成界分載用荷，歸坐標(biāo)醋是前固面表游中第礎(chǔ)一二銅列中現(xiàn)的數(shù)挺目，岔還是氧可以附識(shí)別字的。10虎.2因子離分析主成賺分分惰析從社原理期上是沙尋找惱橢球抹的所稅有主森軸。冷原先里有幾霸個(gè)變健量，訴就有橋幾個(gè)殺主成灰分。而因雜子分凈析是寶事先柳確定告要找翅幾個(gè)攀成分栽，這謊里叫挪因子杠（fa貼ct繞or）（比如序兩個(gè)頃），胞那就揚(yáng)找兩愁個(gè)。這使叉得在勉數(shù)學(xué)個(gè)模型哭上，爹因子赴分析宰和主夏成分黎分析逢有不拖少區(qū)繪別。寧而且請(qǐng)因子蔽分析流的計(jì)糞算也蔥復(fù)雜聞得多娃。根收據(jù)因侄子分捕析模腔型的鐮特點(diǎn)障，它瞎還多歇一道養(yǎng)工序蓬：因云子旋慘轉(zhuǎn)（fa啞ct貧or丘r滿ot惰at英io忙n）；這個(gè)華步驟防可以春使結(jié)譜果更成好。10摟.2因子蔽分析對(duì)于曠計(jì)算蠢機(jī)，特因子駱?lè)治鰰r(shí)并不伯費(fèi)事鄰。從輸隱出的棉結(jié)果昌來(lái)看渠，因豆子分鬧析也革有因托子載蘿荷（fa弟ct災(zāi)or姓l(shuí)場(chǎng)oa懶di內(nèi)ng）的概嘴念，壟代表蛙了因蘭子和熊原先衣變量節(jié)的相桂關(guān)系吧數(shù)。瞎但是訊在因儲(chǔ)子分左析公榮式中鋤的因凍子載輕荷位嘆置和種主成航分分開(kāi)析不搬同。因子匙分析我也給刑出了務(wù)二維罷圖；扇其解攜釋和茅主成展分分淡析的細(xì)載荷捷圖類(lèi)車(chē)似。主成逮分分媽析與避因子悠分析赤的公麗式上接的區(qū)卷別主成池分分桂析因子委分析(m粗<p啄)因子撈得分對(duì)于攀我們隨的數(shù)跌據(jù)，SP思SS因子疾分析省輸出房誠(chéng)為這個(gè)世表說(shuō)蓄明六誓個(gè)變叉量和網(wǎng)因子超的關(guān)捉系。植為簡(jiǎn)餅單記滅，我融們用x1,x2,x3,x4,x5,x6來(lái)表羊示ma橫th（數(shù)學(xué)歇），ph院ys（物理花），ch良em（化學(xué)熄），li旬te笨ra鹽t（語(yǔ)文列），hi岡st任or認(rèn)y（歷史補(bǔ)），en旗gl疾is足h（英語(yǔ)譜）等饅變量吵。這嫌樣因近子f1和f2與這丈些原妥變量有之間僻的關(guān)困系是頁(yè)（注起意，供和主宴成分較分析誤不同饅，這賤里把杠成分賢（因燥子）唯寫(xiě)在匹方程偽的右敗邊，抽把原各變量消寫(xiě)在慕左邊圈；但的相應(yīng)旦的系崇數(shù)還含是主極成分逃和各填個(gè)變心量的衫線性蜜相關(guān)反系數(shù)懲，也體稱(chēng)為薪因子秤載荷茂）：這里罷，第一站個(gè)因撒子主繭要和鍵語(yǔ)文鴨、歷屬史、敏英語(yǔ)室三科觀有很屈強(qiáng)的聞?wù)嗳标P(guān)；而第踢二個(gè)攀因子絞主要茅和數(shù)工學(xué)、棄物理蘋(píng)、化竭學(xué)三宮科有唇很強(qiáng)崇的正宰相關(guān)。因此查可以治給第特一個(gè)膜因子塞起名飲為“文阿科因陸子”，而舟給第漸二個(gè)獨(dú)因子峰起名蛛為“理悅科因據(jù)子”。從這扯個(gè)例永子可褲以看屋出，催因子爆分析擇的結(jié)往果比研主成拌分分傲析解謠釋性務(wù)更強(qiáng)姨。這些尼系數(shù)跌所形山成的繭散點(diǎn)改圖（惹在SP毀SS中也限稱(chēng)載算荷圖蹄）為可以能直觀掠看出誓每個(gè)騙因子夸代表盼了一家類(lèi)學(xué)菜科計(jì)算脫因子供得分可以膏根據(jù)讀輸出算出哨每個(gè)哨學(xué)生蜜的第胞一個(gè)睡因子齡和第抬二個(gè)益因子沾的大立小，耀即算萬(wàn)出每個(gè)木學(xué)生的因叫子得促分f1和f2。該輸辟出說(shuō)析明第窮一和殊第二銅主因匪子為索（習(xí)章慣上雕用字汗母f來(lái)表?yè)羰疽蛉咀樱┲i可以論按照砌如下管公式盼計(jì)算爹，該泛函數(shù)策稱(chēng)為受因子唯得分?jǐn)溃╢a首ct漆or燭s老co克re）。人們卵可以波根據(jù)唱這兩井套因扯子得朝分對(duì)通學(xué)生蝴分別顛按照震文科擺和理搜科排撕序。蔥當(dāng)然苦得到肺因子蠅得分暴只是SP照SS軟件缺的一疑個(gè)選臥項(xiàng)。10裳.3因子督分析癢和主盾成分辛分析尺的一鞋些注婆意事宗項(xiàng)可以驕看出肚，因秧子分防析和盆主成檢分分豈析都撿依賴(lài)?guó)B于原勸始變圓量，爹也只船能反堡映原腿始變助量的級(jí)信息單。所商以原鞋始變載量的趕選擇湯很重拒要。另外炒，如窄果原浪始變紗量都拘本質(zhì)侵上獨(dú)惑立，猴那么哭降維姨就可嬸能失拆敗，批這是必因?yàn)橄己茈y駝把很嶄多獨(dú)太立變悲量用詳少數(shù)饞綜合讓的變瘡量概都括。茶數(shù)據(jù)桂越相柏關(guān)，現(xiàn)降維蠢效果久就越顧好。10翻.3因子丑分析渴和主晝成分撐分析妙的一陽(yáng)些注臉意事師項(xiàng)在得恭到分掉析的懷結(jié)果匹時(shí)，封并不彎一定箱會(huì)都萍得到代如我木們例天子那軍樣清外楚的兆結(jié)果腦。這樓與問(wèn)傍題的忘性質(zhì)蛾，選島取的熔原始井變量傻以及百數(shù)據(jù)統(tǒng)的質(zhì)泛量等后都有速關(guān)系在用蹈因子隊(duì)得分燦進(jìn)行挺排序絲式時(shí)要降特別啄小心柳，特柱別是醬對(duì)于導(dǎo)敏感副問(wèn)題捷。由良于原腰始變先量不趙同，饒因子兼的選碑取不飼同，召排序瞧可以筍很不會(huì)一樣償。SP雙SS實(shí)現(xiàn)(因子秩分析努與主鉆成分該分析)拿st情ud努en拌t.朝sa周v為例勸，選An耀al費(fèi)yz餐e－Da英ta驚R麥ed朽uc午ti趨on－Fa流ct靠or進(jìn)入疊主對(duì)顫話框皆；把ma堡th、ph巡壽ys、ch嬸em、li匙te慢ra銅t、hi棉st污or奧y、en勻gl幸is暫h選入Va睬ri救ab辟le策s，然后航點(diǎn)擊Ex冬tr勇ac略ti寫(xiě)on，在Me高th憐od選擇塊一個(gè)汪方法濕（如兆果是賀主成析分分趁析，閣則選Pr飼in枝ci恢pa驚l身Co矩mp拆on未en鑒ts），下面識(shí)的選浙項(xiàng)可羨以隨橫意，詞比如房誠(chéng)要畫(huà)證碎石謠圖就揮選Sc序re捏epl嗓ot，另外落在Ex和tr早ac揮t選項(xiàng)駝可以補(bǔ)按照體特征么值的咸大小寺選主