1、主成分分析和聚類分析的比較摘要：主成分分析和聚類分析方多元統(tǒng)計中兩種重要的分析方法，但卻容易在使用中混淆。本文從基本思想，應(yīng)用的優(yōu)缺點、應(yīng)用實例中討論兩者的異同，并簡述兩種方法在實際問題中的應(yīng)用。關(guān)鍵詞：主成分分析；聚類分析一、引言主成分分析是利用降維的思想，在缺失很少信息的前提下，把多個指標轉(zhuǎn)化為幾個綜合指標的多元統(tǒng)計方法。通常把轉(zhuǎn)化生成的綜合指標稱為主成分，其中每個主成分都是原始變量的線性組合，且各個主成分之間互不相關(guān)，使得主成分比原始變量具有某些更優(yōu)越的性能。聚類分析是依據(jù)實驗數(shù)據(jù)本身所具有的定性或定量的特征來對大量的數(shù)據(jù)進行分組歸類以了解數(shù)據(jù)集的內(nèi)在結(jié)構(gòu)，并且對每一個數(shù)據(jù)集進行描述的過

2、程。其主要依據(jù)是聚到同一個數(shù)據(jù)集的樣本應(yīng)該性質(zhì)相似，而屬于不同組的樣本應(yīng)該足夠不相似。兩種方法既有區(qū)別又有聯(lián)系，本文將兩者的異同進行比較，并舉例說明兩者在實際應(yīng)用中的聯(lián)系，以便更好地理解這兩種統(tǒng)計方法而為實際所應(yīng)用。二、基本思想的異同相同點：主成分分析方法是用少數(shù)的幾個變量來綜合反映原始變量的主要信息，變量雖然較原始變量少，但所包含的信息量卻占原始信息的85%以上，因此其可信度很高。通過主成分分析，可以將事物之間錯綜復(fù)雜的關(guān)系中找出一些主要成分，從而能有效利用大量統(tǒng)計數(shù)據(jù)進行定量分析，解釋變量之間的內(nèi)在關(guān)系。因此主成分變量比原始變量少了很多，從而起到了降維的作用。聚類分析的基本思想是采用多變量

3、的統(tǒng)計值，定量的確定相互之間的親疏關(guān)系，考慮對象多因素的聯(lián)系和主導(dǎo)作用。按它們親疏差異程度，歸類不同的分類中的一元。使分類更具有客觀實際并能反映事物的內(nèi)在必然聯(lián)系。聚類分析是通過一種大的對稱矩陣來探索相關(guān)關(guān)系的一種數(shù)學(xué)分析方法。對變量分類后，我們對數(shù)據(jù)的處理難度也降低，所以從某種意義上說，聚類分析也起到了降維的作用。不同點：主成分分析是研究如何通過原來變量的少數(shù)幾個變量組合來解釋原來變量絕大多數(shù)信息的一種多元統(tǒng)計方法。主成分分析就是設(shè)法將原來眾多具有相關(guān)性的指標，從新組合成一組相互無關(guān)的指標來代替原來的指標。我們將選取的一組線性組合標為F，若F方差越大，則代表所包含的信息越多。則稱其為第11一

4、主成分，再選一組線性組合其方差次大，記為F，稱其為第二主成分，且規(guī)2，定F與F線性無關(guān)。是指第一主成分與第二主成分所包含信息不重合。且所包12含的信息大小逐漸遞減。我們在實際研究中只需要選取前幾個成分即可。在聚類分析過程中，如果選取的聚類量綱不同會導(dǎo)致錯誤的結(jié)果。因此在聚類過程之前必須對變量進行標準化。不同的方法進行標準化，會導(dǎo)致不同的聚類結(jié)果。三、應(yīng)用的優(yōu)缺點1、主成分分析優(yōu)點：它用降維技術(shù)將少數(shù)幾個綜合變量來代替原始多個變量。這些綜合變量集中了原始變量大多數(shù)信息。當評級指標較多時還可以在保留絕大部分信息的情況下用少數(shù)幾個綜合指標代替原指標進行分析，主成分分析中各主成分是按照方差的大小來排列

5、順序的，在分析問題時，只取前后方差大的幾個主成分來代表原變量，從而減少了計算工作量，由于選擇的原則是累計貢獻率三85%,所以不會因為減少作量卻把關(guān)鍵指標遺漏而影響評估結(jié)果。在綜合評價函數(shù)中，各主成分的權(quán)數(shù)為其貢獻率，它反映了該主成分包含原始數(shù)據(jù)的信息量占全部信息量的比重，這樣確定權(quán)數(shù)是客觀的、合理的，它克服了某些評價方法中認為確定權(quán)數(shù)的缺陷。這種方法的計算比較規(guī)范，便于在計算機上實現(xiàn)，還可以利用專門的軟件。缺點：在主成分分析中，我們首先應(yīng)保證所提取的前幾個主成分的累計貢獻率達到一個較高的水平（即變量降維后的信息量須保持在一個較高水平上），其次對這些被提取的主成分必須都能夠給出符合實際背景和意義

6、的解釋（否則主成分將空有信息量而無實際含義）。主成分的解釋其含義一般多少帶有點模糊性。因此，提取的主成分個數(shù)m通常應(yīng)明顯小于原始變量個數(shù)p（除非p本身較?。?，否則維數(shù)降低的“利”可能抵不過主成分含義不如原始變量清楚的“弊”。當主成分的因子負荷的符號有正有負時，綜合評價函數(shù)意義就不明確，命名清晰性低。2、聚類分析優(yōu)點：聚類分析是先將最相似的兩個變量聚為一小類，再去與最相似的變量或小類合并。每類的變量相似但類與類之間的差異性很大，這樣能清晰描述數(shù)據(jù)。聚類分析運用范圍極廣，涉及很多領(lǐng)域，包括數(shù)學(xué)，計算機科學(xué)，統(tǒng)計學(xué)，生物學(xué)和經(jīng)濟學(xué)。在不同的應(yīng)用領(lǐng)域，很多聚類技術(shù)都得到了發(fā)展，這些技術(shù)方法被用作描述數(shù)

7、據(jù)，衡量不同數(shù)據(jù)源間的相似性，以及把數(shù)據(jù)源分類到不同的簇中。聚類分析方便快捷，是管理統(tǒng)計很好的方法。缺點：聚類分析是以完備的數(shù)據(jù)文件為基礎(chǔ)的，一般要求各個觀測變量的量綱一致，即各變量取值的數(shù)量級一致，否則各變量在描述客觀事物某方面特征差異性的作用有被夸大或縮小的可能。要檢查各變量的量綱是否一致，不一致則需進行轉(zhuǎn)換。四、實例分析比較1.聚類分析運用中國統(tǒng)計年鑒數(shù)據(jù)，對主要城市廢水中主要污染物排放來源情況進行研究（2013年）在spass軟件進行操作，其操作框及結(jié)果如下圖所示。（以系統(tǒng)聚類法為例）。O千也漏輯（日眥閔凹數(shù)諂也）核玫力斫圍彷0）決用枉吊也丿囪11世9幫朗宜fej輕曲ac更醫(yī)韁“二豹5

8、1議二Z3謂0_轡I城市工業(yè)廢水工業(yè)化學(xué)工業(yè)氨氮城鎮(zhèn)生活污水生話化學(xué)生活剝璇變里變重變里變重變里變重1排放重需筆重排預(yù)里排啟里排敝量需華里排預(yù)里排啟里2（萬噸）（噸）（噸）（萬噸）（噸）（噸）34北京9486605533013499189868141895天津186922621533396546984886156716石家莊257533980257023476葩報析X7衣原4085408929418318呼和浩特2082105435311193頁里：i統(tǒng)計1(8)-.|繪制(晁城市鳥工業(yè)廢水鳥工業(yè)化學(xué)鳥工業(yè)氨氮晁城鎮(zhèn)生牙污水鳥生牙化學(xué)鳥生活氨氮9沈陽85339169809347110悵春548

9、21167013842079方法遡$保存）|11嗆爾濱448769141055336312上海45426255031934177213南京252912169712835233(I標注個案9）：14杭州391863194713736390嗦類個案變重15合肥60187898387421016福州46825190405322617南昌106021147915963346-輸出“統(tǒng)計重圖18濟南85965413380297819鄭州1183511978562486420武漢188141516314026652重査遲）八取消幫助21悵沙404913499456430059931865622廣州2139

10、12266413891361791060771744223南寧975223954129826696622447944NumberofclustersoUlo張:-:EFRW：LL；.：氐口贛応-4I3：6E疑:死.碟:外壬羽:憶衍1濟：匸洛測:CH：區(qū)：龍主季:EL壽木：界昭暹:二總:frL亦:上主濱：9L*9細進泮4DendrogramusingAverageLinkage(WithinGroups)RescaledDistanceClusterCombineA原烏魯木齊ft陽濟南尾明呼和誥特兒：丫海11拉薩州銀m南京武漢南i丿L：安a汴肥悅沙竭州p&爾濱悅*南呂比陽蘋州天津h：州北京成都廣

11、州石家莊.海伕圖2圖1是冰柱圖，是反映樣品聚類情況的圖。如果按照設(shè)定的類數(shù)，在該類的行上從左到右就可以找到各類所包含的樣品。例如我們希望分為5類，最左邊的類數(shù)應(yīng)選2，每個樣品右邊都有一列冰柱，如果每個樣品右邊的列冰柱長度小于5，那么它和前面冰柱長度大于5的樣品聚為一類，如此下去直到找到全部5類為止。例如：重慶、上海、石家莊均小于5，因此它們各分為一類，從杭州到廣州分為一類，北京和成都聚為另一類，共五類。圖2是樹狀聚類圖，從圖中可以由分類個數(shù)得到分類情況。如果我們選擇分類數(shù)為5，就從距離大概為14的地方往下切，得到分類結(jié)果如下1：上海；2：重慶；3：石家莊；4：天津，太原，呼和浩特，沈陽，長春，

12、哈爾濱，南京，杭州，合肥，福州，南昌，濟南，鄭州，武漢，長沙，廣州，南寧，?？?，貴陽昆明，拉薩，西安，蘭州，西寧，銀川，烏魯木齊。5：北京，成都我們可以從各地區(qū)來主要污水來源理解所做的分類，第一類應(yīng)該是主要污水來源為工業(yè)廢水，城鎮(zhèn)生活污水，生活化學(xué)和生活氨氮。第二類主要污水來源為工業(yè)化學(xué)，城鎮(zhèn)生活污水，生活化學(xué)。第三類主要污染來源為工業(yè)廢水和工業(yè)化學(xué)。第四類主要污染來源為工業(yè)化學(xué)和生活化學(xué)。第五類污染來源主要為城鎮(zhèn)生活污水和生活化學(xué)。系統(tǒng)聚類法在實際運用中的優(yōu)缺點：系統(tǒng)聚類方法的優(yōu)點是：操作簡單，能細致的看出小類聚大類的過程，由由合并時的距離水平可以看出樣品間的親疏程度。但是它的缺點是：一旦一

13、組對象合并時，下一步將在新生成的類上進行。已做的處理不能被撤銷，類之間不能交換對象。如果在某一步?jīng)]有很好的選擇合并的話，將會造成低質(zhì)量的聚類結(jié)果。因為合并或分裂的決定需要檢查和估算大量的對象或類。需計算大量的距離，需要花費大量的時間，所以算法不具有很好的可伸縮性。2.主成分分析運用中國統(tǒng)計年鑒數(shù)據(jù)，對主要城市廢水中主要污染物排放來源情況進行研究（2013年）在spass軟件進行操作，其操作框及結(jié)果如下圖所示。公因子方差初始提取工業(yè)廢水1.000.818工業(yè)化學(xué)1.000.897工業(yè)氨氮1.000.887城鎮(zhèn)生活污水1.000.865生活化學(xué)1.000.893生活氨氮1.000.930提取方法：

14、主成份分析。圖3解釋的總方差成份初始特征值提取平方和載入合計方差的%累積%合計方差的%累積%14.01966.99166.9914.01966.99166.99121.27021.17088.1601.27021.17088.1603.3135.22193.3814.2323.87197.2535.1212.01399.2666.044.734100.000提取方法：主成份分析。圖4成份矩陣a成份12工業(yè)廢水.891.155工業(yè)化學(xué).807.496工業(yè)氨氮.544.769城鎮(zhèn)生活污水.828-.423生活化學(xué).881-.342生活氨氮.904-.337提取方法：主成份。a.已提取了2個成份。圖

15、5由圖可以看出，主成分幾乎包含了原始變量至少88%的信息。圖4即解釋的總方差，則顯示了各主成分解釋原始變量方差的情況，spass默認保留特征根大于1的主成分，在本例中可看到保留2個主成分為宜。這2個主成分集中了6個原始變量信息的88.16%。可見效果比較好，實際上主成分解釋總方差的百分比也可以由圖3公因子方差表計算得出，即(0.818+0.897+0.887+0.865+0.893+0.930)/6=88.16%成份矩陣圖5中給出了標準化原始變量用求得的主成分線性表示的近似表達式，我們以表中工業(yè)氨氮一行為例，不妨用prin1,prin2,來表示個個主成分，則由成份矩陣表可以得到標準化的工業(yè)氨氮

16、電.544xprin1+0.769xprin2總結(jié)：主成分分析法和聚類分析法在多元統(tǒng)計方法占有重要地位，同時這兩種方法對我們分析現(xiàn)實生活中的問題是有著很大的幫助。它們在經(jīng)濟學(xué)，醫(yī)學(xué)，自然科學(xué)，社會學(xué)都有著廣泛的應(yīng)用，為我們解決實際問題，研究新的問題有著舉足輕重的地位。因此我們要深入了解各種分析方法，從而達到更高層次的成就。檢測報告截圖1參考文獻：【1】李欣蕊.主成分分析、因子分析、聚類分析的比較與應(yīng)用.山東教育學(xué)院報.2007(6)【2】王芳.主成分分析及因子分析的比較與應(yīng)用.統(tǒng)計教育。2003.(5)【3】田兵.系統(tǒng)聚類法及其應(yīng)用研究J.陰山學(xué)刊：自然科學(xué)版，2014,02期(2):11-1

17、6.【5】何曉群.多元統(tǒng)計分析第四版.中國人民大學(xué)出版社，2015.3【6】中國統(tǒng)計年鑒主要城市廢水中主要污染物排放情況2013檢測報告：檢測報告結(jié)果綜合報告博士論文庫會誡g文庫抿紙庫網(wǎng)友專利庫網(wǎng)友標準庫百科庫網(wǎng)頁庫網(wǎng)友共享庫自建庫工作總結(jié)思想遼報提交時間:OlS/lS/B10:?:41段落個埶：1報吉編號：06C949EB96FFEBD5總文字復(fù)制比：15-8莎報告名稱対宜制比15.8%去陰本人已岌磁讖報告15.8%賤霧亞ife剤全丈標明引文報告15.8%全丈對照報告15.8%檢測報告截圖3掲妾壬兩，、：S妾減兗約三或分分析月鬢笑分析，多元統(tǒng)計分析方云汪客埶謨5=.工龍.衽：噸！并從衛(wèi)弓理子

18、去弓實罰的tt盧勺決盧酊基2：忌至.両者Z閭的差剤.并縣左實際問去口槪迖的兩種萬法.關(guān)曲:主皎牙分析;疑類牙析，一，簡介三咬分分析是三K存W祠7凳下.詩多八桔呂：壬.!/、多2汁方壬或合證懺雯豐荻于灌酊層尊K寫少的卞更.：仝言突無疾/.產(chǎn)空一芋臺？4標為三劾.其x希關(guān)匕毎八三妾丁件Z閭是期i交雖W蘭逗舍井蘭號卜三妾至*.以受比親姑交的三旻安分有一壘更毎的桂貶.喪矣分析是荃亍實吐或:推丈身的定性或W金壯三公夾壬.J.更了笹滬迖貯刪阿材結(jié)枸的;ft的比攤乞涇尸辦類.牙為每，、貯拒冥交描迖該過程.其三委安話長農(nóng)霓司一號掛笑旳樣疋應(yīng)該是性賈相饑冨于不間的妲彬不應(yīng)該罪賞托以的.兩個K同恒起關(guān)的萬法耳乂凈

19、迸行趣的異司兩者芒間和吞巴了夷筆的兩個實詠應(yīng)丐巳為了更殲地理解莎薛.班買這兩種逐計萬法拍說性和的基本思幣的科眉司:三茨分為折氏總丐少數(shù)幾從交繪旳.豆加交=的綜合反唳的三妾僖足.交呂然疋比不上親交的交盤亍昱包含三親曲：？思巧壬連盤酊進超過85%區(qū).其可信度高主成分分析.多河以忠:妙二亡冷寸復(fù)E曰關(guān)熟F主娶旳也聶至為.2可以有戲遠判丐乂盤送計垃霍行矩量乃氐程隆芟量乙閭凸K三茯窩兇龍.可竟很多小于氐培支盤從尸起蓋函的作耳燈三妾或分，其基玄忌忍總利弓聚類分析多元統(tǒng)計定盤欄定2們K叵酊更歿關(guān)系.手乏與蝕三的對象多國置的件丐.SteH的豕怎力不*SJ程寶.分為不司為董別一元.-5乃矣更口塞撫坯實.曳唳了刁

20、左的必罐袞系的東百.叢類辦釬是一仕鉄孚分析.探爸通過一個大型對稱飾的黃系超過:分WM妥H處總監(jiān)殆的?？，雯也心.爭以從共n建只上訐慈處析也起到隆經(jīng)的作丐.兀司占：三咬為辦折總是爛耙1/、吏量.2芒宴站交畳多念計龍W堆轡合的斎件衣讎戀芒互洋三畳生雖繪犬?一.三茨分分析是M仗的名黃祐肓圧夭旳號応.嚴垃合咬一奏考標相互無關(guān)的.戸不是夏交的目樂麥：亡黑了一垃旋的F1的絞性逗合的.刃.婦奧嚴卷總K.公1亙吒芒蟲童WJ.二.劉材其K舅一三茨二纖蘭壬登一迢E：奚二天芒至刁笏汝甘廠農(nóng)吞方f2.籽為第二主場二以及吳供無關(guān)與P1F2馥性.指鬥是第一蘭安分和易二茨分包含囪言遢不S*.壬色含忘痙芳菽小乓寸約信E.左實

21、際手兀o,妄門只E芟蛙雋第幾的或務(wù)三叢類分析過穫=.婦腔尊fK同的奧電宣冷導(dǎo)數(shù)曲的結(jié)吳.園此.羹矣過程交=之二.一主轂遠懺準尢??；亍汪*可會寺致KTJk紀笑爛矣.的優(yōu)疸啟駐點舅三血卑程產(chǎn)主或分分析.，江聲：2嗖蛋渥蛙反X的卩貯圭合吏量亡普F強住童交匕專氏.送窿龔忝可交住芝址亙戈交盤E：I?當評訃拾標可以有更多漬更的釈有,課冒夭毎分自損鼓吒魯了亙夬旳付析.三趙分個幾/玄合捋標嚴有三曇至件坊松率:丁邕的萬套鬥大対邁.三冃題的分析.丈萬套只E共大詢幾/、三妾羊件.以褲親處M.從7計算工信盤.三亍亡冬的愆慮累技貢十克孑/.乜K會感少的二作盤伍號螞前關(guān)泛拾標.以評僅壇S的結(jié)昊言合評價因監(jiān).亍迖獲3EF誨

22、一個的賞丈圭.這反朕了常E的主艮茨分占全姣酊包含廈站數(shù)挎藥佑思巧量的比罰的三妾電茨生分.以便權(quán)3E客遼芫W(wǎng)合老仝克餵一些訐L方;壬耒確主權(quán)三總扶眉的rft.這徉計眞方法繪釵忑.喜玄買現(xiàn)一臺計算杠上.詼還可/住丐號門的款件盧：W三安分方析.著三要法匹的去祝貢或克至戢至一/、更淹的歡于上農(nóng)驢克-M息應(yīng)從待左一個咬高的層次)苴幾今三始.選蘭這些逝戢殖嵯第三妾王件蛉的背兼幻童文U妾衣分左夬有衛(wèi)第的蓿邑我有實就總的坯實浚禪.筆蜂其臺大的王妄茨分有多少跤文的一孜盧.盡比作取的漢的三妾茨沁零是S5?rxftr的曇曲貯盤事Ep2：身後只的吃吞劉蜓監(jiān)迤詆的利可翌達,伍K毎本大可交:育浚的三誤或拆分的彷害.當三趙

23、符兮灼呂土芝乾有正員兩方直占合評價丈能忍捧的意幾住名裁餃樂，襄矣分析，優(yōu)點:叢癸分析總愛哥以的龔洋化至-個小的矣=的玄兩八吏豈去勺量類以的三*或癸剤含井.每一戶類型的可査垢計亙類力畑閭的羞絞兀簣塑洼迖益拷.興號護矣方析韭從亠迄叵苣了杵多弦域.包疋比孚.計算碎亠至統(tǒng)計手.三=手三在：.三一三廠二三.-三込二二圭三三：:二三三頁注交描迖址擔江量X：司歩金逆乙閹的椿J性詡律邃子類疝旬的爹.曼炎酊發(fā)矣分析.總富汪如的好萬法，鐵蘆：我類分折為埶二總基于環(huán)亞舉的總住晏農(nóng)-個全窗的敖馭件是一較的元信紡釣交盤每八MhZ芟一獷工、蘭吾刃蘭盤垢壬龍:夢廠芒莫些戈苣巧七三牡壬査僅世可磋枚專衣酬小.妾杜査無盤丟盤是一

24、我eo.X數(shù)的傷運晏轉(zhuǎn)羨.，第四分析和壬較洌.，1.餐芙分析.,使月口辰統(tǒng)計年g.左開長窗？=阪巴淺水溥蘭長污3第茨三體2M3!.WSPASS軟件拱作.Q示上其奚告第和結(jié)昊如下弓系統(tǒng)蠶類法為男:.JHJsl氨衣1.0000.BB7.域廳污氏l.OWO.S6S.空*化學(xué)1.（XX）0.891.主;童氨氮1.0000.9S0.提毀方法：主或務(wù)務(wù)折.團片3“總方細釋主總方初出特征提取和UH荻.虧的支異黑枳詒涉的吏異累枳乩4.01966.99166.9914.01966.99166.991.1.27021.17088.1601.27021.17088.160.3.3135.22191SB1.4.2S2

25、3.87197.2&S.1212.013W.2M.6.0440.734100.000.提毀方法：主或務(wù)務(wù)折.4.配皤短菊.元件12.Hit炭氏DB910.155.1Hit化字O.BC亍0.456.likCC.5440.769.域廳污直。盤8-.42S.嘰L2.,區(qū)1是一個迖柱.幷左as示樹奸欽溟的反咲.掃昊該類磔的坯蚊復(fù)從左住對董的行可以援到各靜樣昂包？s左為例如.我們卷言分為五董.最左邊的號匹當選類2,每個樣品有一列到濃在的右邊洛樣品的冰柱氏度莖果右邊的列是小于戈它是壬以ir的彌5個樣品叢總一起.依歧矣搜.亙到你找到.所有五類至今更表旳時間列衛(wèi):重氏上溥.石家三均公于5,所以頌備自力為一類.

26、從杭州到廣州為一笑北京和或都鬢耘一個美.V有五個，002是一個檢形表現(xiàn).可以通過認一個分類的分矣號訝的圈交蕊得.婦旻炙們選擇一個類別號5,弼14距離的地方,以減少獲得的辦類結(jié)果婦下1：上闡；2:亙?nèi)校?:疋家主八4:天津,龍展坪和潔徐沉回攻春.垮爾浜,尊京.杭州.合肥.福州.育三淇聞鄭州.武漢.哎沙.廣州.商寧.海匚.pa.昆明.拉薩.苕支.蘭州，ST.銀川二魯K齊兒5:壯京.安距我們可以關(guān)自滾次分類的王旻矣涯各地區(qū)都明三第一類應(yīng)該是三妾的亦源H廢比域rr污比化M和韭空；合的氨.禾的工i化孚盡域鎮(zhèn)蟲合污歡主活化竽毎二個王妾趣污矣的H業(yè)廢血和工業(yè)化孚品的第三厶艾要交滾.污柴的H業(yè)化孚和主它化鑾口的第四個主晏來