第十一講主成分分析第1頁(yè)，共74頁(yè)，2023年，2月20日，星期一研究需求：在社會(huì)經(jīng)濟(jì)的研究中，為了全面系統(tǒng)的分析和研究問(wèn)題，必須考慮許多經(jīng)濟(jì)指標(biāo)，這些指標(biāo)能從不同的側(cè)面反映我們所研究的對(duì)象的特征，但在某種程度上存在信息的重疊，具有一定的相關(guān)性。

第2頁(yè)，共74頁(yè)，2023年，2月20日，星期一一項(xiàng)十分著名的工作是美國(guó)的統(tǒng)計(jì)學(xué)家斯通(stone)在1947年關(guān)于國(guó)民經(jīng)濟(jì)的研究。他曾利用美國(guó)1929一1938年各年的數(shù)據(jù)，得到了17個(gè)反映國(guó)民收入與支出的變量要素，例如雇主補(bǔ)貼、消費(fèi)資料和生產(chǎn)資料、純公共支出、凈增庫(kù)存、股息、利息外貿(mào)平衡等等。一

基本思想第3頁(yè)，共74頁(yè)，2023年，2月20日，星期一在進(jìn)行主成分分析后，竟以97.4％的精度，用三新變量就取代了原17個(gè)變量。根據(jù)經(jīng)濟(jì)學(xué)知識(shí)，斯通給這三個(gè)新變量分別命名為總收入F1、總收入變化率F2和經(jīng)濟(jì)發(fā)展或衰退的趨勢(shì)F3。更有意思的是，這三個(gè)變量其實(shí)都是可以直接測(cè)量的。斯通將他得到的主成分與實(shí)際測(cè)量的總收入I、總收入變化率I以及時(shí)間t因素做相關(guān)分析，得到下表：第4頁(yè)，共74頁(yè)，2023年，2月20日，星期一

F1F2F3iitF11

F201

F3001

i0.995-0.0410.057l

i-0.0560.948-0.124-0.102l

t-0.369-0.282-0.836-0.414-0.1121第5頁(yè)，共74頁(yè)，2023年，2月20日，星期一概念：

主成分分析是一種通過(guò)降維技術(shù)把多個(gè)指標(biāo)約化為少數(shù)幾個(gè)綜合指標(biāo)的綜合統(tǒng)計(jì)分析方法，而這些綜合指標(biāo)能夠反映原始指標(biāo)的絕大部分信息，它們通常表現(xiàn)為原始幾個(gè)指標(biāo)的線性組合。

第6頁(yè)，共74頁(yè)，2023年，2月20日，星期一基本思想及意義哲學(xué)理念：抓住問(wèn)題的主要矛盾。主成分分析將具有一定相關(guān)性的眾多指標(biāo)重新組合成新的無(wú)相互關(guān)系的綜合指標(biāo)來(lái)代替。通常數(shù)學(xué)上的處理就是將這P個(gè)指標(biāo)進(jìn)行線性組合作為新的綜合指標(biāo)。問(wèn)題是：這樣的線性組合會(huì)很多，如何選擇？第7頁(yè)，共74頁(yè)，2023年，2月20日，星期一如果將選取的第一個(gè)線性組合即第一個(gè)綜合指標(biāo)記為F1

，希望它能盡可能多地反映原來(lái)指標(biāo)的信息，即var(F1)越大，所包含的原指標(biāo)信息就越多，F(xiàn)1的方差應(yīng)該最大，稱F1為第一主成分。第8頁(yè)，共74頁(yè)，2023年，2月20日，星期一如果第一主成分F1不足以代表原來(lái)p個(gè)指標(biāo)的信息，再考慮選取F2即選擇第二個(gè)線性組合。為了有效地反映原來(lái)的信息，F(xiàn)1中已包含的信息，無(wú)須出現(xiàn)在F2中，即cov(F1,F2)，稱F2為第二主成分。仿此可以得到p個(gè)主成分。第9頁(yè)，共74頁(yè)，2023年，2月20日，星期一我們可以發(fā)現(xiàn)這些主成分之間互不相關(guān)且方差遞減，即數(shù)據(jù)的信息包含在前若干個(gè)主成分中，因而只需挑選前幾個(gè)主成分就基本上反映了原始指標(biāo)的信息。這種既減少了變量的數(shù)目又抓住了主要矛盾的做法有利于問(wèn)題的解決。第10頁(yè)，共74頁(yè)，2023年，2月20日，星期一二數(shù)學(xué)模型與幾何解釋假設(shè)我們所討論的實(shí)際問(wèn)題中，有p個(gè)指標(biāo)，我們把這p個(gè)指標(biāo)看作p個(gè)隨機(jī)變量，記為X1，X2，…，Xp，主成分分析就是要把這p個(gè)指標(biāo)的問(wèn)題，轉(zhuǎn)變?yōu)橛懻損個(gè)指標(biāo)的線性組合的問(wèn)題，而這些新的指標(biāo)F1，F(xiàn)2，…，F(xiàn)k(k≤p），按照保留主要信息量的原則充分反映原指標(biāo)的信息，并且相互獨(dú)立。第11頁(yè)，共74頁(yè)，2023年，2月20日，星期一這種由討論多個(gè)指標(biāo)降為少數(shù)幾個(gè)綜合指標(biāo)的過(guò)程在數(shù)學(xué)上就叫做降維。主成分分析通常的做法是，尋求原指標(biāo)的線性組合Fi。簡(jiǎn)記為第12頁(yè)，共74頁(yè)，2023年，2月20日，星期一滿足如下的條件：主成分之間相互獨(dú)立，即無(wú)重疊的信息。即主成分的方差依次遞減，重要性依次遞減，即每個(gè)主成分的系數(shù)平方和為1。即第13頁(yè)，共74頁(yè)，2023年，2月20日，星期一?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸第14頁(yè)，共74頁(yè)，2023年，2月20日，星期一?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸?第15頁(yè)，共74頁(yè)，2023年，2月20日，星期一????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸?第16頁(yè)，共74頁(yè)，2023年，2月20日，星期一?????????????????????????????????????主成分分析的幾何解釋平移、旋轉(zhuǎn)坐標(biāo)軸???????????????????????????????????????????????????????????????第17頁(yè)，共74頁(yè)，2023年，2月20日，星期一為了方便，我們?cè)诙S空間中討論主成分的幾何意義。設(shè)有n個(gè)樣品，每個(gè)樣品有兩個(gè)觀測(cè)變量xl和x2，在由變量xl和x2所確定的二維平面中，n個(gè)樣本點(diǎn)所散布的情況如橢圓狀。由圖可以看出這n個(gè)樣本點(diǎn)無(wú)論是沿著xl軸方向或x2軸方向都具有較大的離散性，其離散的程度可以分別用觀測(cè)變量xl的方差和x2的方差定量地表示。顯然，如果只考慮xl和x2中的任何一個(gè)，那么包含在原始數(shù)據(jù)中的經(jīng)濟(jì)信息將會(huì)有較大的損失。

第18頁(yè)，共74頁(yè)，2023年，2月20日，星期一如果我們將xl

軸和x2軸先平移，再同時(shí)按逆時(shí)針?lè)较蛐D(zhuǎn)角度，得到新坐標(biāo)軸Fl和F2。Fl和F2是兩個(gè)新變量。第19頁(yè)，共74頁(yè)，2023年，2月20日，星期一根據(jù)旋轉(zhuǎn)變換的公式：第20頁(yè)，共74頁(yè)，2023年，2月20日，星期一旋轉(zhuǎn)變換的目的是為了使得n個(gè)樣品點(diǎn)在Fl軸方向上的離散程度最大，即Fl的方差最大。變量Fl代表了原始數(shù)據(jù)的絕大部分信息，在研究某經(jīng)濟(jì)問(wèn)題時(shí)，即使不考慮變量F2也無(wú)損大局。經(jīng)過(guò)上述旋轉(zhuǎn)變換原始數(shù)據(jù)的大部分信息集中到Fl軸上，對(duì)數(shù)據(jù)中包含的信息起到了濃縮作用。第21頁(yè)，共74頁(yè)，2023年，2月20日，星期一

Fl，F(xiàn)2除了可以對(duì)包含在Xl，X2中的信息起著濃縮作用之外，還具有不相關(guān)的性質(zhì)，這就使得在研究復(fù)雜的問(wèn)題時(shí)避免了信息重疊所帶來(lái)的虛假性。二維平面上的各點(diǎn)的方差大部分都?xì)w結(jié)在Fl軸上，而F2軸上的方差很小。Fl和F2稱為原始變量x1和x2的綜合變量。F簡(jiǎn)化了系統(tǒng)結(jié)構(gòu)，抓住了主要矛盾。第22頁(yè)，共74頁(yè)，2023年，2月20日，星期一三主成分的推導(dǎo)及性質(zhì)

1、兩個(gè)線性代數(shù)的結(jié)論

1）、若A是p階實(shí)對(duì)稱陣，則一定可以找到正交陣U，使其中是A的特征根。第23頁(yè)，共74頁(yè)，2023年，2月20日，星期一

2）、若上述矩陣的特征根所對(duì)應(yīng)的單位正交特征向量為則實(shí)對(duì)稱陣屬于不同特征根所對(duì)應(yīng)的特征向量是正交的，即有令第24頁(yè)，共74頁(yè)，2023年，2月20日，星期一

2、主成分的推導(dǎo)

（一）

第一主成分設(shè)X的協(xié)方差陣為由于Σx為非負(fù)定的對(duì)稱陣，則有利用線性代數(shù)的知識(shí)可得，必存在正交陣U，使得第25頁(yè)，共74頁(yè)，2023年，2月20日，星期一其中1，2，…，p為Σx的特征根，不妨假設(shè)12

…p。而U恰好是由特征根相對(duì)應(yīng)的單位特征向量所組成的正交陣。下面我們來(lái)看，是否由U的第一列元素所構(gòu)成為原始變量的線性組合是否有最大的方差。第26頁(yè)，共74頁(yè)，2023年，2月20日，星期一設(shè)有P維正交向量且第27頁(yè)，共74頁(yè)，2023年，2月20日，星期一第28頁(yè)，共74頁(yè)，2023年，2月20日，星期一當(dāng)且僅當(dāng)a1=u1時(shí)，即時(shí)，有最大的方差1。因?yàn)閂ar(F1)=U’1xU1=1。

如果第一主成分的信息不夠，則需要尋找第二主成分。第29頁(yè)，共74頁(yè)，2023年，2月20日，星期一（二）

第二主成分在約束條件下，尋找第二主成分

因?yàn)樗詣t，對(duì)p維向量，有第30頁(yè)，共74頁(yè)，2023年，2月20日，星期一所以如果取線性變換：

則的方差次大。類(lèi)推第31頁(yè)，共74頁(yè)，2023年，2月20日，星期一寫(xiě)為矩陣形式：第32頁(yè)，共74頁(yè)，2023年，2月20日，星期一四主成分的性質(zhì)1、均值2、方差為所有特征根之和說(shuō)明主成分分析把P個(gè)隨機(jī)變量的總方差分解成為P個(gè)不相關(guān)的隨機(jī)變量的方差之和。

協(xié)方差矩陣的對(duì)角線上的元素之和等于特征根之和。第33頁(yè)，共74頁(yè)，2023年，2月20日，星期一3、精度分析1）貢獻(xiàn)率：第i個(gè)主成分的方差在全部方差中所占比重，稱為貢獻(xiàn)率，反映了原來(lái)P個(gè)指標(biāo)多大的信息，有多大的綜合能力。2）累積貢獻(xiàn)率：前k個(gè)主成分共有多大的綜合能力，用這k個(gè)主成分的方差和在全部方差中所占比重來(lái)描述，稱為累積貢獻(xiàn)率。第34頁(yè)，共74頁(yè)，2023年，2月20日，星期一我們進(jìn)行主成分分析的目的之一是希望用盡可能少的主成分F1，F(xiàn)2，…，F(xiàn)k（k≤p）代替原來(lái)的P個(gè)指標(biāo)。到底應(yīng)該選擇多少個(gè)主成分，在實(shí)際工作中，主成分個(gè)數(shù)的多少取決于能夠反映原來(lái)變量85%以上的信息量為依據(jù)，即當(dāng)累積貢獻(xiàn)率≥85%時(shí)的主成分的個(gè)數(shù)就足夠了。最常見(jiàn)的情況是主成分為2到3個(gè)。第35頁(yè)，共74頁(yè)，2023年，2月20日，星期一4、原始變量與主成分之間的相關(guān)系數(shù)

第36頁(yè)，共74頁(yè)，2023年，2月20日，星期一可見(jiàn)，和的相關(guān)的密切程度取決于對(duì)應(yīng)線性組合系數(shù)的大小。第37頁(yè)，共74頁(yè)，2023年，2月20日，星期一第38頁(yè)，共74頁(yè)，2023年，2月20日，星期一5、原始變量被主成分的提取率

前面我們討論了主成分的貢獻(xiàn)率和累計(jì)貢獻(xiàn)率，他度量了F1，F(xiàn)2，……，F(xiàn)m分別從原始變量X1，X2，……XP中提取了多少信息。那么X1，X2，……XP各有多少信息分別F1，F(xiàn)2，……，F(xiàn)m被提取了。應(yīng)該用什么指標(biāo)來(lái)度量？我們考慮到當(dāng)討論F1分別與X1，X2，……XP的關(guān)系時(shí)，可以討論F1分別與X1，X2，……XP的相關(guān)系數(shù)，但是由于相關(guān)系數(shù)有正有負(fù)，所以只有考慮相關(guān)系數(shù)的平方。第39頁(yè)，共74頁(yè)，2023年，2月20日，星期一如果我們僅僅提出了m個(gè)主成分，則第i原始變量信息的被提取率為：是Fj能說(shuō)明的第i原始變量的方差是Fj提取的第i原始變量信息的比重第40頁(yè)，共74頁(yè)，2023年，2月20日，星期一例

設(shè)的協(xié)方差矩陣為解得特征根為，，，，第一個(gè)主成分的貢獻(xiàn)率為5.83/（5.83+2.00+0.17）=72.875%，盡管第一個(gè)主成分的貢獻(xiàn)率并不小，但在本題中第一主成分不含第三個(gè)原始變量的信息，所以應(yīng)該取兩個(gè)主成分。第41頁(yè)，共74頁(yè)，2023年，2月20日，星期一Xi與F1的相關(guān)系數(shù)平方Xi與F2的相關(guān)系數(shù)平方信息提取率xi10.9250.855000.8552-0.9980.996000.996300111第42頁(yè)，共74頁(yè)，2023年，2月20日，星期一定義：如果一個(gè)主成分僅僅對(duì)某一個(gè)原始變量有作用，則稱為特殊成分。如果一個(gè)主成分所有的原始變量都起作用稱為公共成分。(該題無(wú)公共因子）第43頁(yè)，共74頁(yè)，2023年，2月20日，星期一6、載荷矩陣

第44頁(yè)，共74頁(yè)，2023年，2月20日，星期一五標(biāo)準(zhǔn)化變量主成分在實(shí)際問(wèn)題中，不同的變量往往有不同的量綱，由于不同的量綱會(huì)引起各變量取值的分散程度差異較大，這時(shí)，總體方差則主要受方差較大的變量的控制。若用∑求主成分，則優(yōu)先照顧了方差大的變量，有時(shí)會(huì)造成很不合理的結(jié)果。為了消除由于量綱的不同可能帶來(lái)的影響，常采用變量標(biāo)準(zhǔn)化的方法，即令，

第45頁(yè)，共74頁(yè)，2023年，2月20日，星期一這時(shí)，的協(xié)方差矩陣便是的相關(guān)系數(shù)陣，其中利用X的相關(guān)矩陣ρ作主成分分析，平行于前面∑的結(jié)論，可以有如下的定理:第46頁(yè)，共74頁(yè)，2023年，2月20日，星期一定理：設(shè)為標(biāo)準(zhǔn)化的隨機(jī)向量，其協(xié)方差矩陣（即X的相關(guān)矩陣）為ρ，則X*的第i個(gè)主成分并且第47頁(yè)，共74頁(yè)，2023年，2月20日，星期一其中為相關(guān)矩陣ρ的特征值，為相應(yīng)的正交單位化特征向量。這時(shí)第i個(gè)主成分的貢獻(xiàn)為前m個(gè)主成分的累積貢獻(xiàn)為第48頁(yè)，共74頁(yè)，2023年，2月20日，星期一例題：對(duì)比標(biāo)準(zhǔn)化和非標(biāo)準(zhǔn)化數(shù)據(jù)的主成分

設(shè)協(xié)方差矩陣和對(duì)應(yīng)的相關(guān)矩陣分別為第49頁(yè)，共74頁(yè)，2023年，2月20日，星期一如果從∑出發(fā)作主成分分析，易求得其特征值和相應(yīng)的單位正交化特征向量為則X的兩個(gè)主成分分別為：第一主成分的貢獻(xiàn)率為：

由于X2的方差很大，完全控制了提取信息量占99.2%的第一主成分（X2在F1中的系數(shù)為0.999），淹沒(méi)了變量X1的作用。第50頁(yè)，共74頁(yè)，2023年，2月20日，星期一如果從ρ出發(fā)作主成分分析，可求得其特征值和相應(yīng)的單位正交化特征向量為則X*的兩個(gè)主成分分別為：此時(shí)，第一主成分的貢獻(xiàn)率有所下降，為：第51頁(yè)，共74頁(yè)，2023年，2月20日，星期一由此看到，原變量在第一主成分中的相對(duì)重要性由于標(biāo)準(zhǔn)化而有很大的變化。在由∑所求得的第一主成分中，X1和X2和的權(quán)重系數(shù)分別為0.040和0.999，主要由大方差的變量控制。而在由ρ所求得的第一主成分中，X1和X2和的權(quán)重系數(shù)反而成了0.707和0.0707，即X1的相對(duì)重要性得到提升。此例也表明，由∑和ρ求得的主成分一般是不相同的，而且，其中第一組主成分也不是第二組主成分的某簡(jiǎn)單函數(shù)。在實(shí)際應(yīng)用中，當(dāng)涉及的各變量的變化范圍差異較大時(shí)，從ρ出發(fā)求主成分比較合理。第52頁(yè)，共74頁(yè)，2023年，2月20日，星期一1．85%原則記方差的累積貢獻(xiàn)率為六主成分個(gè)數(shù)的選取根據(jù)我國(guó)主成分分析的實(shí)踐來(lái)看，通常可以保證分析結(jié)果的可靠性。該原則是在實(shí)踐中總結(jié)出來(lái)的，與其它原則相比，通常有選取較多主成分的傾向。第53頁(yè)，共74頁(yè)，2023年，2月20日，星期一實(shí)踐中，該準(zhǔn)則通常容易選取較少的主成分。先計(jì)算，然后將與之進(jìn)行比較，選取的前q個(gè)變量的主成分。由于由樣本數(shù)據(jù)的相關(guān)矩陣R所求得，所以，故只要選取的前q個(gè)變量作為主成分即可。2．的原則第54頁(yè)，共74頁(yè)，2023年，2月20日，星期一3．斯格理（Screet）原則具體做法：計(jì)算特征根的差，如果前q個(gè)比較近，即出現(xiàn)了較為穩(wěn)定的差值，則后p-q個(gè)變量可以確定為非主成分。這是從相反的方向來(lái)確定主成分的一種做法。實(shí)踐中，該準(zhǔn)則也傾向于選擇較多的主成分，而且一般不單獨(dú)使用。第55頁(yè)，共74頁(yè)，2023年，2月20日，星期一4．巴特萊特檢驗(yàn)（Bartlet）原則H0：最后p-q個(gè)分量均等于或不顯著地大于零。

該檢驗(yàn)的精確性受到樣本容量n大小的影響，當(dāng)n較小時(shí)，有可能低估突出變量的數(shù)目；當(dāng)n較大時(shí)，有可能高估突出變量的數(shù)目。具體做法：從q=1開(kāi)始，一直檢驗(yàn)到最后p-q個(gè)變量不顯著為止。其中：檢驗(yàn)統(tǒng)計(jì)量：第56頁(yè)，共74頁(yè)，2023年，2月20日，星期一1、主成分的解釋

1）、從特征向量Uij的各個(gè)分量數(shù)值的大小入手進(jìn)行分析與概括。

Uij表明了變量xj(xj*)與主成分Fi之間的關(guān)系。主成分Fi在變量xj(xj*)上的系數(shù)Uij越大，說(shuō)明該主成分主要代表了該變量xj(xj*)的信息；反之，若越接近于0，則表明幾乎沒(méi)有該變量什么信息。七主成分的解釋第57頁(yè)，共74頁(yè)，2023年，2月20日，星期一2）從特征向量的各個(gè)分量Uij數(shù)值的符號(hào)入手進(jìn)行分析與概括

主成分系數(shù)Uij的符號(hào)表明了變量xj(xj*)與主成分Fi之間的作用關(guān)系，一般地，正號(hào)表示變量與主成分的作用同方向；而負(fù)號(hào)則表示變量與主成分作用是逆向變動(dòng)關(guān)系。第58頁(yè)，共74頁(yè)，2023年，2月20日，星期一3）．如果變量分組較有規(guī)則，則從特征向量各分量Uij數(shù)值作出組內(nèi)、組間對(duì)比分析4）．如果主成分中，各變量的系數(shù)都大致相同，則要考慮是否存在一個(gè)一般性的影響因素第59頁(yè)，共74頁(yè)，2023年，2月20日，星期一2、主成分分析適用的場(chǎng)合3.不完全相關(guān)主成分分析效果較好能實(shí)施主成分分析高度相關(guān)中度相關(guān)低度相關(guān)1.完全相關(guān)2.完全不相關(guān)不必實(shí)施主成分分析第60頁(yè)，共74頁(yè)，2023年，2月20日，星期一八主成分分析的步驟STEP03：求相關(guān)系數(shù)矩陣R的特征根λ1≥λ2

≥‥‥≥

λp

≥0及相應(yīng)的單位正交特征向量U1,U2,‥‥,Up；STEP02：計(jì)算X的相關(guān)系數(shù)矩陣R；STEP01：將原始數(shù)據(jù)X進(jìn)行標(biāo)準(zhǔn)化，得X*；STEP04：計(jì)算方差累積貢獻(xiàn)率，確定主成分的個(gè)數(shù)q；STEP05：寫(xiě)出主成分F=X*U，解釋其實(shí)際經(jīng)濟(jì)意義并指導(dǎo)實(shí)踐。第61頁(yè)，共74頁(yè)，2023年，2月20日，星期一主成分分析方法應(yīng)用實(shí)例

下面，我們根據(jù)表一給出的數(shù)據(jù)，對(duì)某農(nóng)業(yè)生態(tài)經(jīng)濟(jì)系統(tǒng)做主成分分析，

表一某農(nóng)業(yè)生態(tài)經(jīng)濟(jì)系統(tǒng)各區(qū)域單元的有關(guān)數(shù)據(jù)

第62頁(yè)，共74頁(yè)，2023年，2月20日，星期一第63頁(yè)，共74頁(yè)，2023年，2月20日，星期一步驟如下：（1）將表一中的數(shù)據(jù)作標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化處理，然后將它們代入公式計(jì)算相關(guān)系數(shù)矩陣（見(jiàn)表二）。表二相關(guān)系數(shù)矩陣第64頁(yè)，共74頁(yè)，2023年，2月20日，星期一（2）由相關(guān)系數(shù)矩陣計(jì)算特征值，以及各個(gè)主成分的貢獻(xiàn)率與累計(jì)貢獻(xiàn)率（見(jiàn)表三）。由表3.5.2可知，第一，第二，第三主成分的累計(jì)貢獻(xiàn)率已高達(dá)86.596%（大于85%），故只需要求出第一、第二、第三主成分z1，z2，z3即可。

第65頁(yè)，共74頁(yè)，2023年，2月20日，星期一表三特征值及主成分貢獻(xiàn)率

第66頁(yè)，共74頁(yè)，2023年，2月20日，星期一（3）對(duì)于特征值=4.6610，=2.0890，=1.0430分別求出其特征向量e1，e2，e3，再用公式計(jì)