§7.1主成分分析§7.2獨(dú)立成分分析§7.3

t分布隨機(jī)臨近嵌入數(shù)據(jù)降維是數(shù)據(jù)歸約的主要內(nèi)容之一，包含兩個(gè)方向：一是特征提取，二是特征選擇。特征提取是對(duì)原始特征施行一個(gè)變換變成另一組新特征；特征

選擇則是從原始特征中提取一個(gè)在某種程度上的最優(yōu)子集用于數(shù)據(jù)分析與挖

掘。兩個(gè)方向目的一致，就是減少特征量。主成分分析(

PCA)獨(dú)立成分分析(

ICA)特征提取

t

分布隨機(jī)臨近嵌入(t-SNE)線性判別分析(LDA)數(shù)據(jù)降維

均勻流形逼近與投影(

UMAP)過(guò)濾法

方差選擇法，相關(guān)系數(shù)法，卡方檢驗(yàn)法，互信息法，

…特征選擇包裹法

遞歸特征消除(

RFE),

…嵌入法

L?正則化，特征重要性法，

…§7.1

主成分分析一、定義從下述三個(gè)方面介紹主成分分析(PCA)

“是什么”:1.

是一個(gè)經(jīng)典的線性降維技術(shù)；2.核心思想：通過(guò)線性變換Z=XA’,將原始特征所在的數(shù)據(jù)X=(X?,…,Xp)

變換為新特征Z=(Z?…,Zp

),其中Z具有優(yōu)異的性質(zhì)：(1)Z?,…,Z

p

相互獨(dú)立(2)Z?,…,Z

p的方差嚴(yán)格遞減我們稱依次稱Z?,…,Zp

為第一主成分、.….、第p

主成分；3.一般來(lái)說(shuō)，Z?…,Zp

的前m個(gè)主成分Z?,…,Zm

包含了原始特征X?,…,Xp

的絕大部分信息，就用Z?…,Zm

來(lái)替代X?

,…,Xp

完成數(shù)據(jù)分析與挖掘任務(wù)，

這就減少了特征數(shù)量，達(dá)到降維的目的，而信息損失又在可接受的范圍。輸入n_components要提取的主成分個(gè)數(shù)，若值為None,則保留所有主成分svd_solver逆矩陣求解算法，取值有四個(gè)：'auto’,‘full'’,‘a(chǎn)rpack’,‘randomized'輸出項(xiàng)components_變化矩陣，(n_components,n_features)

型矩陣，已按解釋方差排序explained_variance_X的協(xié)方差矩陣的前n_components個(gè)最大特征值explained_variance_ratio_每個(gè)選定主成分解釋方差的百分比二、實(shí)現(xiàn)Python

實(shí)現(xiàn)PCA的類是sklearn.decomposition.PCA,

下面是分類器的語(yǔ)法：PCA(n_components=None,svd_solver='auto')參數(shù)說(shuō)明：三、案例分析【實(shí)驗(yàn)7.1】主成分分析探討城市工業(yè)主體結(jié)構(gòu)

下表是某市工業(yè)部門13個(gè)行業(yè)8項(xiàng)指標(biāo)的數(shù)據(jù)，其中13個(gè)行業(yè)是冶金(1)、電力(2)、煤炭(3)、化學(xué)(4)、機(jī)

械(5)、建材(6)、森工(7)、食品(8)、紡織(9)、縫紉(10)、皮革(11)、造紙(12)

和文教藝術(shù)用品(13);8項(xiàng)指標(biāo)是年末固定資產(chǎn)凈值(萬(wàn)元，X1)、職工人數(shù)

(人，X2)、

工業(yè)總產(chǎn)值(萬(wàn)元，X3)、全員勞動(dòng)生產(chǎn)率(元/人年，X4)、百元固定原資產(chǎn)值實(shí)現(xiàn)產(chǎn)值(元，

X5)、

資金利稅率(%,X6)、

標(biāo)準(zhǔn)燃料

消費(fèi)量(噸，X7)

和能源利用效果(萬(wàn)元/噸，

X8)。試用主成分分析方法(1)確定8項(xiàng)指標(biāo)的樣本主成分；(2)若要求損失信息不超過(guò)15%,應(yīng)取幾個(gè)主成分；對(duì)主成分進(jìn)行解釋。序號(hào)X?X?X?X?X?X?X?X?190342524551010911927282.016.11974350.17224903197320351031334.27.15920770.00336735211393767178036.18.27263960.00344945436241815572250498.125.93482260.98551391902035052158981060993.212.61395720.6286122151621910351638262.58.71458180.066723726572810312329184.422.2209210.152811062230785493523804370.441.0654860.263917111239075210821796221.521.5638060.2761012063930612615586330.429.518400.4371121505704620010870184.212.089130.27412525161551038316875146.427.5787960.151131434113203193961469194.617.863541.574A=0.47670.47280.4238-0.2129-0.3885-0.35240.21480.0550.2960.27790.3780.45140.33090.4027-0.37740.2727-0.1042-0.163-0.15630.0085-0.3211-0.1451-0.14050.89120.0453-0.17440.05870.5161-0.19940.27930.75820.07190.1842-0.3054-0.01750.5394-0.4499-0.3168-0.4182-0.32220.06590.0485-0.099-0.2879-0.58230.7136-0.1936-0.12220.7576-0.5184-0.174-0.24940.2330.05640.05280.0671-0.245-0.52710.7805-0.2201-0.03060.0424-0.04120.0033【實(shí)驗(yàn)過(guò)程】按緒論所講無(wú)監(jiān)督學(xué)習(xí)流程進(jìn)行分析，本案例只有兩個(gè)模塊：

數(shù)據(jù)模塊→分析模塊。數(shù)據(jù)模塊主要是：讀入數(shù)據(jù)→數(shù)據(jù)標(biāo)準(zhǔn)化；分析模塊

主要是：建立模型→訓(xùn)練模型→提取結(jié)果【實(shí)驗(yàn)結(jié)果】按流程編程，運(yùn)行后提取結(jié)果：(1)變換矩陣AZ1Z2Z3Z4Z5Z6Z7Z81.5355

0.7896-0.56000.50981.1018-0.00270.4110-0.00460.5186

-2.6975-0.23760.88670.1671-0.3030-0.1324-0.06961.0996

-3.3572-0.42610.6063-0.96790.06180.08560.02500.4786

1.23201.0384

1.66490.01180.0776-0.00900.0544.7134

2.3548-0.4867-0.7890-0.51660.0199-0.1260-0.02350.3434

-1.8460-0.0324

-0.97630.38400.2146-0.02840.0695-1.1475-0.3309-0.2933

-0.72000.09520.3157-0.00530.0365-2.28462.3358-1.14410.5795-0.59530.0117-0.04150.0546-0.8755

0.9322-0.36730.13380.5481-0.4879-0.29990.0009-2.1148

0.8589-0.2405

-0.535-0.6739-0.18590.2908-0.0757-0.7425-0.78650.1276

-1.15630.2438-0.39780.01850.0307-1.2505

0.0316-0.2987

0.08510.3856

0.6686-0.1762-0.0818-0.2737

0.48332.9209

-0.2892-0.18380.00740.0130

-0.016(2)8個(gè)主成分：Z

=XA'主成分貢獻(xiàn)度貢獻(xiàn)率累計(jì)貢獻(xiàn)率Z13.36370.38810.3881Z23.13890.36220.7503Z31.00770.11630.8666Z40.69560.08030.9468Z50.32940.03800.9848Z60.09380.01080.9957Z70.03490.00400.9997Z80.00260.00031.0000所以，根據(jù)累計(jì)貢獻(xiàn)率，要保證信息損失率低于15%,那么主成分累計(jì)貢

獻(xiàn)率需大于85%,取Z1,Z2,Z3

三個(gè)主成分即可達(dá)到要求。(3)8個(gè)主成分的貢獻(xiàn)度、貢獻(xiàn)率及累計(jì)貢獻(xiàn)率據(jù)散布圖對(duì)13個(gè)行業(yè)進(jìn)行分類，結(jié)果為：(1)分為兩類，有兩種分法。第

一

種

按Z?

分：C?={1,2,3,4,5,6},這可歸屬為“重工業(yè)”C?={7,8,9,10,11,12,13},

這可歸屬為“輕工業(yè)”第

二

種

按Z?

分

：C?={2,3,6,7,11},這可歸屬于“原材料”類工業(yè)C?={1,4,5,8,9,10,12,13},這可歸屬于“加工”類工業(yè)

(2)按Z?,Z?分

為四

類

：主成分散布圖●8.食品

5.機(jī)械●4.化學(xué)●10

.縫紉

●9

.紡織

●1.冶金●13.文教藝術(shù)用品●12造紙

…●7.森工●11.皮革●6.建材C?={1,4,5},加工類重工業(yè)C?={2,3,6},

原材料類重工業(yè)

C?={8,9,10,13},

加工類輕工業(yè)

C?={7,11},

原材料類輕工業(yè)為了解釋主成分，首先做主成分散布圖：210--1·-2·—3—●2.

電力●3.煤炭-2-1Z?402351小結(jié)+課程思政：●主成分分析不僅有著完美的數(shù)學(xué)理論，還有著邏輯嚴(yán)密的解釋性，比如繼承了原始特征的多少信息，損失多少，都十分清楚。●主成分分析所得主成分有十分優(yōu)異的性質(zhì)：(1)相互獨(dú)立；

(

2

)

方

差嚴(yán)格遞減；這是降維的主要依據(jù)?！裰鞒煞址治鍪且环N線性降維技術(shù)，對(duì)特征間非線性依賴關(guān)系有局限?！?/p>

課程思政：PCA

通過(guò)方差最大化提取主成分，本質(zhì)上是“抓住主要矛盾、忽略次要因素”的系統(tǒng)思維。這與馬克思主義哲學(xué)中“抓主要矛盾”的方法論高度契合。這啟示我們，在工作與生活中若能運(yùn)用“抓關(guān)鍵、做減法”的智慧，便能以核心突破帶動(dòng)全局提升?！?.2

獨(dú)立成分分析

(ICA)一、概念獨(dú)立成分分析的思想和方法并非直接來(lái)自特征降維，而是來(lái)自一類稱為盲源分離的問(wèn)題，是一個(gè)容易理解的概念。music

original

signalsrecordedvoicecocktail

party

problem1.盲源分離問(wèn)題【引例】雞尾酒會(huì)

問(wèn)題

雞尾酒會(huì)上有2

個(gè)聲音信號(hào)源，分別

是音樂(lè)(圖中記作music)和人說(shuō)話的聲

音(圖記作voice)。有兩個(gè)麥克風(fēng)同時(shí)記錄音樂(lè)聲和人聲的混合聲。由于聲音信號(hào)是線性疊加的，不妨假設(shè)麥克風(fēng)1接收到的信號(hào)是x?

,

麥克風(fēng)2接收到的信號(hào)是x?

:X?=a?·music+b?·voiceX?=a?·music+b?·voice矩陣形式表達(dá)上述兩個(gè)方程：假設(shè)兩個(gè)麥克風(fēng)被放置在不同的位置，因此上述方程組中的信號(hào)疊加參數(shù)a?

,b?,a?,b?可能是不同的。雞尾酒會(huì)問(wèn)題是：從麥克風(fēng)接收到的信號(hào)x?,x?中將音樂(lè)聲music

和人聲voice

分離出來(lái)。雞尾酒會(huì)問(wèn)題是一般盲源分離問(wèn)題的特例。所謂盲源分離問(wèn)題

(blindsourceseparation,BSS),是指我們觀測(cè)到

的數(shù)據(jù)是由來(lái)自多個(gè)不同源的數(shù)據(jù)混合而成的，我們的目標(biāo)是將這些不同

源的數(shù)據(jù)從混合數(shù)據(jù)中分離出來(lái)。這些不同源的數(shù)據(jù)稱為獨(dú)立成分(Independent

Component,簡(jiǎn)記為IC)。2.獨(dú)立成分分析模型假設(shè)在時(shí)刻t我們從m個(gè)獨(dú)立成分S(t)=[s?(t),s?(t),…,Sm(t)]

(

視

為m

維行向量)觀察到n

個(gè)線性混合信號(hào)X(t)=[x?(t),x?(t),…,xn(t)]

(視為

n維行向量):x;(t)=a?jS?(t)+a?jS?(t)+…+amjSm(t),j=1,2,…,n矩陣化上述方程組，得X(t)=S(t)A其中A是

一

個(gè)m×n矩陣，稱為混合矩陣。連續(xù)觀察l個(gè)時(shí)刻，得X=SA其中X是

一

個(gè)l×n

矩陣，是已知的；S

是

一

個(gè)l×m矩陣(獨(dú)立成分矩陣),和混合矩陣A

都是未知的。一個(gè)自然的問(wèn)題是：如何求出獨(dú)立成分S

和混合矩陣A?這就是獨(dú)立成分分析。在獨(dú)立成分分析模型中，當(dāng)

m<n

時(shí)

相

當(dāng)

于

將

維

數(shù)

從n降至m了

。求解S和A的數(shù)學(xué)原理在此不做介紹，我們介紹獨(dú)立成分分析基于python的求解。FastICA(n_components=None,algorithm='parallel’,

whiten='unit-variance',

fun='logcosh’,whiten_solver='svd')輸

入n_components要分離的獨(dú)立成分的個(gè)數(shù)，若值為None,則分離所有獨(dú)立成分algorithm指定用于fastica的算法，取值有兩個(gè)：'parallel','deflation'whiten指定白化策略，取值有兩個(gè)：'arbitrary-variance','unit-variance'fun對(duì)負(fù)熵進(jìn)行近似時(shí)G函數(shù)的形式，取值為：'logcosh','exp','cube'whiten_solver白化求解器，取值有兩個(gè)：'eigh','svd'輸

出components_從X獲得S的矩陣，(n_components,n_features)

型矩陣mixing

從S獲得X的矩陣，(n_features,n_components)型矩陣二、基于python

的實(shí)現(xiàn)Python

中實(shí)現(xiàn)獨(dú)立成分分析的工具是自sklearn.decomposition模塊的

FastICA類，其語(yǔ)法及重要參數(shù)介紹如下：三、案例分析【實(shí)驗(yàn)7.2】假設(shè)實(shí)驗(yàn)7.1的數(shù)據(jù)是多源混合信息，試用獨(dú)立成分分析方法

提取其獨(dú)立成分，并評(píng)估提取的效果?！緦?shí)驗(yàn)過(guò)程】與實(shí)驗(yàn)7.1有所不同：數(shù)據(jù)模塊→分析模塊→業(yè)務(wù)解釋模塊業(yè)務(wù)解釋模塊行業(yè)對(duì)獨(dú)立成分的貢獻(xiàn)提取結(jié)果獨(dú)立成分與原始特征相關(guān)關(guān)系成分間互信息非高斯性檢查特征相關(guān)性檢查獨(dú)立成分行業(yè)解釋數(shù)據(jù)診斷數(shù)據(jù)標(biāo)準(zhǔn)化讀入數(shù)據(jù)數(shù)據(jù)模塊確定最優(yōu)獨(dú)立成分?jǐn)?shù)量運(yùn)行穩(wěn)定性驗(yàn)證最終模型分析模塊建模訓(xùn)練并變換評(píng)

估非高斯性檢驗(yàn)獨(dú)立性檢驗(yàn)城市工業(yè)主體結(jié)構(gòu)探討3.08920.960.110.290.170.010.210.92190.950.060.20.170.010.198.960.951.00.230.10.00.080.250.110.060.231.60.560.780.450.290.240.10.560.610.170.170.00.780.880.490.010.010.080.450.610.490.210.190.250.30.030.17FeatureKurtosisX12.088788X26.565269X32.830212X4-0.72488X5-0.23363X6-0.30308X70.631341X81.882943【實(shí)驗(yàn)結(jié)果】按上述流程編

程，運(yùn)行后按流程輸出結(jié)果：1.數(shù)據(jù)模塊：數(shù)據(jù)診斷結(jié)果(1)原始特征的峰值(2)特征相關(guān)性熱力圖X2具有最明顯的非高斯性，

可能與某個(gè)獨(dú)立成分強(qiáng)相關(guān)特征相關(guān)性熱力圖X?X?

X?

X?

X?

X?

X?

X?0.6.0-0.6X?X?X?X?X?X?X?X?-0.0290-0.3778-0.28650.21050.84320.0269-0.1952-0.09900.06610.9682-0.0259-0.3799-0.31350.00610.8680-0.1894-0.4056-0.7285-0.4772-0.1786A=0.20350.2168-0.3214-0.8716-0.1326-0.0574-0.1346-0.3973-0.8614-0.18600.0641-0.58050.73960.3200-0.0788-0.94410.0826-0.1836-0.12500.22602.分析模塊(1)最優(yōu)模型探索非高斯性檢驗(yàn)——獨(dú)立成分?jǐn)?shù)量對(duì)應(yīng)的峰度值：[2.7897,-1.1679,2.2216,0.6270,6.5950]由最大峰度值確定最優(yōu)獨(dú)立成分?jǐn)?shù)量為5運(yùn)行穩(wěn)定性驗(yàn)證：確定最佳隨機(jī)數(shù)種子為42(2)訓(xùn)練模型后提取結(jié)果：混合矩陣A、

分離矩陣W和獨(dú)立成分S混合矩陣0.09780.07640.0777-0.04380.2083-0.0684

-0.1603-0.21560.1195-0.2014

-0.69410.2729-0.2654

-0.8174分離矩陣W=-0.30560.2922-0.0807

-0.79990.38490.2677

0.8372A與W是互逆的0.2222-0.2944-0.0540

0.3186-0.7626-0.6496

-0.39970.17640.53780.2894-0.48120.27780.0377

-0.0319提取的獨(dú)立成分S=IC41.2271

1.0329

0.1701

-0.2093

0.1010

1.2276

-0.1135

-2.4187

-0.0624

-1.6376

0.4673

-0.04530.2608IC50.1247

-0.8596

0.0022

-0.21733.3355

-0.1671

-0.3460

-0.1729

-0.4736

-0.1091

-0.2490

-0.7662

-0.1016IC10.5984

0.3295

0.3243-1.6304

0.1704

0.6241

0.5801

0.5590

0.3920

0.1364

0.38010.4036

-2.8675IC2-1.2525-0.9671-0.5094-1.8123

-0.07641.1177

0.9389

-0.6424

-0.2864

0.9570

1.4811-0.04791.0997IC3-1.50351.0607

2.7811

-0.2006

-0.0200

0.1043-0.2017

-0.2324

-1.11530.2618

-0.2609

-0.5881

-0.0852X1X2X3X4X5X6X7X8IC1-0.0290.026945-0.02586-0.189430.20345-0.057380.064129-0.94412IC2-0.37782-0.19516-0.37992-0.405590.216837-0.13464-0.580520.082553IC3-0.2865-0.09898-0.3135-0.72852-0.32137-0.397270.739572-0.18355IC40.2104560.0660970.006072-0.47717-0.87157-0.861380.319956-0.12502IC50.8432320.968240.867964-0.17856-0.13256-0.18597-0.078760.225987IC1IC2IC3IC4IC5IC102.564952.564952.564952.56495IC2002.564952.564952.56495IC30002.564952.56495IC400002.56495IC500000(3)模型評(píng)估：成分間的互信息、獨(dú)立性檢驗(yàn)、獨(dú)立成分與原始特征之間的關(guān)系成分與原始特征之間的相關(guān)性成分間的互信息0.030.030.030.190.2-0.060.06-0.940.380.20.380.410.220.13-0.580.080.29-0.1-0.310.73-0.32-0.40.740.180.210.070.010.48-0.870.860.320.130.840.970.87-0.18-0.130.190.080.23獨(dú)立成分與原始特征相關(guān)性(|r|>0.5標(biāo)紅)X?

X?

X?

X?X?

X?

X?

X?獨(dú)立成分與

原始特征相關(guān)性可視化0.750.500.250.00-0.25-0.50-0.75IC?IC?IC?IC?IC?獨(dú)立成分的配對(duì)散點(diǎn)圖0.0-2.0-2.5-3.01.00.50.0-1.0-21C5三

絲配

對(duì)

散

點(diǎn)

圖檢

查

獨(dú)

立

性

：

各

成

分

之

聞

獨(dú)

立

性

明

顯3.業(yè)務(wù)解釋模塊(1)獨(dú)立成分的行業(yè)解釋及(2)行業(yè)對(duì)獨(dú)立成分貢獻(xiàn)的可視化小結(jié)+課程思政：●獨(dú)立成分分析與主成分分析是兩種常用的降維和信號(hào)分離技術(shù)，但它們的邏輯又有顯著差異：主成分分析的核心思想是最大化方差，提取

數(shù)據(jù)中的正交主方向；獨(dú)立成分分析的核心思想是最大化非高斯性，分離統(tǒng)計(jì)獨(dú)立的源信號(hào)?！癖竟?jié)提供的獨(dú)立成分分析案例可以作為獨(dú)立成分分析的范例，獨(dú)立成分分析流程大抵就是這樣的流程了。●

課程思政：ICA追求源信號(hào)的統(tǒng)計(jì)獨(dú)立性，剝離混雜信息，還原真實(shí)成分——這體現(xiàn)了“去偽存真、去粗取精”的求實(shí)精神?！?.3

t

分布隨機(jī)臨近嵌入

(t-SNE)一、概念1.t-SNE

是一種非常流行的非線性降維技術(shù)，主要是可視化高維數(shù)據(jù)：將高

維數(shù)據(jù)降至二維數(shù)據(jù)，從而實(shí)現(xiàn)高維數(shù)據(jù)在低維的可視化；2.數(shù)學(xué)原理：假設(shè)X是一個(gè)n×D截面數(shù)據(jù)，即X

c

RD。t-SNE的目的是生成一個(gè)低維的特征集Yn×a來(lái)表征X,

其

中d《D。(1)X(②),X()

∈X

在RD

的相似性Pij描述為(正態(tài)分布):當(dāng)d=2

時(shí)即將高維數(shù)據(jù)投影到了二維，因?yàn)閿?shù)據(jù)分布相似，這樣二維上的可視化也就非常接近地描述了高維中的分布了。t-分布隨機(jī)臨近嵌入的核心思想就是讓這個(gè)兩個(gè)概率分布盡可能地相似，這樣就說(shuō)明在降維后的數(shù)據(jù)分布和原始空間的數(shù)據(jù)分布基本一致。(2)X(i),X(j)∈X在

Rd

上的投影Y(i),Y()∈Y的相似性Qi;

描述為

(t

分布):n_components嵌入空間的維數(shù)，默認(rèn)為2metric流形中使用的距離，有20余個(gè)取值，默認(rèn)為'euclidean'init初始化嵌入，取值有兩個(gè)：'random','pca'二、實(shí)現(xiàn)Python中實(shí)現(xiàn)t-SNE的工具是來(lái)自sklearn.manifold模塊的TSNE類。輸

出embedding_嵌入數(shù)據(jù)，(n_samples,n_components)型矩陣kl_divergence_Kullback-Leibler散度TSNE(n

components=2,metric='euclidean’,

init='pca’,method='barnes

hut')梯度計(jì)算方法，取值有兩個(gè)：'