機器學(xué)習(xí)(Python版)Chap4維數(shù)災(zāi)難與降維維數(shù)是一個基本問題數(shù)學(xué)家布勞威爾（L.E.J.Brouwer）給出的嚴(yán)格定義：不可能將一個更高維的物體放入較低維度的空間中，以及在不將物體分成許多部分（如康托爾所做的那樣）、不允許物體與自身相交（如皮亞諾所做的那樣）的情況下，使用較低維度的物體填滿較高維度的空間。維數(shù)是一個基本問題n維空間中的邊界是n-1維——遞歸的確定維數(shù)維數(shù)是一個基本問題維數(shù)的增加會帶來令人驚訝的性質(zhì)維數(shù)是一個基本問題高維空間中令人驚訝的現(xiàn)實導(dǎo)致統(tǒng)計和數(shù)據(jù)分析出現(xiàn)問題，統(tǒng)稱為“維數(shù)災(zāi)難”（curseofdimensionality）。許多統(tǒng)計方法所需的樣本點數(shù)量隨維度增加呈指數(shù)增長。此外，隨著維度增加，點形成聚類的概率會降低。因此，找到為高維數(shù)據(jù)降維的方法十分重要。什么是降維?一圖勝千言！說說你看到了什么?？催@張圖片的過程就是降維的過程!!為什么要降維?根本原因：維數(shù)災(zāi)難!!kNN主要問題:對于維數(shù)較高的問題不適用——需要的訓(xùn)練樣本數(shù)隨著維數(shù)的增加呈指數(shù)增長為什么要降維?根本原因：維數(shù)災(zāi)難!!NN的根本優(yōu)勢:通過訓(xùn)練樣本學(xué)習(xí)降維端對端輸出層(10個神經(jīng)元)隱藏層(15個神經(jīng)元)輸入層(784個神經(jīng)元)為什么要降維?反例！我需要升維！基本思想：2D空間線性不可分，變換的或升維的空間則有可能線性可分!!用核函數(shù)將(低維空間)線性不可分的數(shù)據(jù)變換為(高維空間)線性可分?jǐn)?shù)據(jù)!!為什么要降維?反例！我需要升維！為什么要降維?反例！我需要升維！為什么要降維?反例！我需要升維！為什么要降維?太陽系經(jīng)過三維空間向二維空間的低維化后，最終變成了一幅星空畫！為了可視化!!降維的好處與壞處好處：壓縮與簡化數(shù)據(jù)，降低計算復(fù)雜度減小或消除噪聲幫助理解數(shù)據(jù)，比如找出重要的數(shù)據(jù)

幫助可視化壞處：可能丟失有用信息期望提速又提效!!降維方法分類線性降維方法：主成分分析(PCA)：針對對稱陣XXT奇異值分解(SVD)：針對一般矩陣X多維尺度分析(MDS)非線性降維方法：等距特征映射(ISOMAP)

局部線性嵌套(LLE)tSNE降維是采用線性或非線性變換將高維數(shù)據(jù)投影到低維空間tSNEtSNE降維方法分類特征選擇!!PCA基本思想

u2PCA基本思想u2方差越大(數(shù)據(jù)變化越大,熵越大)的方向越重要!!PCA推導(dǎo)過程設(shè)xi(i=1…N)為D維向量

（注意向量默認為列向量，其轉(zhuǎn)置成為行向量）

定義一個D維單位方向向量u1，從而有u1Tu1=1則xi在u1上的投影為一個標(biāo)量值u1Txi

首先得到數(shù)據(jù)的均值向量

則投影數(shù)據(jù)的方差為

PCA推導(dǎo)過程

PCA推導(dǎo)過程

PCA重構(gòu)

PCA實例1——Mnist

手寫數(shù)字圖像數(shù)據(jù)的均值向量與4個對應(yīng)最大特征值的特征向量

手寫數(shù)字圖像數(shù)據(jù)的重構(gòu)結(jié)果KKKK思考題0：為何K=1的重構(gòu)結(jié)果與Mean非常相似？PCA實例1——Mnist

手寫數(shù)字圖像數(shù)據(jù)的特征值譜及均方誤差K

PCA實例2——數(shù)據(jù)“白化/球化”

原始數(shù)據(jù)可能采用了不同的度量單位或者具有很不同的變化范圍，這時數(shù)據(jù)預(yù)處理就是后續(xù)處理算法成敗的關(guān)鍵所在。PCA能夠?qū)?shù)據(jù)預(yù)處理為0均值、單位協(xié)方差，且去掉變量之間的（線性）相關(guān)性——稱為白化（whitening）或球化（sphering）思考題1：為何中圖和右圖特征取值范圍不是[-1,1]？PCA實例2——數(shù)據(jù)歸一化/規(guī)范化PCA的Python實現(xiàn)

對特征求均值特征對應(yīng)列取topNfeat個最大特征值和特征向量降維后數(shù)據(jù)重構(gòu)數(shù)據(jù)思考題2：如果dataMat是NxD矩陣，請給出lowDDataMat的形狀，并解釋為什么。testSet.txt:1000個樣本，2個數(shù)值特征，沒有類別標(biāo)簽10.002296 9.9989408.965876 8.6654197.823136 6.9495728.125088 7.654065……>>>dataMat=pca.loadDataSet('testSet.txt')>>>lowDMat,reconMat=pca.pca(dataMat,1)>>>shape(lowDMat)(1000,1)>>>shape(reconMat)(1000,2)PCA的Python實現(xiàn)dataMatreconMat思考題3：為什么不需要類別標(biāo)簽？testSet.txt:1000個樣本，2個數(shù)值特征，沒有類別標(biāo)簽10.002296 9.9989408.965876 8.6654197.823136 6.9495728.125088 7.654065……>>>dataMat=pca.loadDataSet('testSet.txt')>>>lowDMat,reconMat=pca.pca(dataMat,2)>>>shape(lowDMat)(1000,2)>>>shape(reconMat)(1000,2)PCA的Python實現(xiàn)dataMatreconMat思考題4：為什么完全重疊？PCA的Python實現(xiàn)注意lowDMat與兩個主軸對齊!!dataMatlowDMatPCA的Python實現(xiàn)半導(dǎo)體生產(chǎn)數(shù)據(jù)/ml/datasets/SECOM0.0141-0.0307-0.0083-0.0026-0.0567-0.00447.21630.132NaN2.38950.9691747.60490.18418671.9301-0.3274-0.0055-0.00010.00010.0003-0.278600.3974-0.02510.00020.00020.135-0.00420.00030.00560-0.24680.3196NaNNaNNaNNaN0.9460748.61150.990858.43060.6002缺失的特征用該特征所有樣本的均值填充!!奇異值分解(SVD)——一般矩陣的特征分解類似方陣的特征分解注意：每個實矩陣都有一個SVD，但不一定有特征分解(不一定是方陣，既使是方陣，也不一定是可對角化陣)。奇異值和奇異向量Amxn為一般實矩陣，Umxm和Vnxn為正交陣，Dmxn為對角陣。D的主對角元素稱為A的奇異值(降序排列)，U的列稱為左奇異向量，V的列稱為右奇異向量。奇異值分解(SVD)——一般矩陣的特征分解

SVD與特征分解的關(guān)系實際上，A的左奇異向量是AAT(實對稱陣)的特征向量，A的右奇異向量是ATA(實對稱陣)的特征向量，A的非零奇異值是AAT或ATA的特征值的平方根。

SVD可用于將方陣的逆推廣到一般矩陣——偽逆SVD用于降維

SVD:

Data—mxn,U—mxm,Σ—mxn

VT—nxn降維:U—mxk,Σ—kxk,VT—kxnk<m及n!!SVD用于降維Da