第9章降維分析目錄CONTENTS9.1PCA9.2奇異值分解9.3本章小結(jié)9.1PCA學(xué)習(xí)基礎(chǔ)學(xué)習(xí)認(rèn)知能力信息素養(yǎng)高降維的目的就是要找出更準(zhǔn)確、簡潔描述樣本屬性的組合方式。方差過濾作為特征工程中一種重要的特征選擇方法，它認(rèn)為如果一個(gè)特征的方差很小，則意味著這個(gè)特征上很可能有大量取值都相同，則該特征的取值對(duì)樣本而言就沒有區(qū)分度，該特征就不包含有效信息；如果一個(gè)特征的方差很大，則說明該特征上擁有大量有效信息。9.1PCA這組數(shù)的均值都為(2.5,2.5)，方差為(3,3)，方差計(jì)算過程為：將原本的直角坐標(biāo)系逆時(shí)針旋轉(zhuǎn)45°，形成了新的特征向量x1和x2組成的新平面，9.1PCA選擇其中一個(gè)特征進(jìn)行分析，則優(yōu)化目標(biāo)就是要最大化每個(gè)特征的方差，即：目標(biāo)函數(shù)為：9.1PCA利用拉格朗日乘子法求解：9.1PCA（1）計(jì)算樣本每個(gè)特征的平均值，將每個(gè)樣本數(shù)據(jù)減去該特征的平均值，即進(jìn)行歸一化處理；（2）計(jì)算歸一化處理后的樣本的協(xié)方差矩陣；（3）找到協(xié)方差矩陣的特征值和特征向量；（4）對(duì)特征值按照從大到小排序，特征向量相應(yīng)排序；（5）計(jì)算特征值的累計(jì)貢獻(xiàn)率，并求前k行構(gòu)成的特征向量構(gòu)成的矩陣P；（6）計(jì)算Y=PX，即為經(jīng)過PCA降維后的k維數(shù)據(jù)。9.1PCA根據(jù)PCA算法的實(shí)現(xiàn)原理，對(duì)于給定的矩陣X，先計(jì)算出協(xié)方差矩陣mat_cov，然后得到特征值和特征向量，選取前k個(gè)特征向量，就得到變換后的矩陣X_mat。9.1PCA為了驗(yàn)證經(jīng)過pca降維過的數(shù)據(jù)能表示原數(shù)據(jù)的特征，隨機(jī)生成一組數(shù)據(jù)，并觀察降維后每個(gè)特征方差占的比例，并進(jìn)行可視化。9.1PCA9.2奇異值分解奇異值分解(SingularValueDecomposition，SVD)是一種矩陣因子分解方法回顧一下特征值分解。設(shè)A為n階方陣，若存在數(shù)λ和非零向量x，使得：9.2奇異值分解矩陣的奇異值分解是指，將一個(gè)非零的m×n實(shí)矩陣A，表示為以下三個(gè)實(shí)矩陣乘積形式的運(yùn)算，即進(jìn)行矩陣的因子分解：9.2奇異值分解9.2奇異值分解9.2奇異值分解SVD是通過求ATA的特征值和特征向量進(jìn)行降維。實(shí)際上，scikit-learn的PCA算法的背后真正的實(shí)現(xiàn)就是用的SVD，而不是我們我們認(rèn)為的暴力特征分解。假設(shè)我們的樣本是m×n的矩陣A，如果我們通過SVD找到了矩陣ATA最大的d個(gè)特征向量張成m×d維矩陣U，如果進(jìn)行如下處理：左奇異矩陣可以用于行數(shù)的壓縮。相對(duì)的，右奇異矩陣可以用于列數(shù)即特征維度的壓縮，也就是我們的PCA降維。9.2奇異值分解9.2奇異值分解9.2奇異值分解對(duì)于文本檢索和推薦系統(tǒng)，都會(huì)涉及到大量的文本數(shù)據(jù)需要處理。文本檢索和新聞分類其實(shí)就是一個(gè)聚類問題，關(guān)鍵是如何計(jì)算查詢與文檔的相似度、兩篇新聞的相似度。查詢、文檔、新聞均可看作是一個(gè)文本，可表示成由一系列詞匯組成的向量，夾角越小，表明兩篇新聞越相關(guān)；當(dāng)它們垂直正交時(shí)，表示兩篇新聞無關(guān)。為了提高計(jì)算效率，往往需要先對(duì)特征進(jìn)行降維，SVD就是一種常見的降維方法。9.2奇異值分解9.3本章小結(jié)PCA和SVD作為兩種常用的降維方法，被應(yīng)用于數(shù)據(jù)壓縮、去噪等方面。PCA和SVD都屬于無監(jiān)督的學(xué)習(xí)算法，都可將原始數(shù)據(jù)投影到新的低維空間中，以最大程度地保留原始數(shù)據(jù)的方差信息。其中，PCA通過構(gòu)建一種被稱為主成分的變量，并將所用到的所有向量映射到由主成分變量構(gòu)建的空間上去。SVD用于將矩陣分解為三個(gè)矩陣的乘積：左奇異矩陣、右奇