4.6降維算法1.降維算法概述2.常見(jiàn)降維算法

主成分分析（PCA）

多維尺度分析（MDS）

自編碼器

（Autoencoder）3算法比較與應(yīng)用場(chǎng)景1.降維算法概述什么是降維？減少數(shù)據(jù)集的特征數(shù)量，保留主要信息。為什么需要降維？解決“維度災(zāi)難”；

提升計(jì)算效率。便于數(shù)據(jù)可視化；去除噪聲和冗余特征。2.常見(jiàn)降維算法核心思想：找到數(shù)據(jù)中方差最大的方向（主成分），將數(shù)據(jù)投影到低維空間。步驟簡(jiǎn)介1.數(shù)據(jù)標(biāo)準(zhǔn)化（零均值化）；2.計(jì)算協(xié)方差矩陣3.特征值分解；4.選擇主成分并投影適用場(chǎng)景：圖像識(shí)別、數(shù)據(jù)預(yù)處理、特征提取。2.1主成分分析（PCA）例

通過(guò)PCA找到數(shù)據(jù)的主方向,并將數(shù)據(jù)從二維降維到一維,使得信息損失最小。數(shù)據(jù)集如下：解（1）數(shù)據(jù)標(biāo)準(zhǔn)化。PCA的第一步是對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化,即讓每個(gè)特征的均值為0,標(biāo)準(zhǔn)差為1。計(jì)算每個(gè)特征的均值:然后對(duì)數(shù)據(jù)進(jìn)行零均值化(減去均值):（2）計(jì)算協(xié)方差矩陣：協(xié)方差矩陣用于衡量變量之間的相關(guān)性,其公式為:（3）計(jì)算特征值和特征向量對(duì)協(xié)方差矩陣進(jìn)行特征值分解:λ1=4.27,λ2=0.19

對(duì)應(yīng)的特征向量:例

通過(guò)PCA找到數(shù)據(jù)的主方向,并將數(shù)據(jù)從二維降維到一維,使得信息損失最小。數(shù)據(jù)集如下：我們選擇較大的特征值對(duì)應(yīng)的特征向量v1作為主成分方向。（4）數(shù)據(jù)降維降維后的數(shù)據(jù)Z是原始數(shù)據(jù)在主成分方向上的投影:PCA計(jì)算出的主成分方向是(0.72,0.69)。數(shù)據(jù)投影到主成分方向后，原二維數(shù)據(jù)成功降維到一維。2.2多維尺度分析（MDS）核心思想：保留數(shù)據(jù)點(diǎn)之間的相對(duì)距離，將高維數(shù)據(jù)映射到低維空間。特點(diǎn)：非線性降維，適用于距離或相似性數(shù)據(jù)適用場(chǎng)景：社會(huì)科學(xué)、生物信息學(xué)、數(shù)據(jù)可視化。主成分分析(PCA)小結(jié)核心本質(zhì)：一種線性降維方法，通過(guò)坐標(biāo)變換找到數(shù)據(jù)方差最大的方向（主成分），并將數(shù)據(jù)投影到這些方向上。關(guān)鍵目標(biāo)：用盡可能少的主成分來(lái)保留原始數(shù)據(jù)中盡可能多的信息（方差），實(shí)現(xiàn)數(shù)據(jù)壓縮和去噪。主要優(yōu)勢(shì)：計(jì)算高效，有嚴(yán)格的數(shù)學(xué)推導(dǎo)。解釋性強(qiáng)，主成分方向有時(shí)具有物理或業(yè)務(wù)意義。一句話總結(jié)：PCA就像是在數(shù)據(jù)分布中尋找最“伸展”的方向，并沿著這些方向看數(shù)據(jù)，從而抓住主要矛盾。步驟通俗描述第一步：你想畫(huà)一張圖，你想把一堆復(fù)雜的東西（比如各種商品、城市、人）畫(huà)在一張二維的紙上，看看誰(shuí)和誰(shuí)離得近，誰(shuí)和誰(shuí)離得遠(yuǎn)。第二步：準(zhǔn)備一份“距離清單”，你有一份清單，上面記錄了每?jī)蓚€(gè)東西之間的實(shí)際距離（或者相似程度）。比如“蘋果和香蕉的距離是3”，“蘋果和橘子的距離是1”（數(shù)字越小表示越像）。第三步：開(kāi)始“反向繪制地圖”，MDS這個(gè)聰明的家伙就拿著這份“距離清單”，開(kāi)始倒推。它的目標(biāo)是：在紙上給每個(gè)東西點(diǎn)一個(gè)點(diǎn)，讓這些點(diǎn)之間的直線距離，盡可能符合你清單上寫的數(shù)字。如果清單上說(shuō)“蘋果和橘子很像”（距離小），那它就在紙上把代表蘋果和橘子的兩個(gè)點(diǎn)畫(huà)得很近。如果清單上說(shuō)“蘋果和西瓜很不像”（距離大），那它就把這兩個(gè)點(diǎn)畫(huà)得遠(yuǎn)遠(yuǎn)的。第四步：計(jì)算和調(diào)整，電腦會(huì)通過(guò)一系列數(shù)學(xué)計(jì)算，不停地調(diào)整每個(gè)點(diǎn)在紙上的位置，努力讓紙上點(diǎn)與點(diǎn)之間的距離，和你的“距離清單”匹配得最好。第五步：得到最終地圖，調(diào)整到最佳狀態(tài)后，電腦就輸出一張二維地圖。每個(gè)東西都有一個(gè)確定的坐標(biāo)點(diǎn)（比如X軸和Y軸的值）。你看這張圖，就能一眼看出：哪些東西聚在一起（說(shuō)明它們很相似）。哪些東西離得很遠(yuǎn)（說(shuō)明它們差別很大）。整個(gè)東西大致的分布結(jié)構(gòu)是怎樣的。多維尺度分析(MDS)小結(jié)核心本質(zhì)：一種基于距離的降維方法，其目標(biāo)是保持高維空間中樣本點(diǎn)之間的相對(duì)距離關(guān)系在低維空間中不變。關(guān)鍵目標(biāo)：生成一張“地圖”，使得圖上點(diǎn)間的距離能真實(shí)反映原始數(shù)據(jù)的相似性或差異性。主要優(yōu)勢(shì)：適用于任何能計(jì)算出距離或相似度的數(shù)據(jù)，應(yīng)用范圍廣。結(jié)論直觀，便于理解樣本間的聚集和遠(yuǎn)離關(guān)系。一句話總結(jié)：MDS就像一位“制圖師”，根據(jù)一份記錄著所有城市間距離的清單，反推繪制出一張符合這些距離關(guān)系的空間地圖。3自編碼器(Autoencoder)定義：一種特殊的神經(jīng)網(wǎng)絡(luò)，用于無(wú)監(jiān)督學(xué)習(xí)。目標(biāo)：學(xué)習(xí)數(shù)據(jù)的高效壓縮表示（降維）。簡(jiǎn)單比喻：像一個(gè)學(xué)習(xí)壓縮和解壓文件的智能軟件，目標(biāo)是保證解壓后的文件盡可能還原原始文件。網(wǎng)絡(luò)結(jié)構(gòu)(NetworkArchitecture)1.編碼器(Encoder)功能：

將高維輸入數(shù)據(jù)壓縮到一個(gè)低維的“秘密代碼”（編碼）。就像總結(jié)一篇文章的核心要點(diǎn)。2.解碼器(Decoder)功能：

根據(jù)“秘密代碼”重建出原始數(shù)據(jù)。就像根據(jù)核心要點(diǎn)重新寫出文章。關(guān)鍵特征：中間層（編碼）的神經(jīng)元數(shù)量遠(yuǎn)少于輸入層和輸出層，形成“瓶頸”結(jié)構(gòu)，強(qiáng)制網(wǎng)絡(luò)學(xué)習(xí)壓縮。優(yōu)勢(shì)與應(yīng)用(Strengths&Applications)優(yōu)勢(shì)：非線性降維：

比PCA等線性方法能捕捉更復(fù)雜的數(shù)據(jù)模式。

表征學(xué)習(xí)：

學(xué)會(huì)的不是簡(jiǎn)單壓縮，而是數(shù)據(jù)的內(nèi)在特征。經(jīng)典應(yīng)用場(chǎng)景：圖像去噪：

輸入noisyimage→

輸出cleanimage。數(shù)據(jù)壓縮：

學(xué)習(xí)高效的壓縮模型。異常檢測(cè)：

無(wú)法良好重建的數(shù)據(jù)可能就是異常點(diǎn)。生成模型：