1、報(bào)告人： 趙才榮博士后 主成分分析（PCA） 從一維到多維引言提綱主成分分析（PCA）二維主成分分析（2DPCA）總結(jié)多維主成分分析（MPCA）基因數(shù)據(jù)引言：高維數(shù)據(jù)人臉圖像數(shù)據(jù)數(shù)字手寫體數(shù)據(jù)其他數(shù)據(jù)降維從3維到2維?高維數(shù)據(jù)的降維技術(shù)如何挖掘高維數(shù)據(jù)中隱藏的知識(shí)高維數(shù)據(jù)內(nèi)蘊(yùn)知識(shí)線性鑒別分析（LDA）流形學(xué)習(xí)（ML）主成分分析（PCA）主成分分析（PCA）1 L. Sirovich and M. Kirby, “Low-Dimensional Procedure for Characterization of Human Faces,” J. Optical Soc. Am., vol. 4,

2、 pp. 519-524, 1987.2 M. Kirby and L. Sirovich, “Application of the KL Procedure for the Characterization of Human Faces,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 12, no. 1, pp. 103-108, Jan. 1990.3 M. Turk and A. Pentland, “Eigenfaces for Recognition,” J. Cognitive Neuroscience,

3、vol. 3, no. 1, pp. 71-86, 1991.參考文獻(xiàn) 均值 方差標(biāo)準(zhǔn)差假設(shè)有n個(gè)D維的樣本： ，則： 基本數(shù)學(xué)概念協(xié)方差矩陣/散布矩陣 協(xié)方差矩陣的主對(duì)角線上的元素是各個(gè)維度上的方差(即能量)，其他元素是兩兩維度間的協(xié)方差(即相關(guān)性)。主成分分析目標(biāo):尋找最能夠代表原始數(shù)據(jù)分布特性的投影方向。散布矩陣：PCA目標(biāo)函數(shù)：To find that maximizes subject toLet be a Lagrange multiplieris an eigenvector of Scorresponding to the largest eigenvaluetherefore

4、主成分分析計(jì)算機(jī)理To find the next coefficient vector maximizing then let and be Lagrange multipliers, and maximizesubject toand toFirst note that uncorrelated主成分分析計(jì)算機(jī)理We find that is also an eigenvector of S whose eigenvalue is the second largest. In general The kth largest eigenvalue of S is the variance o

5、f the kth PC.主成分分析計(jì)算機(jī)理 重構(gòu)誤差:結(jié)論1、求重構(gòu)誤差最小的投影方向等價(jià)于求散度最大的投影方向主成分分析:尋找在最小均方誤差意義下最能夠代表原始數(shù)據(jù)的投影方向。結(jié)論2、主成分分析的本質(zhì)就是對(duì)角化協(xié)方差矩陣最大散度：1、降噪，消除維度間的相關(guān)性，恢復(fù)主要維度應(yīng)有能量2、去冗余，即去掉多余維度，壓縮數(shù)據(jù)中包含的信息。主成分分析的物理意義PCA主成分分析的幾何解釋：平移、旋轉(zhuǎn)坐標(biāo)軸平移、旋轉(zhuǎn)坐標(biāo)軸的目的是使樣本數(shù)據(jù)在主軸方向的離散程度最大，且不同軸之間具有不相關(guān)性。 x y示例%matlab codeD=load(pca.txt);var_x=sum(D(:,1)-mean(D(

6、:,1).2)/(length(D(:,1)-1);var_y=sum(D(:,2)-mean(D(:,2).2)/(length(D(:,2)-1);cov_xy=sum(D(:,2)-mean(D(:,2).*(D(:,1)-mean(D(:,1)/(length(D(:,2)-1);%the above three lines equal to: cov(D)示例d=1d=2d=4d=8d=16d=32d=64d=100原始圖像具體應(yīng)用:圖像壓縮+ c2* + + cd* c1*+ (I)具體應(yīng)用:人臉識(shí)別主成分分析提取判別信息 1、引入各個(gè)分量的分類性能J(xj)2、將J(xj)重新排

7、隊(duì) 確定由前d個(gè)特征分量來表征對(duì)象的顯著性 二維主成分分析（2DPCA）2022年9月17日29 1 Yang J, Zhang D, Frangi A F, et al. Two-dimensional PCA: a new approach to appearance-based face representation and recognitionJ. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2004, 26(1): 131-137. 2 Yang J, Yang J.Y., “From Image

8、 Vector to Matrix: A Straightforward Image Projection TechniqueIMPCA vs. PCA,” Pattern Recognition, vol. 35, no. 9, pp. 1997-1999, 2002.參考文獻(xiàn)X是n 維列向量，A是mxn的圖像矩陣，Y是線性變換后的m維投影向量。定義Y的協(xié)方差矩陣 的跡為總散度：最大化該準(zhǔn)則，就找到了最優(yōu)的投影方向X使得投影后的向量Y分得最開。2022年9月17日30二維主成分分析（2DPCA） 表示為：記2022年9月17日31 稱作圖像協(xié)方差（散度）矩陣。從定義可以看出它是非負(fù)定的nn維

9、矩陣。假設(shè)有M張訓(xùn)練圖像，第j張圖像表示為 ，所有訓(xùn)練圖像的均值記作 準(zhǔn)則化為2022年9月17日32最大化上式的X稱作最優(yōu)投影軸。最優(yōu)投影軸是 的最大特征值對(duì)應(yīng)的特征向量。通常一個(gè)最優(yōu)投影軸是不夠的，因此選對(duì)應(yīng)特征值最大的取前d個(gè)相互正交的單位特征向量作為最優(yōu)投影軸。2022年9月17日332022年9月17日34特征提取2DPCA的最優(yōu)投影向量 用來做特征提取。對(duì)于給定的樣本圖像A，有得到的投影特征向量 稱 作樣本圖像A的主成分（向量）。主成分向量形成md的矩陣 稱作樣本圖像A的特征矩陣或特征圖像。 2022年9月17日35分類方法采用最近鄰分類。任意兩個(gè)圖像的特征矩陣 和 之間的距離定義

10、為：給定測(cè)試樣本B，如果 ，并且 ，則分類結(jié)果是 。2022年9月17日36基于2DPCA的圖像重構(gòu)主成分向量是 ， 令 ，那么由于 是正交的，所以圖像A的重構(gòu)圖像為：令 ， 它的大小和圖像A一致，稱作圖像A的重構(gòu)子圖。當(dāng)dn時(shí)，是完全重構(gòu)；當(dāng)dn時(shí)，是近似重構(gòu)。2022年9月17日 37實(shí)驗(yàn) 人臉庫人數(shù)圖像數(shù)訓(xùn)練集測(cè)試集圖像大小主要變化ORL40104020020092112PoseAR6555120132Varied5040Over TimeFacial ExpressionsLighting ConditionsYale151115Leave-one-out10080Facial Exp

11、ressionsLighting Conditions2022年9月17日38 2022年9月17日39ORL 2022年9月17日40 2022年9月17日41 2022年9月17日42 2022年9月17日43 2022年9月17日44AR 2022年9月17日45 2022年9月17日46 2022年9月17日47 2022年9月17日48 2022年9月17日49Yale 2022年9月17日50Sample images for one object of the Yale dataset 結(jié)論：2DPCA是將一幅圖像的每一行當(dāng)成一個(gè)樣本，進(jìn)行PCA的運(yùn)算。2022年9月17日522

12、DPCA 與PCA的關(guān)系2DPCA與PCA（Eigenfaces）比較優(yōu)點(diǎn)：提取特征的方法簡(jiǎn)單、直接實(shí)驗(yàn)對(duì)比中顯示識(shí)別率高提取特征的計(jì)算效率高缺點(diǎn)：表示圖像時(shí)需要的系數(shù)多，因此需要更多的存儲(chǔ)空間分類所需的計(jì)算時(shí)間稍多 2022年9月17日53為什么2DPCA的性能優(yōu)于PCA對(duì)于小樣本數(shù)據(jù)（比如人臉識(shí)別）來說， 2DPCA更加穩(wěn)定。因?yàn)樗膱D像協(xié)方差矩陣比較小。 2DPCA比PCA能更加精確的刻畫圖像的協(xié)方差矩陣 2022年9月17日54多維主成分分析（MPCA）2022年9月17日552022年9月17日561 Lu H, Plataniotis K N, Venetsanopoulos A

13、N. MPCA: Multilinear principal component analysis of tensor objectsJ. Neural Networks, IEEE Transactions on, 2008, 19(1): 18-39.2 Lu H, Plataniotis K N, Venetsanopoulos A N. Gait Recognition through MPCA plus LDA, in Proc. Biometrics Symposium 2006 (BSYM 2006), Baltimore, US, September 2006.參考文獻(xiàn)1-mo

14、de unfoldingMultilinear projection張量散度矩陣優(yōu)化函數(shù) This is no known optimal solution which allows for the simultaneous optimization of N projection matrices !Since the projection to an Nth-order tensor subspace consists of N projections to N vector subspaces, N optimization sub-problems can be solved by maximizing the scatter in the n-mode vector subspace.算法實(shí)現(xiàn)實(shí)驗(yàn)USF HumanID “Gait challenge” data sets 64Identification performanceProbePI (%) at Rank 1PI (%) at Rank 5Bas