1、 利用K-L變換進行特征提取的實驗一、 基本要求用FAMALE.TXT和MALE.TXT的數據作為本次實驗使用的樣本集，利用K-L變換對該樣本集進行變換，與過去用Fisher線性判別方法或其它方法得到的分類面進行比較，從而加深對所學內容的理解和感性認識。二、 具體做法1. 不考慮類別信息對整個樣本集進行K-L變換（即PCA），并將計算出的新特征方向表示在二維平面上，考察投影到特征值最大的方向后男女樣本的分布情況并用該主成分進行分類2. 利用類平均向量提取判別信息，選取最好的投影方向，考察投影后樣本的分布情況并用該投影方向進行分類。3. 將上述投影和分類情況與以前做的各種分類情況比較，考察各自的

2、特點和相互關系。三、 實驗原理 K-L變換是一種基于目標統(tǒng)計特性的最佳正交變換。它具有一些優(yōu)良的性質：即變換后產生的新的分量正交或者不相關；以部分新的分量表示原矢量均方誤差最小；變換后的矢量更趨確定，能量更集中。這一方法的目的是尋找任意統(tǒng)計分布的數據集合之主要分量的子集。設n維矢量，其均值矢量，協(xié)方差陣，此協(xié)方差陣為對稱正定陣，則經過正交分解克表示為,其中，為對應特征值的特征向量組成的變換陣，且滿足。變換陣為旋轉矩陣，再此變換陣下變換為,在新的正交基空間中，相應的協(xié)方差陣。通過略去對應于若干較小特征值的特征向量來給y降維然后進行處理。通常情況下特征值幅度差別很大，忽略一些較小的值并不會引起大的

3、誤差。1.不考慮類別信息對整個樣本集進行K-L變換（即PCA）（1）讀入female.txt 和male.txt 兩組數據，組成一個樣本集。計算樣本均值向量和協(xié)方差（2）計算協(xié)方差陣C的特征值和特征向量U（3）選取特征值最大的特征向量作為投影方向（4）選取閾值進行判斷2.利用類平均信息提取判別信息（1）讀入female.txt 和male.txt 兩組數據，分別計算樣本均值向量和協(xié)方差，及總均值向量（2）計算類間離散度矩陣Sb （）與類內離散度矩陣Sw（）（3）用比較分類性能，選擇最佳投影方向（4）選取閾值進行判斷四、 實驗結果與分析1.不考慮類別信息對整個樣本集進行K-L變換（即PCA）U=

4、(0.6269,0.7791)T ,P1=0.5, P2=0.5判錯個數錯誤率采用K-L變換判別方法1414%采用Fisher線性判別方法1212%2.利用類平均信息提取判決信息U=(0.5818,0.8133)T,P1=0.5, P2=0.5判錯個數錯誤率采用K-L變換判別方法1313%采用Fisher線性判別方法1212%五、 心得體會%不考慮類別信息clc;clear all;FH FW=textread(C:UsersrengangDesktophomeworkFEMALE.txt,%f %f);MH MW=textread(C:UsersrengangDesktophomeworkM

5、ALE.txt,%f %f);FA=FH FW;FA=FA;MA=MH MW;MA=MA;for k=1:50 NT(:,k)=FA(:,k);end for k=51:100 NT(:,k)=MA(:,k-50); end X=(sum(NT)/length(NT);%這里NT是一個100*2的矩陣，X為總樣本均值。c=cov(NT);u,v=eig(c);%求矩陣c的全部特征值，構成對角陣v，并求c的特征向量構成u的列向量。a,b=max(v);c,d=max(a); U=u(:,d) x=U*X; errorg=0; errorb=0;for k=1:100 TT(:,k)=U*NT(:,k); if kx errorg=errorg + 1; end else if TT(:,k)u(:,2)*Sb*u(:,2)/v(2,2) u=u(:,1);else u=u(:,2);endfor k=1:50 TF(:,k)=u*FA(:,k); TM(:,k)=u*MA(:,k);end w=(sum(TF)+sum(TM)/100;errorg=0;errorb=0;for k=1:50 if TF(:,k)w errorg=erro