PPT下載/xiazai/第六章:特征提取與選擇模式識別及Python實現(xiàn)123基本概念類別可分性判斷依據(jù)主成分分析法目錄

CONTENT4多維尺度分析5特征選擇方法PART

1基本概念PART01BasicConcept??特征維數(shù)災難：當特征小于某值時，分類器的性能隨著特征個數(shù)的增加而增加，當特征個數(shù)大于某值時，分類器性能不升反降2.特征降維：以人體識別為例，選擇其中一個或者兩個有代表性的特征即可完成任務，無需將每個特征都進行識別。這種減少特征數(shù)量的過程被稱為“特征降維”。3.特征選擇與特征提?。航档吞卣骺臻g維數(shù)有兩種方式：特征選擇和特征提取，特征選擇是從D個特征中選出d（d＜D）個特征；特征提取是通過適當?shù)淖儞Q把D個特征轉換成d（d＜D）個新特征。特征選擇是通過計算的方法從原特征中挑選出最具有辨別能力的特征；特征提取是通過某種數(shù)學變換產(chǎn)生新的特征。兩種方法都可以降低特征空間維數(shù)，減小分類器的計算量，使分類器更容易實現(xiàn)；另一方面，還可以消除特征之間可能存在的相關性，提高分類效率。特征選擇和特征提取不是完全分離的，在一些問題中，可以先進行特征選擇，去掉對分類任務沒有幫助的特征，然后再對選擇出的具有辨別能力的特征進行特征提取。

PART

2類別可分性判斷依據(jù)PART02ClassSeparabilityCriteria

PART

3主成分分析法PART03PrincipalComponentAnalysis?

下圖給出一個對二維空間數(shù)據(jù)進行主成分分析的示例。在很多情況下，經(jīng)過分析，排在后面的主成分往往表明它們所包含的信息具有隨機性，并且對整個特征分析的過程來說影響較小。此時可以對原特征進行主成分變化后，將后幾個本征值很小的主成分置零，再進行主成分分析的逆變換，就可以實現(xiàn)對原始數(shù)據(jù)的降噪。

主成分分析示例

PART

4多維尺度分析PART04MultidimensionalScaling1.基本概念多維尺度法(Multidimensionalscaling，MDS)也稱作“多維排列模型”、“多維標度”，是一種經(jīng)典的數(shù)據(jù)映射方法。MDS可以將多維空間中的樣本點按照比例進行縮放，并在二維或者三維的低維度狀態(tài)下表示出來。多維尺度法可以分為度量型和非度量型。度量型MDS根據(jù)原空間中樣本間的距離或是不相關性關系，從定量的角度進行度量，使得低維空間下依舊可以很好的保持原有維度樣本之間的距離數(shù)量關系；非度量型MDS不再保留定量關系，而是將原空間樣本之間的距離或不相關性關系，定性的在低維空間中表示，僅僅確定樣本間的順序關系，但無法進行詳細比較。以地圖舉例，多維尺度法，將原本的三維城市關系盡可能的表示到二維平面上，使得二維的地圖中的城市間的距離可以將實際中的距離更好的表示出來?？梢钥吹剑瑢⒊鞘虚g三維數(shù)據(jù)進行MDS處理后得到的結果與我們平時所常見的地圖一致。

PART

5特征選擇方法PART05??BoostingMethods?最優(yōu)搜索算法（分支定界法）分支定界法（branchandbound，BAB）是一種自頂向下的全局搜索算法，其基本思想是根據(jù)每種特征的重要性生成一棵由不同特征選擇組成的樹，再按一定規(guī)律進行搜索，最終得到全局最優(yōu)解，而不必遍歷整棵樹。分支定界法可以分為兩步：生成特征樹和搜索回溯