機(jī)器學(xué)習(xí)中若干特征選擇算法研究的中期報(bào)告一、前言特征選擇在機(jī)器學(xué)習(xí)中占有重要的地位，可以減少計(jì)算量，提高分類速度，同時(shí)還可以提高分類精度。鑒于此，本文將介紹幾種常見(jiàn)的特征選擇算法，并探討其優(yōu)缺點(diǎn)和適用條件。二、特征選擇算法1.FilterFilter算法是在訓(xùn)練之前就完成特征選擇的一種方法，其思路是先用單個(gè)特征和目標(biāo)變量之間的相關(guān)性測(cè)量來(lái)評(píng)估每個(gè)特征的重要性，然后進(jìn)行排名和選擇。常見(jiàn)的相關(guān)性測(cè)量方法包括皮爾遜相關(guān)系數(shù)、卡方檢驗(yàn)等。優(yōu)點(diǎn):-排序簡(jiǎn)單直接，計(jì)算速度快；-在特征數(shù)目很大，樣本數(shù)目很少的情況下實(shí)用。缺點(diǎn):-無(wú)法考慮特征之間的關(guān)系；-對(duì)特征數(shù)量的變化比較敏感；-不考慮目標(biāo)變量的影響。2.WrapperWrapper算法是使用機(jī)器學(xué)習(xí)模型來(lái)確定特征的重要性，它將特征選擇看作一個(gè)特征子集搜索問(wèn)題。Wrapper算法通過(guò)遍歷所有可能的特征子集來(lái)確定最佳特征集。優(yōu)點(diǎn):-可以探索不同組合方式的影響；-對(duì)特征數(shù)量的變化不敏感；-能夠考慮特征之間的關(guān)系。缺點(diǎn):-計(jì)算量大，處理速度慢；-容易過(guò)擬合。3.EmbeddedEmbedded算法是在模型訓(xùn)練的過(guò)程中完成特征選擇的一種方法，其思路是通過(guò)機(jī)器學(xué)習(xí)算法自動(dòng)選擇特征。Embedded算法是將特征選擇和模型訓(xùn)練結(jié)合在一起的算法。優(yōu)點(diǎn):-與模型融合在一起，有較好的健壯性；-消耗盡量少的資源；-適合用于高維數(shù)據(jù)集中。缺點(diǎn):-可能導(dǎo)致選擇過(guò)多的特征，造成過(guò)擬合；-在特征數(shù)量過(guò)多時(shí)表現(xiàn)效果較差。三、比較與選擇1.比較三種特征選擇算法的優(yōu)缺點(diǎn)如下表所示：|Algorithm|Advantages|Disadvantages||-----------|------------|---------------||Filter|-簡(jiǎn)單直接<br/>-計(jì)算速度快<br/>-適用于特征數(shù)目較大樣本數(shù)目較少的情況|-無(wú)法考慮特征之間的關(guān)系<br/>-對(duì)特征數(shù)量的變化比較敏感<br/>-不考慮目標(biāo)變量的影響||Wrapper|-能夠探索不同組合方式的影響<br/>-對(duì)特征數(shù)量的變化不敏感<br/>-能夠考慮特征之間的關(guān)系|-計(jì)算量大，處理速度慢<br/>-容易過(guò)擬合||Embedded|-與模型融合在一起，有較好的健壯性<br/>-消耗盡量少的資源<br/>-適合用于高維數(shù)據(jù)集中|-可能導(dǎo)致選擇過(guò)多的特征，造成過(guò)擬合<br/>-在特征數(shù)量過(guò)多時(shí)表現(xiàn)效果較差|2.選擇實(shí)際選擇應(yīng)結(jié)合具體情況和需求進(jìn)行，一般情況下，如果特征數(shù)比較小，可以使用Wrapper或Embedded算法；如果特征數(shù)比較大，可以使用Filter算法或Embedded算法；如果希望更好的性能，可以嘗試使用組合算法。四、結(jié)論特征選擇是機(jī)器學(xué)習(xí)中不可或缺的一個(gè)環(huán)節(jié)，本文介紹了三種常見(jiàn)