支持向量機核函數(shù)的選擇

0總結(jié)為了解決提出前的問題，提出了基于核函數(shù)優(yōu)化方法的普遍性差的問題，并通過增加二次因素系數(shù)來提出資源優(yōu)化方法。1精度的選擇—支持向量機推廣性原則支持向量機的核心思想在于將函數(shù)擬合中的復雜性和推廣性進行綜合,通過嚴格的一致性條件來保證經(jīng)驗風險最小化函數(shù)與期望風險最小化函數(shù)的逼近,提出了推廣性的界,即經(jīng)驗風險和實際風險之間應(yīng)滿足如下關(guān)系:其中,R(ω)為實際風險,Remp(ω)為訓練樣本的經(jīng)驗風險,Φ(nh)為置信范圍,又稱為VC信任,n/h與Φ成反比,n為訓練樣本數(shù),h表示vc維。即,分類器的復雜性由式(1)可看出,要使經(jīng)驗風險逼近實際風險,既要使Remp(ω)盡可能小,也要使Φ(nh)置信范圍量小。該范圍中含的2個參數(shù):n和h,在樣本數(shù)n一定的情況下,vc維h越高,表示分類器的復雜程度越高,則置信范圍相應(yīng)增大,導致實際風險與經(jīng)驗風險間的差別越大;而在h一定的情況下,樣本數(shù)n越多,導致置信范圍減小,經(jīng)驗風險最小化的最優(yōu)解就逼近實際的最優(yōu)解。故設(shè)計分類器時不但使經(jīng)驗風險小,還要使vc維盡量小,應(yīng)選用復雜度小的分類器。即結(jié)構(gòu)化風險最小原則(StructuralRiskMinimization,簡稱SRM),應(yīng)選擇最小經(jīng)驗風險與置信范圍之和最小的子集。2最優(yōu)分類面的確定支持向量機通過求解最優(yōu)分類面的過程,體現(xiàn)結(jié)構(gòu)化風險最小原則的思想,如圖1。設(shè)訓練樣本集為:x{i,yi},i=1,...,nxi為d維向量,yi∈{-,1+}1,分類面H:H為把兩類無錯誤地分開分類線。H1、H2分別為過各類樣本中離分類線最近的點且平行于分類線的直線。如圖1,H1和H2間的距離稱為兩類的分類空隙或分類間隔margin:margin=2/‖w‖。最優(yōu)分類線要求能將兩類無錯誤地分開,使其分類空隙最大。以保證經(jīng)驗風險最小(為0),分類空隙最大,使推廣性的界中的置信范圍最小,從而使真實風險最小。推廣到高維空間,最優(yōu)分類線就成為最優(yōu)分類面。求解過程轉(zhuǎn)化為求解1個帶約束的二次規(guī)劃QP問題,即求式(3)的極小值:即求對偶函數(shù)LD的極大值也是求(L,w0ω,)a的極小值?？疾焓?3),實際上,求解只需要利用訓練樣本的點積<xi?xj>即可,又知,分類器的權(quán)向量w也是通過點積來體現(xiàn),即:故只需計算點積即可,在解決非線性判別分類問題中避免由非線性映射造成的維數(shù)問題。3支持向量機設(shè)計核函數(shù)的研究在解決非線性分類問題中,將原特征空間用映射的方式xi→fx(i)映射到新的特征空間,則相應(yīng)的對偶函數(shù)變成:分解面方程為:原空間為d維,設(shè)新空間為m維,m>d,從式(6)知,權(quán)向量的維數(shù)也是m維,是在映射后空間中的支持向量的線性求和:其中,ai≠0,而分類器的設(shè)計只關(guān)心權(quán)向量與樣本間的點積,不需求出權(quán)向量。可確定某種函數(shù)(泛函),該函數(shù)是xi與x樣本數(shù)據(jù)某種映射的內(nèi)積,滿足一定條件(Mercer條件)就可用于設(shè)計支持向量機,而不必對應(yīng)具體的f(xi)。該函數(shù)即為核函數(shù)。映射后的高維空間,不計算內(nèi)積,只是求和運算,與樣本的個數(shù)有關(guān)。對偶函數(shù)轉(zhuǎn)變?yōu)?分解面方程則為:其中,k(xi,xj)為核函數(shù),反映特征映射后數(shù)據(jù)的內(nèi)積。3.1基于類面或廣義分類面分開的支持向量機選擇不同的核函數(shù),形成不同的支持向量機。在最優(yōu)的分類器及其推廣能力方面,Vapnik等人提出的結(jié)論是:若一組訓練樣本能被一個最優(yōu)分類面或廣義最優(yōu)分類面分開,則對于測試樣本分類錯誤率的期望上界是:訓練樣本中平均的支持向量占總訓練樣本數(shù)的比例:從式(6)可見,支持向量機的推廣性也與變換空間的維數(shù)無關(guān),只要能適當?shù)倪x擇核函數(shù),構(gòu)造一個支持向量數(shù)相對較少的最優(yōu)或廣義分類面,即可得到較好的推廣性。該數(shù)據(jù)集中的數(shù)據(jù)點是隨機生成的高斯分布數(shù)據(jù),因此,分別進行了5次、10次、30次分類實驗,平均值采取四舍五入取整,結(jié)果對比如表1。3.2改進的多項式核函數(shù)徑向基核函數(shù)沒有高斯核函數(shù)那樣好的分類效果,其主要差別在于高斯核函數(shù)的指數(shù)是徑向基核函數(shù)指數(shù)的1/2,增大了二次規(guī)劃函數(shù)中二次項系數(shù)的絕對值。假設(shè)將要采納的某個核函數(shù)與1個大于1的系數(shù)λ相乘,以多項式核函數(shù)為例,乘上1個大于1的系數(shù)λ,如式(12):可增大式(5)中二次規(guī)劃函數(shù)的二次項系數(shù)的絕對值,減小最優(yōu)值α,并減少支持向量個數(shù),最終達到提高分類精度的目的。為證明該結(jié)論,同樣分別采取5次、10次、30次實驗,對比結(jié)果表2。實驗顯示,通過增大二次規(guī)劃函數(shù)的二次項系數(shù)的絕對值來提高分類精度的推斷是正確合理的,改進后的多項式核函數(shù)減少支持向量的個數(shù),提高分類精度和推廣性。同其他的分類方法相比,在分類效果上有著較好的普適性。4基于支持向量數(shù)的分類算法仿真實驗證明,該方法解決了目前普遍存在的核函數(shù)優(yōu)化方法普適性差的問題,具有可行性和良好的分類效果。引入對偶函數(shù):目前主要采用3種形式的核函數(shù):(1)多項式核函數(shù):qii+?=]1)xx[()x,x(K;(2)高斯核函數(shù):K(x,xi)=exp[-(|x-xi|)/22σ];(3)S形核函數(shù):K(x,xi)=tanh[b(x·xi)+c]。由式(11)知,在訓練樣本總數(shù)一定的情況下可采取減少支持向量數(shù)的原則來減小分類錯誤率的產(chǎn)生。要減少支持向量的數(shù)量,取決于核函數(shù)的選擇,以多項式核函數(shù)和高斯核函數(shù)為例,采用一組標準的高斯分布數(shù)據(jù)集進行仿真實驗。該數(shù)據(jù)集由2種具有相同的變量但意義不同的高斯分布數(shù)據(jù)點集構(gòu)成,