1、支持向量機(jī)及應(yīng)用簡介,李承軍 水電仿真中心 07.4.23,機(jī)器學(xué)習(xí)的基本問題和方法,從給定的函數(shù)集中選擇出能夠最好地逼近系統(tǒng)響應(yīng)的函數(shù),有指導(dǎo)機(jī)器學(xué)習(xí)的目的是根據(jù)給定的訓(xùn)練樣本，求出對某系統(tǒng)輸入輸出之間依賴關(guān)系的估計，使它能夠?qū)ξ粗斎胱鞒霰M可能準(zhǔn)確的預(yù)測。可以一般地表示為：變量y與x存在一定的未知依賴關(guān)系，即遵循某一未知的聯(lián)合概率F(x,y)（x 和y 之間的確定性關(guān)系可以看作是其特例），有指導(dǎo)機(jī)器學(xué)習(xí)問題就是根據(jù)N個獨立同分布觀測樣本 在一組函數(shù)f (x,w)中求一個最優(yōu)的函數(shù) f (x,w0)對依賴關(guān)系進(jìn)行估計，使期望風(fēng)險 最小,支持向量機(jī)（SVM）,支持向量機(jī)(Surpport Ve

2、ctor Machines)簡稱SVM，是統(tǒng)計學(xué)習(xí)理論中最年輕的內(nèi)容，也是最實用的部分。其核心內(nèi)容是在1995 年左右,由Vapnik和Chervonenkis提出的，目前仍處在不斷發(fā)展階段。,支持向量分類(Classification),線性分類器,分類面,點x0到平面 +b=0 的距離為,最優(yōu)分類面,最大間隔(margin),分類面方程為 支撐面之間的 距離叫做分類 間隔,線性可分的最優(yōu)分類模型,作廣義Lagrange乘子函數(shù),由KKT條件,有,非支持向量的系數(shù)為0,b*也由支持向量求得,事實上,將 代入目標(biāo)函數(shù)，由對偶理論知，系數(shù)可由如下二次規(guī)劃問題解得 給定x的分類結(jié)果 特點:穩(wěn)定性、

3、魯棒性、稀疏性等,最大間距:由于對 則,線性不可分(軟間隔),線性不可分的情況,引入松弛變量,不可分的解方程,subject to,作Lagrange函數(shù),最優(yōu)性條件,由KKT條件,若 若,max,系數(shù)的解方程,C不同帶來的影響,支持向量回歸(Regression),回歸問題,線性回歸:給定訓(xùn)練集(xi,yi),找個線性函數(shù)f(x)=wTx+b,來擬合數(shù)據(jù) 最小二乘法(Least Square) 其中 為回歸誤差. 記 ,則目標(biāo)函數(shù)可寫為 解為,最小二乘解的不足:數(shù)值穩(wěn)定性問題,增加新數(shù)據(jù)對解都有影響,為使模型盡量簡單需進(jìn)行假設(shè)檢驗. 脊回歸(Ridge Regression) 數(shù)值穩(wěn)定性較好

4、. 還可寫為,敏感損失回歸,敏感損失函數(shù)(-Insensitive Loss),損失函數(shù)比較,模型 （線性損失） 作Lagrange乘子函數(shù),KKT條件,代入模型得系數(shù)滿足的二次規(guī)劃 變量代換： 回歸方程：,用二次損失函數(shù)時，模型為,KKT條件,代入模型得系數(shù)滿足的二次規(guī)劃 變量代換： 回歸方程：,非線性SVM與核(Kernel)函數(shù),非線性變換,基本思想： 選擇非線性映射(X)將x映射到高維特征空間Z，在Z中構(gòu)造最優(yōu)超平面,對分類問題 系數(shù)可由二次規(guī)劃 對回歸問題 求系數(shù)： 回歸方程：,這種變換可能比較復(fù)雜，因此這種思路在一般情況下不易實現(xiàn)。但是注意到，在上面的對偶問題中，不論是尋優(yōu)函數(shù)還是分類函數(shù)都只涉及訓(xùn)練樣本之間的內(nèi)積運算。這樣，在高維空間實際上只需進(jìn)行內(nèi)積運算，而這種內(nèi)積運算是可以用原空間中的函數(shù)實現(xiàn)的，我們甚至沒有必要知道變換的形式。我們看到，通過把原問題轉(zhuǎn)化為對偶問題，計算的復(fù)雜度不再取決于空間維數(shù)，而是取決于樣本數(shù)，尤其是樣本中的支持向量數(shù)。這些特征使有效地對付高維問題成為可能。 定義核函數(shù)：,對分類問題 系數(shù)可由二次規(guī)劃 對回歸問題 求系數(shù)： 回歸方程：,核函數(shù)矩陣K,核的要求,Mercers theorem: 任何半正定的對稱函數(shù)都可以作為一個核，即對任意的,常用的核函數(shù)：,對任