SupportVector

Machine

要解決的問(wèn)題：什么樣的決策邊界才是最好的呢？

目標(biāo)：基于上述問(wèn)題對(duì)SVM進(jìn)行推導(dǎo)

特征數(shù)據(jù)本身如果就很難分，怎么辦呢？

計(jì)算復(fù)雜度怎么樣？能實(shí)際應(yīng)用嗎？支持向量機(jī)支持向量機(jī)課件

SupportVector

Machine

決策邊界：選出來(lái)離雷區(qū)最遠(yuǎn)的（雷區(qū)就是邊界上的點(diǎn)，要Large

Margin）支持向量機(jī)支持向量機(jī)

距離的計(jì)算

數(shù)據(jù)標(biāo)簽定義

數(shù)據(jù)集：(X1,Y1)(X2,Y2)

…

(Xn,Yn)

Y為樣本的類(lèi)別：當(dāng)X為正例時(shí)候Y

=

+1當(dāng)X為負(fù)例時(shí)候Y

=

-1

決策方程：

（其中0()是對(duì)數(shù)據(jù)做了變換，后面繼續(xù)說(shuō)）=>

=>

支持向量機(jī)

優(yōu)化的目標(biāo)

通俗解釋?zhuān)赫业揭粋€(gè)條線（w和b），使得離該線最近的點(diǎn)（雷區(qū)）能夠最遠(yuǎn)

將點(diǎn)到直線的距離化簡(jiǎn)得：（由于所以將絕對(duì)值展開(kāi)原始依舊成立）支持向量機(jī)

目標(biāo)函數(shù) 放縮變換：對(duì)于決策方程（w,b）可以通過(guò)放縮使得其結(jié)果值|Y|>=

1=>（之前我們認(rèn)為恒大于0，現(xiàn)在嚴(yán)格了些）

優(yōu)化目標(biāo)：

由于

，只需要考慮

（目標(biāo)函數(shù)搞定?。┲С窒蛄繖C(jī)

目標(biāo)函數(shù)

當(dāng)前目標(biāo)：maxw,b

，約束條件：

常規(guī)套路：將求解極大值問(wèn)題轉(zhuǎn)換成極小值問(wèn)題=>minw,b

w

2 如何求解：應(yīng)用拉格朗日乘子法求解支持向量機(jī)

原式轉(zhuǎn)換：

我們的式子：

（約束條件不要忘：

）

拉格朗日乘子法

帶約束的優(yōu)化問(wèn)題：

支持向量機(jī)

SVM求解

分別對(duì)w和b求偏導(dǎo),分別得到兩個(gè)條件（由于對(duì)偶性質(zhì)）?mg

xL(w:b,a)->

對(duì)w求偏導(dǎo)：對(duì)b求偏導(dǎo)：支持向量機(jī)

SVM求解

帶入原始：其中

-完成了第一步求解

支持向量機(jī)

SVM求解

繼續(xù)對(duì)ɑ求極大值：

條件： 極大值轉(zhuǎn)換成求極小值：條件：支持向量機(jī)數(shù)據(jù)：3個(gè)點(diǎn)，其中正例X1(3,3)

，X2(4,3)

，負(fù)例X3(1,1)支持向量機(jī)

SVM求解實(shí)例約束條件：求解：

SVM求解實(shí)例

原式：

，將數(shù)據(jù)代入支持向量機(jī)由于：

化簡(jiǎn)可得：

SVM求解實(shí)例 分別對(duì)ɑ1和ɑ2求偏導(dǎo)，偏導(dǎo)等于0可得：（并不滿足約束條件，所以解應(yīng)在邊界上）帶入原式

=-0.153

（不滿足約束）帶入原式

=-0.25（滿足啦?。┳钚≈翟?0.25,0,0.25)處取得支持向量機(jī)

SVM求解實(shí)例

將ɑ結(jié)果帶入求解

b

=

yi

—

Σ

平面方程為：0.5x1+

0.5x2—

2

=

0支持向量機(jī)

SVM求解實(shí)例 支持向量：真正發(fā)揮作用的數(shù)據(jù)點(diǎn)，ɑ值不為0的點(diǎn)支持向量機(jī)

soft-margin 軟間隔：有時(shí)候數(shù)據(jù)中有一些噪音點(diǎn)，如果考慮它們?cè)蹅兊木€就不太好了

為了解決該問(wèn)題，引入松弛因子

之前的方法要求要把兩類(lèi)點(diǎn)完全分得開(kāi)，這個(gè)要求有點(diǎn)過(guò)于嚴(yán)格了，我們來(lái)放松一點(diǎn)！支持向量機(jī)

soft-margin

新的目標(biāo)函數(shù)：

當(dāng)C趨近于很大時(shí)：意味著分類(lèi)嚴(yán)格不能有錯(cuò)誤當(dāng)C趨近于很小時(shí)：意味著可以有更大的錯(cuò)誤容忍

C是我們需要指定的一個(gè)參數(shù)！支持向量機(jī)

soft-margin

拉格朗日乘子法：支持向量機(jī)約束：

同樣的解法：

低維不可分問(wèn)題

核變換：既然低維的時(shí)候不可分，那我給它映射到高維呢？支持向量機(jī)支持向量機(jī)