第6章支持向量機(jī)簡(jiǎn)介

支持向量機(jī)是一種功能強(qiáng)大的機(jī)器學(xué)習(xí)算法。典型的支持向量機(jī)是一種二分類算法，其基本思想是：對(duì)于空間中的樣本點(diǎn)集合，可用一個(gè)超平面將樣本點(diǎn)分成兩部分，一部分屬于正類，一部分屬于負(fù)類。支持向量機(jī)的優(yōu)化目標(biāo)就是找到這樣一個(gè)超平面，使得空間中距離超平面最近的點(diǎn)到超平面的幾何間隔盡可能大，這些點(diǎn)稱為支持向量。本章要點(diǎn)6.1最大間隔及超平面6.2線性可分支持向量機(jī)6.3線性支持向量機(jī)6.4合頁損失函數(shù)6.5核技巧6.6二分類問題與多分類問題6.7實(shí)例：基于支持向量機(jī)實(shí)現(xiàn)葡萄酒分類6.1

最大間隔及超平面

6.1

最大間隔及超平面

6.2線性可分支持向量機(jī)

將距離超平面最近的點(diǎn)與超平面之間的距離記為最優(yōu)化問題可寫做

6.2線性可分支持向量機(jī)

6.2線性可分支持向量機(jī)

6.2線性可分支持向量機(jī)圖6?1線性可分支持向量機(jī)

在感知機(jī)模型中，優(yōu)化的目標(biāo)是：在滿足模型能夠正確分類的約束條件下，使得樣本集合中的所有點(diǎn)到分割超平面的距離最小，這樣的超平面可能存在無數(shù)個(gè)。一個(gè)簡(jiǎn)單的例子，假如二維空間中樣本集合中正負(fù)樣本個(gè)數(shù)點(diǎn)均為一個(gè)，那么垂直于兩者所連直線，且位于兩者之間的所有直線都將是符合條件的解。由于優(yōu)化目標(biāo)不同，造成解的個(gè)數(shù)不同，這是支持向量機(jī)與感知機(jī)模型很大的一個(gè)不同。6.2線性可分支持向量機(jī)圖6?1線性可分支持向量機(jī)對(duì)于以上提到的優(yōu)化問題（上式），可使用拉格朗日乘子法進(jìn)行求解，拉格朗日函數(shù)為：其中，，表示拉格朗日乘子。令對(duì)和的偏導(dǎo)為06.2線性可分支持向量機(jī)解得：代入得到：求對(duì)的極大，等價(jià)于求對(duì)的極小，因此原式的對(duì)偶問題為6.2線性可分支持向量機(jī)

求解上式（對(duì)偶問題）的優(yōu)化問題，即可得到：，根據(jù)KKT(Karush-Kuhn-Tucker)條件，是原始問題的最優(yōu)解，且是對(duì)偶問題的最優(yōu)解的充要條件是：，滿足KKT條件，即：由考察KKT條件的第三條，可以發(fā)現(xiàn)或

因此假設(shè)，則必有,于是,由此得到分割超平面6.2線性可分支持向量機(jī)

6.2線性可分支持向量機(jī)

6.3線性支持向量機(jī)

6.3線性支持向量機(jī)

6.3線性支持向量機(jī)類似于線性可分支持向量機(jī)中的求解過程，上式的拉格朗日函數(shù)可寫作是拉格朗日乘子.令對(duì)的導(dǎo)數(shù)為0,可解得6.3線性支持向量機(jī)代入：求對(duì)的極大，等價(jià)于求對(duì)的極小.因此，此問題的對(duì)偶問題為6.3線性支持向量機(jī)

6.3線性支持向量機(jī)線性可分支持向量機(jī)線性支持向量機(jī)

6.3線性支持向量機(jī)類似線性可分支持向量機(jī)，可得由此得到分割超平面通過分析

的值，可以確定樣本相對(duì)分割超平面的位置6.3線性支持向量機(jī)

6.3線性支持向量機(jī)

6.3線性支持向量機(jī)圖6?2線性可分支持向量機(jī)對(duì)于變量x，合頁損失函數(shù)的定義為：對(duì)于線性支持向量機(jī)，以下左側(cè)的最優(yōu)化問題，等價(jià)于以下右側(cè)優(yōu)化式中的問題其中是合頁損失的形式6.4合頁損失函數(shù)合頁損失形式：令，則6.4合頁損失函數(shù)可寫作：令則有可見在線性支持向量機(jī)中，以下兩式等價(jià)：圖6?3合頁損失函數(shù)

上面討論的線性可分支持向量機(jī)和線性支持向量機(jī)都假設(shè)數(shù)據(jù)是線性可分的（線性支持向量機(jī)可以認(rèn)為是為了解決線性可分樣本集合中的噪聲問題）。而實(shí)際場(chǎng)景中我們經(jīng)常會(huì)遇到數(shù)據(jù)線性不可分的情況。此時(shí)，就可以通過本節(jié)介紹的核方法將輸入空間線性不可分的數(shù)據(jù)轉(zhuǎn)化為特征空間線性可分的數(shù)據(jù)，在特征空間求解支持向量機(jī)的超平面。6.5核技巧

6.5核技巧圖6?4-1原始數(shù)據(jù)圖6?4-2多項(xiàng)式核函數(shù)

6.5核技巧此時(shí)向量機(jī)的決策函數(shù)為：

6.5核技巧相應(yīng)的決策函數(shù)為：6.5核技巧

6.5核技巧

6.6 二分類問題與多分類問題

6.6.1一對(duì)一

6.6.2一對(duì)多

6.6.3多對(duì)多6.7 實(shí)例：基于支持向量機(jī)實(shí)現(xiàn)葡萄酒分類本節(jié)以葡萄酒數(shù)據(jù)集分類為例介紹SVM模型。完整代碼如代碼清單6-1所示。fromsklearn.datasets

importload_winefromsklearn.model_selection

importtrain_test_splitfromsklearn.svm

importSVCif__name__==

'__main__':wine=load_wine()x_train,x_test,y_train,y_test=train_test_split(wine.data,wine.target)model=SVC(kernel='linear')model.fit(x_train,y_train)

train_score=model.score(x_train,y_train)test_score=model.score(x_test,y_test)

print("trainscore:",train_score)

print("testscore:",test_score)代碼清單

6?1SVM葡萄酒數(shù)據(jù)集分類項(xiàng)目中選用的模型是sklearn提供的SVC，其構(gòu)造函數(shù)的kernel參數(shù)可以選擇linear：線性核函數(shù)poly：多項(xiàng)式核函數(shù)rbf：徑向基核函數(shù)/高斯核sigmod：sigmod核函數(shù)precomputed：提前計(jì)算好核函數(shù)矩陣

這里使用的是最簡(jiǎn)單的線性核函數(shù)。經(jīng)過測(cè)試，模型在訓(xùn)練集的準(zhǔn)確率達(dá)到0.993，在測(cè)試集的準(zhǔn)確率達(dá)到0.972。如果使用默認(rèn)的高斯核函數(shù)，模型在訓(xùn)練集的準(zhǔn)確率可以達(dá)到1，但是在測(cè)試集的準(zhǔn)確率卻跌