第七章支持向量機機器學(xué)習應(yīng)用基礎(chǔ)01020304問題引入最優(yōu)決策邊界非線性可分數(shù)據(jù)核函數(shù)目錄CONTENTS05scikit-learn中的支持向量機06鳶尾花分類問題引入01問題引入支持向量機（SupportVectorMachine，SVM）是一種分類算法，在工業(yè)界和學(xué)術(shù)界都有廣泛的應(yīng)用。學(xué)生成績分布圖學(xué)生成績分布圖最優(yōu)決策邊界02最優(yōu)決策邊界能將所有訓(xùn)練數(shù)據(jù)正確區(qū)分的直線有且不止一條對訓(xùn)練集數(shù)據(jù)的分割效果并不能評價一個分類器的好壞，最終需要用分類器對測試集數(shù)據(jù)進行分類。最優(yōu)決策邊界如果將最優(yōu)決策邊界看成一扇雙向的推拉門，把這扇門向兩個方向推開就相當于兩條平行線的距離逐漸增加。當這兩扇門各自接觸到支持向量時停止移動，留下來的門縫就是兩個類別之間的間隔。非線性可分數(shù)據(jù)03非線性可分數(shù)據(jù)我們已經(jīng)看到了支持向量機在完全線性可分以及幾乎完全線性可分兩種情況的處理。那么對于完全不能線性可分的數(shù)據(jù)該如何處理呢？不巧的是，真實世界中的很多問題都是線性不可分的。這種情況下，找到一個分割超平面是不切實際的。非線性可分數(shù)據(jù)在非線性可分數(shù)據(jù)應(yīng)用SVM的例子中，在訓(xùn)練集上最高只有75%的準確率。而且分割線穿過了某些數(shù)據(jù)。非線性可分數(shù)據(jù)將非線性可分的數(shù)據(jù)映射到一個線性可分的空間，然后在這個空間找超平面。橫軸上端點a和b之間紅色部分里的所有點定為正類，兩邊的黑色部分里的點定為負類。試問能找到一個線性函數(shù)把兩類正確分開么？不能，因為二維空間里的線性函數(shù)就是指直線，顯然找不到符合條件的直線。非線性可分數(shù)據(jù)（1）二次曲線：

（2）新建一個向量y和a：（3）g(x)就可以轉(zhuǎn)化為f(y)=<a,y>，把y和a分別回帶一下，實際上f(y)的形式就是：在任意維度的空間中，這種形式的函數(shù)都是一個線性函數(shù)（只不過其中的a和y都是多維向量罷了），因為自變量y的次數(shù)不大于1。核函數(shù)04核函數(shù)對于一個p維向量i和j，其中向量中元素的第一個下標表示數(shù)據(jù)，第二個下標表示所在維度。點積表示如下：假設(shè)我們的數(shù)據(jù)集中有n個點，SVM只需要通過向量兩兩做點積就可以找到一個分類器，僅此而已。將數(shù)據(jù)映射到高維空間中也是如此，我們不需要提供確切的映射函數(shù)給SVM，只需要提供在映射空間中向量兩兩之間的點積即可。核函數(shù)核是核函數(shù)的簡稱，這個函數(shù)的輸入是兩個原始空間的數(shù)據(jù)點，直接輸出映射空間中兩個向量的點積。核函數(shù)在實際應(yīng)用中，通常會根據(jù)問題和數(shù)據(jù)的不同，選擇不同的核函數(shù)。名稱計算表達式線性核函數(shù)多項式核函數(shù)高斯核函數(shù)利用專家的先驗知識預(yù)先選定核函數(shù)采用Cross-Validation方法，即在進行核函數(shù)選取時，分別試用不同的核函數(shù)，歸納誤差最小的核函數(shù)就是最好的核函數(shù)。scikit-learn中的支持向量機05scikit-learn中的支持向量機1.分類的算法庫,包括SVC,NuSVC,和LinearSVC3個類。2.回歸算法庫,包括SVR,NuSVR,和LinearSVR3個類。相關(guān)的類都封裝在sklearn.svm模塊之中。0102scikit-learn中SVM的算法庫scikit-learn中的支持向量機scikit-learn中，線性支持向量機由SVM.LinearSVC類實現(xiàn)。原型定義為：classsklearn.svm.LinearSVC(penalty='l2',loss='squared_hinge',dual=True,tol=0.0001,C=1.0,multi_class='ovr',fit_intercept=True,intercept_scaling=1,class_weight=None,verbose=0,random_state=None,max_iter=1000)scikit-learn中的支持向量機scikit-learn中，線性支持向量機由SVM.SVC類實現(xiàn)。模型定義為：classsklearn.svm.SVC(C=1.0,kernel='rbf',degree=3,gamma='auto',coef0=0.0,shrinking=True,probability=False,tol=0.001,cache_size=200,class_weight=None,verbose=False,max_iter=-1,decision_function_shape='ovr',random_state=None)scikit-learn中的支持向量機調(diào)參建議：1.一般推薦在做訓(xùn)練之前對數(shù)據(jù)進行歸一化，當然測試集中的數(shù)據(jù)也需要歸一化。。2.在特征數(shù)非常多的情況下，或者樣本數(shù)遠小于特征數(shù)的時候，使用線性核，效果已經(jīng)很好，并且只需要選擇懲罰系數(shù)C即可。3.在選擇核函數(shù)時，如果線性擬合不好，一般推薦使用默認的高斯核'rbf'。這時我們主要需要對懲罰系數(shù)C和核函數(shù)參數(shù)γ進行調(diào)參，通過多輪交叉驗證選擇合適的懲罰系數(shù)C和核函數(shù)參數(shù)γ。4.理論上高斯核不會比線性核差，但是需要花費更多的時間來調(diào)參上。所以實際上能用線性核解決問題我們盡量使用線性核。5.degree越大，分類器越靈活。太大會出現(xiàn)過擬合。鳶尾花分類06鳶尾花分類Iris鳶尾花數(shù)據(jù)集是一個經(jīng)典數(shù)據(jù)集,在統(tǒng)計學(xué)習和機器學(xué)習領(lǐng)域都經(jīng)常被用作示例。數(shù)據(jù)集內(nèi)包含3類共150條記錄,每類各50個數(shù)據(jù),每條記