第5章機(jī)器學(xué)習(xí)與實(shí)現(xiàn)支持向量機(jī)原理支持向量機(jī)應(yīng)用舉例支持向量機(jī)原理第5章

支持向量機(jī)基于統(tǒng)計(jì)學(xué)理論，強(qiáng)調(diào)結(jié)構(gòu)風(fēng)險(xiǎn)最小化。其基本思想是：對(duì)給定有限數(shù)量訓(xùn)練樣本的學(xué)習(xí)任務(wù)，通過(guò)在原空間或投影后的高維空間構(gòu)造最優(yōu)分離超平面，將給定的兩類(lèi)訓(xùn)練樣本分開(kāi)，構(gòu)造分離超平面的依據(jù)是兩類(lèi)樣本對(duì)分離超平面的最小距離最大。最優(yōu)分離超平面可以記為：位于最優(yōu)分離超平面上方的點(diǎn)滿足：位于最優(yōu)分離超平面下方的點(diǎn)滿足：通過(guò)調(diào)整權(quán)重

，邊緣的超平面可以記為：正類(lèi)負(fù)類(lèi)綜合所得從最優(yōu)分離超平面到

上任意點(diǎn)的距離為

，同理

到上任意點(diǎn)的距離也為

，則最大邊緣間隔為

。支持向量機(jī)原理第5章

如何尋找最優(yōu)分離超平面，需要用到更高的數(shù)學(xué)理論知識(shí)及技巧，這里不再介紹。對(duì)于非線性可分的情形，可以通過(guò)非線性映射將原數(shù)據(jù)變換到更高維空間，在新的高維空間中實(shí)現(xiàn)線性可分。這種非線性映射可以通過(guò)核函數(shù)來(lái)實(shí)現(xiàn)，常用的核函數(shù)包括。1．高斯核函數(shù)2．多項(xiàng)式核函數(shù)3．sigmoid核函數(shù)支持向量機(jī)應(yīng)用舉例第5章

取自UCI公共測(cè)試數(shù)據(jù)庫(kù)中的汽車(chē)評(píng)價(jià)數(shù)據(jù)集作為本例的數(shù)據(jù)集，該數(shù)據(jù)集共有6個(gè)特征、1個(gè)分類(lèi)標(biāo)簽，共1728條記錄a1a2a3a4a5a6d442232344223334422313442222344222334422213……其中特征a1～a6的含義及取值依次為：buyingv-high,high,med,lowmaintv-high,high,med,lowdoors2,3,4,5-morepersons2,4,morelug_bootsmall,med,bigsafetylow,med,high分類(lèi)標(biāo)簽d的取值情況為：unacc、acc、good、v-good，分別用1、2、3、4來(lái)表示。取數(shù)據(jù)集的前1690條記錄作為訓(xùn)練集，余下的作為測(cè)試集，計(jì)算預(yù)測(cè)準(zhǔn)確率。支持向量機(jī)應(yīng)用舉例第5章

1．?dāng)?shù)據(jù)獲取importpandasaspddata=pd.read_excel('car.xlsx')2．訓(xùn)練樣本與測(cè)試樣本劃分#訓(xùn)練用的特征數(shù)據(jù)用x表示，預(yù)測(cè)變量用y表示，測(cè)試樣本則分別記為x1和y1。x=data.iloc[:1690,:6].valuesy=data.iloc[:1690,6].valuesx1=data.iloc[1691:,:6].valuesy1=data.iloc[1691:,6].values支持向量機(jī)應(yīng)用舉例第5章

（1）導(dǎo)入支持向量機(jī)模塊svm。

fromsklearnimportsvm（2）利用svm創(chuàng)建支持向量機(jī)類(lèi)svm。

clf=svm.SVC(kernel='rbf')

其中核函數(shù)可以選擇線性核函數(shù)、多項(xiàng)式核函數(shù)、高斯核函數(shù)、sigmoid核，

分別用linear、poly、rbf、sigmoid表示，默認(rèn)情況下選擇高斯核函數(shù)。（3）調(diào)用svm中的fit()方法進(jìn)行訓(xùn)練。

clf.fit(x,y)（4）調(diào)用svm中的score()方法，考查訓(xùn)練效果。

rv=clf.score(x,y);#模型準(zhǔn)確率（針對(duì)訓(xùn)練數(shù)據(jù)）（5）調(diào)用svm中的predict()方法，對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)，獲得預(yù)測(cè)結(jié)果。

R=clf.predict(x1)3．支持向量機(jī)分類(lèi)模型構(gòu)建支持向量機(jī)應(yīng)用舉例第5章

支持向量機(jī)完整示例代碼如下：importpandasaspddata=pd.read_excel('car.xlsx')x=data.iloc[:1690,:6].valuesy=data.iloc[:1690,6].valuesx1=data.iloc[1691:,:6].valuesy1=data.iloc[1691:,6].valuesfromsklearnimportsvmclf=svm.SVC(kernel='rbf')clf.fit(x,y)rv=clf.score(x,y);R=clf.predict(x1)Z=R-y1Rs=len(Z[Z==0])/len(Z)print('預(yù)測(cè)結(jié)果為：',R)print('預(yù)測(cè)準(zhǔn)確率為：',Rs)