1、實驗四：支持向量機班級姓名學(xué)號指導(dǎo)老師一、實驗?zāi)康牧私饣嘘P(guān)支持向量機的基本原理能夠使用支持向量機的代碼解決分類與回歸問題了解圖像分類的基本原理二、實驗的硬件、軟件平臺硬件：計算機軟件：操作系統(tǒng)win10應(yīng)用軟件：Java三、實驗原理LIBSVM使用方法簡介LibSVM是以源代碼和可執(zhí)行文件兩種方式給出的。如果是Windows系列操作 系統(tǒng)，可以直接使用軟件包提供的程序，也可以進行修改編譯；如果是Unix類 系統(tǒng)，必須自己編譯。LIBSVM 在給出源代碼的同時還提供了 Windows操作系統(tǒng)下的可執(zhí)行文件， 包括：進行支持向量機訓(xùn)練的svmtrain.exe；根據(jù)已獲得的支持向量機模型對 數(shù)據(jù)

2、集進行預(yù)測的svmpredict.exe；以及對訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)進行簡單縮放 操作的 svmscale.exe。 它們都可以直接在DOS環(huán)境中使用。如果下載的包中只 有C+的源代碼，則也可以自己在VC等軟件上編譯生成可執(zhí)行文件。LIBSVM 使用的一般步驟是：按照LIBSVM軟件包所要求的格式準(zhǔn)備數(shù)據(jù)集；對數(shù)據(jù)進行簡單的縮放操作；考慮選用RBF核函數(shù)；采用交叉驗證選擇最佳參數(shù)C與g ；采用最佳參數(shù)C與g對整個訓(xùn)練集進行訓(xùn)練獲取支持向量機模型；利用獲取的模型進行測試與預(yù)測。LIBSVM使用的數(shù)據(jù)格式1)訓(xùn)練數(shù)據(jù)和檢驗數(shù)據(jù)文件格式如下： : : .其中 是訓(xùn)練數(shù)據(jù)集的目標(biāo)值，對于分類，它是標(biāo)識某

3、類的整 數(shù)(支持多個類)；對于回歸，是任意實數(shù)。 是以1開始的整數(shù)，可以 是不連續(xù)的；為實數(shù)，也就是我們常說的自變量。檢驗數(shù)據(jù)文件中的 label 只用于計算準(zhǔn)確度或誤差，如果它是未知的，只需用一個數(shù)填寫這一欄， 也可以空著不填。在程序包中，還包括有一個訓(xùn)練數(shù)據(jù)實例：heart_scale,方便參考數(shù)據(jù)文件格 式以及練習(xí)使用軟件?？梢跃帉懶〕绦颍瑢⒆约撼Ｓ玫臄?shù)據(jù)格式轉(zhuǎn)換成這種格式2）Svmtrain 和 Svmpredict 的用法LIBSVM軟件提供的各種功能都是DOS命令執(zhí)行方式。我們主要 用到兩個程序，svmtrain（訓(xùn)練建模）和svmpredict（使用已有的模型進行預(yù)測）， 下面分

4、別對這兩個程序的使用方法、各參數(shù)的意義以及設(shè)置方法做一個簡單介 紹：（1）Svmtrain 的用法：svmtrain options training_set_file model_fi leOptions：可用的選項即表示的涵義如下-s svm類型：SVM設(shè)置類型（默認(rèn)0）0 - C-SVC-v-SVC-一類 SVM-e -SVR-v-SVR-t 核函數(shù)類型：核函數(shù)設(shè)置類型（默認(rèn)2）0-線性：uv- 多項式：（r*uv + coef0）degree-RBF 函數(shù)：exp（-r|u-v2）- sigmoid: tanh（r*uv + coef0）-d degree:核函數(shù)中的degree設(shè)置（

5、默認(rèn)3）-g 函數(shù)設(shè)置（默認(rèn)1/ k）?r（gama）:核函數(shù)中的-r coef0：核函數(shù)中的coef0設(shè)置（默認(rèn)0）-c cost：設(shè)置 C-SVC, -SVR 的參數(shù)（默認(rèn) 1）?-SVR 和-SVR的參數(shù)（默認(rèn)0.5）?-SVC, 類SVM和?-n nu：設(shè)置-SVR?-p e：設(shè)置的值（默認(rèn)0.1）?中損失函數(shù)-m cachesize：設(shè)置cache內(nèi)存大小，以MB為單位（默認(rèn)40）-e :設(shè)置允許的終止判據(jù)（默認(rèn)0.001）?-h shrinking:是否使用啟發(fā)式，0或1（默認(rèn)1）-wi C（C-SVC中的C）（默認(rèn)1）?weight:設(shè)置第幾類的參數(shù)C為weight-v n: n

6、-fold交互檢驗?zāi)Ｊ狡渲?g選項中的k是指輸入數(shù)據(jù)中的屬性數(shù)option -v 隨機地將數(shù)據(jù)剖 分為n部分并計算交互檢驗準(zhǔn)確度和均方根誤差。以上這些參數(shù)設(shè)置可以按照 SVM的類型和核函數(shù)所支持的參數(shù)進行任意組合，如果設(shè)置的參數(shù)在函數(shù)或SVM 類型中沒有也不會產(chǎn)生影響，程序不會接受該參數(shù)；如果應(yīng)有的參數(shù)設(shè)置不正確， 參數(shù)將采用默認(rèn)值。training_set_file是要進行訓(xùn)練的數(shù)據(jù)集；model_file 是訓(xùn)練結(jié)束后產(chǎn)生的模型文件，文件中包括支持向量樣本數(shù)、支持向量樣本以及 lagrange系數(shù)等必須的參數(shù)；該參數(shù)如果不設(shè)置將采用默認(rèn)的文件名，也可以 設(shè)置成自己慣用的文件名。（2） Sv

7、mpredict 的用法：svmpredict test_file model_file output_filemodel_file是由svmtrain產(chǎn)生的模型文件；test_file是要進行預(yù)測的數(shù)據(jù)文件；Output_file是svmpredict的輸出文件。svm-predict沒有其它的選項。四、實驗內(nèi)容及步驟支持向量機算法訓(xùn)練分類器：訓(xùn)練數(shù)據(jù)集：見文檔“分類數(shù)據(jù)集.doc”，前15 0個數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)， 其他數(shù)據(jù)作為測試數(shù)據(jù)，數(shù)據(jù)中“+1”-1 ”分別表示正負(fù)樣本。使用代碼中的C-SVC算法和默認(rèn)參數(shù)來訓(xùn)練“分類數(shù)據(jù)集.doc ”中所有的 數(shù)據(jù)（包括訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)），統(tǒng)計分類

8、查準(zhǔn)率。提林-C: MJs：ei*s jflld.ininiti*a.toi*Be!akt:aplibsiuiri2 _ SOSjuindous. exe 1 - txt 2x optimization finished, fliter = 1B2 nu = B-431029 ubj 180.977288, rha 0-424462nSU = 132, nBSH = 1U?Tntal nU = 132C： XUseis：XjAdniniEtiatorIiesktQplitisuii-3.20,Mjindowsuin-predict .exe 1 -txt 2 3 ficcuiacy = Sfc

9、 _fi.fcfi.7z C224Z270 fclasssif icationi在2的基礎(chǔ)上使用k-折交叉驗證思想來訓(xùn)練分類器并統(tǒng)計分類查準(zhǔn)率。ss泠學(xué)慧r阡- 口0: s er s Ml dn in ist pat r XDe s kt o pXl ibs u n-3 .2 0 win do us s vm-t r a in. e xe -u IB 1 .txt 2 M- pt In Iz At ion f Lrnlshed Utter = 133mi = 0.457663bj 023259, rhD - 0-3SO9?iSU = 125, nUSU = IMkllotal nU = 125

10、 *optinizcition f imished, #iter = 172nu = 0.438224bj = -?1.326460, rho = 0.419186nSU = 120. nBSU = 92lotal nSU - 120M-mptinizat on F inished= 1C9nu = 6.449487bj = -54.364450, rho = 0.47E975nU = 124. nBGU = 96Fetal nSU = 124M-aptnisa.tdh imiBhccl ititei 132nu =虬 4M548ahj = -86_fifcHS09, pIid = 0.24S

11、152nSU = 115, nDSU 91lotal nSU = 115Cross Ualidation ficcuracy = 81 -8519k使用2中的設(shè)置在訓(xùn)練數(shù)據(jù)的基礎(chǔ)上學(xué)習(xí)分類器，將得到的分類器在測試數(shù)據(jù)上進行分類預(yù)測，統(tǒng)計查準(zhǔn)率。在4上嘗試不同的由直（“-c”參數(shù)）來調(diào)節(jié)分類器的性能并繪制查準(zhǔn)率曲 線。C： Misers Ml dirnin istratopDest0plibsum-3.20ijindciws sum-train .exe -c U.S 1. txt 2 * optimisation f in ishcd, flitcr- - 131 nu = 0.492462

12、obj = -56.525401. rho = 0.23?152 nU = 144, nBU = 25 Total nSU = 144C MJsemistj*a.tm*J)esswntrain -bmc -c 1 S 1. txt 2 * optimization :finished, iiiter = 166 nu = 0.4G5G95 obj = -142.131501, Pho = 0.47-5903 nU = 126, nBSU = 97 Total nU = 12&。：MJseisMldiriin istratoiDesktDpMihsyn-3 - Z W win do us s u

13、n-t pa in exe -c 2 1 .txt 2 pt in is at ion f in ished it it e i = 221 nu = 0.388793hj = -1B1.110841, pho = U.433596 nSU = 123- nBSU = 90Fetal nU 1230: UsersMldiTiin istEatoiSHesktapMihsym3 .2 0 XAiin dD us s um-tra in exe -c 2.5 1. txt 2 M-uptlnizatiun finiEhed, ttitet = 239 nu = B.377815 obj = -21

14、8.307424, pho = 0,453258 nU = 120, nBSU = 84 Focal nSU = 126嘗試不同的kernel函數(shù)（“-t”參數(shù)）來調(diào)節(jié)分類器的性能并繪制查準(zhǔn)率 曲線，對每種kernel函數(shù)嘗試調(diào)節(jié)其參數(shù)值并評估查準(zhǔn)率。固土冬提示櫥C Usei,fcs： fldninisti*at：oi%DesktopSlihsvin9 .20%AjirdowsBvmtrain . exe t 0 1 - txt 2ptimizat inn finished ttitev = i 010 nu 0.356371bj = -?2.473356, rlio = -1.050696

15、nCU = 101, nBGH = 88Total nSU = 101G s Wsers JldninistriiturDesktuplibsvm3 .20wirdQwssum-train - exe -t 1 1. txt 2 * optimi is at ion in ihed ttiter = 148 nu = 0.BO508S ohj = -131.800243. rho = -0.165688 nSU 177, nBSU - 151 Total nSU = 177C： MJsesMldninistratoiMieskCopMibsuini3 .29viindoyssuiir-t：Fa

16、ini. exe -t 2 1. txt 2 * optioisat ion Jf in ztmhed. #iter 1C2 nu = H.431029 ohj = -180-77288, Mw = 0_424462 nSU = 132, nESU = 107 Total nSU = 132C- MJsersfi(liiiln lstratopDesltoipxLibsuii-3.20Xwin(lciws sum-train .exe -t 3 l.txt Z * optimization finished, iliter = 157 nu = 0.436762bj = -110 099362

17、, plio = -G.333939 nU = 124, nBSU = litTutrtl n&U = 124支持向量機算法訓(xùn)練回歸方程：（1）.回歸數(shù)據(jù)集：見文檔“回歸數(shù)據(jù)集.doc”，總共506個數(shù)據(jù)，數(shù)據(jù)中 前13個屬性作為輸入，最后一個屬性作為輸出。:Usersflldninisti*atoi*Desktolibsvin3 .28windowssumr-predict Hexe 2,txt 2. txt .Rodel J lean squared epror = 9.681692 nuared correlation coefFicient = 3.283485 Cregrressio

18、nJ（2）.使用代碼中的epsilon-SVR算法和默認(rèn)參數(shù)來訓(xùn)練“回歸數(shù)據(jù)集.doc” 中所有的數(shù)據(jù)，統(tǒng)計回歸方程在每個數(shù)據(jù)點輸出的誤差并進行誤差分析。C： MJsersAiiliTiln istraCorXDesktopMLbsiini-3 .2 3 wn do y s s win-tr a in. e xe s 3 2.txt 5*o pt in iz at ion f inished, ttiter = 90nu = fl_8S5S35ohj = -99.070542, iho = 0.381291nSU = 125, nBSU = 112（3）.在2上嘗試不同的e psilon值（-

19、p ”參數(shù)）來調(diào)節(jié)e psilon-SVR算法 的性能。C sJldiriinistrfttiarDeskt(iplibsvm3 .20,ir3dowssum_train - exe _s 3 p 0.2 2 - txt 5* optPi izat ion in ihed ttiter = 92 nu = B.B64823 obj = -77.534421, rlio = 0.339066 nCU = 121, nEGU = 109C ： MJ s e 1s fldn in is tra to p XDe s kt o d1 ibs u m3 _ 2 0 Xwin do us s u m-t

20、ra in. e xe -s 3 -p 0.3 2 . txt 5K optimizatIon finished Ititer = 75 nu = Hh847488 obj = 66.246874, rho = 0.298788 nSU = lit, nESU = 10?C： MJsesMldninistratoiMieskCopMibsuini3 .29viindoyssuiir-t：Faini. exe 一s 3 -p 0.4 2 - txt 5 * opt io is at ion in Diied ttitep = 91 nu = 0.B3S03S bj = -55.164945, r

21、lio = 3.283221 nCU = 114, nBU = 104C： MJsersAiiliTilnistraCorXDesktopMLbsiini-3.20windoyssvrn-triain.exe s 3 -p 8-5 2.txt 5 *optinization finished, ttiter = 8G nu = 0.798757 obj = -44.995629, i4i口 = 0.228&3 uSU = 112, riBSU = 95五、思考題：闡述k-折交叉驗證的思想，比較1.2和1.3的性能。答： k-折交叉驗證(k-fold crossValidation)就是在機器學(xué)習(xí)中，將 數(shù)據(jù)集A分為訓(xùn)練集(tra