支持向量機(jī)實(shí)驗(yàn)?zāi)Ｐ脱芯颗c設(shè)計(jì)班級(jí)：計(jì)算機(jī)科學(xué)與技術(shù)7班姓名：蘇涵沐指導(dǎo)老師：鐘清流支持向量機(jī)實(shí)驗(yàn)?zāi)Ｐ脱芯颗c設(shè)計(jì)班級(jí)：計(jì)算機(jī)科學(xué)與技術(shù)7班1SVM的描述SVM（SupportVectorMachine）是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識(shí)別方法，它是由Boser，Guyon，Vapnik在COLT-92上首次提出，從此迅速的發(fā)展起來(lái)，現(xiàn)在已經(jīng)在許多領(lǐng)域（生物信息學(xué)，文本和手寫識(shí)別等）都取得了成功的應(yīng)用。COLT(ComputationalLearningTheory)SVM的描述SVM（SupportVectorMachi2SVM的目標(biāo)和解決方法目標(biāo)：找到一個(gè)超平面，使得它能夠盡可能多的將兩類數(shù)據(jù)點(diǎn)正確的分開，同時(shí)使分開的兩類數(shù)據(jù)點(diǎn)距離分類面最遠(yuǎn)。解決方法：構(gòu)造一個(gè)在約束條件下的優(yōu)化問(wèn)題，具體的說(shuō)是一個(gè)受限二次規(guī)劃問(wèn)題(constrainedquadraticprograming)，求解該問(wèn)題，得到分類器。SVM的目標(biāo)和解決方法目標(biāo)：找到一個(gè)超平面，使得它能夠盡可能3線性分類已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y2)……(xn,yn)求解根據(jù)，求得w,b，得到最優(yōu)分類面wx-b=0線性分類已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y2)4線性最優(yōu)分類面在線性可分的情況下的最優(yōu)分類超平面，分類間隔（Margine）最大線性最優(yōu)分類面在線性可分的情況下的最優(yōu)分類超平面，分類間隔（5非線性分類非線性可分的數(shù)據(jù)樣本在高維空間有可能轉(zhuǎn)化為線性可分。在訓(xùn)練問(wèn)題中，涉及到訓(xùn)練樣本的數(shù)據(jù)計(jì)算只有兩個(gè)樣本向量點(diǎn)積的形式使用函數(shù) ,將所有樣本點(diǎn)映射到高維空間，則新的樣本集為設(shè)函數(shù)非線性分類非線性可分的數(shù)據(jù)樣本在高維空間有可能轉(zhuǎn)化為線性可分6非線性分類已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y2)……(xn,yn)求解最優(yōu)非線性分類面為非線性分類已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y27核函數(shù)線性內(nèi)核

多項(xiàng)式內(nèi)核徑向基函數(shù)內(nèi)核核函數(shù)線性內(nèi)核8訓(xùn)練算法序列最小優(yōu)化（SMO）算法：它優(yōu)點(diǎn)在于，優(yōu)化問(wèn)題只是兩個(gè)拉格朗日乘子，它用分析的方法就可以解出，從而避免了復(fù)雜的數(shù)值解法

。

訓(xùn)練算法序列最小優(yōu)化（SMO）算法：它優(yōu)點(diǎn)在9課題的總體實(shí)現(xiàn)本課題基于Matlab開發(fā)平臺(tái)，研究實(shí)現(xiàn)了三種訓(xùn)練算法：序列最小優(yōu)化（SMO）算法。并使用線性內(nèi)核、多項(xiàng)式內(nèi)核、徑向基函數(shù)內(nèi)核三種核函數(shù)，實(shí)現(xiàn)了一個(gè)基于SVM的機(jī)器學(xué)習(xí)模型。課題的總體實(shí)現(xiàn)本課題基于Matlab開發(fā)平10SVM模型的功能用戶可以從SMO訓(xùn)練算法和三種核函數(shù)中選擇恰當(dāng)?shù)挠?xùn)練算法和核函數(shù)，正確地將兩類數(shù)據(jù)集進(jìn)行分類，繪制決策面，將分類結(jié)果可視化，并從支持向量的個(gè)數(shù)、分類間隔的大小和分類出錯(cuò)率三個(gè)方面來(lái)分析分類結(jié)果。模型中使用的數(shù)據(jù)集可以是裝載已有的數(shù)據(jù)，也可以手動(dòng)創(chuàng)建。SVM模型的功能用戶可以從SMO訓(xùn)練算法和三種核函數(shù)中選擇恰11設(shè)計(jì)創(chuàng)新本課題設(shè)計(jì)的創(chuàng)新部分在于實(shí)現(xiàn)了手動(dòng)創(chuàng)建數(shù)據(jù)集模塊，用戶可以通過(guò)點(diǎn)擊鼠標(biāo)創(chuàng)建需要的兩類數(shù)據(jù)集，模型可以對(duì)創(chuàng)建的兩類數(shù)據(jù)集進(jìn)行分類。設(shè)計(jì)創(chuàng)新本課題設(shè)計(jì)的創(chuàng)新部分在于實(shí)現(xiàn)了手動(dòng)創(chuàng)建數(shù)據(jù)集模塊，用12模型的設(shè)計(jì)與實(shí)現(xiàn)首先，通過(guò)Matlab圖形用戶界面開發(fā)環(huán)境GUIDE，開發(fā)SVM.fig和SVM.m文件，把模型的各個(gè)功能模塊與主界面上的按鈕和菜單鏈接起來(lái)，從而實(shí)現(xiàn)模型整體的功能。其次，在Matlab編輯/調(diào)試器界面下編寫、存儲(chǔ)和運(yùn)行相應(yīng)的應(yīng)用程序，即M文件，實(shí)現(xiàn)各個(gè)功能模塊。模型的設(shè)計(jì)與實(shí)現(xiàn)首先，通過(guò)Matlab圖形用戶界面開發(fā)環(huán)境G13主要函數(shù)框架

setpath.mmarker_type.mppatterns.mmarker_color.mSVM.mpsvm.mc2s.mcheck2ddata.mppatterns()c2s.mdemo_svm.msmo.msvmclass.mkernelproj.mcreatedata.msvm_train()clrchild()setaxis()主要函數(shù)框架setpath.m14運(yùn)行結(jié)果主界面

運(yùn)行結(jié)果主界面15

支持向量機(jī)模型界面

支持向量機(jī)模型界面16

創(chuàng)建數(shù)據(jù)模塊

創(chuàng)建數(shù)據(jù)模塊17

線性分類結(jié)果

線性分類結(jié)果18

非線性分類結(jié)果

非線性分類結(jié)果19對(duì)今后的展望1、在現(xiàn)有的基礎(chǔ)上，將研究?jī)?nèi)容擴(kuò)展到對(duì)多類數(shù)據(jù)集進(jìn)行分類的多類問(wèn)題。2、在本課題實(shí)現(xiàn)的支持矢量機(jī)機(jī)器學(xué)習(xí)模型中，從支持矢量的數(shù)目、分類間隔、出錯(cuò)率等幾個(gè)方面對(duì)分類器的性能進(jìn)行了比較分析。在此基礎(chǔ)上，可以更規(guī)范地從預(yù)測(cè)準(zhǔn)確度、計(jì)算復(fù)雜度、模式的簡(jiǎn)潔度三個(gè)方面對(duì)分類方法的好壞進(jìn)行分析。3、本課題能對(duì)實(shí)際手動(dòng)創(chuàng)建的數(shù)據(jù)及已有的數(shù)據(jù)進(jìn)行分類，在更深入研究后，可以應(yīng)用到實(shí)際的系統(tǒng)中。對(duì)今后的展望1、在現(xiàn)有的基礎(chǔ)上，將研究?jī)?nèi)容擴(kuò)展到對(duì)多類數(shù)據(jù)集20

謝謝大家！

21支持向量機(jī)實(shí)驗(yàn)?zāi)Ｐ脱芯颗c設(shè)計(jì)班級(jí)：計(jì)算機(jī)科學(xué)與技術(shù)7班姓名：蘇涵沐指導(dǎo)老師：鐘清流支持向量機(jī)實(shí)驗(yàn)?zāi)Ｐ脱芯颗c設(shè)計(jì)班級(jí)：計(jì)算機(jī)科學(xué)與技術(shù)7班22SVM的描述SVM（SupportVectorMachine）是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識(shí)別方法，它是由Boser，Guyon，Vapnik在COLT-92上首次提出，從此迅速的發(fā)展起來(lái)，現(xiàn)在已經(jīng)在許多領(lǐng)域（生物信息學(xué)，文本和手寫識(shí)別等）都取得了成功的應(yīng)用。COLT(ComputationalLearningTheory)SVM的描述SVM（SupportVectorMachi23SVM的目標(biāo)和解決方法目標(biāo)：找到一個(gè)超平面，使得它能夠盡可能多的將兩類數(shù)據(jù)點(diǎn)正確的分開，同時(shí)使分開的兩類數(shù)據(jù)點(diǎn)距離分類面最遠(yuǎn)。解決方法：構(gòu)造一個(gè)在約束條件下的優(yōu)化問(wèn)題，具體的說(shuō)是一個(gè)受限二次規(guī)劃問(wèn)題(constrainedquadraticprograming)，求解該問(wèn)題，得到分類器。SVM的目標(biāo)和解決方法目標(biāo)：找到一個(gè)超平面，使得它能夠盡可能24線性分類已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y2)……(xn,yn)求解根據(jù)，求得w,b，得到最優(yōu)分類面wx-b=0線性分類已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y2)25線性最優(yōu)分類面在線性可分的情況下的最優(yōu)分類超平面，分類間隔（Margine）最大線性最優(yōu)分類面在線性可分的情況下的最優(yōu)分類超平面，分類間隔（26非線性分類非線性可分的數(shù)據(jù)樣本在高維空間有可能轉(zhuǎn)化為線性可分。在訓(xùn)練問(wèn)題中，涉及到訓(xùn)練樣本的數(shù)據(jù)計(jì)算只有兩個(gè)樣本向量點(diǎn)積的形式使用函數(shù) ,將所有樣本點(diǎn)映射到高維空間，則新的樣本集為設(shè)函數(shù)非線性分類非線性可分的數(shù)據(jù)樣本在高維空間有可能轉(zhuǎn)化為線性可分27非線性分類已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y2)……(xn,yn)求解最優(yōu)非線性分類面為非線性分類已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y228核函數(shù)線性內(nèi)核

多項(xiàng)式內(nèi)核徑向基函數(shù)內(nèi)核核函數(shù)線性內(nèi)核29訓(xùn)練算法序列最小優(yōu)化（SMO）算法：它優(yōu)點(diǎn)在于，優(yōu)化問(wèn)題只是兩個(gè)拉格朗日乘子，它用分析的方法就可以解出，從而避免了復(fù)雜的數(shù)值解法

。

訓(xùn)練算法序列最小優(yōu)化（SMO）算法：它優(yōu)點(diǎn)在30課題的總體實(shí)現(xiàn)本課題基于Matlab開發(fā)平臺(tái)，研究實(shí)現(xiàn)了三種訓(xùn)練算法：序列最小優(yōu)化（SMO）算法。并使用線性內(nèi)核、多項(xiàng)式內(nèi)核、徑向基函數(shù)內(nèi)核三種核函數(shù)，實(shí)現(xiàn)了一個(gè)基于SVM的機(jī)器學(xué)習(xí)模型。課題的總體實(shí)現(xiàn)本課題基于Matlab開發(fā)平31SVM模型的功能用戶可以從SMO訓(xùn)練算法和三種核函數(shù)中選擇恰當(dāng)?shù)挠?xùn)練算法和核函數(shù)，正確地將兩類數(shù)據(jù)集進(jìn)行分類，繪制決策面，將分類結(jié)果可視化，并從支持向量的個(gè)數(shù)、分類間隔的大小和分類出錯(cuò)率三個(gè)方面來(lái)分析分類結(jié)果。模型中使用的數(shù)據(jù)集可以是裝載已有的數(shù)據(jù)，也可以手動(dòng)創(chuàng)建。SVM模型的功能用戶可以從SMO訓(xùn)練算法和三種核函數(shù)中選擇恰32設(shè)計(jì)創(chuàng)新本課題設(shè)計(jì)的創(chuàng)新部分在于實(shí)現(xiàn)了手動(dòng)創(chuàng)建數(shù)據(jù)集模塊，用戶可以通過(guò)點(diǎn)擊鼠標(biāo)創(chuàng)建需要的兩類數(shù)據(jù)集，模型可以對(duì)創(chuàng)建的兩類數(shù)據(jù)集進(jìn)行分類。設(shè)計(jì)創(chuàng)新本課題設(shè)計(jì)的創(chuàng)新部分在于實(shí)現(xiàn)了手動(dòng)創(chuàng)建數(shù)據(jù)集模塊，用33模型的設(shè)計(jì)與實(shí)現(xiàn)首先，通過(guò)Matlab圖形用戶界面開發(fā)環(huán)境GUIDE，開發(fā)SVM.fig和SVM.m文件，把模型的各個(gè)功能模塊與主界面上的按鈕和菜單鏈接起來(lái)，從而實(shí)現(xiàn)模型整體的功能。其次，在Matlab編輯/調(diào)試器界面下編寫、存儲(chǔ)和運(yùn)行相應(yīng)的應(yīng)用程序，即M文件，實(shí)現(xiàn)各個(gè)功能模塊。模型的設(shè)計(jì)與實(shí)現(xiàn)首先，通過(guò)Matlab圖形用戶界面開發(fā)環(huán)境G34主要函數(shù)框架

setpath.mmarker_type.mppatterns.mmarker_color.mSVM.mpsvm.mc2s.mcheck2ddata.mppatterns()c2s.mdemo_svm.msmo.msvmclass.mkernelproj.mcreatedata.msvm_train()clrchild()setaxis()主要函數(shù)框架setpath.m35運(yùn)行結(jié)果主界面

運(yùn)行結(jié)果主界面36

支持向量機(jī)模型界面

支持向量機(jī)模型界面37

創(chuàng)建數(shù)據(jù)模塊

創(chuàng)建數(shù)據(jù)模塊38

線性分類結(jié)果

線性分類結(jié)果39

非線性分類結(jié)果