計(jì)

算

智

能第二模塊~神經(jīng)計(jì)算5.1支持向量機(jī)概述5.2支持向量機(jī)原理5.3最優(yōu)分類超平面5.4支持向量機(jī)模型與算法5.5支持向量機(jī)與多層前向網(wǎng)比較5.6支持向量機(jī)的應(yīng)用與仿真實(shí)例第5章

支持向量機(jī)

25.1支持向量機(jī)概述

5.1.1歷史背景

5.1.2統(tǒng)計(jì)學(xué)習(xí)理論

342025年7月26日華北理工大學(xué)~智能科學(xué)系傳統(tǒng)統(tǒng)計(jì)學(xué)是一種漸進(jìn)理論，研究的是樣本數(shù)目趨于無(wú)窮大時(shí)的極限特性?，F(xiàn)有的學(xué)習(xí)方法多基于傳統(tǒng)統(tǒng)計(jì)學(xué)理論，但在實(shí)際應(yīng)用中，樣本往往是有限的，因此一些理論上很優(yōu)秀的學(xué)習(xí)方法在實(shí)際中的表現(xiàn)卻不盡人意，存在著一些難以克服的問題，比如說如何確定網(wǎng)絡(luò)結(jié)構(gòu)的問題、過學(xué)習(xí)問題、局部極小值問題等，從本質(zhì)上來(lái)說就是因?yàn)槔碚撋闲枰獰o(wú)窮樣本與實(shí)際中樣本有限的矛盾造成的。

5.1.1歷史背景52025年7月26日華北理工大學(xué)~智能科學(xué)系與傳統(tǒng)統(tǒng)計(jì)學(xué)的方向不同，Vapnik等人提出了一個(gè)較完善的基于有限樣本的理論體系－－統(tǒng)計(jì)學(xué)習(xí)理論。統(tǒng)計(jì)學(xué)習(xí)理論是一種專門研究小樣本情況下機(jī)器學(xué)習(xí)規(guī)律的理論，它從更本質(zhì)上研究機(jī)器學(xué)習(xí)問題，為解決有限樣本學(xué)習(xí)問題提供了一個(gè)統(tǒng)一的框架。支持向量機(jī)方法是在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來(lái)的通用學(xué)習(xí)方法，它具有全局優(yōu)化、適應(yīng)性強(qiáng)、理論完備、泛化性能好等優(yōu)點(diǎn)。5.1.1歷史背景62025年7月26日華北理工大學(xué)~智能科學(xué)系機(jī)器學(xué)習(xí)的基本問題基于數(shù)據(jù)的機(jī)器學(xué)習(xí)是現(xiàn)有智能技術(shù)中的重要方面，其研究的實(shí)質(zhì)是根據(jù)給定的訓(xùn)練樣本求出對(duì)系統(tǒng)輸入輸出之間依賴關(guān)系的估計(jì)，使它能對(duì)未知樣本的輸出做出盡可能準(zhǔn)確的預(yù)測(cè)。

5.1.2統(tǒng)計(jì)學(xué)習(xí)理論72025年7月26日華北理工大學(xué)~智能科學(xué)系定義期望風(fēng)險(xiǎn)：

－－預(yù)測(cè)函數(shù)集－－廣義參數(shù)

－－損失函數(shù)

－－聯(lián)合概率分布

82025年7月26日華北理工大學(xué)~智能科學(xué)系經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化

（EmpiricalRiskMinimization

，ERM）

實(shí)際應(yīng)用中，一般根據(jù)概率論中的大數(shù)定理，即采用下式的算術(shù)平均來(lái)逼近期望風(fēng)險(xiǎn)。

用對(duì)參數(shù)求經(jīng)驗(yàn)風(fēng)險(xiǎn)的最小值代替求期望風(fēng)險(xiǎn)的最小值。

92025年7月26日華北理工大學(xué)~智能科學(xué)系經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化——過學(xué)習(xí)事實(shí)上，從期望風(fēng)險(xiǎn)最小化到經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化并沒有可靠的理論依據(jù)，只是直觀上合理的想當(dāng)然做法。經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則不成功的一個(gè)例子就是神經(jīng)網(wǎng)絡(luò)的過學(xué)習(xí)問題:訓(xùn)練誤差（經(jīng)驗(yàn)風(fēng)險(xiǎn)）過小反而會(huì)導(dǎo)致推廣能力的下降，即真實(shí)誤差（期望風(fēng)險(xiǎn)）的增加。出現(xiàn)過學(xué)習(xí)現(xiàn)象的原因主要是由于學(xué)習(xí)樣本不充分和學(xué)習(xí)機(jī)器設(shè)計(jì)不合理。

102025年7月26日華北理工大學(xué)~智能科學(xué)系復(fù)雜性與推廣性當(dāng)試圖用一個(gè)復(fù)雜的模型去擬合有限的樣本，必然會(huì)喪失推廣能力。由此可見，有限樣本下學(xué)習(xí)機(jī)器的復(fù)雜性與推廣性之間存在矛盾。機(jī)器的復(fù)雜度高，必然會(huì)導(dǎo)致其推廣性差；反之，一個(gè)推廣性好的學(xué)習(xí)機(jī)器，其分類能力必然不夠強(qiáng)。設(shè)計(jì)一個(gè)好的學(xué)習(xí)機(jī)器的目標(biāo)就變成如何在學(xué)習(xí)能力和推廣性之間取得一個(gè)平衡，使得在滿足給定學(xué)習(xí)能力的前提下，提高其推廣性。

112025年7月26日華北理工大學(xué)~智能科學(xué)系統(tǒng)計(jì)學(xué)習(xí)理論（SLT）

統(tǒng)計(jì)學(xué)習(xí)理論被認(rèn)為是目前針對(duì)小樣本統(tǒng)計(jì)估計(jì)和預(yù)測(cè)學(xué)習(xí)的最佳理論。它從理論上較為系統(tǒng)的研究了經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則成立的條件、有限樣本下經(jīng)驗(yàn)風(fēng)險(xiǎn)與期望風(fēng)險(xiǎn)的關(guān)系以及如何利用這些理論找到新的學(xué)習(xí)原則和方法等問題。其中，最有指導(dǎo)性的理論結(jié)果是推廣性的界的結(jié)論，和與此相關(guān)的一個(gè)核心概念是函數(shù)集的VC維。

122025年7月26日華北理工大學(xué)~智能科學(xué)系函數(shù)集的VC維

（VapnikChervonenkisDimension

）模式識(shí)別方法中VC維的直觀定義是：對(duì)于一個(gè)指標(biāo)函數(shù)集，如果存在h個(gè)樣本能夠被函數(shù)集中的函數(shù)按所有可能的種形式分開，則稱函數(shù)集能夠把h個(gè)樣本打散；函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h。有界實(shí)函數(shù)的VC維可以通過用一定的閾值將其轉(zhuǎn)化為指示函數(shù)來(lái)定義。VC維反映了函數(shù)集的學(xué)習(xí)能力，VC維越大則學(xué)習(xí)機(jī)器越復(fù)雜（學(xué)習(xí)能力越強(qiáng)）。132025年7月26日華北理工大學(xué)~智能科學(xué)系函數(shù)集的VC維

VC維，反映了模型的學(xué)習(xí)能力，VC維越大，則模型的容量越大。比如，我們以二維平面中的線性分類器為例：二維平面中有3個(gè)點(diǎn)（并未給出標(biāo)簽），線性函數(shù)組成的集合能夠?qū)λ?3種情形正確進(jìn)行分類。值得注意的是，按照上述定義來(lái)看，只要存在3個(gè)樣本能夠被成功打散，并且不存在4個(gè)樣本能夠被打散的話，就稱這一函數(shù)集合的VC維是3。所以，我們稱二維線性函數(shù)集合所表示的分類器的VC維是3。142025年7月26日華北理工大學(xué)~智能科學(xué)系152025年7月26日華北理工大學(xué)~智能科學(xué)系推廣性的界

統(tǒng)計(jì)學(xué)習(xí)理論系統(tǒng)地研究了各種類型函數(shù)集的經(jīng)驗(yàn)風(fēng)險(xiǎn)（即訓(xùn)練誤差）和實(shí)際風(fēng)險(xiǎn)（即期望風(fēng)險(xiǎn)）之間的關(guān)系，即推廣性的界。關(guān)于兩類分類問題有如下結(jié)論：對(duì)指示函數(shù)集中的所有函數(shù)，經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際風(fēng)險(xiǎn)之間至少以概率滿足如下關(guān)系：

其中h是函數(shù)集的VC維，l是樣本數(shù)。

實(shí)際風(fēng)險(xiǎn)置信范圍162025年7月26日華北理工大學(xué)~智能科學(xué)系學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)由兩部分組成：經(jīng)驗(yàn)風(fēng)險(xiǎn)，即訓(xùn)練誤差；置信范圍（ConfidenceInterval）

可以簡(jiǎn)單的表示為：它表明在有限樣本訓(xùn)練下，學(xué)習(xí)機(jī)VC維越高（機(jī)器的復(fù)雜性越高），則置信范圍越大，導(dǎo)致真實(shí)風(fēng)險(xiǎn)與經(jīng)驗(yàn)風(fēng)險(xiǎn)之間可能的差別越大。這就是為什么出現(xiàn)過學(xué)習(xí)現(xiàn)象的原因。172025年7月26日華北理工大學(xué)~智能科學(xué)系結(jié)構(gòu)風(fēng)險(xiǎn)最小化

（StructuralRiskMinimization，SRM）

經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則在樣本有限（即較大）時(shí)是不合理的，此時(shí)一個(gè)小的經(jīng)驗(yàn)風(fēng)險(xiǎn)值并不能保證小的實(shí)際風(fēng)險(xiǎn)值。為解決此問題，就需要在保證分類精度（即減小經(jīng)驗(yàn)風(fēng)險(xiǎn)）的同時(shí)，降低學(xué)習(xí)機(jī)器的VC維，從而使得學(xué)習(xí)機(jī)器在整個(gè)樣本集上的期望風(fēng)險(xiǎn)得到控制，這就是結(jié)構(gòu)風(fēng)險(xiǎn)最小化（SRM）原則的基本思想。結(jié)構(gòu)風(fēng)險(xiǎn)最小化為我們提供了一種不同于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的更科學(xué)的學(xué)習(xí)機(jī)器設(shè)計(jì)原則，顯然，利用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則的思想，就可以完美解決神經(jīng)網(wǎng)絡(luò)中的過學(xué)習(xí)問題。支持向量機(jī)方法實(shí)際上就是這種思想的具體實(shí)現(xiàn)。182025年7月26日華北理工大學(xué)~智能科學(xué)系統(tǒng)計(jì)學(xué)習(xí)理論（SLT）

函數(shù)集子集：

VC維：

結(jié)構(gòu)風(fēng)險(xiǎn)最小化示意圖

5.2支持向量機(jī)原理

19202025年7月26日華北理工大學(xué)~智能科學(xué)系支持向量機(jī)原理

（SupportVectorMachine，SVM）90年代中期，在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展出了一種通用的學(xué)習(xí)方法－－支持向量機(jī)（思想：結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則）。它根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷，以獲得最好的泛化能力。支持向量機(jī)在很多機(jī)器學(xué)習(xí)問題的應(yīng)用中已初步表現(xiàn)出很多優(yōu)于已有方法的性能。小樣本；非線性212025年7月26日華北理工大學(xué)~智能科學(xué)系對(duì)于線性可分?jǐn)?shù)據(jù)的二值分類，如果采用多層前向網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)，其機(jī)理可以簡(jiǎn)單描述為：系統(tǒng)隨機(jī)的產(chǎn)生一個(gè)超平面并移動(dòng)它，直到訓(xùn)練集合中屬于不同類別的點(diǎn)正好位于該超平面的不同側(cè)面，就完成了對(duì)網(wǎng)絡(luò)的設(shè)計(jì)要求。但是這種機(jī)理決定了不能保證最終所獲得的分割平面位于兩個(gè)類別的中心（不是最優(yōu)的分類面），這對(duì)于分類問題的容錯(cuò)性是不利的。

222025年7月26日華北理工大學(xué)~智能科學(xué)系x1x2兩條分類線可以實(shí)現(xiàn)正確分類，但多層感知器只要分類正確就結(jié)束了，不管是否是最優(yōu)的問題，從圖中可以看出，藍(lán)色線的分類效果優(yōu)于紅線。232025年7月26日華北理工大學(xué)~智能科學(xué)系解決方案：分類間隔di=(xi,yi)間隔：Δi=yi(wxi+b)=g(Xi)幾何間隔：所以幾何間隔與||w||是成反比的，因此常用的方法是固定幾何間隔（例如為1），求最小的||w||。通過定義分類間隔，找到最優(yōu)分類面，達(dá)到分類目的。H1H2x2H242025年7月26日華北理工大學(xué)~智能科學(xué)系min||w||樣本點(diǎn)必須在H1或H2的某一側(cè)。

252025年7月26日華北理工大學(xué)~智能科學(xué)系樣本確定了W，用數(shù)學(xué)語(yǔ)言描述：w可表示為樣本的某種組合。α是一個(gè)一個(gè)的數(shù)，稱為拉格朗日乘子。w不僅跟樣本有關(guān)，還跟樣本的類別有關(guān)：所以，最小化w即可。y確定，X確定，只要給出α即可確定w。大多數(shù)的α值都是0，不為0的點(diǎn)則落在H1或H2上，這些點(diǎn)稱為支持向量。5.3最優(yōu)分類超平面

26272025年7月26日華北理工大學(xué)~智能科學(xué)系保證最終所獲得的分割平面位于兩個(gè)類別的中心對(duì)于分類問題的實(shí)際應(yīng)用是很重要的。支持向量機(jī)方法很巧妙地解決了這一問題。該方法的機(jī)理可以簡(jiǎn)單描述為：尋找一個(gè)滿足分類要求的最優(yōu)分類超平面，使得該超平面在保證分類精度的同時(shí)，能夠使超平面兩側(cè)的空白區(qū)域最大化；從理論上來(lái)說，支持向量機(jī)能夠?qū)崿F(xiàn)對(duì)線性可分?jǐn)?shù)據(jù)的最優(yōu)分類。282025年7月26日華北理工大學(xué)~智能科學(xué)系對(duì)于兩類線性可分的情形，可以直接構(gòu)造最優(yōu)超平面，使得樣本集中的所有樣本滿足如下條件：（1）能被某一超平面正確劃分；（2）距該超平面最近的異類向量與超平面之間的距離最大，即分類間隔（margin）最大；以上兩個(gè)條件體現(xiàn)了結(jié)構(gòu)風(fēng)險(xiǎn)最小化（SRM）的原則。保證經(jīng)驗(yàn)風(fēng)險(xiǎn)最小保證置信范圍最小292025年7月26日華北理工大學(xué)~智能科學(xué)系為了進(jìn)一步解決非線性問題，Vapnik等人通過引入核映射方法轉(zhuǎn)化為高維空間的線性可分問題來(lái)解決。核函數(shù)302025年7月26日華北理工大學(xué)~智能科學(xué)系為何需要核函數(shù)？ab線性不可分ab線性可分關(guān)鍵：找到將x映射到y(tǒng)上的方法。312025年7月26日華北理工大學(xué)~智能科學(xué)系低維空間：高維空間：322025年7月26日華北理工大學(xué)~智能科學(xué)系設(shè)訓(xùn)練樣本輸入為，，對(duì)應(yīng)的期望輸出為

如果訓(xùn)練集中的所有向量均能被某超平面正確劃分，并且距離平面最近的異類向量之間的距離最大（即邊緣margin最大化），則該超平面為最優(yōu)超平面（OptimalHyperplane

）。332025年7月26日華北理工大學(xué)~智能科學(xué)系支持向量SupportVector最優(yōu)分類面示意圖

342025年7月26日華北理工大學(xué)~智能科學(xué)系其中距離超平面最近的異類向量被稱為支持向量（SupportVector），一組支持向量可以唯一確定一個(gè)超平面。SVM是從線性可分情況下的最優(yōu)分類面發(fā)展而來(lái)，其超平面記為：為使分類面對(duì)所有樣本正確分類并且具備分類間隔，就要求它滿足如下約束：352025年7月26日華北理工大學(xué)~智能科學(xué)系可以計(jì)算出分類間隔為，因此構(gòu)造最優(yōu)超平面的問題就轉(zhuǎn)化為在約束式下求：

為了解決這個(gè)約束最優(yōu)化問題，引入下式所示的Lagrange函數(shù)：其中為L(zhǎng)agrange乘數(shù)。約束最優(yōu)化問題的解由Lagrange函數(shù)的鞍點(diǎn)決定。

362025年7月26日華北理工大學(xué)~智能科學(xué)系利用Lagrange優(yōu)化方法可以將上述二次規(guī)劃問題轉(zhuǎn)化為其對(duì)偶問題，即在約束條件：

下對(duì)求解下列函數(shù)的最大值：如果為最優(yōu)解，那么：372025年7月26日華北理工大學(xué)~智能科學(xué)系以上是在不等式約束下求二次函數(shù)極值問題，是一個(gè)二次規(guī)劃問題（QuadraticProgramming，QP），存在唯一解。根據(jù)最優(yōu)性條件－－Karush-Kühn-Tucker條件（KKT條件），這個(gè)優(yōu)化問題的解必須滿足：對(duì)多數(shù)樣本將為零，取值不為零的所對(duì)應(yīng)的樣本即為支持向量，它們通常只是全體樣本中很少的一部分。

382025年7月26日華北理工大學(xué)~智能科學(xué)系求解上述問題后得到的最優(yōu)分類函數(shù)是：在通過訓(xùn)練得到最優(yōu)超平面后,對(duì)于給定的未知樣本x，只需計(jì)算f(x)即可判斷x所屬的分類。

392025年7月26日華北理工大學(xué)~智能科學(xué)系若訓(xùn)練樣本集是線性不可分的，或事先不知道它是否線性可分，將允許存在一些誤分類的點(diǎn)，此時(shí)引入一個(gè)非負(fù)松弛變量，約束條件變?yōu)?目標(biāo)函數(shù)改為在以上約束條件下求：即折衷考慮最小錯(cuò)分樣本和最大分類間隔。其中，C＞0為懲罰因子

，控制對(duì)錯(cuò)分樣本的懲罰程度。402025年7月26日華北理工大學(xué)~智能科學(xué)系松弛變量只有“離群點(diǎn)”才有松弛變量?；蛘哒f其他點(diǎn)的松弛變量為0。懲罰因子C決定了你對(duì)離群點(diǎn)帶來(lái)的損失有多重視，C越大，對(duì)目標(biāo)函數(shù)的損失越大，暗示著你越不愿意放棄離群點(diǎn)。C是一個(gè)事先設(shè)置好的值。412025年7月26日華北理工大學(xué)~智能科學(xué)系線性不可分情況和線性可分情況的差別就在于可分模式中的約束條件中的在不可分模式中換為了更嚴(yán)格的條件。除了這一修正，線性不可分情況的約束最優(yōu)化問題中權(quán)值和閾值的最優(yōu)值的計(jì)算都和線性可分情況中的過程是相同的。5.4支持向量機(jī)模型與算法

42432025年7月26日華北理工大學(xué)~智能科學(xué)系在現(xiàn)實(shí)世界中，很多分類問題都是線性不可分的，即在原來(lái)的樣本空間中無(wú)法找到一個(gè)最優(yōu)的線性分類函數(shù)，這就使得支持向量機(jī)的應(yīng)用具有很大的局限性。但是可以設(shè)法通過非線性變換將原樣本空間的非線性問題轉(zhuǎn)化為另一個(gè)空間中的線性問題。SVM就是基于這一思想的。首先將輸入向量通過非線性映射變換到一個(gè)高維的特征向量空間，在該特征空間中構(gòu)造最優(yōu)分類超平面。

442025年7月26日華北理工大學(xué)~智能科學(xué)系由于在上面的二次規(guī)劃（QP）問題中，無(wú)論是目標(biāo)函數(shù)還是分類函數(shù)都只涉及內(nèi)積運(yùn)算，如果采用核函數(shù)(KernelFunction)就可以避免在高維空間進(jìn)行復(fù)雜運(yùn)算，而通過原空間的函數(shù)來(lái)實(shí)現(xiàn)內(nèi)積運(yùn)算。因此，選擇合適的內(nèi)積核函數(shù)

就可以實(shí)現(xiàn)某一非線性變換后的線性分類，而計(jì)算復(fù)雜度卻沒有增加多少，從而巧妙地解決了高維空間中計(jì)算帶來(lái)的“維數(shù)災(zāi)難”問題。

452025年7月26日華北理工大學(xué)~智能科學(xué)系此時(shí)，相應(yīng)的決策函數(shù)化為：支持向量機(jī)求得的決策函數(shù)形式上類似于一個(gè)神經(jīng)網(wǎng)絡(luò)，其輸出是若干中間層節(jié)點(diǎn)的線性組合，而每一個(gè)中間層節(jié)點(diǎn)對(duì)應(yīng)于輸入樣本與一個(gè)支持向量的內(nèi)積，因此也被稱作是支持向量網(wǎng)絡(luò)。

462025年7月26日華北理工大學(xué)~智能科學(xué)系SVM模型支持向量機(jī)示意圖

472025年7月26日華北理工大學(xué)~智能科學(xué)系選擇不同的核函數(shù)可以生成不同的支持向量機(jī)，常有以下幾種：（1）線性核函數(shù)：（2）多項(xiàng)式核函數(shù)：（3）Gauss核函數(shù)：（4）Sigmoid核函數(shù)：

482025年7月26日華北理工大學(xué)~智能科學(xué)系假設(shè)數(shù)據(jù)是位于中的向量，選擇：

然后尋找滿足下述條件的空間H：使映射

從映射到H且滿足：

可以選擇H=R3以及：492025年7月26日華北理工大學(xué)~智能科學(xué)系用圖來(lái)表示該變換：SVM用于二維樣本分類502025年7月26日華北理工大學(xué)~智能科學(xué)系學(xué)習(xí)算法

對(duì)于分類問題，用支持向量機(jī)方法進(jìn)行求解的學(xué)習(xí)算法過程為：第一步

給定一組輸入樣本，

及其對(duì)應(yīng)的期望輸出；第二步選擇合適的核函數(shù)及相關(guān)參數(shù)；第三步在約束條件和下求解

得到最優(yōu)權(quán)值；512025年7月26日華北理工大學(xué)~智能科學(xué)系第四步計(jì)算：；第五步對(duì)于待分類向量x

，計(jì)算：

為＋1或－1，決定x屬于哪一類。522025年7月26日華北理工大學(xué)~智能科學(xué)系用于函數(shù)擬合的支持向量機(jī)

假定數(shù)據(jù)集。首先考慮用線性回歸函數(shù)擬合數(shù)據(jù)集X的問題。所有訓(xùn)練數(shù)據(jù)在精度下無(wú)誤差地用線性函數(shù)擬合，即：考慮到允許擬合誤差存在的情況：532025年7月26日華北理工大學(xué)~智能科學(xué)系優(yōu)化目標(biāo)函數(shù)為：對(duì)偶問題為：在約束條件下求下式的最大值?；貧w函數(shù)為：

5.5支持向量機(jī)與多層前向網(wǎng)比較

54552025年7月26日華北理工大學(xué)~智能科學(xué)系與徑向基函數(shù)網(wǎng)絡(luò)和多層感知器相比，支持向量機(jī)避免了在前者的設(shè)計(jì)中經(jīng)常使用的啟發(fā)式結(jié)構(gòu)，它不依賴于設(shè)計(jì)者的經(jīng)驗(yàn)知識(shí)；支持向量機(jī)的理論基礎(chǔ)決定了它最終求得的是全局最優(yōu)值而不是局部極小值，也保證了它對(duì)于未知樣本的良好泛化能力而不會(huì)出現(xiàn)過學(xué)習(xí)現(xiàn)象(用經(jīng)驗(yàn)風(fēng)險(xiǎn)代替實(shí)際風(fēng)險(xiǎn)造成的）。

5.6支持向量機(jī)的應(yīng)用與仿真實(shí)例

56572025年7月26日華北理工大學(xué)~智能科學(xué)系隨著對(duì)SVM研究的進(jìn)展和深入，其應(yīng)用也越來(lái)越廣泛，基于SVM思想的一些模型和方法被廣泛應(yīng)用于各個(gè)領(lǐng)域，包括模式識(shí)別，如人臉識(shí)別、字符識(shí)別、筆跡鑒別、文本分類、語(yǔ)音鑒別、圖像識(shí)別、圖像分類、圖像檢索等等；回歸估計(jì)，如非線性系統(tǒng)估計(jì)、預(yù)測(cè)預(yù)報(bào)、建模與控制等等；以及網(wǎng)絡(luò)入侵檢測(cè)、郵件分類、數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)、信號(hào)處理、金融預(yù)測(cè)、生物信息等新領(lǐng)域。工具箱：臺(tái)灣林智仁教授，libsvm

582025年7月26日華北理工大學(xué)~智能科學(xué)系仿真實(shí)例【例1】用支持向量機(jī)解決異或問題

為了闡述支持向量機(jī)的設(shè)計(jì)過程，這里以XOR（異或）問題為例進(jìn)行說明。表1中列出了輸入向量以及四個(gè)可能狀態(tài)的期望響應(yīng)。該問題在二維輸入空間不是線性可分的，為此利用核映射方法映射到高維空間來(lái)解決。592025年7月26日華北理工大學(xué)~智能科學(xué)系

表1異或（XOR）問題輸入向量x期望輸出d（－1，－1）（－1，＋1）（＋1，－1）（＋1，＋1）－1＋1＋1－1602025年7月26日華北理工大學(xué)~智能科學(xué)系

令：

并且，，把內(nèi)積核表示為單項(xiàng)式的不同階數(shù)的展開式如下：

可以推斷出在特征空間中由輸入向量x產(chǎn)生的映射為：

類似的，可以得到：612025年7月26日華北理工大學(xué)~智能科學(xué)系將看作是的對(duì)稱矩陣K的第ij項(xiàng)元素（其中l(wèi)表示訓(xùn)練樣本數(shù)目），將四組樣本代入，計(jì)算K矩陣。K11=k(x1,x1)=1+(-1)2*(-1)2+2*(-1)(-1)(-1)(-1)+(-1)2(-1)2+2(-1)(-1)+2(-1)(-1)=9K12=k(x1,x2)=……=1自己計(jì)算其他值。622025年7月26日華北理工大學(xué)~智能科學(xué)系則可得到：

因此對(duì)偶問題的目標(biāo)函數(shù)為：

632025年7月26日華北理工大學(xué)~智能科學(xué)系

即可得到四個(gè)方程：因此，Lagrange乘子的最優(yōu)值為：

這一結(jié)果表明在該例子中的四個(gè)輸入向量都是支持向量。

642025年7月26日華北理工大學(xué)~智能科學(xué)系的最優(yōu)值為：

相應(yīng)的，可以得到：

則最優(yōu)權(quán)值即為：

652025年7月26日華北理工大學(xué)~智能科學(xué)系

最優(yōu)分類面為：

即：

可以推導(dǎo)出：

662025年7月26日華北理工大學(xué)~智能科學(xué)系即為分類面方程。該分類面在特征空間中是一個(gè)超平面，如下圖所示。圖中實(shí)心圓點(diǎn)和實(shí)心方框分別代表兩個(gè)類別，可以被圖中所示的線性分類面分開。672025年7月26日華北理工大學(xué)~智能科學(xué)系在原始二維輸入空間中，分類函數(shù)則是雙曲線，如右圖所示。圖中的“□”和“○”分別代表兩個(gè)不同的類別，“+”表示支持向量。在右圖中可以看出，這兩類樣本點(diǎn)可以被圖中所示的分類曲線分開，而且這四個(gè)樣本點(diǎn)均為支持向量。682025年7月26日華北理工大學(xué)~智能科學(xué)系【例2】用支持向量機(jī)對(duì)人工樣本進(jìn)行分類

主函數(shù)clearall;clc;C=10;kertype='linear';n=50;randn('state',6);x1=randn(2,n);y1=ones(1,n);x2=5+randn(2,n);y2=-ones(1,n);figure;plot(x1(1,:),x1(2,:),'bx',x2(1,:),x2(2,:),'k.');axis([-38-38]);xlabel(‘x軸');ylabel(‘y軸');holdon;X=[x1,x2];Y=[y1,y2];svm=svmTrain(X,Y,kertype,C);plot(svm.Xsv(1,:),svm.Xsv(2,:),'ro');%測(cè)試[x1,x2]=meshgrid(-2:0.05:7,-2:0.05:7);[rows,cols]=size(x1);nt=rows*cols;Xt=[reshape(x1,1,nt);reshape(x2,1,nt)];Yt=ones(1,nt);result=svmTest(svm,Xt,Yt,kertype);

Yd=reshape(result.Y,rows,cols);contour(x1,x2,Yd,'m');692025年7月26日華北理工大學(xué)~智能科學(xué)系

svmTrain函數(shù)定義functionsvm=svmTrain(X,Y,kertype,C)option