第2章統(tǒng)計學(xué)習(xí)理論基礎(chǔ)2.1統(tǒng)計學(xué)習(xí)理論基礎(chǔ)2.2最優(yōu)分類超平面2.3支持向量機2.4小結(jié)

2.1統(tǒng)計學(xué)習(xí)理論基礎(chǔ)

2.1.1機器學(xué)習(xí)

機器學(xué)習(xí)一種基于數(shù)據(jù)的學(xué)習(xí)方法，它主要研究從觀測數(shù)據(jù)(樣本)出發(fā)尋找規(guī)律并構(gòu)造一個模型，利用該模型可對未知數(shù)據(jù)或者無法觀測的數(shù)據(jù)進行預(yù)測[11]。這種模型就叫做學(xué)習(xí)機器(LearningMachine)。機器學(xué)習(xí)的過程就是構(gòu)建學(xué)習(xí)機器的過程。一個簡單的學(xué)習(xí)系統(tǒng)如圖2.1.1所示[12]。圖2.1.1一個簡單的學(xué)習(xí)系統(tǒng)模型

1.學(xué)習(xí)機器的產(chǎn)生

關(guān)于機器學(xué)習(xí)的研究，可以追溯到20世紀(jì)50年代，當(dāng)時人們就從仿生學(xué)的角度開展了研究，希望弄清楚人類大腦及神經(jīng)系統(tǒng)的學(xué)習(xí)機理。

2.學(xué)習(xí)理論基礎(chǔ)的創(chuàng)立

Rosenblartt的感知器推動了其他類型的學(xué)習(xí)機器的研究，如利用自適應(yīng)學(xué)習(xí)機、隱馬爾可夫模型等來解決實際問題。但這些學(xué)習(xí)機器只是解決實際問題的工具，并非學(xué)習(xí)問題的一般模型。

3.神經(jīng)網(wǎng)絡(luò)的創(chuàng)立

1986年，研究者提出了同時構(gòu)造感知器所有神經(jīng)元的向量系數(shù)的方法，即后向傳播的方法。這一方法的思想很簡單，在修改的模型中，新的神經(jīng)元的合成是一個連續(xù)的函數(shù)。

4.統(tǒng)計學(xué)習(xí)理論

Vapnik等人從六七十年代開始致力于統(tǒng)計學(xué)習(xí)理論的研

究[15,16,17]。到20世紀(jì)90年代中期，隨著其理論的不斷發(fā)展和

成熟，人們研究的重點轉(zhuǎn)移到對神經(jīng)網(wǎng)絡(luò)的這種替代方法的

研究上。學(xué)習(xí)問題可以看做是利用有限數(shù)量的觀測來尋找待求的依賴關(guān)系的問題[1]。學(xué)習(xí)問題可以一般地表示為輸出變量y和輸入變量x之間存在的未知依賴關(guān)系，即遵循某一未知的概率測度F(x,y)。機器學(xué)習(xí)問題就是根據(jù)l個獨立同分布(i.i.d)觀測樣本：

(2.1.1)在一組函數(shù){f(x,w)}中，求一個最優(yōu)的函數(shù)f(x,w0)，對依賴關(guān)系進行估計，使期望風(fēng)險

(2.1.2)

最小。其中，{f(x,w)}稱做預(yù)測函數(shù)集，w為函數(shù)的廣義參數(shù)。{f(x,w)}可以表示任何函數(shù)集。L(y,f(x,w))為由于使用f(x,w)對進行預(yù)測而造成的損失函數(shù)。不同類型的學(xué)習(xí)問題有不同形式的損失函數(shù)。學(xué)習(xí)問題的形式化表述涉及面很廣，它包括了很多特殊的問題。最基本的機器學(xué)習(xí)問題有三類：模式識別(分類)、函數(shù)逼近(回歸估計)和概率密度估計[15]。對于模式識別問題，輸出可分別表示為y={0,1}或{1,－1}。被預(yù)測函數(shù)稱作指示函數(shù)，損失函數(shù)可以定義為

(2.1.3)對于這個損失函數(shù)，式(2.1.2)的風(fēng)險泛函確定了訓(xùn)練機器和指示函數(shù)f(x,w)所給出的不同概率。把訓(xùn)練機器的輸出和指示函數(shù)的輸出不同的情況稱為分類錯誤。所以對模式識別問題來講，學(xué)習(xí)問題就是根據(jù)給定的樣本數(shù)據(jù)，在概率測度F(x,w)未知的情況下，尋找使得分類錯誤概率最小的函數(shù)f(x,w0)。在函數(shù)回歸估計問題中，y是連續(xù)變量，損失函數(shù)定義為

(2.1.4)

回歸函數(shù)就是在損失函數(shù)下使風(fēng)險泛函式(2.1.2)最小的函數(shù)。

對于概率密度估計問題，學(xué)習(xí)的目的是根據(jù)訓(xùn)練樣本確定x的概率密度，被估計的密度函數(shù)記做，此時的損失函數(shù)可定義為

(2.1.5)在上面的問題表述中，學(xué)習(xí)的目標(biāo)在于使期望風(fēng)險最小化，但是，由于概率測度F(x,y)未知，我們可以利用的信息只有式(2.1.1)所示的樣本，式(2.1.2)表示的期望風(fēng)險無法計算，因此傳統(tǒng)的學(xué)習(xí)方法中采用了所謂經(jīng)驗風(fēng)險最小化準(zhǔn)則，即采用樣本誤差定義的經(jīng)驗風(fēng)險

(2.1.6)作為對式(2.1.2)的估計，設(shè)計學(xué)習(xí)算法使它最小化。對式(2.1.3)所示的損失函數(shù)，經(jīng)驗風(fēng)險就是訓(xùn)練樣本錯誤率；對式(2.1.4)所示的損失函數(shù)，經(jīng)驗風(fēng)險就是平方訓(xùn)練誤差；而采用式(2.1.5)所示的損失函數(shù)的經(jīng)驗風(fēng)險最小化準(zhǔn)則就等價于最大似然方法。一些經(jīng)典的方法，如回歸問題中的最小二乘法、極大似然法都是經(jīng)驗風(fēng)險最小化準(zhǔn)則在特殊損失函數(shù)下的應(yīng)用。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法也應(yīng)用了經(jīng)驗風(fēng)險最小化準(zhǔn)則。文獻[18]給出了一個實驗例子，在有噪聲條件下用模型

產(chǎn)生10個樣本，分別用一個一次函數(shù)和一個二次函數(shù)根據(jù)經(jīng)驗風(fēng)險最小化準(zhǔn)則去擬合，結(jié)果顯示，雖然真實模型是二次，但由于樣本數(shù)有限且受噪聲的影響，用一次函數(shù)預(yù)測的結(jié)果卻要比二次函數(shù)更好。

由此可看出，在有限樣本情況下：

(1)經(jīng)驗風(fēng)險最小并不一定意味著期望風(fēng)險最小；

(2)學(xué)習(xí)機器的復(fù)雜性不但應(yīng)與所研究的系統(tǒng)有關(guān)，而且還要和有限數(shù)目的樣本相適應(yīng)。2.1.2統(tǒng)計學(xué)習(xí)理論

主要內(nèi)容包括以下四個方面[13,15]。

(1)經(jīng)驗風(fēng)險最小化準(zhǔn)則下，統(tǒng)計學(xué)習(xí)一致性(Consistency)的條件；

(2)在這些條件下關(guān)于統(tǒng)計學(xué)習(xí)方法推廣性的界的結(jié)論；

(3)在這些界的基礎(chǔ)上建立的小樣本歸納推理準(zhǔn)則；

(4)實現(xiàn)新的準(zhǔn)則的實際方法(算法)。2.1.3統(tǒng)計學(xué)習(xí)理論的發(fā)展歷程

1.學(xué)習(xí)一致性及條件

定義2.1.1(經(jīng)驗風(fēng)險最小化一致性)對于指示函數(shù)集和概率分布函數(shù)，如果下面兩個序列概率地收斂到同一極限，即

(2.1.7)

(2.1.8)

則稱為經(jīng)驗風(fēng)險最小化原則對函數(shù)集L(y,w)和概率分布函數(shù)F(y)是一致的。

定理2.1.1(學(xué)習(xí)理論的關(guān)鍵定理)設(shè)函數(shù)集

滿足下列條件：

(2.1.9)

那么ERM原則一致性的充分必要條件是：經(jīng)驗風(fēng)險在整個函數(shù)集上以式(2.1.10)所示意義一致收斂于期望風(fēng)險R(w)。

(2.1.10)此定理是Vapnik和Chervonenkis于1989年提出的。由于這一定理在統(tǒng)計學(xué)習(xí)理論中的重要性，因此被稱做學(xué)習(xí)理論的關(guān)鍵定理。它把學(xué)習(xí)一致性的問題轉(zhuǎn)化為式(2.1.10)的一致收斂問題?；仡櫰谕L(fēng)險和經(jīng)驗風(fēng)險的定義可知，它既依賴于預(yù)測函數(shù)集，也依賴于樣本的概率分布。定理中的式(2.1.10)稱做單側(cè)一致收斂，與此相對應(yīng)的是雙側(cè)一致收斂，即

(2.1.11)

2.?VC維

定義2.1.2(隨機熵，VC熵)設(shè)，是界限損耗函數(shù)集。使用這個函數(shù)集和訓(xùn)練集，可以構(gòu)造下列維向量：

定理2.1.2

函數(shù)集學(xué)習(xí)過程雙側(cè)一致收斂(滿足式(2.1.11))的充分和必要條件是下式成立：

(2.1.12)

換言之，VC熵與觀察數(shù)的比值應(yīng)隨觀察數(shù)增加而減少到零。

推論2.1.1

在指示函數(shù)集一定的可測條件下，雙側(cè)一致收斂的充分和必要條件為

它是式(2.1.12)的特例。在統(tǒng)計學(xué)習(xí)理論中，收斂速度快的定義為，如果對應(yīng)任意的，下式都成立

則稱漸進收斂的速度是快的。其中c>0是常數(shù)。

定義2.1.3(生長函數(shù))函數(shù)集的生長函數(shù)定義為它是在所有可能的樣本集上的最大隨機熵，即

(2.1.13)

也就是說，生長函數(shù)反映了函數(shù)集把l個樣本分成兩類的最大可能的分法數(shù)目。顯然，。由于它是在所有可能的樣本集中取最大，因此與樣本分布無關(guān)。

定義2.1.4(退火的VC熵)在討論函數(shù)集的分類能力時，統(tǒng)計學(xué)習(xí)理論還定義了另外一個重要的指標(biāo)，就是退火的VC熵，其定義是

(2.1.14)

根據(jù)Jensen不等式，有。

因此，VC熵、退火的VC熵和生長函數(shù)之間存在如下關(guān)系：

(2.1.15)

定理2.1.3

函數(shù)集學(xué)習(xí)過程收斂速度快的充分條件是：

(2.1.16)

定理2.1.4

函數(shù)集學(xué)習(xí)過程一致收斂的充分必要條件是對任意的樣本分布，都有

(2.1.17)

且這時學(xué)習(xí)過程收斂速度一定是快的。

定義2.1.5(指示函數(shù)集的VC維的直觀定義)假如存在一個有h個樣本的樣本集能夠被一個函數(shù)集中的函數(shù)按照所有可能的2h種組合分為兩類，則此函數(shù)集能夠把樣本數(shù)為的樣本集打散(Shattering)。指示函數(shù)集的VC維就是用這個函數(shù)集中的函數(shù)所能夠打散的最大樣本集的樣本數(shù)目。也就是說，如果存在h個樣本的樣本集能夠被函數(shù)集打散，而不存在能被此函數(shù)集打散的且有h+1個樣本的樣本集，則函數(shù)集的VC維就是h。如果對于任意的樣本數(shù)，總能找到

一個樣本集能夠被這個函數(shù)集打散，則函數(shù)集的VC維就是無窮大。

3.推廣性的界

統(tǒng)計學(xué)習(xí)理論系統(tǒng)地研究了對于各種類型的函數(shù)集、經(jīng)驗風(fēng)險和期望風(fēng)險之間的關(guān)系，即推廣性的界[25]。關(guān)于兩類分類問題，結(jié)論是：對指示函數(shù)集中的所有函數(shù)(包括使經(jīng)驗風(fēng)險最小的函數(shù))，經(jīng)驗風(fēng)險和期望風(fēng)險之間以至少

的概率滿足如下關(guān)系[1]：

(2.1.18)

其中h是學(xué)習(xí)機器函數(shù)集的VC維，l是樣本數(shù)。這一結(jié)論從理論上說明了學(xué)習(xí)機器的期望風(fēng)險是由兩部分組成的：第一部分是經(jīng)驗風(fēng)險(訓(xùn)練誤差)；另一部分稱做置信范圍。它和學(xué)習(xí)機器的VC維及訓(xùn)練樣本數(shù)有關(guān)。式(2.1.18)可以簡單地表示為

(2.1.19)它表明，在有限訓(xùn)練樣本下，學(xué)習(xí)機器的VC維h越高(復(fù)雜性越高)則置信范圍越大，導(dǎo)致真實風(fēng)險與經(jīng)驗風(fēng)險之間的差別可能越大。這就是為什么會出現(xiàn)過學(xué)習(xí)現(xiàn)象的原因。式(2.1.19)說明機器學(xué)習(xí)過程不但要使經(jīng)驗風(fēng)險最小，還要使VC維盡量小以縮小置信范圍，才能取得較小的期望風(fēng)險，即對未來樣本有較好的推廣性。

4.結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則

從前面的討論可以看到，傳統(tǒng)機器學(xué)習(xí)方法中普遍采用的經(jīng)驗風(fēng)險最小化原則在樣本數(shù)目有限時是不合理的，因為機器學(xué)習(xí)過程不僅需要最小化經(jīng)驗風(fēng)險，同時也要最小化置信范圍。事實上，在傳統(tǒng)方法中，我們選擇學(xué)習(xí)模型和算法的過程就是優(yōu)化置信范圍的過程，如果選擇的模型比較適合現(xiàn)有的訓(xùn)練樣本(相當(dāng)于值適當(dāng))，則可以取得比較好的效果。比如在神經(jīng)網(wǎng)絡(luò)中，需要根據(jù)問題和樣本的具體情況來選擇不同的網(wǎng)絡(luò)結(jié)構(gòu)(對應(yīng)不同的VC維)，然后進行經(jīng)驗風(fēng)險最小化。在模式識別中，選定了一種分類器形式(比如線性分類器)，就確定了學(xué)習(xí)機器的VC維。實際上，這種做法是在式(2.1.19)中首先通過選擇模型來確定，然后固定，通過最小化經(jīng)驗風(fēng)險來求最小期望風(fēng)險。因為缺乏對的認(rèn)識，這種選擇往往是根據(jù)先驗知識和經(jīng)驗進行的，造成了神經(jīng)網(wǎng)絡(luò)等方法對使用者“技巧”的過分依賴。對于模式識別問題，雖然很多問題并不是線性的，但當(dāng)樣本數(shù)有限時，我們用線性分類器往往能得到不錯的結(jié)果，其原因就是線性分類器的VC維比較低，有利于在樣本較少的情況下得到小的置信范圍。從上述分析可看到，要對風(fēng)險的界式(2.1.18)(或式(2.1.19))右邊的兩項同時最小化，必須使VC維成為一個

可以控制的變量。統(tǒng)計學(xué)習(xí)理論提出了一種新的策略，即把函數(shù)集分解為一個函數(shù)子集序列：使各個子集按照VC維的大小排列為

在每個子集中尋找經(jīng)驗風(fēng)險最小的函數(shù)，在子集間折中考慮經(jīng)驗風(fēng)險和置信范圍，取得期望風(fēng)險的最小化。這種思想稱做結(jié)構(gòu)風(fēng)險最小化原則。如圖2.1.2所示，綜合考慮經(jīng)驗風(fēng)險與置信范圍的變化，可以求得最小的真實風(fēng)險邊界，它所對應(yīng)的函數(shù)集的中間子集S*可以作為具有最佳推廣能力的函數(shù)集合。圖2.1.2結(jié)構(gòu)風(fēng)險最小化原理圖根據(jù)這一分析，可以得到以下兩種運用結(jié)構(gòu)風(fēng)險最小化歸納原理構(gòu)造的學(xué)習(xí)機器的思路。

(1)給定了一個函數(shù)集合，按照上面的方法來組織一個嵌套的函數(shù)結(jié)構(gòu)，在每個子集中求取最小經(jīng)驗風(fēng)險，然后選擇經(jīng)驗風(fēng)險與置信風(fēng)險之和最小的子集。但是當(dāng)子集數(shù)目較大的時候，此方法較為費時，甚至不可行。

(2)構(gòu)造函數(shù)集合的某種結(jié)構(gòu)，使得在其中的各函數(shù)子集均可以取得最小的經(jīng)驗風(fēng)險(如使得訓(xùn)練誤差為0)，然后選擇適當(dāng)?shù)淖蛹沟弥眯棚L(fēng)險最小，則相應(yīng)的函數(shù)子集中使得經(jīng)驗風(fēng)險最小的函數(shù)就是所求解的最優(yōu)函數(shù)。

2.2最優(yōu)分類超平面

2.2.1最優(yōu)超平面

定義2.2.1(最優(yōu)超平面)假定訓(xùn)練數(shù)據(jù),

，可以被超平面

(2.2.1)

無錯誤地分開，且距離超平面最近的向量與超平面間的距離最大，則稱向量集合被最優(yōu)超平面(最大間隔超平面)分開，如圖2.2.1所示。圖2.2.1最優(yōu)分類超平面為了描述分類超平面，使用不等式和

，合并為一個緊湊的形式為

(2.2.2)

容易驗證，最優(yōu)超平面就是滿足條件式(2.2.2)且使得

(2.2.3)

關(guān)于向量w和標(biāo)量b最小化的超平面。2.2.2Δ-間隔分類超平面

定義2.2.2(Δ-間隔分類超平面)如果超平面,

以如下的形式將向量x分類：

(2.2.4)

則稱之為Δ－間隔分類超平面。

顯然，式(2.2.2)定義的就是Δ－間隔分類超平面，其中。

定理2.2.1

設(shè)向量位于一個半徑為R的球中，那么Δ－間隔分類超平面集合的VC維h有下面的界：

(2.2.5)

推論以概率1－h(huán)可以斷定，測試樣本不能被Δ－間隔超平面正確分類的概率有下面的界：

(2.2.6)

其中，，m是沒有被Δ－間隔超平面正確分類的訓(xùn)練樣本數(shù)目，h是VC維的界。2.2.3構(gòu)造最優(yōu)超平面

1.構(gòu)造線性可分最優(yōu)超平面

定義2.2.3(線性可分問題)考慮訓(xùn)練數(shù)據(jù),

，，若存在，和正數(shù)e，使得對所有使的下標(biāo)i，有；而對于所有使的下標(biāo)，有，則稱訓(xùn)練數(shù)據(jù)線性可分，同時稱相應(yīng)的分類問題是線性可分的[27]。

為了構(gòu)造最優(yōu)超平面，需要用系數(shù)的模最小的超平面把屬于兩個不同類的樣本集中的向量xi分開。為了得到這樣的超平面，需要在約束條件為

(2.2.7)

時最小化泛函為

(2.2.8)它的解由Lgarnage泛函的鞍點給出：

(2.2.9)

其中為Lagrnage乘子。在鞍點上，解必須滿足以下條件：

(2.2.10)進一步考慮式(2.2.10)可得到：

(1)對最優(yōu)超平面，系數(shù)必須滿足約束

(2.2.11)

(2)最優(yōu)超平面(向量)是訓(xùn)練集中的向量的線性組合：

(2.2.12)根據(jù)優(yōu)化理論的KKT(Kuarsh-Kuhn-Tukcer)條件，最優(yōu)超平面要滿足下面的等式：

(2.2.13)

將w0的表達式(支持向量展開式)代入Lgarnage泛函式(2.2.9)，考慮KKT條件，可以得到下面的泛函：

(2.2.14)問題變?yōu)樵诜秦?fù)象限

(2.2.15)

以約束條件

(2.2.16)

來最小化泛函式(2.2.14)。為了構(gòu)造最優(yōu)超平面，只需求解一個簡單的二次規(guī)劃。設(shè)是二次規(guī)劃的最優(yōu)解，與最優(yōu)超平面對應(yīng)的向量w0的模為

(2.2.17)

基于最優(yōu)超平面的分類規(guī)則就是下面的指示函數(shù)：

(2.2.18)常數(shù)b0可以由支持向量根據(jù)KKT條件得到：

(2.2.19)

其中，表示屬于第一類的某個支持向量，表示屬于第二類的某個支持向量[28]。

2.構(gòu)造線性不可分最優(yōu)超平面

為了在數(shù)據(jù)為線性不可分的情況下構(gòu)造最優(yōu)超平面，引入非負(fù)變量和函數(shù)，其中參數(shù)。

在約束條件

(2.2.20)

(2.2.21)

下最小化泛函。對于足夠小的，這個優(yōu)化問題的解定義了這樣一個超平面，它的參數(shù)屬于式(2.2.21)定義的子集，即由常數(shù)

所決定的結(jié)構(gòu)，它使得訓(xùn)練錯誤數(shù)最少。

3.構(gòu)造Δ-間隔分類超平面在約束條件為時

最大化泛函

(2.2.22)

4.構(gòu)造軟間隔超平面

(2.2.23)

只是約束條件略有不同：

(2.2.24)

2.3支?持?向?量?機

支持向量機實現(xiàn)了這樣的思想：通過某種事先選擇的非線性映射將輸入向量映射到一個高維特征空間Z，在這個空間中構(gòu)造最優(yōu)分類超平面，如圖2.3.1所示[13]。圖2.3.1支持向量機實現(xiàn)的思想2.3.1高維空間中的推廣能力

(2.3.1)

2.3.2核函數(shù)

在Hilbert空間中，內(nèi)積的一般表達式是

(2.3.2)

其中X是輸入空間中的向量x在特征空間中的映射，

稱為核函數(shù)(KernelFunction)。

定理2.3.2(Mercer定理)要保證L2下的對稱函數(shù)

能以正的系數(shù)展成

(2.3.3)

即描述了某個特征空間中的一個內(nèi)積，其充分必要條件是對使得的所有，以下條件成立：

(2.3.4)支持向量機中不同的核函數(shù)將形成不同的算法，目前研究最多的核函數(shù)主要有以下三類。

(1)多項式核函數(shù)：

(2.3.5)

其中q為自由度，所得到的是q階多項式分類器。

(2)徑向基函數(shù)(RBF)：

(2.3.6)

其中，g為形狀參數(shù)，所得分類器與傳統(tǒng)RBF方法的重要區(qū)別是，這里每個基函數(shù)中心對應(yīng)一個支持向量，它們及輸出權(quán)值都是由算法自動確定的。

(3)?Sigmoid函數(shù)：

(2.3.7)

其中，S(·)為Sigmoid函數(shù)，這時SVM實現(xiàn)的就是包含一個隱層的多層感知器，隱層節(jié)點數(shù)是由算法自動確定的，而且算法不存在困擾神經(jīng)網(wǎng)絡(luò)方法的局部極小點問題。2.3.3構(gòu)造支持向量機

根據(jù)核函數(shù)的理論，就可以構(gòu)造在輸入空間中的非線性決策函數(shù)：

(2.3.8)

其中SV是支持向量，式(2.3.8)等價于在高維特征空間

中的決策函數(shù)

(2.3.9)在線性可分的情況下，要求得系數(shù)，只需尋找下列泛函的最大值(式(2.3.10))：

(2.3.10)

其約束條件是：

(2.3.11)在線性不可分情況下，則在下列約束條件(式(2.3.12))下最大化泛函式(2.3.10)：

(2.3.12)使用式(2.3.8)類型的決策函數(shù)構(gòu)造的學(xué)習(xí)機器稱為支持向量機，構(gòu)造支持向量機的復(fù)雜度取決于支持向量的數(shù)目而非特征空間的維數(shù)。概括地說，支持向量機就是首先通過用內(nèi)積函數(shù)定義的非線性變換將輸入空間變換到一個高維空間，在這個空間中求(廣義)最優(yōu)分類面。SVM分類函數(shù)形式上類似于一個神經(jīng)網(wǎng)絡(luò)，輸出是中間節(jié)點的線性組合，每個中間節(jié)點對應(yīng)一個支持向量，如圖2.3.2所示。圖2.3.2支持向量機示意圖2.3.4支持向量分類機下面給出用數(shù)學(xué)語言描述的分類問題定義[27]。

定義2.3.1(兩類分類問題)給定訓(xùn)練集

(2.3.13)

其中，，。根據(jù)訓(xùn)練集尋找空間上的一個實值函數(shù)，使得決策函數(shù)

(2.3.14)

可推斷任一輸入x對應(yīng)的輸出y。圖2.3.3使用直線完全劃分的線性分類機圖2.3.4使用直線近似劃分的一般分類機圖2.3.5使用曲線劃分的一般分類機由訓(xùn)練集給出的分類問題可分為多種情況，由此對應(yīng)了使用支持向量機理論所構(gòu)造的多種分類機，線性硬間隔支持向量分類機處理的是線性可分問題。把它推廣改造于線性不可分問題有兩種方式：線性軟間隔支持向量分類機和非線性硬間隔支持向量分類機。綜合這兩種方式，便得到了非線性軟間隔支持向量分類機，即通常所說的C－支持向量分類機。幾種支持向量分類機的邏輯關(guān)系如圖2.3.6所示[27]。圖2.3.6幾種支持向量分類機的邏輯關(guān)系

定義2.3.2(多類分類問題)根據(jù)給定的訓(xùn)練集

(2.3.15)

其中，，，尋找一個決策函數(shù)f(x)：。2.3.5支持向量回歸機

首先給出一個簡單的回歸問題：考慮兩個量x和y的關(guān)系。設(shè)已測得若干個x值和其所對應(yīng)的y值：

(2.3.16)圖2.3.7簡單回歸問題的幾何示意

定義2.3.3(回歸問題)設(shè)給定訓(xùn)練集

(2.3.17)

其中，，。假定訓(xùn)練集是按

上的某個未知概率分布選取的獨立同分布的樣本點，又設(shè)給定損失函數(shù)，試尋求一個函數(shù)，使得期望風(fēng)險

(2.3.18)

達到極小[27]。

e－不敏感損失函數(shù)為

(2.3.19)當(dāng)然根據(jù)實際回歸問題的需要，我們還可以選擇其他類型的損失函數(shù)。不同的損失函數(shù)對應(yīng)不同類型的支持向量回歸機模型。下面簡單給出采用一般的損失函數(shù)時的支持向量回歸模型。為了和e-不敏感損失函數(shù)具有統(tǒng)一的形式，這里定義一般的損失函數(shù)為下面的形式：

(2.3.20)

其中，可以取不同的函數(shù)類型。采用非線性映射將樣本集映射到高維空間，然后用核函數(shù)代替高維空間中的內(nèi)積運算。于是，一般損失函數(shù)下的回歸問題為

(2.3.21)

約束為

(2.3.22)

(2.3.23)

(2.3.24)

其中，可取如下的形式。(1)拉普拉斯損失函數(shù)：