模式識別統(tǒng)計學(xué)習(xí)理論與支持向量機(jī)簡介模式識別統(tǒng)計學(xué)習(xí)理論與支持向量機(jī)簡介要點實例學(xué)習(xí)能力與推廣能力復(fù)雜性與推廣能力期望風(fēng)險最小化與期望風(fēng)險最小化支持向量機(jī)原理要點實例學(xué)習(xí)能力與推廣能力主要內(nèi)容統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容學(xué)習(xí)問題研究的四個階段人物簡介統(tǒng)計學(xué)習(xí)理論的理論介紹應(yīng)用領(lǐng)域網(wǎng)絡(luò)資源主要內(nèi)容統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容人的智慧：實例學(xué)習(xí)能力與推廣能力基于數(shù)據(jù)的機(jī)器學(xué)習(xí)問題：是現(xiàn)代智能技術(shù)中的重要方面研究通過對已知數(shù)據(jù)的學(xué)習(xí)，找到數(shù)據(jù)內(nèi)在的相互依賴關(guān)系，從而對未知數(shù)據(jù)的預(yù)測或?qū)π再|(zhì)進(jìn)行判斷統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容人的智慧：統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容目前機(jī)器學(xué)習(xí)方法存在的問題現(xiàn)有機(jī)器學(xué)習(xí)方法（模式識別、神經(jīng)網(wǎng)絡(luò)等）共同的理論基礎(chǔ)之一是統(tǒng)計學(xué)傳統(tǒng)統(tǒng)計學(xué)基礎(chǔ)是樣本數(shù)目趨于無窮大時的漸近理論,現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè)實際問題中,樣本數(shù)有限的,因此理論上優(yōu)秀的學(xué)習(xí)方法實際中表現(xiàn)不盡人意統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容目前機(jī)器學(xué)習(xí)方法存在的問題統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容統(tǒng)計學(xué)習(xí)理論：把學(xué)習(xí)問題看成是一個基于經(jīng)驗數(shù)據(jù)進(jìn)行函數(shù)估計的一般問題，研究關(guān)于學(xué)習(xí)和推廣性的統(tǒng)計理論的基本思想。針對小樣本情況研究統(tǒng)計學(xué)習(xí)規(guī)律的理論，核心思想是通過控制學(xué)習(xí)機(jī)器的容量實現(xiàn)對推廣能力的控制。SVM是基于統(tǒng)計學(xué)習(xí)理論而發(fā)明的一種工具。統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容統(tǒng)計學(xué)習(xí)理論：學(xué)習(xí)問題研究的四個階段第一個學(xué)習(xí)機(jī)器的創(chuàng)立（60年代）起源與20世紀(jì)30年代的Fisher理論沒有考慮歸納推斷問題，不屬于機(jī)器學(xué)習(xí)理論1962Rosenblatt第一個學(xué)習(xí)機(jī)器模型，感知器，感知器為神經(jīng)元選擇適當(dāng)?shù)南禂?shù)1962Novikoff關(guān)于感知器的第一個定理，學(xué)習(xí)理論的開始。學(xué)習(xí)問題研究的四個階段第一個學(xué)習(xí)機(jī)器的創(chuàng)立（60年代）學(xué)習(xí)問題研究的四個階段應(yīng)用分析學(xué)派認(rèn)為，使學(xué)習(xí)機(jī)器具有推廣能力的唯一因素是訓(xùn)練集誤差最小，這是不言而喻的；理論分析學(xué)派認(rèn)為需要更智能化的歸納原則。學(xué)習(xí)問題研究的四個階段應(yīng)用分析學(xué)派認(rèn)為，使學(xué)習(xí)機(jī)器具有推廣能學(xué)習(xí)問題研究的四個階段學(xué)習(xí)理論的創(chuàng)立（60~70年代）其它類型學(xué)習(xí)機(jī)器：Widrow的Madaline自適應(yīng)學(xué)習(xí)機(jī)；Steinbuch的學(xué)習(xí)矩陣等。作為解決實際問題的工具來研究，沒有作為學(xué)習(xí)現(xiàn)象的一般模型。為了解決實際問題的的各種邏輯函數(shù)程序（決策樹等）、隱馬爾可夫模型有沒有涉及一般學(xué)習(xí)現(xiàn)象的研究。

學(xué)習(xí)問題研究的四個階段學(xué)習(xí)理論的創(chuàng)立（60~70年代）學(xué)習(xí)問題研究的四個階段經(jīng)驗風(fēng)險最小化原則的理論：

1968Vapnik&Chervonenkis模式識別問題的VC熵和VC維概念；泛函空間的大數(shù)定律，得到收斂速度的非漸進(jìn)界；

1971Vapnik&Chervonenkis上述理論的證明，為結(jié)構(gòu)風(fēng)險最小化奠定基礎(chǔ)。

1976~1981，實函數(shù)集VC熵和VC維概念；大數(shù)定律、完全有界的函數(shù)集和無界函數(shù)集一致收斂速度的界，以及結(jié)構(gòu)風(fēng)險最小化原則。

學(xué)習(xí)問題研究的四個階段經(jīng)驗風(fēng)險最小化原則的理論：學(xué)習(xí)問題研究的四個階段

1989Vapnik&Chervonenkis經(jīng)驗風(fēng) 險最小化歸納原則和最大似然方法的一致 性的充分條件。90年代，能夠控制推廣 性能的新學(xué)習(xí)機(jī)器的合成，SVM學(xué)習(xí)問題研究的四個階段 1989Vapnik&Che學(xué)習(xí)問題研究的四個階段

解決不適定問題的理論：Tikhonov,Ivanov和Phillips發(fā)現(xiàn)解決不適定問題的正則化原則。密度估計的非參數(shù)方法：Parzen，Rosenblatt和Chentsov發(fā)現(xiàn)的非參數(shù)統(tǒng)計學(xué)。算法復(fù)雜度思想：Kolmogorov，Solomonoff和Chaitin發(fā)現(xiàn)的算法復(fù)雜性及其與歸納推理的關(guān)系。

學(xué)習(xí)問題研究的四個階段 學(xué)習(xí)問題研究的四個階段神經(jīng)網(wǎng)絡(luò)的創(chuàng)立（80年代）1986LeCun，Rumelhart，Hinton和Williams多層感知器的后向傳播算法三個失?。ㄗ匀徽Z言翻譯，通用問題求解器，大系統(tǒng)自動控制機(jī)）理論分析目標(biāo)的簡化,強(qiáng)調(diào)復(fù)雜理論無用，提倡簡單的算法術(shù)語改變（感知器-神經(jīng)網(wǎng)絡(luò)）；與生理學(xué)家合作；構(gòu)造利用大腦來推廣的模型。1984可能近似正確（probablyapproximatelycorrect，PAC）模型，統(tǒng)計分析用于人工智能領(lǐng)域。學(xué)習(xí)問題研究的四個階段神經(jīng)網(wǎng)絡(luò)的創(chuàng)立（80年代）學(xué)習(xí)問題研究的四個階段回到起點（90年代）統(tǒng)計學(xué)習(xí)理論開始吸引更多學(xué)者結(jié)構(gòu)風(fēng)險最小化原則和最小描述長度原則成為一個研究熱點小樣本數(shù)理論開始展開。開始研究對任意數(shù)目的觀測，如何得到最高的推廣能力。學(xué)習(xí)問題研究的四個階段回到起點（90年代）人物簡介VladimirVapnik：1958年碩士畢業(yè)于蘇聯(lián)烏茲別克的UzbekStateUniversity1961~1990莫斯科控制科學(xué)研究所，計算機(jī)科學(xué)研究處的負(fù)責(zé)人AT&T實驗室研究中心的技術(shù)領(lǐng)導(dǎo)；倫敦大學(xué)教授

人物簡介VladimirVapnik：理論介紹:機(jī)器學(xué)習(xí)的基本問題機(jī)器學(xué)習(xí)問題表示

根據(jù)n個獨立同分布觀測樣本:(x1,y1),(x2,y2),…,(xn,yn),

在一組函數(shù)中求一個最優(yōu)的函數(shù)對依賴關(guān)系進(jìn)行估計,使期望風(fēng)險 最小理論介紹:機(jī)器學(xué)習(xí)的基本問題機(jī)器學(xué)習(xí)問題表示理論介紹:機(jī)器學(xué)習(xí)的基本問題經(jīng)驗風(fēng)險最小化 學(xué)習(xí)的目標(biāo)在于使期望風(fēng)險最小化，傳統(tǒng)的學(xué)習(xí)方法中采用了所謂經(jīng)驗風(fēng)險最小化(ERM)準(zhǔn)則,即用樣本定義經(jīng)驗風(fēng)險

作為對期望風(fēng)險的估計,設(shè)計學(xué)習(xí)算法使它最小化用ERM準(zhǔn)則代替期望風(fēng)險最小化沒有充分的理論論證理論介紹:機(jī)器學(xué)習(xí)的基本問題經(jīng)驗風(fēng)險最小化理論介紹:機(jī)器學(xué)習(xí)的基本問題復(fù)雜性與推廣能力過學(xué)習(xí)問題過學(xué)習(xí)現(xiàn)象原因：一是因為樣本不充分,二是學(xué)習(xí)機(jī)器設(shè)計不合理,這兩個問題是互相關(guān)聯(lián)的。一個簡單的例子,假設(shè)有一組實數(shù)樣本{x,y},y取值在[0,1]之間,那么不論樣本是依據(jù)什么模型產(chǎn)生的,只要用函數(shù)f(x,α)=sin(αx)去擬合它們(α是待定參數(shù)),總能夠找到一個α使訓(xùn)練誤差為零由此可看出,有限樣本情況下,1)經(jīng)驗風(fēng)險最小并不一定意味著期望風(fēng)險最小;2)學(xué)習(xí)機(jī)器的復(fù)雜性不但應(yīng)與所研究的系統(tǒng)有關(guān),而且要和有限數(shù)目的樣本相適應(yīng)理論介紹:機(jī)器學(xué)習(xí)的基本問題復(fù)雜性與推廣能力第13章-統(tǒng)計學(xué)習(xí)理論與支持機(jī)簡介課件統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容統(tǒng)計學(xué)習(xí)理論就是研究小樣本統(tǒng)計估計和預(yù)測的理論,主要內(nèi)容包括四個方面:1)經(jīng)驗風(fēng)險最小化準(zhǔn)則下統(tǒng)計學(xué)習(xí)一致性的條件;2)在這些條件下關(guān)于統(tǒng)計學(xué)習(xí)方法推廣性的界的結(jié)論;3)在這些界的基礎(chǔ)上建立的小樣本歸納推理準(zhǔn)則;4)實現(xiàn)新的準(zhǔn)則的實際方法(算法).其中,最有指導(dǎo)性的理論結(jié)果是推廣性的界,與此相關(guān)的一個核心概念是VC維.統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容統(tǒng)計學(xué)習(xí)理論就是研究小樣本統(tǒng)計估計和預(yù)統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容VC維直觀定義:對一個指示函數(shù)集,如果存在h個樣本能夠被函數(shù)集中的函數(shù)按所有可能的種形式分開,則稱函數(shù)集能夠把h個樣本打散;函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h例如，n維實數(shù)空間中線性分類器和線性實函數(shù)的VC維是n+1；f(x,α)=sin(αx)的VC維則為無窮大VC維反映了函數(shù)集的學(xué)習(xí)能力,VC維越大則學(xué)習(xí)機(jī)器越復(fù)雜(容量越大)尚沒有通用的關(guān)于任意函數(shù)集VC維計算的理論統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容VC維統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容推廣性的界經(jīng)驗風(fēng)險和實際風(fēng)險之間以至少1-η的概率滿足如下關(guān)系該結(jié)論從理論上說明學(xué)習(xí)機(jī)器的實際風(fēng)險是由兩部分組成的:一是經(jīng)驗風(fēng)險(訓(xùn)練誤差),另一部分稱作置信范圍,它和學(xué)習(xí)機(jī)器的VC維及訓(xùn)練樣本數(shù)有關(guān)它表明,在有限訓(xùn)練樣本下,學(xué)習(xí)機(jī)器的VC維越高(復(fù)雜性越高)則置信范圍越大,導(dǎo)致真實風(fēng)險與經(jīng)驗風(fēng)險之間可能的差別越大統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容推廣性的界理論介紹:機(jī)器學(xué)習(xí)的基本問題結(jié)構(gòu)風(fēng)險最小化經(jīng)驗風(fēng)險原則在樣本有限時是不合理的,我們需要同時最小化經(jīng)驗風(fēng)險和置信范圍在傳統(tǒng)方法中,選擇學(xué)習(xí)模型和算法的過程就是調(diào)整置信范圍的過程.因為缺乏理論指導(dǎo),這種選擇過分依賴使用者“技巧”結(jié)構(gòu)風(fēng)險最小化(StructuralRiskMinimization或譯有序風(fēng)險最小化)即SRM準(zhǔn)則實現(xiàn)SRM原則可以有兩種思路: 1）在每個子集中求最小經(jīng)驗風(fēng)險,然后選擇使最小經(jīng)驗風(fēng)險和置信范圍之和最小的子集;理論介紹:機(jī)器學(xué)習(xí)的基本問題結(jié)構(gòu)風(fēng)險最小化第13章-統(tǒng)計學(xué)習(xí)理論與支持機(jī)簡介課件理論介紹:機(jī)器學(xué)習(xí)的基本問題 2）設(shè)計函數(shù)集的某種結(jié)構(gòu)使每個子集中都能取得最小的經(jīng)驗風(fēng)險(如使訓(xùn)練誤差為0),然后只需選擇選擇適當(dāng)?shù)淖蛹怪眯欧秶钚±碚摻榻B:機(jī)器學(xué)習(xí)的基本問題 2）設(shè)計函數(shù)集的某種結(jié)構(gòu)使每支持向量機(jī)核心內(nèi)容是在1992到1995年間提出的廣義最優(yōu)分類面SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來的基本思想可用兩維情況說明：所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(訓(xùn)練錯誤率為0),而且使分類間隔最大.使分類間隔最大實際上就是對推廣能力的控制,這是SVM的核心思想之一支持向量機(jī)核心內(nèi)容是在1992到1995年間提出的第13章-統(tǒng)計學(xué)習(xí)理論與支持機(jī)簡介課件支持向量機(jī)公式表示最優(yōu)超平面：假定訓(xùn)練數(shù)據(jù)(x1,y1)…(xl,yl),y=+1或-1可以被超平面分開。則，可以得到下面的緊湊形式表示的不等式： 使最小化的就是最優(yōu)超平面支持向量機(jī)公式表示最優(yōu)超平面：假定訓(xùn)練數(shù)據(jù)(x1,y1)…支持向量機(jī)拉格朗日函數(shù)對w和b求偏導(dǎo)數(shù)代入L函數(shù)，消去w和b支持向量機(jī)拉格朗日函數(shù)對w和b求偏導(dǎo)數(shù)代入L函數(shù)，消去w和b支持向量機(jī)最終的分類函數(shù)為： 其中：支持向量機(jī)最終的分類函數(shù)為：支持向量機(jī)支持向量機(jī)對非線性問題,可以通過非線性變換轉(zhuǎn)化為某個高維空間中的線性問題在最優(yōu)分類面中采用適當(dāng)?shù)膬?nèi)積函數(shù)K(xi,xj)取代點積，就可以實現(xiàn)某一非線性變換后的線性分類支持向量機(jī)支持向量機(jī)支持向量機(jī)高維空間的推廣：支持向量機(jī)高維空間的推廣：SVM與神經(jīng)網(wǎng)絡(luò)的類似性SVM與神經(jīng)網(wǎng)絡(luò)的類似性支持向量機(jī)核函數(shù)有三類多項式核函數(shù)，所得到q階多項式分類器徑向基函數(shù)(RBF)所得分類器采用Sigmoid函數(shù)作為內(nèi)積

支持向量機(jī)核函數(shù)有三類支持向量機(jī)收斂算法標(biāo)準(zhǔn)chunking算法(投影共軛梯度PCG,二次的動態(tài)規(guī)劃)分解算法SMO算法

支持向量機(jī)收斂算法應(yīng)用領(lǐng)域模式識別方面貝爾實驗室對美國郵政手寫數(shù)字庫進(jìn)行的實驗 人工識別錯誤率2.5%

決策樹錯誤率16.2%

兩層神經(jīng)網(wǎng)絡(luò)錯誤率5.9%

五層神經(jīng)網(wǎng)絡(luò)錯誤率為5.1%

應(yīng)用領(lǐng)域模式識別方面應(yīng)用領(lǐng)域

三種SVM方法(不同核函數(shù))得到的錯誤率分別為4.0%、4.1%和4.2%

直接采用了16×16的字符點陣作為SVM的輸入,并沒有進(jìn)行專門的特征提取說明:

不同的SVM方法可以得到性能相近的結(jié)果 三種SVM求出的支持向量中有80%以上是重合的應(yīng)用領(lǐng)域 三種SVM方法(不同核函數(shù))得到的錯誤率分別應(yīng)用領(lǐng)域SVM與神經(jīng)網(wǎng)絡(luò)相結(jié)合對筆跡進(jìn)行在線適應(yīng)MIT用SVM進(jìn)行的人臉檢測實驗也取得了較好的效果可以較好地學(xué)會在圖像中找出可能的人臉位置人臉識別、三維物體識別用于識別的主動學(xué)習(xí)、基于支撐向量機(jī)的說話人確認(rèn)系統(tǒng)、基于支持向量機(jī)與無監(jiān)督聚類相結(jié)合的中文網(wǎng)頁分類器、特征提取、特征選擇和學(xué)習(xí)目標(biāo)檢測、遙感圖像分析、圖像分類、基于支持向量機(jī)的相關(guān)反饋圖像檢索算法應(yīng)用領(lǐng)域SVM與神經(jīng)網(wǎng)絡(luò)相結(jié)合對筆跡進(jìn)行在線適應(yīng)應(yīng)用領(lǐng)域非線性時間序列預(yù)測支撐向量決策樹用于數(shù)據(jù)倉庫、數(shù)據(jù)濃縮在函數(shù)擬合方面,主要實驗尚屬于原理性研究,包括函數(shù)逼近、時間序列預(yù)測及數(shù)據(jù)壓縮等其它有關(guān)研究還有對SVM中優(yōu)化算法實現(xiàn)的研究、改進(jìn)的SVM方法甚至硬件實現(xiàn)研究等應(yīng)用領(lǐng)域非線性時間序列預(yù)測網(wǎng)絡(luò)資源//nips97/book.html/isabelle/Projects/SVM/applist.htmlhttp://kiew.cs.uni-dortmund.de:8001/mlnet/instances/81d91eaae1752fe0be/~jplatt/svm.htmlhttp://www.dcs.rhbnc.ac.uk/research/compint/areas/comp_learn/sv/index.shtml/projects/cbcl/res-area/theory/index-theory-learning.html網(wǎng)絡(luò)資源http://www.kernel-machinesSupportVectors源程序Nearest

PointAlgorithm.bySathiyaKeerthi(inFORTRAN).SVM

JavaApplet.byChrisBurgesetal.BSVM.Adecompositionmethodforbound-constrainedSVMformulations.QP

SVMClassificationandRegression.FortranImplementation.ChunkingCode.byC.Saunders,M.O.Stitson,J.Weston,L.Bottou,B.Sch?lkopf,andA.SmolaatRoyalHolloway,AT&T,andGMDFIRST(Documentation).InteriorPoint

OptimizerforSVMPattern

Recognition.byAlexSmola.HeroSvm1.0.AhighperformanceDLLfortrainingSVMonaverylargetrainingsetefficiently.LEARNSC.SVM,NNandFLMATLABbaseduser-friendlyroutines.LIBSVM.AnSVMlibrarywithagraphicinterface.looms.aleave-one-outmodelselectionsoftwarebasedonBSVM.M-SVM.Multi-classsupportvectormachineforverylargeproblems.SupportVectors源程序SupportVectors源程序M-SVM.Multi-classsupportvectormachineforverylargeproblems.mySVM.SVMimplementationforpatternrecognitionandregression.mySVMandSVMlightforWindows.SVMimplementationforWindows,usesMicrosoftVisualC++6.0.mySVM/db.SVMimplementationtoberuninsideadatabase.Sequential

MinimalOptimization.byXianpingGe.SMOBR.SMOBRisanimplementationoftheoriginalSequentialMinimalOptimisationproposedbyPlattwritteninC++.SvmFu.byRyanRifkin.SVMLight.byThorstenJoachims.SVM/LOO.MatlabcodeforSVMincrementallearninganddecrementalunlearning(LOOvalidation).SVM/optima.SVMQProutinesinFortranforclassification/regression.SVMTorch.SupportVectorMachineforLarge-ScaleRegressionandClassificationProblems.Matlab

SVMToolbox.bySteveGunn.Matlab

SVMToolbox.MatlabimplementationinthestyleofSVMlight,cantrain1-normand2-normSVMs.OSUSVMClassifier

MatlabToolbox.AmatlabtoolboxwithaC++mexcoretofastimplementtheSVMclassifiers.SVMToolbox.ObjectOrientedMATLABSupportVectorMachineToolbox,includingC++MEXimplementationofthesequentialminimaloptimisationalgorithm.WinSVM.SVMprogramforrunningunderWindows.ItusesSMOalgorithm,soitisveryfastandeasytouse.WinSVM.SVMforwindows,easytouse.SupportVectors源程序模式識別統(tǒng)計學(xué)習(xí)理論與支持向量機(jī)簡介模式識別統(tǒng)計學(xué)習(xí)理論與支持向量機(jī)簡介要點實例學(xué)習(xí)能力與推廣能力復(fù)雜性與推廣能力期望風(fēng)險最小化與期望風(fēng)險最小化支持向量機(jī)原理要點實例學(xué)習(xí)能力與推廣能力主要內(nèi)容統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容學(xué)習(xí)問題研究的四個階段人物簡介統(tǒng)計學(xué)習(xí)理論的理論介紹應(yīng)用領(lǐng)域網(wǎng)絡(luò)資源主要內(nèi)容統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容人的智慧：實例學(xué)習(xí)能力與推廣能力基于數(shù)據(jù)的機(jī)器學(xué)習(xí)問題：是現(xiàn)代智能技術(shù)中的重要方面研究通過對已知數(shù)據(jù)的學(xué)習(xí)，找到數(shù)據(jù)內(nèi)在的相互依賴關(guān)系，從而對未知數(shù)據(jù)的預(yù)測或?qū)π再|(zhì)進(jìn)行判斷統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容人的智慧：統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容目前機(jī)器學(xué)習(xí)方法存在的問題現(xiàn)有機(jī)器學(xué)習(xí)方法（模式識別、神經(jīng)網(wǎng)絡(luò)等）共同的理論基礎(chǔ)之一是統(tǒng)計學(xué)傳統(tǒng)統(tǒng)計學(xué)基礎(chǔ)是樣本數(shù)目趨于無窮大時的漸近理論,現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè)實際問題中,樣本數(shù)有限的,因此理論上優(yōu)秀的學(xué)習(xí)方法實際中表現(xiàn)不盡人意統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容目前機(jī)器學(xué)習(xí)方法存在的問題統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容統(tǒng)計學(xué)習(xí)理論：把學(xué)習(xí)問題看成是一個基于經(jīng)驗數(shù)據(jù)進(jìn)行函數(shù)估計的一般問題，研究關(guān)于學(xué)習(xí)和推廣性的統(tǒng)計理論的基本思想。針對小樣本情況研究統(tǒng)計學(xué)習(xí)規(guī)律的理論，核心思想是通過控制學(xué)習(xí)機(jī)器的容量實現(xiàn)對推廣能力的控制。SVM是基于統(tǒng)計學(xué)習(xí)理論而發(fā)明的一種工具。統(tǒng)計學(xué)習(xí)理論的研究內(nèi)容統(tǒng)計學(xué)習(xí)理論：學(xué)習(xí)問題研究的四個階段第一個學(xué)習(xí)機(jī)器的創(chuàng)立（60年代）起源與20世紀(jì)30年代的Fisher理論沒有考慮歸納推斷問題，不屬于機(jī)器學(xué)習(xí)理論1962Rosenblatt第一個學(xué)習(xí)機(jī)器模型，感知器，感知器為神經(jīng)元選擇適當(dāng)?shù)南禂?shù)1962Novikoff關(guān)于感知器的第一個定理，學(xué)習(xí)理論的開始。學(xué)習(xí)問題研究的四個階段第一個學(xué)習(xí)機(jī)器的創(chuàng)立（60年代）學(xué)習(xí)問題研究的四個階段應(yīng)用分析學(xué)派認(rèn)為，使學(xué)習(xí)機(jī)器具有推廣能力的唯一因素是訓(xùn)練集誤差最小，這是不言而喻的；理論分析學(xué)派認(rèn)為需要更智能化的歸納原則。學(xué)習(xí)問題研究的四個階段應(yīng)用分析學(xué)派認(rèn)為，使學(xué)習(xí)機(jī)器具有推廣能學(xué)習(xí)問題研究的四個階段學(xué)習(xí)理論的創(chuàng)立（60~70年代）其它類型學(xué)習(xí)機(jī)器：Widrow的Madaline自適應(yīng)學(xué)習(xí)機(jī)；Steinbuch的學(xué)習(xí)矩陣等。作為解決實際問題的工具來研究，沒有作為學(xué)習(xí)現(xiàn)象的一般模型。為了解決實際問題的的各種邏輯函數(shù)程序（決策樹等）、隱馬爾可夫模型有沒有涉及一般學(xué)習(xí)現(xiàn)象的研究。

學(xué)習(xí)問題研究的四個階段學(xué)習(xí)理論的創(chuàng)立（60~70年代）學(xué)習(xí)問題研究的四個階段經(jīng)驗風(fēng)險最小化原則的理論：

1968Vapnik&Chervonenkis模式識別問題的VC熵和VC維概念；泛函空間的大數(shù)定律，得到收斂速度的非漸進(jìn)界；

1971Vapnik&Chervonenkis上述理論的證明，為結(jié)構(gòu)風(fēng)險最小化奠定基礎(chǔ)。

1976~1981，實函數(shù)集VC熵和VC維概念；大數(shù)定律、完全有界的函數(shù)集和無界函數(shù)集一致收斂速度的界，以及結(jié)構(gòu)風(fēng)險最小化原則。

學(xué)習(xí)問題研究的四個階段經(jīng)驗風(fēng)險最小化原則的理論：學(xué)習(xí)問題研究的四個階段

1989Vapnik&Chervonenkis經(jīng)驗風(fēng) 險最小化歸納原則和最大似然方法的一致 性的充分條件。90年代，能夠控制推廣 性能的新學(xué)習(xí)機(jī)器的合成，SVM學(xué)習(xí)問題研究的四個階段 1989Vapnik&Che學(xué)習(xí)問題研究的四個階段

解決不適定問題的理論：Tikhonov,Ivanov和Phillips發(fā)現(xiàn)解決不適定問題的正則化原則。密度估計的非參數(shù)方法：Parzen，Rosenblatt和Chentsov發(fā)現(xiàn)的非參數(shù)統(tǒng)計學(xué)。算法復(fù)雜度思想：Kolmogorov，Solomonoff和Chaitin發(fā)現(xiàn)的算法復(fù)雜性及其與歸納推理的關(guān)系。

學(xué)習(xí)問題研究的四個階段 學(xué)習(xí)問題研究的四個階段神經(jīng)網(wǎng)絡(luò)的創(chuàng)立（80年代）1986LeCun，Rumelhart，Hinton和Williams多層感知器的后向傳播算法三個失?。ㄗ匀徽Z言翻譯，通用問題求解器，大系統(tǒng)自動控制機(jī)）理論分析目標(biāo)的簡化,強(qiáng)調(diào)復(fù)雜理論無用，提倡簡單的算法術(shù)語改變（感知器-神經(jīng)網(wǎng)絡(luò)）；與生理學(xué)家合作；構(gòu)造利用大腦來推廣的模型。1984可能近似正確（probablyapproximatelycorrect，PAC）模型，統(tǒng)計分析用于人工智能領(lǐng)域。學(xué)習(xí)問題研究的四個階段神經(jīng)網(wǎng)絡(luò)的創(chuàng)立（80年代）學(xué)習(xí)問題研究的四個階段回到起點（90年代）統(tǒng)計學(xué)習(xí)理論開始吸引更多學(xué)者結(jié)構(gòu)風(fēng)險最小化原則和最小描述長度原則成為一個研究熱點小樣本數(shù)理論開始展開。開始研究對任意數(shù)目的觀測，如何得到最高的推廣能力。學(xué)習(xí)問題研究的四個階段回到起點（90年代）人物簡介VladimirVapnik：1958年碩士畢業(yè)于蘇聯(lián)烏茲別克的UzbekStateUniversity1961~1990莫斯科控制科學(xué)研究所，計算機(jī)科學(xué)研究處的負(fù)責(zé)人AT&T實驗室研究中心的技術(shù)領(lǐng)導(dǎo)；倫敦大學(xué)教授

人物簡介VladimirVapnik：理論介紹:機(jī)器學(xué)習(xí)的基本問題機(jī)器學(xué)習(xí)問題表示

根據(jù)n個獨立同分布觀測樣本:(x1,y1),(x2,y2),…,(xn,yn),

在一組函數(shù)中求一個最優(yōu)的函數(shù)對依賴關(guān)系進(jìn)行估計,使期望風(fēng)險 最小理論介紹:機(jī)器學(xué)習(xí)的基本問題機(jī)器學(xué)習(xí)問題表示理論介紹:機(jī)器學(xué)習(xí)的基本問題經(jīng)驗風(fēng)險最小化 學(xué)習(xí)的目標(biāo)在于使期望風(fēng)險最小化，傳統(tǒng)的學(xué)習(xí)方法中采用了所謂經(jīng)驗風(fēng)險最小化(ERM)準(zhǔn)則,即用樣本定義經(jīng)驗風(fēng)險

作為對期望風(fēng)險的估計,設(shè)計學(xué)習(xí)算法使它最小化用ERM準(zhǔn)則代替期望風(fēng)險最小化沒有充分的理論論證理論介紹:機(jī)器學(xué)習(xí)的基本問題經(jīng)驗風(fēng)險最小化理論介紹:機(jī)器學(xué)習(xí)的基本問題復(fù)雜性與推廣能力過學(xué)習(xí)問題過學(xué)習(xí)現(xiàn)象原因：一是因為樣本不充分,二是學(xué)習(xí)機(jī)器設(shè)計不合理,這兩個問題是互相關(guān)聯(lián)的。一個簡單的例子,假設(shè)有一組實數(shù)樣本{x,y},y取值在[0,1]之間,那么不論樣本是依據(jù)什么模型產(chǎn)生的,只要用函數(shù)f(x,α)=sin(αx)去擬合它們(α是待定參數(shù)),總能夠找到一個α使訓(xùn)練誤差為零由此可看出,有限樣本情況下,1)經(jīng)驗風(fēng)險最小并不一定意味著期望風(fēng)險最小;2)學(xué)習(xí)機(jī)器的復(fù)雜性不但應(yīng)與所研究的系統(tǒng)有關(guān),而且要和有限數(shù)目的樣本相適應(yīng)理論介紹:機(jī)器學(xué)習(xí)的基本問題復(fù)雜性與推廣能力第13章-統(tǒng)計學(xué)習(xí)理論與支持機(jī)簡介課件統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容統(tǒng)計學(xué)習(xí)理論就是研究小樣本統(tǒng)計估計和預(yù)測的理論,主要內(nèi)容包括四個方面:1)經(jīng)驗風(fēng)險最小化準(zhǔn)則下統(tǒng)計學(xué)習(xí)一致性的條件;2)在這些條件下關(guān)于統(tǒng)計學(xué)習(xí)方法推廣性的界的結(jié)論;3)在這些界的基礎(chǔ)上建立的小樣本歸納推理準(zhǔn)則;4)實現(xiàn)新的準(zhǔn)則的實際方法(算法).其中,最有指導(dǎo)性的理論結(jié)果是推廣性的界,與此相關(guān)的一個核心概念是VC維.統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容統(tǒng)計學(xué)習(xí)理論就是研究小樣本統(tǒng)計估計和預(yù)統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容VC維直觀定義:對一個指示函數(shù)集,如果存在h個樣本能夠被函數(shù)集中的函數(shù)按所有可能的種形式分開,則稱函數(shù)集能夠把h個樣本打散;函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h例如，n維實數(shù)空間中線性分類器和線性實函數(shù)的VC維是n+1；f(x,α)=sin(αx)的VC維則為無窮大VC維反映了函數(shù)集的學(xué)習(xí)能力,VC維越大則學(xué)習(xí)機(jī)器越復(fù)雜(容量越大)尚沒有通用的關(guān)于任意函數(shù)集VC維計算的理論統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容VC維統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容推廣性的界經(jīng)驗風(fēng)險和實際風(fēng)險之間以至少1-η的概率滿足如下關(guān)系該結(jié)論從理論上說明學(xué)習(xí)機(jī)器的實際風(fēng)險是由兩部分組成的:一是經(jīng)驗風(fēng)險(訓(xùn)練誤差),另一部分稱作置信范圍,它和學(xué)習(xí)機(jī)器的VC維及訓(xùn)練樣本數(shù)有關(guān)它表明,在有限訓(xùn)練樣本下,學(xué)習(xí)機(jī)器的VC維越高(復(fù)雜性越高)則置信范圍越大,導(dǎo)致真實風(fēng)險與經(jīng)驗風(fēng)險之間可能的差別越大統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容推廣性的界理論介紹:機(jī)器學(xué)習(xí)的基本問題結(jié)構(gòu)風(fēng)險最小化經(jīng)驗風(fēng)險原則在樣本有限時是不合理的,我們需要同時最小化經(jīng)驗風(fēng)險和置信范圍在傳統(tǒng)方法中,選擇學(xué)習(xí)模型和算法的過程就是調(diào)整置信范圍的過程.因為缺乏理論指導(dǎo),這種選擇過分依賴使用者“技巧”結(jié)構(gòu)風(fēng)險最小化(StructuralRiskMinimization或譯有序風(fēng)險最小化)即SRM準(zhǔn)則實現(xiàn)SRM原則可以有兩種思路: 1）在每個子集中求最小經(jīng)驗風(fēng)險,然后選擇使最小經(jīng)驗風(fēng)險和置信范圍之和最小的子集;理論介紹:機(jī)器學(xué)習(xí)的基本問題結(jié)構(gòu)風(fēng)險最小化第13章-統(tǒng)計學(xué)習(xí)理論與支持機(jī)簡介課件理論介紹:機(jī)器學(xué)習(xí)的基本問題 2）設(shè)計函數(shù)集的某種結(jié)構(gòu)使每個子集中都能取得最小的經(jīng)驗風(fēng)險(如使訓(xùn)練誤差為0),然后只需選擇選擇適當(dāng)?shù)淖蛹怪眯欧秶钚±碚摻榻B:機(jī)器學(xué)習(xí)的基本問題 2）設(shè)計函數(shù)集的某種結(jié)構(gòu)使每支持向量機(jī)核心內(nèi)容是在1992到1995年間提出的廣義最優(yōu)分類面SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來的基本思想可用兩維情況說明：所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(訓(xùn)練錯誤率為0),而且使分類間隔最大.使分類間隔最大實際上就是對推廣能力的控制,這是SVM的核心思想之一支持向量機(jī)核心內(nèi)容是在1992到1995年間提出的第13章-統(tǒng)計學(xué)習(xí)理論與支持機(jī)簡介課件支持向量機(jī)公式表示最優(yōu)超平面：假定訓(xùn)練數(shù)據(jù)(x1,y1)…(xl,yl),y=+1或-1可以被超平面分開。則，可以得到下面的緊湊形式表示的不等式： 使最小化的就是最優(yōu)超平面支持向量機(jī)公式表示最優(yōu)超平面：假定訓(xùn)練數(shù)據(jù)(x1,y1)…支持向量機(jī)拉格朗日函數(shù)對w和b求偏導(dǎo)數(shù)代入L函數(shù)，消去w和b支持向量機(jī)拉格朗日函數(shù)對w和b求偏導(dǎo)數(shù)代入L函數(shù)，消去w和b支持向量機(jī)最終的分類函數(shù)為： 其中：支持向量機(jī)最終的分類函數(shù)為：支持向量機(jī)支持向量機(jī)對非線性問題,可以通過非線性變換轉(zhuǎn)化為某個高維空間中的線性問題在最優(yōu)分類面中采用適當(dāng)?shù)膬?nèi)積函數(shù)K(xi,xj)取代點積，就可以實現(xiàn)某一非線性變換后的線性分類支持向量機(jī)支持向量機(jī)支持向量機(jī)高維空間的推廣：支持向量機(jī)高維空間的推廣：SVM與神經(jīng)網(wǎng)絡(luò)的類似性SVM與神經(jīng)網(wǎng)絡(luò)的類似性支持向量機(jī)核函數(shù)有三類多項式核函數(shù)，所得到q階多項式分類器徑向基函數(shù)(RBF)所得分類器采用Sigmoid函數(shù)作為內(nèi)積

支持向量機(jī)核函數(shù)有三類支持向量機(jī)收斂算法標(biāo)準(zhǔn)chunking算法(投影共軛梯度PCG,二次的動態(tài)規(guī)劃)分解算法SMO算法

支持向量機(jī)收斂算法應(yīng)用領(lǐng)域模式識別方面貝爾實驗室對美國郵政手寫數(shù)字庫進(jìn)行的實驗 人工識別錯誤率2.5%

決策樹錯誤率16.2%

兩層神經(jīng)網(wǎng)絡(luò)錯誤率5.9%

五層神經(jīng)網(wǎng)絡(luò)錯誤率為5.1%

應(yīng)用領(lǐng)域模式識別方面應(yīng)用領(lǐng)域

三種SVM方法(不同核函數(shù))得到的錯誤率分別為4.0%、4.1%和4.2%

直接采用了16×16的字符點陣作為SVM的輸入,并沒有進(jìn)行專門的特征提取說明:

不同的SVM方法可以得到性能相近的結(jié)果 三種SVM求出的支持向量中有80%以上是重合的應(yīng)用領(lǐng)域 三種SVM方法(不同核函數(shù))得到的錯誤率分別應(yīng)用領(lǐng)域SVM與神經(jīng)網(wǎng)絡(luò)相結(jié)合對筆跡進(jìn)行在線適應(yīng)MIT用SVM進(jìn)行的人臉檢測實驗也取得了較好的效果可以較好地學(xué)會在圖像中找出可能的人臉位置人臉識別、三維物體識別用于識別的主動學(xué)習(xí)、基于支撐向量機(jī)的說話人確認(rèn)系統(tǒng)、基于支持向量機(jī)與無監(jiān)督聚類相結(jié)合的中文網(wǎng)頁分類器、特征提取、特征選擇和學(xué)習(xí)目標(biāo)檢測、遙感圖像分析、圖像分類、基于支持向量機(jī)的相關(guān)反饋圖像檢索算法應(yīng)用領(lǐng)域SVM與神經(jīng)網(wǎng)絡(luò)相結(jié)合對筆跡進(jìn)行在線適應(yīng)應(yīng)用領(lǐng)域非線性時間序列預(yù)測支撐向量決策樹用于數(shù)據(jù)倉庫、數(shù)據(jù)濃縮在函數(shù)擬合方面,主要實驗尚屬于原理性研究,包括函數(shù)逼近、時間序列預(yù)測及數(shù)據(jù)壓縮等其它有關(guān)研究還有對SVM中優(yōu)化算法實現(xiàn)的研究、改進(jìn)的SVM方法甚至硬件實現(xiàn)研究等應(yīng)用領(lǐng)域非線性時間序列預(yù)測網(wǎng)絡(luò)資源//nips97/book.html/isabelle/Projects/SVM/applist.htmlhttp://kiew.cs.uni-dortmund.de:8001/mlnet/instances/81d91eaae1752fe0be/~jplatt/svm.htmlhttp://www.dcs.rhbnc.ac.uk/research/compint/areas/comp_learn/sv/index.shtml/projects/cbcl/res-area/theory/index-theory-learning.html網(wǎng)絡(luò)資源http://www.kernel-machinesSupportVectors源程序Nearest

PointAlgorithm.bySathiyaKeerthi(inFORTRAN).SVM

JavaApplet.byChrisBurgesetal.BSVM.Adecompositionmethodforbound-constrainedSVMformulations.QP

SVMClassificationandRegression.FortranImplementation.ChunkingCode.byC.Saunders,M.O.Stitson,J.Weston,L.Bottou,B.Sch?lkopf,andA.SmolaatRoyalHolloway,AT&T,andGMDFIRST(Documentation).InteriorPoint

OptimizerforSVMPattern

Recognition.byAlexSmola.HeroSvm1.0.AhighperformanceDLLfortrainingSVMonaverylargetrainingsetefficiently.LEARNSC.S