1、西安郵電大學(xué)畢業(yè)設(shè)計（翻譯）目:經(jīng)過無約束凸極小化培訓(xùn)拉格朗雙支持向量回歸院（系）： 理學(xué)院 專 業(yè)： 信息與計算科學(xué) 班 級： 信息1101班 學(xué)生姓名： 郗磊 導(dǎo)師姓名： 職稱：畐I教授起止時間：2015318201566日00 朗日雙支持向量回歸- PAGE 4 -經(jīng)過無約束凸極小化培訓(xùn)拉格朗日雙支持向量回歸摘要：在本論文中，一個新的無約束凸極小化問題制定被提議作為拉格朗日雙2范數(shù)的雙支持向量回歸（TSVR）。這個被提到的假說致使有它們自己的兩個較小 規(guī)模的?。海╥）或考慮到它們的廣義海森或引入平滑函數(shù)代替“加號”功能，（ii）法的優(yōu)勢，依據(jù)經(jīng)典的支持向量回歸和TSVR 實現(xiàn)更快的學(xué)習(xí)速

2、 度作為可比較的泛化性能。關(guān)鍵詞：廣義海森；鑒于梯度的迭代方法；光滑逼近；支持向量回歸；雙支持向 量回歸； 無約束凸極小化簡介由Vapnik等人31提出了支持向量機（SVM ）SVM 像分類21133,10破產(chǎn)預(yù)報30。雖然它擁有比其他機器學(xué)習(xí)方法，如人工神經(jīng)網(wǎng)絡(luò)（人工神經(jīng)網(wǎng)絡(luò)）更好的泛化的分類性能，SVM的主要挑戰(zhàn)之一是它的高性價比的學(xué)習(xí)，即0（M3）， 其中m為訓(xùn)練數(shù)據(jù)點的數(shù)量。為了提高學(xué)習(xí)速度，在過去的幾年，在過去的幾年，多超平面的SVM分類器已經(jīng)提出了在文12,19,22,25,其中不平行的超平面的構(gòu)造單超平面，而不是如在傳統(tǒng)的SVM。在這個方向的早期貢獻(xiàn)是廣義特征值近SVM （GEP

3、SVM）提出Mangasarian和野生19。在他們的方法中，不等人的精神。12提出的雙SVM （TWSVM ）TWSVM 尋求兩個非平行的超平面經(jīng)過求解一關(guān)于二次計劃問題（ QPP）比單 一更小的尺寸作為經(jīng)典的 SVM。自TWSVM 的學(xué)習(xí)速度比經(jīng)典的SVM12快大 約四倍， 此外它擁有改進(jìn)的推廣能力相較于 SVM 和GEPSVM，成為最有吸引力 的方法進(jìn)行分類/改進(jìn)TWSVM 14,15,27。近日，來自于TWSVM 工作的靈感，23提出了雙支持向量回歸 中未知回歸估量是經(jīng)過構(gòu)造一關(guān)于非平行-insensitive上下界的約束函數(shù)。與TWSVM類似，非平行接合的函數(shù)經(jīng)過求解一關(guān)于尺寸比傳統(tǒng)

4、的支持向量回歸的單一（SVR）的較小的雙重 QPP Empherical 結(jié)果表明，相較于SVR23學(xué)習(xí)速度的額外優(yōu)勢，從而TSVR 取得良好的推廣。制定TSVR 作為非常主要的凸無約束最小化問題并且采用平滑技術(shù)。一個被稱為光滑的雙支持向量回歸（STSVR）的新SVR 已經(jīng)提出4，其中它的解決方案是經(jīng)過使用牛頓的Armijo 算法16,17而獲得。關(guān)于于一個簡單的線性收斂拉格朗日TSVR 算法的研究，有興 趣讀者可參1，同樣，在將TSVR制定為一關(guān)于線性計劃問題的時候，可參 見35，關(guān)于于TSVR 的其它變體也一樣，參見26,34。最后，關(guān)于于一個存在孤立 點或噪聲的有趣的穩(wěn)健算法的分類問題，

5、我們參考33。由于受到拉格朗日TSVR 以及雙重SVM 分類制定研究的啟發(fā)，一個新的無 約束的拉格朗日TSVR（ ULTSVR）制定已經(jīng)在這項研究中提出，然而，由于它 的目標(biāo)函數(shù)含一個具有非平滑“加號”功能的術(shù)語，兩個鑒于梯度的方法被假定以便解決所提出的最小化問題或考慮到它們的廣義Hessian或引入平滑近似數(shù)代替非光滑“加號”功能，然后應(yīng)用牛頓Armijo算法；（ii）使用功能迭代方法獲得臨界點。牛頓的Armijo算法的收斂，其有限終止將直接遵循16,17的結(jié)果。在充分條件下，所提出的功能迭代方法的線性收斂性在本文已被 證明。最后，經(jīng)過實驗上進(jìn)行的一些有趣的合成的和現(xiàn)實世界的數(shù)據(jù)集，它們與S

6、VR 和TSVR 結(jié)果，足以表明所提出的 ULTSVR 并且比較縱觀在這項工作中，一切矢量均被假定為列向量。在n 維實空間Rn 中，兩1個向量x,y xty，其中xt 是x x （X ， ，1niX ）t Rn，加號功能 x （x）nimax0,Xii 1, ,n 。范數(shù)的向量x和矩陣Q|和|Q|我們經(jīng)過單位向量，I 訣別表示m維向量以及適當(dāng)大小的單位矩陣。如果f可以表示為變量x (X，、tn，X)R的實值函數(shù)，則其梯度向量和海森矩陣將被訣別表n f ( f / x , , f / X)1n t2f ( 2f / MJ i,j1,n在本節(jié)中，經(jīng)典的SVR 及其變種雙SVR 進(jìn)行了簡要介紹。i（

7、X, yj ,i 1, ,，其中yR是關(guān)于應(yīng)于輸入數(shù)據(jù)點 x Rn的觀測ARmn矩陣所表示, 其第i行被當(dāng)作行向量X：和觀測值的向量由y（yb ，ym）t表示。i支持向量回歸的構(gòu)造在經(jīng)典的SVM 回歸中，非線性回歸估量函數(shù)f： RnR 被假定為以下形式：f（x）w：（x）b，其中（x）是一種需要將數(shù)據(jù)點輸入到一個高維特征空中的非線性映射是在特征空間中的向量和b是一個標(biāo)量閾值。0 朗日雙支持向量回歸min1 ww2YC(etb1et2)min1 ww2YC(etb1et2)w,b,-i2w(Xi)s. wtt(N)1i ,2ib-Yi0,ii1i2i,m5,31:其中 1(,)t111m2)t為

8、松弛變量，輸入?yún)?shù)C0,0。而不是解決上述考慮初始問題，經(jīng)過在Rm空間上引入拉格朗日乘子 U1111,U)1mUC, ,U) ，并且采用核心技5,31，即?。簁(X,X)(X)，2212miji tj其中k(xi,xj)是-一個核函數(shù)，以下形式雙重的問題就解決了：U 1min(uU 2jU ,u 22j12m i,j 1井區(qū)兒)(U1i%(比U )2i2ii 1mS.t.(UU1i)0i 1u12i 1,uCeu12在這種情況下, 確定函數(shù) f 將變得5,31: 關(guān)于于代入的任意x Rn，都有m (UU )k(x,xJb1i2ii 1TSVR構(gòu)造受到TWSVM12的二元分類問題研究的啟發(fā)，雙支

9、持向量回歸( TSVR) 在23-insensitive2m個約束的QPP,其中m 都具有m 個線性不等式約束在TSVR 得到解決。這種策略使 得TSVR 的訓(xùn)練比經(jīng)典的SVR23快。假定在輸入空間的線性TSVR 中使得上下界的約束回歸變量被表示為：關(guān)于于 任意x Rn，有f1(x) W：X b，f2(x) W2Xa(1)121其中W ,W Rn，b ,b R 訣別表示未知數(shù)。然后，線性TSVR 回歸變量(1QPPs 23121mine(Ab e)2 te(W 1, b1Rn 1)1)s.t.111111y(Awe11經(jīng)過無約束凸極小化培訓(xùn)拉格 0 朗日雙支持向量回歸模糊多目標(biāo)分析模糊邏輯0

10、1 之間。模糊數(shù)的種類有很多。其中三角模糊數(shù)是最有名的，如下所示，它被 3 個點 表示：3(ai,a2a )3成員函數(shù)說明如下:A：(X)0,xa1x aa?a3,aia23a3a3a2a0,xa3(1)12A (a , a ,a )12則C 定義為兩個向量的和C (a1b1,a2b2,a3b3)此外， 定義為兩個向量的差223佝月 b ,ab 223而且 也可定義為它們的乘積 (a1 b1,a2 b2,a3 )模糊AHP下面來解釋Cha ng 的程度分析法- PAGE 5 -經(jīng)過無約束凸極小化培訓(xùn)拉格 0 朗日雙支持向量回歸令X 作為一個關(guān)于象集合,U i2ni2XX,X ，XUU,Ui2n

11、i2關(guān)于象的程度分析值，作如下標(biāo)記：m 包含了每個,M,MMgigigi每一個元素都是三角模糊數(shù) TFNs，其中i=1,.,n;j=1,.,m 下面給出程度分析法的步驟：第一步：每個關(guān)于象的模糊合成程度定義如下：m:Sii 1 j i n m : j gij i為了得到mMgij 1 j 1 j1mj, Uj1nU1nUii1ni NJ1iUnm:M jnng im,nu1j1i 1i1i1MjMg i 1 j 11 n m :第二步：定義兩個模糊三角數(shù)大小關(guān)系的可能成都定義如下:V V M2M1SUPy Xmin(x),min:M1(y):M2也可等價的表示如下：1,mV(21)2()02U

12、2i Uotherwise(m2U )(m.222h)其中 是（1）式中介于兩個模糊三角數(shù)的值之間，為了比較要以下兩個值的最小值M1 和M2 我們需經(jīng)過無約束凸極小化培訓(xùn)拉格 0 朗日雙支持向量回歸2V(21)V(1)2A minV(S )第三步：一個凸模糊數(shù)的可能程度比k 模糊數(shù)Mi iV(1,2,.k)mi nV() i i,.,ki假設(shè)A minV(S )第四步：經(jīng)過標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)權(quán)重向量表示為:2W(A),(A),.,(代2k 1,2,.; k i其中M 是一個非模糊數(shù)。無論直接賦值還是間接的使用兩兩比較的方法都可以得到風(fēng)險因素的權(quán)重 向量。在這，我們建議決策者們使用表 1 中的語言變量

13、來評估風(fēng)險因素的權(quán)重向 量。-6 -00 朗日雙支持向量回歸- PAGE 9 -Linguistic termsLinguistic termsAbsolutely strong (AS) Very strong CVS)Fairly strong (FS) SlightlystrongEquM (E)SlightlyweakFairly wejk (FW) Very weak(VWJAbsolutelyweak(AW)Fuzzy score(2,5/2.3)(3/2.5/2)(13/2,2)(1. 1.3/2) (1 1) (2/3 J.(1/2,2/3.1)(2/5.1/2.2/3)(1/

14、3.2/5.1/2)做出比較后，檢查比較比例的組成是很必要的。為了做到這個，分級整合方 法被用于非模糊矩陣。經(jīng)過分級整合方法，一個模糊數(shù)i2(m , m ,m i2可以被轉(zhuǎn)換成一個新的數(shù)，定義如下：2P( ) M m 4m m26計算、檢查，無論CR是比.10小還是比它大。CR)可以很容易的TOPSIS下面來解釋Chen 的模糊TOPSIS 方法。2000年Chen展TOPSIS 方法以便于模糊小組進(jìn)行決策。在 Chen 的模糊TOPSIS 中語 言偏好應(yīng)用于計算，它可以很容易的轉(zhuǎn)變?yōu)槟：龜?shù)。了為評估選擇的語言范圍，如下所示：2 給出LinguistictermsFuzzy scoreVery

15、 poor (VP)Poof (P)MeiumpoorFair(F)Meium gooVery poor (VP)Poof (P)MeiumpoorFair(F)Meium goo(MC)Goo(G)Very goo(VG)(0.0,1)(0J.3)(L3.5)(3.5.7)(5 79)(7.-9.W1(9,W.10)TPx%(k每個元素表示相關(guān)于于第j 個標(biāo)準(zhǔn)而言第k 個決策者第i 個選擇的等級。 為得到相關(guān)于于每個標(biāo)準(zhǔn)的標(biāo)準(zhǔn)權(quán)重和選擇的模糊評判，模糊多準(zhǔn)則決策問 題可經(jīng)過矩陣來表示：%12%n vfm2mn12% X.%WW ,W ,., W, j 1,2,.vfm2mn12矩陣中每個元素

16、是相關(guān)于于標(biāo)準(zhǔn)j選擇Ai的評判，Wj表示Cj%(a ，b ，C )%ijijij為了避免使用經(jīng)典TOPSIS 中復(fù)雜的標(biāo)準(zhǔn)化公式，在這里使用線性尺度變幻來將 各種模的標(biāo)準(zhǔn)轉(zhuǎn)換成一個可比規(guī)模。因此，我們可得到標(biāo)準(zhǔn)模糊決策矩陣，由R 表示如下：R %m nB 和C 是一系列效益準(zhǔn)則和成本準(zhǔn)則，訣別表示如下：%( %L 里L(fēng)),j B &二組j CCj Cj CjCj if j Bcij cij cijiif j Ciaj m n aij上面提到的標(biāo)準(zhǔn)化方法是為了保持標(biāo)準(zhǔn)化的三角模糊數(shù)數(shù)屬于這個屬性慮每個準(zhǔn)則的不同重要性我們可以構(gòu)造有利的標(biāo)準(zhǔn)化的模糊決策矩陣如下所示：V %mn,i 1,2,.,m;

17、 j 1,2,.,n,%()(Cj)根據(jù)上述矩陣可以知道每個元素關(guān)于于i,j 都是標(biāo)準(zhǔn)化的正三角模糊數(shù)，而且它們的范圍介于0,1。然后我們可定義模糊正理想解決方案(FPIS, A )和模糊負(fù) 理想解決方案(FPIS, A)，如下所示：A (%,%,.,%)%(1,1,1)A (%,%,.,%)% (0,0,0)j 1,2,., n從正的到負(fù)的每個選擇的距離公式如下：nni (%,%),ij i1,2,., m,ji1,2,., m,其中 是兩個模糊數(shù)的距離，計算公式如下所示：%2 22(,)1.112233, , ,1 2 3123A Ai 所以選擇的排列順序，計算公式如下所示：O CCij,

18、i 1,2,顯然，當(dāng)CCi 1 時選擇Ai 決方案。因此，根據(jù)接近系數(shù)我們可以決定一切選擇的排列順序，從系列可行的選擇中選出最優(yōu)的。提出的方法模糊邏輯是改變?nèi)祟惖母杏X和認(rèn)識的一種模糊工具，它的決策能力在它的數(shù)學(xué)公式中體現(xiàn)，同時它也為用自然語言表達(dá)不確定的和模糊的概念提供了有意義 的表示。進(jìn)程中的不足。FMEA為了決定故障模式的重要性，在這一部分用到了2010 年提出的修正版故障方式。首先，一個決策小組確定一個故障模式，然后，構(gòu)造一個風(fēng)險因素的成關(guān)于比較矩陣，用Chen的模糊AHP來決定這些風(fēng)險因素的權(quán)重向量，最后，將專家們關(guān)于每個故障模式相關(guān)于于風(fēng)險因素的評估進(jìn)行整合得到一個有意義的值。經(jīng)過使

19、用每個故障模式的語言分值，為 TOPSIS 的實現(xiàn)構(gòu)造模糊決策矩陣。之后，經(jīng)過 風(fēng)險因素的權(quán)重向量構(gòu)造有利的標(biāo)準(zhǔn)化的模糊決策矩陣，接著，訣別計算模糊正 理想解決方案、模糊負(fù)理想解決方案和每個故障模式從它們開始的距離。最后，得到進(jìn)程中Chen的模糊TOPSIS接近系數(shù)，決定一切故障模式的排序。2 表示提出的模糊FMEA 模型，如下所示：00 朗日雙支持向量回歸決定最終要的模式的步驟概括成如下幾步第一步一個決策小組確定一個故障模式。第二步 使用Cha ng 的模糊AHP 險因素確定一個合適的語言 變量。構(gòu)造一個風(fēng)險因素 S、 0、 的兩兩比較的矩陣，整合專家們的語言評估為每一個關(guān)于比得到 一個有意義的值。根據(jù)梯級平均綜合方法，在關(guān)于矩陣中的每個元素 模糊化后檢查S