年4月19日基于半監(jiān)督的SVM遷移學(xué)習(xí)算法研究文檔僅供參考基于SVM的半監(jiān)督遷移學(xué)習(xí)的算法研究摘要在數(shù)據(jù)挖掘中，合理的采用相關(guān)數(shù)據(jù)域去幫助新的數(shù)據(jù)域分類已經(jīng)成了一項重要課題。半監(jiān)督學(xué)習(xí)已經(jīng)廣泛應(yīng)用于數(shù)據(jù)挖掘、機器學(xué)習(xí)的分類等研究中，但結(jié)合遷移學(xué)習(xí)方式的方法卻較少見。SVM在處理大數(shù)據(jù)方面也越受到關(guān)注，不同學(xué)習(xí)方式結(jié)合SVM的算法也陸續(xù)提出。本文結(jié)合半監(jiān)督SVM（Semi-supervisedSVM）算法與遷移學(xué)習(xí)的方法，給出了一種半監(jiān)督遷移SVM分類方法，經(jīng)過對輔助數(shù)據(jù)域的局部與目標(biāo)域的全局一致學(xué)習(xí)（LLGC）得到目標(biāo)方程，并以半監(jiān)督的方式對目標(biāo)方程進行迭代，收斂得到最終的SVM分類器，對目標(biāo)任務(wù)中未標(biāo)記樣本得到最終標(biāo)簽。應(yīng)用該方法得到分類器具有較高的精確度。關(guān)鍵詞數(shù)據(jù)挖掘；半監(jiān)督學(xué)習(xí)；遷移學(xué)習(xí)；一致學(xué)習(xí)1引言在傳統(tǒng)分類方法中，大部分都是有監(jiān)督的，即用帶標(biāo)簽的數(shù)據(jù)來訓(xùn)練分類模型，而且只局限于目標(biāo)數(shù)據(jù)域。然而，收集帶標(biāo)簽的實例是非常困難且要耗費巨大的[1]，不帶標(biāo)簽的數(shù)據(jù)卻是相當(dāng)巨大，很容易獲取。如果只有少量的帶標(biāo)簽的數(shù)據(jù)和大量未標(biāo)記的數(shù)據(jù)可用，那么半監(jiān)督學(xué)習(xí)在一定程度上便能彌補因訓(xùn)練數(shù)據(jù)不足而導(dǎo)致過擬化的分類誤區(qū)。很多機器學(xué)習(xí)的方法，無論是傳統(tǒng)的機器學(xué)習(xí)還是半監(jiān)督學(xué)習(xí)問題，都是建立在一個共同假設(shè)：測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)屬于統(tǒng)一數(shù)據(jù)分布與同一特征空間。一旦數(shù)據(jù)分布有差異，很多學(xué)習(xí)方法便無法表現(xiàn)的很好。于是又要重新標(biāo)記大量數(shù)據(jù)去訓(xùn)練模型來適應(yīng)新的數(shù)據(jù)分布，這樣的代價是昂貴的?；谶@個局限，便引入了遷移學(xué)習(xí)[3]，目的是從其它相關(guān)輔助數(shù)據(jù)域中遷移知識去幫助目標(biāo)域中解決學(xué)習(xí)任務(wù)。例如，在網(wǎng)頁分類中，我們能利用遷移學(xué)習(xí)從大學(xué)網(wǎng)頁遷移知識來幫助F分類任務(wù)訓(xùn)練一個分類器[4]。雖然大學(xué)網(wǎng)頁與社交網(wǎng)絡(luò)的數(shù)據(jù)分布十分不同，可是始終存在一些共同的分類知識來構(gòu)建知識遷移的橋梁幫助提高分類器性能。近年來，隨著研究的深入，半監(jiān)督、遷移學(xué)習(xí)等方法也逐漸應(yīng)用于數(shù)據(jù)分類、社交網(wǎng)絡(luò)分析和圖像處理等方面。如QiangYang等人遷移學(xué)習(xí)對于文本挖掘的應(yīng)用[5]。當(dāng)前，在解決實際的文本分類問題中，人們提出了不同類型文本分類方法，很多針對文本像基于貝葉斯的文本分類方法[6]、基于SVM的文本分類方法[7][8]以及基于KNN的文本分類方法[9]等。隨后基于這些基本方法的遷移學(xué)習(xí)也成為了當(dāng)今熱點，如跨域SVM方法[10][11]。而遷移學(xué)習(xí)在各領(lǐng)域的應(yīng)用也是層出不窮，如在社交網(wǎng)絡(luò)的推薦系統(tǒng)中便提出了跨域推薦(CDR)[20]和社交網(wǎng)絡(luò)中的異構(gòu)遷移對于圖像聚類的方法[21]，在圖像處理和信號處理方面也有應(yīng)用[22][23][24]。在這篇文章，我們提出了一種基于SVM的半監(jiān)督遷移學(xué)習(xí)方法，我們的貢獻有：（1）我們合理的利用了目標(biāo)域中未標(biāo)記的數(shù)據(jù)與少量帶標(biāo)簽的數(shù)據(jù)，并采用局部化SVM(LSVM)進行局部和全局一致學(xué)習(xí)（LLGC），采用半監(jiān)督的學(xué)習(xí)方式來加強分類器精度[12][18]。并給出了這種方法的目標(biāo)方程;（2）為了給分類器得到更好的泛化誤差，我們引入了遷移學(xué)習(xí)的方法對目標(biāo)方程進行迭代，給出了迭代終止目標(biāo)函數(shù)，產(chǎn)生更為精確的分類器并得到數(shù)據(jù)標(biāo)簽[13]。本文的組織結(jié)構(gòu)如下。在第二節(jié)，我們將簡要介紹一下基于SVM的半監(jiān)督學(xué)習(xí)和基于SVM的遷移學(xué)習(xí)方法(TLSVM)。在第三節(jié)，我們提出基于SVM的半監(jiān)督遷移學(xué)習(xí)方法。實驗部分的內(nèi)容則在第四節(jié)。最后，第五節(jié)是我們對以后工作的總結(jié)。2相關(guān)工作由于我們關(guān)注的是基于SVM的半監(jiān)督遷移學(xué)習(xí)方法，因此我們回顧一下基于SVM的半監(jiān)督學(xué)習(xí)與遷移學(xué)習(xí)等方法。2.1半監(jiān)督學(xué)習(xí)近年來，半監(jiān)督學(xué)習(xí)受到越來越廣泛的關(guān)注。所謂半監(jiān)督學(xué)習(xí)就是利用目標(biāo)域中未帶標(biāo)簽的數(shù)據(jù)與帶標(biāo)簽的訓(xùn)練數(shù)據(jù)集一同訓(xùn)練分類器。這在某種程度上克服了傳統(tǒng)機器學(xué)習(xí)中因為帶標(biāo)簽訓(xùn)練數(shù)據(jù)集不足而導(dǎo)致分類器不準(zhǔn)確的問題。各式各樣的半監(jiān)督方法也被陸續(xù)的提出。例如，Wajeed[9]提出基于KNN的半監(jiān)督文本分類方法，這種半監(jiān)督方法使用了不同的相似度測量與不同向量產(chǎn)生技術(shù)來提高分類的準(zhǔn)確度?？墒怯捎谖谋緮?shù)據(jù)的維度高，這種方法的計算量相當(dāng)大。而V.Vapnik[13]提出的自訓(xùn)練半監(jiān)督SVM算法，很好的利用了大量未標(biāo)記數(shù)據(jù)結(jié)合少量帶標(biāo)簽數(shù)據(jù)共同訓(xùn)練分類器。然后經(jīng)過不斷的迭代直到未標(biāo)記數(shù)據(jù)標(biāo)簽收斂。這種方法計算量相對較小，可是準(zhǔn)確度相對較低。接著YongMa[13]在V.Vapnik[13]的自訓(xùn)練半監(jiān)督SVM算法上提出了一種改進的方法，這個方法將類別之間的差異性用一個散度矩陣表示出現(xiàn)，然后優(yōu)化了目標(biāo)方程。以上只是例舉了分別以兩種不同的算法作為基礎(chǔ)來實現(xiàn)半監(jiān)督學(xué)習(xí)，雖然基于KNN的相似度測量可能會精度更高，可是計算量大，實現(xiàn)起來難度大，然而基于SVM的計算量小?？墒牵绻覀兛紤]不同標(biāo)簽之間的相關(guān)性，雖然能提高分類器輸出的準(zhǔn)確性，但方法的實現(xiàn)難度以及獲得相關(guān)性的耗費遠(yuǎn)遠(yuǎn)加大。例如，這篇文章提出的方法是自訓(xùn)練半監(jiān)督SVM算法結(jié)合有效的跨域遷移SVM方法，使我們對數(shù)據(jù)的分類有了更高效率和準(zhǔn)確率。雖然我們考慮了目標(biāo)域中未標(biāo)記的大量數(shù)據(jù)，可是帶標(biāo)簽的少量數(shù)據(jù)仍可能無法滿足訓(xùn)練高質(zhì)量分類器的要求。因此有必要在半監(jiān)督學(xué)習(xí)分類的基礎(chǔ)上加入遷移學(xué)習(xí)方法。2.2遷移學(xué)習(xí)近幾年，遷移學(xué)習(xí)越來越受到數(shù)據(jù)挖掘、機器學(xué)習(xí)等相關(guān)領(lǐng)域的關(guān)注，已經(jīng)成為當(dāng)今的一個研究熱點，并取得了相關(guān)方面的成就。遷移學(xué)習(xí)就是利用一個新環(huán)境中學(xué)習(xí)的相關(guān)知識去指導(dǎo)當(dāng)前環(huán)境目標(biāo)任務(wù)的學(xué)習(xí)，而在數(shù)據(jù)挖掘中，我們定義新環(huán)境為輔助域，當(dāng)前環(huán)境為目標(biāo)域?，F(xiàn)階段的遷移學(xué)習(xí)工作方式分為三個主要部分：同構(gòu)空間下基于實例的遷移學(xué)習(xí)，同構(gòu)空間下基于特征的遷移學(xué)習(xí)和異構(gòu)空間下的遷移學(xué)習(xí)。根據(jù)以上提出的不同的遷移方式，不同的遷移學(xué)習(xí)方法也已經(jīng)被陸續(xù)提出來。例如，F(xiàn)engYu[17]提出的文本分類的遷移學(xué)習(xí)，這個方法利用了遷移知識采樣源數(shù)據(jù)域數(shù)據(jù)構(gòu)建了遷移知識庫，進而幫助目標(biāo)數(shù)據(jù)進行分類。C.Do[17]針對文本分類問題提出了一種經(jīng)過SoftmaxRegression學(xué)習(xí)一個參數(shù)函數(shù)來分類新的任務(wù)，而Qiangyang在社交網(wǎng)絡(luò)分析中提出了一種異構(gòu)遷移學(xué)習(xí)的圖像聚類方法，旨在經(jīng)過社交網(wǎng)絡(luò)中不相關(guān)的帶注釋的圖片遷移知識來提高目標(biāo)圖片搜尋的精度[21]。盡管對遷移學(xué)習(xí)在文本分類、社交網(wǎng)絡(luò)等領(lǐng)域的研究已經(jīng)比較深入，可是在遷移知識過程中，不同的方法往往效果差別很大，不能很好的提高分類器效果，現(xiàn)階段的遷移方式用的比較好的還是基于同構(gòu)空間下遷移。在這篇文章中，我們引入了一種基于鄰域的SVM方法來對源數(shù)據(jù)進行遷移，以便使與目標(biāo)域帶標(biāo)簽數(shù)據(jù)分布相近的數(shù)據(jù)更大程度的幫助提高分類器性能。我們選擇半監(jiān)督學(xué)習(xí)方法，局部和全局一致性方法(LLGC)[18]，并給出了目標(biāo)方程。這種半監(jiān)督的學(xué)習(xí)方法所獲得的方程能很好的結(jié)合鄰域SVM方法，從而解決遷移學(xué)習(xí)方法運用于文本分類的問題。2.3基于SVM的遷移學(xué)習(xí)方法首先，定義一個輔助數(shù)據(jù)集，再定義一個目標(biāo)數(shù)據(jù)集，(其中帶標(biāo)簽的數(shù)據(jù)集為，不帶標(biāo)簽的為)。遷移學(xué)習(xí)就是利用輔助數(shù)據(jù)集幫助目標(biāo)數(shù)據(jù)集學(xué)習(xí)一個能夠分類未帶標(biāo)簽數(shù)據(jù)集的分類器。由于輔助數(shù)據(jù)集可能很大，直接的將輔助域的數(shù)據(jù)與目標(biāo)域訓(xùn)練集共同訓(xùn)練分類器，可能會由于部分對目標(biāo)任務(wù)作用不大的數(shù)據(jù)遷移而導(dǎo)致產(chǎn)生負(fù)遷移，影響分類性能。因此我們提出定義了一個數(shù)據(jù)集指代決定決策邊界的支持向量，而且是已經(jīng)從輔助數(shù)據(jù)域?qū)W習(xí)到的判別函數(shù)。學(xué)習(xí)得到的支持向量能代表決策函數(shù)的全部信息；如果我們能正確分類這些支持向量，我們就能正確分類輔助數(shù)據(jù)域剩下的數(shù)據(jù)除了少部分錯分類訓(xùn)練樣本。于是經(jīng)過輔助數(shù)據(jù)域支持向量與目標(biāo)域數(shù)據(jù)集就能分類未知數(shù)據(jù)集。其方法的原理如圖2所示：源域訓(xùn)練集目標(biāo)域少量帶標(biāo)簽訓(xùn)練集源域訓(xùn)練集目標(biāo)域少量帶標(biāo)簽訓(xùn)練集基于源域數(shù)據(jù)知識與目標(biāo)域少量帶標(biāo)簽樣本的優(yōu)化學(xué)習(xí)目標(biāo)域遷移學(xué)習(xí)SVM分類器對源域預(yù)處理圖2基于SVM的遷移學(xué)習(xí)3基于SVM的半監(jiān)督遷移學(xué)習(xí)方法在這一節(jié)中，我們結(jié)合以前提出的半監(jiān)督SVM分類方法與遷移SVM方法，我們提出了一種結(jié)合半監(jiān)督與遷移學(xué)習(xí)的半監(jiān)督遷移學(xué)習(xí)的方法。我們依然以SVM為基礎(chǔ)，結(jié)合半監(jiān)督SVM算法和跨域SVM算法，就形成了我們提出的基于SVM的半監(jiān)督遷移學(xué)習(xí)的方法。其原理圖如圖2所示：輔助數(shù)據(jù)集(輔助數(shù)據(jù)集()目標(biāo)數(shù)據(jù)集()訓(xùn)練數(shù)據(jù)(帶標(biāo)簽)目標(biāo)數(shù)據(jù)集()測試數(shù)據(jù)(未標(biāo)記)SVM分類器圖2基于SVM的半監(jiān)督遷移學(xué)習(xí)3.1半監(jiān)督遷移算法的構(gòu)思首先，定義輔助數(shù)據(jù)集用表示，目標(biāo)數(shù)據(jù)集用表示，。目標(biāo)數(shù)據(jù)集中帶標(biāo)簽的數(shù)據(jù)集為，包含個樣本數(shù)據(jù)，不帶標(biāo)簽的為，包含個樣本。對于輔助數(shù)據(jù)域，我們在數(shù)據(jù)預(yù)處理階段用指代決定決策邊界的支持向量，而且學(xué)習(xí)到輔助數(shù)據(jù)域判別函數(shù)。一個基本的跨域遷移SVM分類器對于兩類問題定義如下：(2)s.t.其中，是一個訓(xùn)練實例的特征向量，是其經(jīng)過一個核函數(shù)映射到高維空間，是的標(biāo)簽，是一個正規(guī)常數(shù)。類似于LSVM[12]，輔助數(shù)據(jù)集的知識遷移的影響能被目標(biāo)域訓(xùn)練集所限制。這個限制的基本原理就是一個支持向量落入目標(biāo)數(shù)據(jù)的近鄰，它有一個類似于的分布而且能被用來幫助分類。指代輔助域中支持向量和帶標(biāo)簽?zāi)繕?biāo)數(shù)據(jù)集之間的相似度測量。在遷移SVM的優(yōu)化中，原來從中學(xué)習(xí)得到支持向量適應(yīng)于新的訓(xùn)練數(shù)據(jù)，支持向量與新的訓(xùn)練數(shù)據(jù)結(jié)合一起學(xué)習(xí)一個新的分類器。特別地，讓，則方程(2)可被改寫如下：(3)s.t.其中，是一個訓(xùn)練實例的特征向量，是其經(jīng)過一個核函數(shù)映射到高維空間，是的標(biāo)簽，是一個正規(guī)常數(shù)。方程(3)的對偶問題如下：(4)s.t.類似A-SVM[19]，我們也想要保證這個新的決策邊界在舊的輔助數(shù)據(jù)的判別屬性，可是這個技術(shù)有個特別的優(yōu)點：就是沒有強迫這個正規(guī)項限制新決策邊界相似于舊的。代替這個，基于本地化的主意，這個判別屬性僅在與目標(biāo)數(shù)據(jù)有相似分布的重要輔助數(shù)據(jù)樣本中被處理。特別地，采用了高斯函數(shù)的形式：(5)控制來自的重要支持向量的退化速度。越大，支持向量的影響就越小同時也就遠(yuǎn)離。當(dāng)非常大，一個新的決策邊界單獨基于新的訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到。相反，當(dāng)非常小，來自的支持向量和目標(biāo)數(shù)據(jù)集同等對待而且算法相當(dāng)于運用共同訓(xùn)練一個SVM分類器。經(jīng)過這樣控制，與傳統(tǒng)方法對比，這個算法更一般化和靈活?？刂茀?shù)實際上能經(jīng)過系統(tǒng)驗證試驗來優(yōu)化。對于上面所產(chǎn)生的一個初始弱SVM分類器，我們得到了目標(biāo)域中未標(biāo)記數(shù)據(jù)的一組初始標(biāo)簽，接著把加入訓(xùn)練集中一起訓(xùn)練，就形成了我們所提出的半監(jiān)督遷移的方法。其基于SVM的半監(jiān)督遷移學(xué)習(xí)算法的分類器對于兩類問題的定義如下：(6)s.t.3.2半監(jiān)督遷移算法的描述對于目標(biāo)域數(shù)據(jù)，假設(shè)是包含個樣本且給定標(biāo)簽的訓(xùn)練集，是包含個樣本且未帶標(biāo)簽。本文提出的基于SVM的半監(jiān)督遷移算法的步驟如下：利用目標(biāo)域中少量帶