支持向量機(jī)增量學(xué)習(xí)、樣本選擇及新模型研究的中期報(bào)告本文為支持向量機(jī)增量學(xué)習(xí)、樣本選擇及新模型研究的中期報(bào)告，主要介紹了本研究的背景、研究?jī)?nèi)容和初步成果。一、研究背景支持向量機(jī)（SupportVectorMachine，簡(jiǎn)稱SVM）是一種常用的分類與回歸方法，具有非常好的泛化能力，因此在機(jī)器學(xué)習(xí)領(lǐng)域得到廣泛的應(yīng)用。然而，在實(shí)際應(yīng)用中，數(shù)據(jù)量通常很大，而且數(shù)據(jù)會(huì)不斷地增加，因此需要支持向量機(jī)進(jìn)行增量學(xué)習(xí)（IncrementalLearning）。增量學(xué)習(xí)是指通過不斷地學(xué)習(xí)新數(shù)據(jù)，不斷優(yōu)化模型，來適應(yīng)不斷變化的數(shù)據(jù)集的過程。同時(shí)，由于訓(xùn)練集中的數(shù)據(jù)通常是不平衡的，所以在訓(xùn)練支持向量機(jī)模型時(shí)，需要進(jìn)行樣本選擇（SampleSelection），即從訓(xùn)練集中選擇合適的樣本集，以提高模型的訓(xùn)練效果。此外，我們發(fā)現(xiàn)，當(dāng)前常規(guī)的線性支持向量機(jī)模型對(duì)于解決多分類問題有些欠缺，因此需要研究新的多分類支持向量機(jī)模型。綜上所述，本研究的主要內(nèi)容包括：1.支持向量機(jī)的增量學(xué)習(xí)算法2.支持向量機(jī)的樣本選擇算法3.新的多分類支持向量機(jī)模型算法二、研究?jī)?nèi)容與方法1.支持向量機(jī)的增量學(xué)習(xí)算法本研究以在線學(xué)習(xí)的方式實(shí)現(xiàn)支持向量機(jī)的增量學(xué)習(xí)算法，采用StochasticGradientDescent算法優(yōu)化模型參數(shù)。具體地，我們針對(duì)文本分類問題，使用在線文檔分類數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，對(duì)比了增量學(xué)習(xí)算法與傳統(tǒng)的批量學(xué)習(xí)算法的性能。2.支持向量機(jī)的樣本選擇算法本研究提出了一種基于信息熵的樣本選擇方法，即通過計(jì)算每個(gè)樣本的信息熵來衡量其對(duì)模型的貢獻(xiàn)，根據(jù)信息熵大小進(jìn)行樣本篩選。實(shí)驗(yàn)結(jié)果表明，該方法能夠顯著提高支持向量機(jī)模型的分類性能。3.新的多分類支持向量機(jī)模型算法本研究提出了一種基于任務(wù)增量學(xué)習(xí)的多分類支持向量機(jī)模型算法，將多個(gè)二分類支持向量機(jī)模型分別應(yīng)用于各個(gè)任務(wù)，結(jié)合概率轉(zhuǎn)移矩陣將其轉(zhuǎn)化為一個(gè)多分類模型。實(shí)驗(yàn)結(jié)果表明，該模型能夠有效地提高多分類問題的分類性能。三、初步成果1.支持向量機(jī)的增量學(xué)習(xí)算法本研究采用在線文檔分類數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，對(duì)比了增量學(xué)習(xí)算法與傳統(tǒng)的批量學(xué)習(xí)算法的性能。實(shí)驗(yàn)結(jié)果表明，增量學(xué)習(xí)算法能夠在執(zhí)行時(shí)間和分類性能方面都優(yōu)于批量學(xué)習(xí)算法。2.支持向量機(jī)的樣本選擇算法本研究提出的基于信息熵的樣本選擇算法能夠在分類性能和執(zhí)行時(shí)間兩方面都比傳統(tǒng)的隨機(jī)采樣方法有顯著的提升，表現(xiàn)出很好的效果。3.新的多分類支持向量機(jī)模型算法本研究提出的基于任務(wù)增量學(xué)習(xí)的多分類支持向量機(jī)模型能夠在增量學(xué)習(xí)和多分類問題上都表現(xiàn)出很好的性能，表明該模型在解決這些實(shí)際問題上有很好的應(yīng)用前景。四、總結(jié)本研究對(duì)支持向量機(jī)的增量學(xué)習(xí)、樣本選擇及新模型研究進(jìn)行了初步探索，初步取得了一些