Hadoop平臺中支持向量機(jī)分類算法的實現(xiàn)導(dǎo)師:李學(xué)俊答辯人:齊夏新學(xué)號：E01214190專業(yè):軟件工程主要內(nèi)容1234156研究背景及意義Hadoop及SVM簡介SVM原理SVM優(yōu)點及應(yīng)用舉例研究步驟時間進(jìn)度安排研究背景及意義

分類問題是實際應(yīng)用中普遍存在的問題，也是及其領(lǐng)域?qū)W習(xí)的基礎(chǔ)條件之一，快速發(fā)展的信息技術(shù)對其在理論研究和實際應(yīng)用中提出了許多新的難題和挑戰(zhàn)。支持向量機(jī)是建立在統(tǒng)計學(xué)習(xí)理論基礎(chǔ)上的新型機(jī)器學(xué)習(xí)方法。它根據(jù)有限樣本信息在模型的復(fù)雜和期望風(fēng)險之間尋求最佳方式，從而獲得更好的泛化性能。支持向量機(jī)專門針對有限樣本情況,得到現(xiàn)有信息下的最優(yōu)解,很大程度上解決了模型選擇、過學(xué)習(xí)、非線性、維數(shù)災(zāi)難等問題。與傳統(tǒng)的學(xué)習(xí)方法相比,支持向量機(jī)具有泛化能力強(qiáng)、維數(shù)不敏感、收斂到全局最優(yōu)等優(yōu)點,較好地解決了傳統(tǒng)算法容易出現(xiàn)的過學(xué)習(xí)、局部極值、維數(shù)災(zāi)難等棘手問題,成為近幾年機(jī)器學(xué)習(xí)領(lǐng)域中的一個非?；钴S的研究熱點。Hadoop簡介Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)，具有高可靠性、高擴(kuò)展性、高效性、高容錯性等優(yōu)點hadoop由兩部分組成，分別是分布式文件系統(tǒng)HDFS和分布式計算框架MapReduce。HDFS主要用于大規(guī)模數(shù)據(jù)的分布式存儲，而MapReduce則構(gòu)建在分布式文件系統(tǒng)之上，對存儲在分布式文件系統(tǒng)中的數(shù)據(jù)進(jìn)行分布式計算。HDFS是一個具有高度容錯性的分布式文件系統(tǒng)，適合部署在廉價的機(jī)器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS架構(gòu)圖同HDFS一樣，HadoopMapReduce也采用了Master/Slave（M/S）架構(gòu)，它主要由以下幾個組件組成：Client、JobTracker、TaskTracker和Task。HadoopMapReduce架構(gòu)圖SVM簡介支持向量機(jī)（SupportVectorMachine或SVM）是一種建立在統(tǒng)計學(xué)習(xí)理論StatisticalLearningTheory或SLT基礎(chǔ)上的機(jī)器學(xué)習(xí)方法。與傳統(tǒng)統(tǒng)計學(xué)相比，統(tǒng)計學(xué)習(xí)理論SLT是一種專門研究小樣本情況下及其學(xué)習(xí)規(guī)律的理論。該理論是建立在一套較堅實的理論基礎(chǔ)之上的為解決有限樣本學(xué)習(xí)問題提供了一個統(tǒng)一的框架。它能將許多現(xiàn)有方法納入其中有望幫助解決許多原來難以解決的問題。SVM原理支持向量機(jī)SVM是一種分類算法，通過尋求結(jié)構(gòu)化風(fēng)險最小來提高學(xué)習(xí)機(jī)泛化能力，實現(xiàn)經(jīng)驗風(fēng)險和置信范圍最小化，從而達(dá)到在統(tǒng)計樣本量較少的情況下，亦能獲得良好統(tǒng)計規(guī)律的目的。1.在n維空間中找到一個分類超平面，將空間上的點分類。SVM原理2.一般而言，一個點距離超平面的遠(yuǎn)近可以表示為分類預(yù)測的確信或準(zhǔn)確程度。SVM就是要最大化這個間隔值。而在虛線上的點便叫做支持向量SupprotVerctor。SVM優(yōu)點及舉例

SVM學(xué)習(xí)問題可以表示為凸優(yōu)化問題，因此可以利用已知的有效算法發(fā)現(xiàn)目標(biāo)函數(shù)的全局最小值。而其他分類方法（如基于規(guī)則的分類器和人工神經(jīng)網(wǎng)絡(luò)）都采用一種基于貪心學(xué)習(xí)的策略來搜索假設(shè)空間，這種方法一般只能獲得局部最優(yōu)解。應(yīng)用舉例：假設(shè)現(xiàn)在你是一個農(nóng)場主，圈養(yǎng)了一批羊群，但為預(yù)防狼群襲擊羊群，你需要搭建一個籬笆來把羊群圍起來。但是籬笆應(yīng)該建在哪里呢？你很可能需要依據(jù)牛群和狼群的位置建立一個“分類器”，比較下圖這幾種不同的分類器，我們可以看到SVM完成了一個很完美的解決方案。

研究步驟1.對所選課題進(jìn)行分析，Hadoop平臺中支持向量機(jī)分類算法的實現(xiàn)，了解Hadoop平臺，對資源管理模型（yarn），計算模型（mapreduce），存儲模型（hdfs）有一定的認(rèn)識。2.結(jié)合支持向量機(jī)的方法及其原理，利用分布式編程來實現(xiàn)支持向量機(jī)的分類算法，最后在分布式系統(tǒng)Hadoop中來運(yùn)行。3.完成支持向量機(jī)的分類算法，并在數(shù)據(jù)集中進(jìn)行測試。時間進(jìn)度安排1.2.21-3.21

學(xué)習(xí)Hadoop，mapreduce的概念及原理，準(zhǔn)備開題報告2.3.22-4.10

開題答辯。Hadoop集群操作，使用mapreduce編程實踐3.4.