1幾種典型的傳統(tǒng)機(jī)器學(xué)習(xí)分類方法分析概述 1 1 11.3支持向量機(jī) 2自上個(gè)世紀(jì)五十年代開始，人工智能(ArtificialIntelligence)的這一思想開始出現(xiàn)，而機(jī)器學(xué)習(xí)的出現(xiàn)是人工智能領(lǐng)域發(fā)展到成熟時(shí)期后的產(chǎn)物。到上世紀(jì)80年代末，反向傳播(BackPropagation)的出現(xiàn)給機(jī)器學(xué)習(xí)又帶來(lái)了希望。機(jī)器學(xué)習(xí)(MachineLearning)屬于一門多領(lǐng)域的交叉學(xué)科，涵蓋多種領(lǐng)域，能夠通過(guò)數(shù)據(jù)或以往的經(jīng)驗(yàn)進(jìn)行算法選擇、模型構(gòu)建、新數(shù)據(jù)預(yù)測(cè)，并重新排列已知的知識(shí)結(jié)構(gòu)去不斷調(diào)整和改善自身性能。1.1決策樹(DecisionTree)決策樹算法采用的是鄰近離散函數(shù)值的方式。首先對(duì)輸入數(shù)據(jù)預(yù)處理，采用歸納算法生成有序可讀的規(guī)則和決策樹，最后對(duì)新數(shù)據(jù)利用決策進(jìn)行分析計(jì)算。從本質(zhì)上講決策樹的方法是通過(guò)一系列規(guī)則對(duì)輸入的數(shù)據(jù)進(jìn)行分類。對(duì)使用本算法的人要求并不高，只需在事前對(duì)數(shù)據(jù)做好標(biāo)注，就能把一組無(wú)序的事物理成決策樹所代表的規(guī)則。圖2-1表示的是一種樹形結(jié)構(gòu)的決策樹，圖中每一個(gè)決策樹節(jié)點(diǎn)表示一個(gè)屬性的測(cè)試，一個(gè)葉節(jié)點(diǎn)視為一個(gè)類別，有多少個(gè)分支就有多少個(gè)測(cè)試輸出。??0工k-近鄰算法(k-NearestNeighbor,KNN)是一種監(jiān)督型學(xué)習(xí)算法，也是我們常用2就是指k個(gè)最近的鄰居的意思，每個(gè)樣本都可以用它最接近的k個(gè)鄰居來(lái)代表。它屬KNN不會(huì)顯示學(xué)習(xí)過(guò)程，數(shù)據(jù)集事先已有分類和特征值，接收到新樣本后直接進(jìn)行該算法的具體思路是：一個(gè)樣本在特征空間中的有k個(gè)樣本都靠近某個(gè)類別，其樣本均是已正確分類的樣本對(duì)象。該方法在確定類別時(shí)只依據(jù)的類別來(lái)判定。KNN算法中最重要的方面是k值的選取和距離的選取。1.K值得選取十分重要，若K選取的過(guò)小，一旦樣本存在噪聲成分，預(yù)測(cè)結(jié)果在很大程度上會(huì)偏離實(shí)際值，如果K值選取過(guò)大，就相當(dāng)于采取更大進(jìn)行預(yù)測(cè)，學(xué)習(xí)的近似誤差會(huì)差很多。在進(jìn)行k值選取時(shí)，我們常采用交叉驗(yàn)證的方法去挑選一個(gè)相對(duì)小的數(shù)值。K的取值盡量要取奇數(shù)，以保證在計(jì)算結(jié)果最后會(huì)產(chǎn)生曼哈頓距離歐式距離KNN算法作為一種惰性學(xué)習(xí)算法，使用簡(jiǎn)單，便于理解，無(wú)需建模與訓(xùn)練就可以實(shí)現(xiàn)，適合應(yīng)用于稀有事件。在樣本分類時(shí)，通過(guò)尋找最小結(jié)構(gòu)化風(fēng)險(xiǎn)去加大學(xué)習(xí)機(jī)的泛化能力，盡力縮小經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范若樣本數(shù)據(jù)在空間內(nèi)是線性可分的，給定一個(gè)訓(xùn)練集C={(x1,yi),(x2,y2),(x3,y2)(x3,y3),…,(xn,yn)},yi{-1,+1},在C的樣本空間中找一個(gè)超平面，選取3間隔最大且能正確劃分的超平面，上述這個(gè)平面也叫作決策邊界。圖2-2展示了一種最優(yōu)超平面，紅藍(lán)兩類樣本被分開并且使兩類別間隔達(dá)到最大，鄰近決策邊界的樣本點(diǎn)叫做支撐向量，支撐向量距離決策邊界的距離1相等，穿過(guò)支撐向量且平行于決策式中w為法向量，判定超平面的方向；b是位移量，決定原點(diǎn)與超平面之間的距