經(jīng)典算法經(jīng)典算法1機器學習十大經(jīng)典算法C4.52.分類與回歸樹3.樸素貝葉斯4.支持向量機(SVM5.K近鄰(KNN)6.Adaboost7.K均值(K-means)8.最大期望(EM)9.Apriori算法10.Pagerank機器學習十大經(jīng)典算法2機器學習方法的分類基于學習方式的分類(1)有監(jiān)督學習:輸入數(shù)據(jù)中有導師信號,以概率函數(shù)、代數(shù)函數(shù)或人工神經(jīng)網(wǎng)絡為基函數(shù)模型,采用迭代計算方法,學習結(jié)果為函數(shù)。(2)無監(jiān)督學習:輸入數(shù)據(jù)中無導師信號,采用聚類方法,學習結(jié)果為類別。典型的無導師學習有發(fā)現(xiàn)學習、聚類競爭學習等。(3)強化學習(增強學習):以環(huán)境反饋(獎/懲信號)作為輸入,以統(tǒng)計和動態(tài)規(guī)劃技術為指導的一種學習方法。機器學習方法的分類3有監(jiān)督學習(用于分類)標定的訓練數(shù)據(jù)訓練過程:根據(jù)目標輸出與實際輸出的誤差信號來調(diào)節(jié)參典型方法全局:BN,NN.SVM,DecisionTree局部:KNN、CBR(Case-basereasoning)ObjectFeatureRepresentationX2(areaS(x)s(x)<0→ClassBs(×)=0Obiects有監(jiān)督學習(用于分類)4無監(jiān)督學習(用于聚類)不存在標定的訓練數(shù)據(jù)學習機根據(jù)外部數(shù)據(jù)的統(tǒng)計規(guī)律(e.g.Cohension&divergence)來調(diào)節(jié)系統(tǒng)參數(shù),以使輸出能反映數(shù)據(jù)的某種特性。典型方法K-means、SOM示例:聚類無監(jiān)督學習(用于聚類)5半監(jiān)督學習·結(jié)合(少量的)標定訓練數(shù)據(jù)和(大量的)未標定數(shù)據(jù)來進行學習典型方法Co-training、EM、Latentvariables半監(jiān)督學習6C4.5C45由J.RossQuinlan在|D3的基礎上提出的ID3算法用來構(gòu)造決策樹。決策樹是一種類似流程圖的樹結(jié)構(gòu),其中每個內(nèi)部節(jié)點(非樹葉節(jié)點)表示在一個屬性上的測試,每個分枝代表一個測試輸出,而每個樹葉節(jié)點存放一個類標號。一旦建立好了決策樹,對于一個未給定類標號的元組,跟蹤條有根節(jié)點到葉節(jié)點的路徑,該葉節(jié)點就存放著該元組的預測。決策樹的優(yōu)勢在于不需要任何領域知識或參數(shù)設置,產(chǎn)生的分類規(guī)則易于理解,準確率較高。適合于探測性的知識發(fā)現(xiàn)。缺點是:在構(gòu)造樹的過程中,需要對數(shù)據(jù)集進行多次的順序掃描和排序,因而導致算法的低效,C4.57增益比率度量是用增益度量Gain(S,A)和分裂信息度量Sp|Information(S,A)來共同定義的設代表訓練數(shù)據(jù)集,由s個樣本組成。是S的某個屬性,有m個不同的取值,根據(jù)這些取值可以把S劃分為m個子集,S表示第個子集(-1,2,…,m),S2|表示子集S,中的樣本數(shù)量。GainRatio(S,4)≡Gain(s,4)Splitlnformatiors,1)其中,分裂信息度量被定義為分裂信息用來衡里屬性分裂數(shù)據(jù)的廣度和均勻)SplitlinformationS.A)=-sISi1og,Sa增益比率度量是用增益度量Gain(S,A)和分裂信息度8數(shù)據(jù)集如圖1所示,它表示的是天氣情況與去不去打高爾夫球之間的關系DayOutlookTemperatureHumidityWindyPlayGolf?SunOvercast508%8m6TrueNoFalseYesOutlook7OvercastluNny2θ萬萬FalseYeOvercastTrueYes12Overcast72Windy13Overcast81FalseLy14Rainy71TrueNoFalseYesY圖2在藏據(jù)集上通過C45生成的軍稠數(shù)據(jù)集如圖1所示,它表示的是天氣情況與去不去打高爾夫球之間的9、分類和回歸樹(ClassificationandRegressionreesCART,可簡寫為C&RT)CART算法中的每一次分裂把數(shù)據(jù)分為兩個子集,每個子集中的樣本比被劃分之前具有更好的一致性它是一個遞歸的過程,也就是說,這些子集還會被繼續(xù)劃分,這個過程不斷重復,直到滿足終止準則然后通過修剪和評估,得到一棵最優(yōu)的決策樹。、分類和回歸樹(Classificationand10機器學習經(jīng)典算法課件11機器學習經(jīng)典算法課件12機器學習經(jīng)典算法課件13機器學習經(jīng)典算法課件14機器學習經(jīng)典算法課件15機器學習經(jīng)典算法課件16機器學習經(jīng)典算法課件17機器學習經(jīng)典算法課件18機器學習經(jīng)典算法課件19機器學習經(jīng)典算法課件20機器學習經(jīng)典算法課件21機器學習經(jīng)典算法課件22機器學習經(jīng)典算法課件23機器學習經(jīng)典算法課件24機器學習經(jīng)典算法課件25機器學習經(jīng)典算法課件26機器學習經(jīng)典算法課件27機器學習經(jīng)典算法課件28機器學習經(jīng)典算法課件29機器學習經(jīng)典算法課件30機器學習經(jīng)典算法課件31機器學習經(jīng)典算法課件32機器學習經(jīng)典算法課件33機器學習經(jīng)典算法課件34機器學習經(jīng)典算法課件35機器學習經(jīng)典算法課件36機器學習經(jīng)典算法課件37機器學習經(jīng)典算法課件38機器學習經(jīng)典算法課件39機器學習經(jīng)典算法課件40機器學習經(jīng)典算法課件41機器學習經(jīng)典算法課件42機器學習經(jīng)典算法課件43機器學習經(jīng)典算法課件44機器學習經(jīng)典算法課件45經(jīng)典算法經(jīng)典算法46機器學習十大經(jīng)典算法C4.52.分類與回歸樹3.樸素貝葉斯4.支持向量機(SVM5.K近鄰(KNN)6.Adaboost7.K均值(K-means)8.最大期望(EM)9.Apriori算法10.Pagerank機器學習十大經(jīng)典算法47機器學習方法的分類基于學習方式的分類(1)有監(jiān)督學習:輸入數(shù)據(jù)中有導師信號,以概率函數(shù)、代數(shù)函數(shù)或人工神經(jīng)網(wǎng)絡為基函數(shù)模型,采用迭代計算方法,學習結(jié)果為函數(shù)。(2)無監(jiān)督學習:輸入數(shù)據(jù)中無導師信號,采用聚類方法,學習結(jié)果為類別。典型的無導師學習有發(fā)現(xiàn)學習、聚類競爭學習等。(3)強化學習(增強學習):以環(huán)境反饋(獎/懲信號)作為輸入,以統(tǒng)計和動態(tài)規(guī)劃技術為指導的一種學習方法。機器學習方法的分類48有監(jiān)督學習(用于分類)標定的訓練數(shù)據(jù)訓練過程:根據(jù)目標輸出與實際輸出的誤差信號來調(diào)節(jié)參典型方法全局:BN,NN.SVM,DecisionTree局部:KNN、CBR(Case-basereasoning)ObjectFeatureRepresentationX2(areaS(x)s(x)<0→ClassBs(×)=0Obiects有監(jiān)督學習(用于分類)49無監(jiān)督學習(用于聚類)不存在標定的訓練數(shù)據(jù)學習機根據(jù)外部數(shù)據(jù)的統(tǒng)計規(guī)律(e.g.Cohension&divergence)來調(diào)節(jié)系統(tǒng)參數(shù),以使輸出能反映數(shù)據(jù)的某種特性。典型方法K-means、SOM示例:聚類無監(jiān)督學習(用于聚類)50半監(jiān)督學習·結(jié)合(少量的)標定訓練數(shù)據(jù)和(大量的)未標定數(shù)據(jù)來進行學習典型方法Co-training、EM、Latentvariables半監(jiān)督學習51C4.5C45由J.RossQuinlan在|D3的基礎上提出的ID3算法用來構(gòu)造決策樹。決策樹是一種類似流程圖的樹結(jié)構(gòu),其中每個內(nèi)部節(jié)點(非樹葉節(jié)點)表示在一個屬性上的測試,每個分枝代表一個測試輸出,而每個樹葉節(jié)點存放一個類標號。一旦建立好了決策樹,對于一個未給定類標號的元組,跟蹤條有根節(jié)點到葉節(jié)點的路徑,該葉節(jié)點就存放著該元組的預測。決策樹的優(yōu)勢在于不需要任何領域知識或參數(shù)設置,產(chǎn)生的分類規(guī)則易于理解,準確率較高。適合于探測性的知識發(fā)現(xiàn)。缺點是:在構(gòu)造樹的過程中,需要對數(shù)據(jù)集進行多次的順序掃描和排序,因而導致算法的低效,C4.552增益比率度量是用增益度量Gain(S,A)和分裂信息度量Sp|Information(S,A)來共同定義的設代表訓練數(shù)據(jù)集,由s個樣本組成。是S的某個屬性,有m個不同的取值,根據(jù)這些取值可以把S劃分為m個子集,S表示第個子集(-1,2,…,m),S2|表示子集S,中的樣本數(shù)量。GainRatio(S,4)≡Gain(s,4)Splitlnformatiors,1)其中,分裂信息度量被定義為分裂信息用來衡里屬性分裂數(shù)據(jù)的廣度和均勻)SplitlinformationS.A)=-sISi1og,Sa增益比率度量是用增益度量Gain(S,A)和分裂信息度53數(shù)據(jù)集如圖1所示,它表示的是天氣情況與去不去打高爾夫球之間的關系DayOutlookTemperatureHumidityWindyPlayGolf?SunOvercast508%8m6TrueNoFalseYesOutlook7OvercastluNny2θ萬萬FalseYeOvercastTrueYes12Overcast72Windy13Overcast81FalseLy14Rainy71TrueNoFalseYesY圖2在藏據(jù)集上通過C45生成的軍稠數(shù)據(jù)集如圖1所示,它表示的是天氣情況與去不去打高爾夫球之間的54、分類和回歸樹(ClassificationandRegressionreesCART,可簡寫為C&RT)CART算法中的每一次分裂把數(shù)據(jù)分為兩個子集,每個子集中的樣本比被劃分之前具有更好的一致性它是一個遞歸的過程,也就是說,這些子集還會被繼續(xù)劃分,這個過程不斷重復,直到滿足終止準則然后通過修剪和評估,得到一棵最優(yōu)的決策樹。、分類和回歸樹(Classificationand55機器學習經(jīng)典算法課件56機器學習經(jīng)典算法課件57機器學習經(jīng)典算法課件58機器學習經(jīng)典算法課件59機器學習經(jīng)典算法課件60機器學習經(jīng)典算法課件61機器學習經(jīng)典算法課件62機器學習經(jīng)典算法課件63機器學習經(jīng)典算法課件64機器學習經(jīng)典算法課件65機器學習經(jīng)典算法課件66機器學習經(jīng)典算法課件67機器學習經(jīng)典算法課件68機器學習經(jīng)典算法課件69機器學習經(jīng)典算法課件70機器學習經(jīng)典算法課件71機器學習經(jīng)典算法課件72機器學習經(jīng)典算法課件73機器學