第11章監(jiān)督學(xué)習(xí)剩余課程安排本周是第八周，周四結(jié)束所有課程第八周第2節(jié)結(jié)束實(shí)驗(yàn)三驗(yàn)收第9周考試，考試時(shí)間11.018周.周日晚上交實(shí)驗(yàn)三的報(bào)告大綱分類(lèi)

邏輯斯特回歸

支持向量機(jī)SVM

神經(jīng)網(wǎng)絡(luò) BaggingandBoosting回歸

自主學(xué)習(xí)課程論文3：SVR實(shí)例Logistic回歸基本理論和方法研究某一事件發(fā)生的概率P=P(y=1)與若干因素之間的關(guān)系在0和1之間任意范圍之間的數(shù)量若干個(gè)狀態(tài)的標(biāo)量logistic變換logistic變換Logistic回歸模型

優(yōu)勢(shì)比概率p的預(yù)測(cè)P與多因素之間的關(guān)系預(yù)測(cè)P與單特征之間的關(guān)系圖px1最可能成功范圍最不可能成功范圍LR模型公式二分類(lèi)：多項(xiàng)邏輯斯特回歸（Multinomiallogisticregression，MLR）：注意：在實(shí)際分類(lèi)應(yīng)用時(shí)，因?yàn)樘卣飨蛄客S數(shù)較多，標(biāo)簽值的分類(lèi)，優(yōu)先選擇MLR模型支持向量機(jī)SVM在機(jī)器學(xué)習(xí)領(lǐng)域，支持向量機(jī)SVM(SupportVectorMachine)是一個(gè)有監(jiān)督的學(xué)習(xí)模型，通常用來(lái)進(jìn)行模式識(shí)別、分類(lèi)、以及回歸分析。線性分類(lèi)器Binaryclassificationcanbeviewedasthetaskof

separatingclassesinfeaturespace（特征空間）:LinearClassificationWhichofthelinearseparatorsisoptimal?

ClassificationMargin（間距）ClassificationMargin（間距）MaximumMarginClassification

最大間距分類(lèi)MaximizingthemarginisgoodaccordingtointuitionandPACtheory.意味著分類(lèi)時(shí)只考慮支持向量，其他的訓(xùn)練樣本被忽略。

MaximumMarginClassification

最大間距分類(lèi)MaximizingthemarginisgoodaccordingtointuitionandPACtheory.意味著分類(lèi)時(shí)只考慮支持向量，其他的訓(xùn)練樣本被忽略。

MaximumMarginClassification

MathematicallyMaximumMarginClassification

Mathematically非線性SVMs非線性SVMs:特征空間課堂討論神經(jīng)網(wǎng)絡(luò)問(wèn)題求解求解線性子問(wèn)題激活函數(shù)圖形化描述求解過(guò)程圖形化描述求解過(guò)程圖形化描述求解過(guò)程深度神經(jīng)網(wǎng)絡(luò)Baggingbagging是一種用來(lái)提高學(xué)習(xí)算法準(zhǔn)確度的方法，這種方法通過(guò)構(gòu)造一個(gè)預(yù)測(cè)函數(shù)系列，然后以一定的方式將它們組合成一個(gè)預(yù)測(cè)函數(shù)基本思想1.給定一個(gè)弱學(xué)習(xí)算法,和一個(gè)訓(xùn)練集;2.單個(gè)弱學(xué)習(xí)算法準(zhǔn)確率不高;3.將該學(xué)習(xí)算法使用多次,得出預(yù)測(cè)函數(shù)序列,進(jìn)行投票;4.最后結(jié)果準(zhǔn)確率將得到提高Bagging算法1.Fort=1,2,…,TDo從數(shù)據(jù)集S中取樣（放回選樣）訓(xùn)練得到模型Ht對(duì)未知樣本X分類(lèi)時(shí),每個(gè)模型Ht都得出一個(gè)分類(lèi)，得票最高的即為未知樣本X的分類(lèi)2.也可通過(guò)得票的平均值用于連續(xù)值的預(yù)測(cè)要求的分類(lèi)算法Bagging要求“不穩(wěn)定”（不穩(wěn)定是指數(shù)據(jù)集的小的變動(dòng)能夠使得分類(lèi)結(jié)果的顯著的變動(dòng)）的分類(lèi)方法。比如：決策樹(shù)，神經(jīng)網(wǎng)絡(luò)算法Boosting發(fā)展歷史BoostingAdaBoostAdaBoost回歸多項(xiàng)式最小二乘回歸支持向量回歸SVR神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)。。。。。。實(shí)例淘寶母嬰預(yù)測(cè)分組12345年齡段1to6months6to12months1to3years3to6yearsolderthan6years預(yù)測(cè)模型整體框架特征提取商品編號(hào)一級(jí)類(lèi)目葉子類(lèi)目屬性1屬性21服裝褲子適用年齡：2歲型號(hào)：L2食物奶粉適用年齡：3到6個(gè)月3用