1、北郵阿里巴巴技術(shù)聯(lián)盟機器學(xué)習(xí)概述研究方法概念學(xué)習(xí)資料機器學(xué)習(xí)是近20多年興起的一門多領(lǐng)域交叉學(xué)科,涉及概率論、統(tǒng)計學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科。機器學(xué)習(xí)理論主要是設(shè)計和分析一些讓計算機可以自動“學(xué)習(xí)”的算法。即從數(shù)據(jù)中自動分析獲得規(guī)律，并利用規(guī)律對未知數(shù)據(jù)進(jìn)行預(yù)測的算法。定義：“機器學(xué)習(xí)是對能通過經(jīng)驗自動改進(jìn)的計算機算法的研究”。定義：“機器學(xué)習(xí)是一種讓計算機在沒有事先明確地編程的情況下做出正確反應(yīng)的科學(xué)” 。機器學(xué)習(xí)：定義機器學(xué)習(xí)已經(jīng)有了十分廣泛的應(yīng)用，例如：數(shù)據(jù)挖掘、計算機視覺、自然語言處理、生物特征識別、搜索引擎、醫(yī)學(xué)診斷、檢測信用卡欺詐、證券市場分析、DNA序列測序、語

2、音和手寫識別、戰(zhàn)略游戲和機器人運用。機器學(xué)習(xí)：應(yīng)用機器學(xué)習(xí)：應(yīng)用監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)機器學(xué)習(xí)算法統(tǒng)計分類回歸分析聚類關(guān)聯(lián)規(guī)則機器學(xué)習(xí)算法分類監(jiān)督學(xué)習(xí)算法：統(tǒng)計分類監(jiān)督學(xué)習(xí)算法：回歸分析監(jiān)督學(xué)習(xí)算法特征n目標(biāo)訓(xùn)練集特征n目標(biāo)特征n目標(biāo)特征1特征1特征1監(jiān)督學(xué)習(xí)算法：訓(xùn)練/學(xué)習(xí)身高發(fā)長抽煙性別1.881.4cm是男1.6615.3cm否女1.7822.6cm否女監(jiān)督學(xué)習(xí)算法特征n測試集特征n特征n特征1特征1特征1結(jié)果目標(biāo)目標(biāo)目標(biāo)監(jiān)督學(xué)習(xí)算法：預(yù)測身高發(fā)長抽煙1.660cm是1.765.1cm否1.5514.4cm否性別男男女統(tǒng)計分類特征n測試集特征1結(jié)果離散值監(jiān)督學(xué)習(xí)算法：分類？回歸？回歸分析特征

3、n特征1連續(xù)值離散值連續(xù)值決策樹KNN邏輯回歸監(jiān)督學(xué)習(xí)算法樸素貝葉斯神經(jīng)網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)算法隨機森林SVM算法優(yōu)化AdaBoost遺傳算法監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)機器學(xué)習(xí)算法統(tǒng)計分類回歸分析聚類關(guān)聯(lián)規(guī)則機器學(xué)習(xí)算法分類無監(jiān)督學(xué)習(xí)算法：聚類無監(jiān)督學(xué)習(xí)算法：關(guān)聯(lián)規(guī)則刮風(fēng)降溫降雨冰雹111011001000101001111100刮風(fēng)降溫降雨冰雹111011001000101001111100-監(jiān)督-統(tǒng)計分類-無監(jiān)督-關(guān)聯(lián)規(guī)則無監(jiān)督學(xué)習(xí)算法特征n訓(xùn)練集特征n特征n特征1特征1特征1無監(jiān)督學(xué)習(xí)算法：訓(xùn)練/學(xué)習(xí)監(jiān)督學(xué)習(xí)算法特征n測試集特征n特征n特征1特征1特征1結(jié)果目標(biāo)目標(biāo)目標(biāo)無監(jiān)督學(xué)習(xí)算法：預(yù)測無監(jiān)督學(xué)習(xí)算法

4、K-meansBIRCHApriori研究方法概念學(xué)習(xí)資料優(yōu)化算法（變體/高級）基本算法程序?qū)嵺`（樣本優(yōu)化）容易理解的算法邏輯核心的數(shù)學(xué)原理特色/優(yōu)缺點主要應(yīng)用方向?qū)W習(xí)內(nèi)容講課要求學(xué)習(xí)內(nèi)容和講課要求其他特征提取特征1樣本數(shù)據(jù)樣本數(shù)據(jù)樣本數(shù)據(jù)n預(yù)處理特征樣本集原始樣本集機器學(xué)習(xí)算法訓(xùn)練預(yù)測輸出驗證集評價目標(biāo)特征1n目標(biāo)特征1n目標(biāo)特征1n訓(xùn)練集目標(biāo)特征1n目標(biāo)特征1n目標(biāo)特征1n驗證集目標(biāo)特征1n目標(biāo)特征1n目標(biāo)預(yù)測目標(biāo)預(yù)測目標(biāo)預(yù)測目標(biāo)機器學(xué)習(xí)實施過程改進(jìn)特征不顯著怎么辦？-人腦戰(zhàn)勝電腦，分析并提取出樣本的數(shù)據(jù)特征時間用戶ID商品ID操作1月1日001001點擊1月2日002002收藏1月3日0

5、01001購買1月3日001004點擊1月5日002005點擊1月6日002006購買特征提取特征1樣本數(shù)據(jù)樣本數(shù)據(jù)樣本數(shù)據(jù)n特征樣本集原始樣本集目標(biāo)特征1n目標(biāo)特征1n目標(biāo)特征提取統(tǒng)計分析變換特征運算時間用戶ID商品ID操作1月1日001001點擊1月2日002002收藏1月3日001001購買1月3日001004點擊1月5日002005點擊1月6日002006購買用戶ID商品ID點擊次數(shù)操作日期購買日期00100123300100413NULL00200212NULL00200515NULL002006166噪聲太多導(dǎo)致算法過擬合怎么辦？-預(yù)處理，過濾噪聲年齡肝臟大小體重肝硬化231060

6、kg否78865kg否36555kg否341380kg否13743kg否461175kg是22863kg否29859kg否581071kg否特征1n預(yù)處理特征樣本集目標(biāo)特征1n目標(biāo)特征1n目標(biāo)特征1n訓(xùn)練集目標(biāo)特征1n目標(biāo)特征1n目標(biāo)特征1n驗證集目標(biāo)特征1n目標(biāo)預(yù)處理過濾采樣劃分集合特征1n目標(biāo)特征1n目標(biāo)特征1n目標(biāo)特征1n目標(biāo)特征1n目標(biāo)單一算法受局限怎么辦？-算法迭代、融合-重新考慮新特征訓(xùn)練特征1n訓(xùn)練集1目標(biāo)特征1n目標(biāo)特征1n目標(biāo)算法融合：訓(xùn)練特征1n訓(xùn)練集2目標(biāo)特征1n目標(biāo)特征1n目標(biāo)機器學(xué)習(xí)算法A預(yù)測特征1n訓(xùn)練集2預(yù)測目標(biāo)特征1n預(yù)測目標(biāo)特征1n預(yù)測目標(biāo)目標(biāo)目標(biāo)目標(biāo)輸出算法

7、融合：訓(xùn)練機器學(xué)習(xí)算法B特征1n訓(xùn)練集2預(yù)測目標(biāo)特征1n預(yù)測目標(biāo)特征1n預(yù)測目標(biāo)目標(biāo)目標(biāo)目標(biāo)訓(xùn)練算法A訓(xùn)練算法融合算法B算法C算法D特征1n驗證集目標(biāo)特征1n目標(biāo)特征1n目標(biāo)特征1n訓(xùn)練集1目標(biāo)特征1n目標(biāo)特征1n目標(biāo)特征1n訓(xùn)練集2目標(biāo)特征1n目標(biāo)特征1n目標(biāo)預(yù)測特征提取特征1樣本數(shù)據(jù)樣本數(shù)據(jù)樣本數(shù)據(jù)n預(yù)處理特征樣本集原始樣本集機器學(xué)習(xí)算法訓(xùn)練預(yù)測輸出驗證集評價目標(biāo)特征1n目標(biāo)特征1n目標(biāo)特征1n訓(xùn)練集目標(biāo)特征1n目標(biāo)特征1n目標(biāo)特征1n驗證集目標(biāo)特征1n目標(biāo)特征1n目標(biāo)預(yù)測目標(biāo)預(yù)測目標(biāo)預(yù)測目標(biāo)機器學(xué)習(xí)實施過程改進(jìn)統(tǒng)計分析特征提取算法原理融合方法樣本構(gòu)造理論實踐算法選擇優(yōu)化算法（變體/高級）基本算法程序?qū)嵺`（樣本優(yōu)化）容易理解的算法邏輯核心的數(shù)學(xué)原理特色/優(yōu)缺點主要應(yīng)用方向?qū)W習(xí)內(nèi)容講課要求學(xué)習(xí)內(nèi)容和講課要求其他研究方法概念學(xué)習(xí)資料機器學(xué)習(xí)，Mitchell 著, 機械工業(yè)出版社；機器學(xué)習(xí)實戰(zhàn)，Peter Harrington著；人民郵電出版社統(tǒng)計學(xué)完全教程， (美)