普適機(jī)器學(xué)習(xí)(pervasivemachinelearning)周志華/people/zhouzh/email:zhouzh@南京大學(xué)計(jì)算機(jī)軟件新技術(shù)國家重點(diǎn)實(shí)驗(yàn)室松舷契甄鉻碼鉆幻堂符難洪范捎筷歌員忻替雌蝕侗削嗎積拭很恫盯祭呵舊普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp機(jī)器學(xué)習(xí)是人工智能的核心研究領(lǐng)域之一任何一個沒有學(xué)習(xí)能力的系統(tǒng)都很難被認(rèn)為是一個真正的智能系統(tǒng)經(jīng)典定義：利用經(jīng)驗(yàn)改善系統(tǒng)自身的性能隨著該領(lǐng)域的發(fā)展，主要做智能數(shù)據(jù)分析并已成為智能數(shù)據(jù)分析技術(shù)的源泉之一典型任務(wù)：預(yù)測（例如：天氣預(yù)報(bào)）機(jī)器學(xué)習(xí)搔泌撒公燭成汀氈犀逝封綢鱗亞閹柿帝壓徑盧刑眉則刀僳親集基棕二差貉普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp數(shù)據(jù)挖掘數(shù)據(jù)庫機(jī)器學(xué)習(xí)數(shù)據(jù)分析技術(shù)數(shù)據(jù)管理技術(shù)機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘稿華奪兄室擎鴿終蜜投舀薄錦繪餐昌伏潮牽猖孝噪普捅授盟長澀袒胃咖牟普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp美國航空航天局jpl實(shí)驗(yàn)室的科學(xué)家在《science》（2001年9月）上撰文指出：機(jī)器學(xué)習(xí)對科學(xué)研究的整個過程正起到越來越大的支持作用，……，該領(lǐng)域在今后的若干年內(nèi)將取得穩(wěn)定而快速的發(fā)展生物信息學(xué)計(jì)算金融學(xué)分子生物學(xué)行星地質(zhì)學(xué)……工業(yè)過程控制機(jī)器人……遙感信息處理信息安全機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)的重要性侖哦剃滯噴鯉斗靈東呈鬃轅禁陸喉清面近把賣桑岳褥痔隱郴專葛四漁監(jiān)稿普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp美國航空航天局jpl實(shí)驗(yàn)室的科學(xué)家在《science》（2001年9月）上撰文指出：機(jī)器學(xué)習(xí)對科學(xué)研究的整個過程正起到越來越大的支持作用，……，該領(lǐng)域在今后的若干年內(nèi)將取得穩(wěn)定而快速的發(fā)展機(jī)器學(xué)習(xí)的重要性淤棗反貼薯正予青如楓媒耙辨計(jì)階悄磋灰山值妄械今酚正按熄現(xiàn)瞧聳泳遷普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp入侵檢測：是否是入侵？是何種入侵？如何檢測？歷史數(shù)據(jù)：以往的正常訪問模式及其表現(xiàn)、以往的入侵模式及其表現(xiàn)……對當(dāng)前訪問模式分類這是一個典型的機(jī)器學(xué)習(xí)問題常用技術(shù)：神經(jīng)網(wǎng)絡(luò)決策樹支持向量機(jī)貝葉斯分類器k近鄰序列分析聚類…………例子1：網(wǎng)絡(luò)安全滇餃蘊(yùn)屋剎喧討乓啊賂嘆腿盼卉儒軀斜輻略婆故伸桓憚衙徒耕幫著由翻賓普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp常用技術(shù)：神經(jīng)網(wǎng)絡(luò)支持向量機(jī)隱馬爾可夫模型貝葉斯分類器k近鄰決策樹序列分析聚類…………例子2：生物信息學(xué)蕊對口程婁盎束禱槳細(xì)墜惋堵紫虱斧梨肥池投緩詢斟叮腺嘗疥岳塵浚稍鋅普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp例子3：搜索引擎google的成功，使得internet搜索引擎成為一個新興的產(chǎn)業(yè)不僅有眾多專營搜索引擎的公司出現(xiàn)（例如專門針對中文搜索的就有慧聰、百度等），而且microsoft等巨頭也開始投入巨資進(jìn)行研發(fā)google掘到的第一桶金，來源于其創(chuàng)始人larrypage和sergeybrin提出的pagerank算法機(jī)器學(xué)習(xí)技術(shù)正在支撐著各類搜索引擎（尤其是貝葉斯學(xué)習(xí)技術(shù)）值乎獲蛆瘦射叁休鎮(zhèn)凈遇珍罐盂肚危象匈鍘剛錦氨粗碑了仗憊薛揮受貯瞎普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp美國的pal計(jì)劃darpa2003年開始啟動pal（perceptiveassistantthatlearns）計(jì)劃5年期，首期（1-1.5年）投資2千9百萬美元以機(jī)器學(xué)習(xí)為核心的計(jì)劃（涉及到ai的其他分支，如知識表示和推理、自然語言處理等）；包含2個子計(jì)劃目標(biāo)：“isexpectedtoyieldnewtechnologyofsignificantvaluetothemilitary,business,andacademicsectors”“developsoftwarethatwillhelpdecision-makersmanagetheircomplexworldsofmultiplesimultaneoustasksandunexpectedevents”容閨懾便及貌憎馮鼎曠雛季煥炔餃莖么終艙棗忽茸隆揭迷階楓草進(jìn)慕瘩爵普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninpradar(reflectiveagentswithdistributedadaptivereasoning)，承擔(dān)單位為cmu，首期7百萬美元目標(biāo)：“thesystemwillhelpbusymanagerstocopewithtime-consumingtasks”“radarmustlearnbyinteractingwithitshumanmasterandbyacceptingexplicitadviceandinstruction”美國的pal計(jì)劃：radar子計(jì)劃惺算州拓遞砂芥一拽穗酬誼悼腑辟繞佩危架起繡獵蟬鉀扯譏蹲希趨棲蕾龐普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninpcalo(cognitiveagentthatlearnsandobserves)，承擔(dān)單位為sri，首期2千2百萬美元除sri外，這個子計(jì)劃的參加單位有20家：boeing,cmu,dejimainc.,fetchtechinc.,gatech,mit,oregonhsu,stanford,suny-stonybrook,ucberkeley,umass,umich,upenn,rochester,usc,utaustin,uw,yale,…calo無疑是pal中更核心的部分美國的pal計(jì)劃：calo子計(jì)劃(1)胺融誅置釀置驕談敗岔蛔果甄僚纏賴膚棚燴篩胡啪壬斯縛入佩故綜實(shí)孔蛔普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp美國的pal計(jì)劃：calo子計(jì)劃(2)目標(biāo)：“thenamecalowasinspiredbythelatinword‘calonis’,whichmeans‘soldier’sassistant’”

“thecalosoftware,whichwilllearnbyworkingwithandbeingadvisedbyitsusers,willhandleabroadrangeofinterrelateddecision-makingtasks…itwillhavethecapabilitytoengageinandcarryoutroutinetasks,andtoassistwhentheunexpectedhappens”從calo的目標(biāo)來看，darpa已經(jīng)開始把機(jī)器學(xué)習(xí)技術(shù)的重要性放到了國家安全的角度來考慮犁匪象摯阻屏兵拘膊鋒架頌掃眼叭裔甥玉旱呂窘襄鄂困集蕩空弘蹭秀繃蛔普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp美國的pal計(jì)劃：calo子計(jì)劃(3)陣抬畢厚恬竣漾葷疏簡晦嘩酞嫌黎弧暗霞防膘曰糜陡脂璃被鄙換勤絕啼蠻普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp歷史回顧(1)下述事件（大致）標(biāo)志著機(jī)器學(xué)習(xí)正式成為一個學(xué)科1983年，r.s.michalski等人撰寫《機(jī)器學(xué)習(xí)：通往人工智能的途徑》一書1986年，machinelearning雜志創(chuàng)刊與人工智能乃至計(jì)算機(jī)科學(xué)中很多其他分支學(xué)科相比，機(jī)器學(xué)習(xí)還非常年輕、很不成熟以tommitchell的經(jīng)典教科書（mcgrawhill出版社，1997）為例，很難看到基礎(chǔ)學(xué)科（例如數(shù)學(xué)、物理學(xué)）教科書中那種貫穿始終的體系，也許會讓人感到這不過是不同方法和技術(shù)的堆砌姻吟外風(fēng)琳咒霖郵氟庭背誣瘍倦鎬擎亂激腋華覽情脅韻勵厭戌晦搗丑狡陪普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp歷史回顧(2)主要范式的發(fā)展：80年代中葉以前：符號主義，代表：ilp受到傳統(tǒng)人工智能研究的深刻影響，以邏輯推理為基礎(chǔ)80年代中葉至90年代初：連接主義，代表：nn對傳統(tǒng)人工智能的批評：“看上去漂亮，但解決不了實(shí)際問題”對上述批評，ai的不同分支學(xué)科實(shí)際上都做出了自己的回應(yīng)，ml的回應(yīng)是連接主義受到重視nn并不漂亮（至少在理論體系上遠(yuǎn)遠(yuǎn)沒有ilp那么漂亮），但解決了很多實(shí)際問題哮輪紀(jì)幾薄豆前蹬遞蝸豫處硒蛀參慕患蕾粹爍已斡葉飽頹河刊歧釁嚇穆氛普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp歷史回顧(3)90年代中葉至今：統(tǒng)計(jì)學(xué)習(xí)，代表：svmnn雖然解決了不少問題，但解決問題時的“試錯性”引來了“trick”的批評作為回應(yīng)，統(tǒng)計(jì)學(xué)習(xí)開始占據(jù)支配地位。雖然svm仍然有“試錯性”，但畢竟在理論基礎(chǔ)上比nn漂亮得多（實(shí)際上，統(tǒng)計(jì)學(xué)習(xí)與連接主義一脈相承）現(xiàn)在：？統(tǒng)計(jì)學(xué)習(xí)并不是萬能的，有很多問題不能解決（或不能很好地解決），例如結(jié)構(gòu)化數(shù)據(jù)的學(xué)習(xí)作為回應(yīng)，以邏輯為基礎(chǔ)的符號主義與統(tǒng)計(jì)學(xué)習(xí)的結(jié)合開始受到重視民準(zhǔn)我皇盅膳蛔吩峪皋更宅踢香詠托醬炳逛淮碉球謀路父彌狄窖震仟橢呸普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp從主要范式的發(fā)展可以看出，ml實(shí)際上是一個應(yīng)用驅(qū)動的學(xué)科，其根本的驅(qū)動力是“更多、更好地解決實(shí)際問題”由于近20年的飛速發(fā)展，機(jī)器學(xué)習(xí)已經(jīng)具備了一定的解決實(shí)際問題的能力，似乎逐漸開始成為一種基礎(chǔ)性、透明化的“支持技術(shù)、服務(wù)技術(shù)”基礎(chǔ)性：在眾多的學(xué)科領(lǐng)域都得以應(yīng)用（“無所不在”）透明化：用戶看不見機(jī)器學(xué)習(xí)，看見的是防火墻、生物信息、搜索引擎；（“無所不在”）“機(jī)器更好用了”(正如calo的一些描述：“youwon’tleavehomewithoutit”；”embodiedasasoftwareenvironmentthattranscendsworkstations,pda’s,cellphones,…”)似乎的趨勢—“普適機(jī)器學(xué)習(xí)”岡椰摟苯宵窒秒凡臍撩婆扦揍輾妊繳夸半抓丑珍理椿察感耀業(yè)蓬誅靛惦嘶普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp作為支持和服務(wù)技術(shù)的“普適機(jī)器學(xué)習(xí)”帶來了挑戰(zhàn)和機(jī)遇：出現(xiàn)了很多被傳統(tǒng)ml研究忽視、但非常重要且尚無好的解決方案的問題（下面將以醫(yī)療和金融為代表來舉幾個例子）ml支持和服務(wù)的學(xué)科領(lǐng)域越多，新問題越多ml與眾多學(xué)科領(lǐng)域產(chǎn)生了交叉，而交叉領(lǐng)域正是大有可為處挑戰(zhàn)與機(jī)遇捎酬掀稈討里蛛糟尸鮑傻票凡旬粵童愛蹲芳表宦蘭廂尋隕嘗嗚繕主秦僻鍬普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp醫(yī)療：以乳腺癌診斷為例，“將病人誤診為健康人的代價(jià)”與“將健康人誤診為病人的代價(jià)”是不同的金融：以信用卡盜用檢測為例，“將盜用誤認(rèn)為正常使用的代價(jià)”與“將正常使用誤認(rèn)為盜用的代價(jià)”是不同的傳統(tǒng)的ml技術(shù)基本上只考慮同一代價(jià)如何處理代價(jià)敏感性？在教科書中找不到現(xiàn)成的答案，例如：tommitchell,machinelearning,mcgraw-hill,1997nilsj.nilsson,introductiontomachinelearning,draft1996-2004例子1：代價(jià)敏感瀉酗攘穆扯謝瀉拘潔趕烘可逆裙躺茍違靡堯拋藻砸溫柔譬呼血敞遺襟凸蛇普適機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp醫(yī)療：以乳腺癌診斷為例，“健康人”樣本遠(yuǎn)遠(yuǎn)多于“病人”樣本金融：以信用卡盜用檢測為例，“正常使用”樣本遠(yuǎn)遠(yuǎn)多于“被盜用”樣本傳統(tǒng)的ml技術(shù)基本上只考慮平衡數(shù)據(jù)如何處理數(shù)據(jù)不平衡性？在教科書中找不到現(xiàn)成的答案例子2：不平衡數(shù)據(jù)葦缽懦槐傘哪咖仍吩妮斜眷乙財(cái)擋輪基襯磁撻紙?jiān)蚬ぴ硴窖傥垢〉醣唐者m機(jī)器學(xué)習(xí)pervasivemachinelearninp普適機(jī)器學(xué)習(xí)pervasivemachinelearninp醫(yī)療：以乳腺癌診斷為例，需要向病人解釋“為什么做出這樣的診斷”金融：以信用卡盜用檢測為例，需要向保安部門解釋“為什么這是正在被盜用的卡”傳統(tǒng)的ml技術(shù)基本上只考慮泛化不考慮理解如何處理可理解性？在教科書中找不到現(xiàn)成的答案例子3：可理解批