機(jī)器學(xué)習(xí)概述內(nèi)容提綱21.機(jī)器學(xué)習(xí)驅(qū)動(dòng)的人工智能案例2.機(jī)器學(xué)習(xí)的前世今生星球大戰(zhàn)：新希望（1977）藝術(shù)中的AI（1）C-3POandR2-D2藝術(shù)中的AI（2）TheTerminator

(1984)T800→T850/T1000→T-XArtificalIntelligence（2001）藝術(shù)中的AI（3）BigHero(2014)電影中的AI：像人一樣能交談、會(huì)思考、有情感、能決策和行動(dòng)！大衛(wèi)大白Top的機(jī)器人研發(fā)公司現(xiàn)實(shí)中的AI（1）機(jī)器狗:BigDog機(jī)器狗:SpotMini現(xiàn)實(shí)中的AI（1）人形機(jī)器人：Atlas現(xiàn)實(shí)中的AI（1）現(xiàn)實(shí)中的AI（2）現(xiàn)實(shí)中的AI（2）索菲亞（Sophia）是由香港的漢森機(jī)器人技術(shù)公司（HansonRobotics）開發(fā)的類人機(jī)器人。2017年10月，索菲亞成為沙特阿拉伯公民，這是世界上第一個(gè)獲得國籍的機(jī)器人。索菲亞于2015年4月19日被激活，她以女演員奧黛麗·赫本為模型，與以前的各種型號(hào)機(jī)器人相比，她更具與人類相似外觀和行為方式。索菲亞具有人工智能、視覺數(shù)據(jù)處理和面部識(shí)別功能，還可以模仿人類的手勢和面部表情；索菲亞使用來自Alphabet公司（Google的母公司）的語音識(shí)別技術(shù)，以此使她隨著時(shí)間的推移變得更加智能化。索菲亞適合于作為養(yǎng)老院老人的伴侶，或幫助大型活動(dòng)、公園中的人群。DeepBlue(1997)Watson(2011)AlphoGO(2016)現(xiàn)實(shí)中的AI（3）AlphoCode(2022)IBMGoogle現(xiàn)實(shí)中的AI（4）ChapGPT

官網(wǎng)視頻截取案例Sora官網(wǎng)文本生成視頻案例現(xiàn)實(shí)中的AI（4）ChapGPT

官網(wǎng)視頻截取案例OpenAI機(jī)器學(xué)習(xí)（MachineLearning，ML）研究和構(gòu)建的是一種特殊算法（而非某一個(gè)特定的算法），能夠讓計(jì)算機(jī)自己在數(shù)據(jù)中學(xué)習(xí)從而進(jìn)行預(yù)測，屬于人工智能的一個(gè)核心分支。，該領(lǐng)域的研究包括機(jī)器人、語言識(shí)別、圖像識(shí)別、自然語言處理和專家系統(tǒng)等等。機(jī)器學(xué)習(xí)定義內(nèi)容提綱151.機(jī)器學(xué)習(xí)驅(qū)動(dòng)的人工智能案例2.機(jī)器學(xué)習(xí)的前世今生機(jī)器學(xué)習(xí)的發(fā)展歷程熱度時(shí)間1956196019701980199020002010初春初冬初秋寒冬復(fù)蘇爆發(fā)起步發(fā)展期反思發(fā)展期應(yīng)用發(fā)展期低迷發(fā)展期穩(wěn)步發(fā)展期蓬勃發(fā)展期人工智能誕生任務(wù)失敗目標(biāo)落空專家系統(tǒng)遍地開花人工智能轉(zhuǎn)向?qū)嵱枚囗?xiàng)研究發(fā)展緩慢互聯(lián)網(wǎng)推動(dòng)人工智能不斷創(chuàng)新和實(shí)用深度學(xué)習(xí)與大數(shù)據(jù)興起帶來了人工智能的爆發(fā)機(jī)器定理證明智能跳棋程序……機(jī)器翻譯笑話百出定理證明發(fā)展乏力……醫(yī)療專家系統(tǒng)MYCIN化學(xué)專家系統(tǒng)DENDRALDEC的專家配置系統(tǒng)XCON……專家系統(tǒng)發(fā)展乏力神經(jīng)網(wǎng)絡(luò)研究受阻……深藍(lán)戰(zhàn)勝國際象棋冠軍IBM提出智慧地球我國提出感知中國……物聯(lián)網(wǎng)云計(jì)算大數(shù)據(jù)……機(jī)器學(xué)習(xí)的緣起機(jī)器學(xué)習(xí)的淵源（20世紀(jì)早期及之前）古希臘的哲學(xué)家亞里士多德曾寫道：“如果每一件工具被安排好甚或是自然而然的做那些適合于它們做的工作……那么就沒必要再有師徒或主奴了?！卑l(fā)條機(jī)器人木牛流馬機(jī)器學(xué)習(xí)的緣起

機(jī)器學(xué)習(xí)誕生的黎明（1930年-1950年）“人工智能成為一門顯性的、嚴(yán)格的、系統(tǒng)的、可實(shí)現(xiàn)的科學(xué)和工程的一個(gè)領(lǐng)域，得益于上個(gè)世紀(jì)邏輯科學(xué)、計(jì)算機(jī)科學(xué)、信息論、控制論很多學(xué)科的發(fā)展的交匯。它基于一個(gè)很基本的假設(shè)：人的思維活動(dòng)是可以用機(jī)械的方式替代和完成?！绷_素和懷德海希爾伯特的宏偉構(gòu)想哥德爾的不完備定理圖靈機(jī)機(jī)器學(xué)習(xí)的萌芽1950年數(shù)學(xué)家阿蘭·圖靈(1912-1954)在論文《ComputingMachineryandIntelligence》中提出了“機(jī)器能否擁有智能？”的問題，設(shè)計(jì)了一個(gè)后人稱為圖靈測試的實(shí)驗(yàn)：要求計(jì)算機(jī)在沒有直接物理接觸的情況下接受人類的詢問，并盡可能把自己偽裝成人類。如果“足夠多”的詢問者在“足夠長”的時(shí)間里無法以“足夠高”的正確率辨別被詢問者是機(jī)器還是人類，我們就認(rèn)為這個(gè)計(jì)算機(jī)通過了圖靈測試。圖靈成功定義了什么是計(jì)算機(jī)，但沒有定義什么是智能，他把圖靈測試看作人工智能的一個(gè)充分條件，主張認(rèn)為通過圖靈測試的計(jì)算機(jī)應(yīng)該被看作是擁有智能的。他大膽預(yù)測

“

到2000年左右時(shí)，一臺(tái)擁有1GB內(nèi)存或類似規(guī)模的計(jì)算機(jī)可以在接受普通人5分鐘的詢問之后，使他們的判斷正確率不超過70%”。但是……機(jī)器學(xué)習(xí)和AI的起源達(dá)特茅斯會(huì)議（1956年）目的：為使計(jì)算機(jī)變得更“聰明”，或者說使計(jì)算機(jī)具有智能

發(fā)起人：

麥卡錫（J.McCarthy，1927），Dartmouth的年輕數(shù)學(xué)家，圖靈獎(jiǎng)（1971）

明斯基（M.L.Minsky，1927），MIT、斯坦福大學(xué)教授，第一位圖靈獎(jiǎng)（1969）

香農(nóng)（C.E.Shannon，1916），貝爾實(shí)驗(yàn)室信息部數(shù)學(xué)研究員

參加人：

莫爾(T.more)、塞繆爾(A.L.Samuel)，IBM公司；塞爾夫里奇(O.Selfridge)、索羅蒙夫(R.Solomonff)，MIT；紐厄爾(A.Newell)，蘭德(RAND)公司；西蒙(H.A.Simon)，CMU會(huì)議成果：由麥卡錫提議正式采用了“ArtificialIntelligence”這一術(shù)語機(jī)器學(xué)習(xí)和AI的起源達(dá)特茅斯會(huì)議（1956年）會(huì)議召開目的：尋求科研經(jīng)費(fèi)資助機(jī)器學(xué)習(xí)和AI初春ArthurSamuel

1959年在IBM第一批商用計(jì)算機(jī)IBM701上編寫出世界上第一款走國際跳棋的程序A.Newell,H.Simon和C.Shaw1955年發(fā)明了邏輯定理機(jī)，證明了《數(shù)學(xué)原理》中的38條定理?！?hào)主義的開端F.Rosenblatt1958年發(fā)明了感知機(jī)，分類問題的有監(jiān)督學(xué)習(xí)算法?！B接主義的鼻祖機(jī)器學(xué)習(xí)和AI初冬(1960-1970)模型局限算法局限M.MinskyS.CookR.Karp機(jī)器學(xué)習(xí)重整旗鼓(1980s)專家系統(tǒng)（1965-）第五代計(jì)算機(jī)計(jì)劃（1981-）多層神經(jīng)網(wǎng)絡(luò)（1986）反向傳播算法第五代計(jì)算機(jī)是把信息采集、存儲(chǔ)、處理、通信同人工智能結(jié)合在一起的智能計(jì)算機(jī)系統(tǒng)。它能進(jìn)行數(shù)值計(jì)算或處理一般的信息，主要能面向知識(shí)處理，具有形式化推理、聯(lián)想、學(xué)習(xí)和解釋的能力，能夠幫助人們進(jìn)行判斷、決策、開拓未知領(lǐng)域和獲得新的知識(shí)。專家系統(tǒng)是一種模擬人類專家解決領(lǐng)域問題的計(jì)算機(jī)程序系統(tǒng)。系統(tǒng)內(nèi)存儲(chǔ)了大量領(lǐng)域知識(shí)，并模仿人類專家來做出決策。DENDRAL機(jī)器學(xué)習(xí)和AI再次入冬（1987-2000）Apple/IBM個(gè)人電腦內(nèi)因：專家系統(tǒng)乏力神經(jīng)網(wǎng)絡(luò)受阻各項(xiàng)進(jìn)展緩慢外因：政府科研經(jīng)費(fèi)削減美國GDP1991：-0.108機(jī)器學(xué)習(xí)的反思像人一樣思考的系統(tǒng)理性地思考的系統(tǒng)“要使計(jì)算機(jī)能夠思考..….意思就是：有頭腦的機(jī)器”（Haugeland,1985）“與人類的思維相關(guān)的活動(dòng)，諸如決策、問題求解、學(xué)習(xí)等活動(dòng)”（Bellman,1978）“通過利用計(jì)算模型來進(jìn)行心智能力的研究”（Chamiak和McDermott,1985）“對(duì)使得知覺、推理和行為成為可能的計(jì)算的研究”（Winston,1992）像人一樣行動(dòng)的系統(tǒng)理性地行動(dòng)的系統(tǒng)“一種技藝，創(chuàng)造機(jī)器來執(zhí)行人需要智能才能完成的功能”（Kurzweil,1990）“研究如何讓計(jì)算機(jī)能夠做到那些目前人比計(jì)算機(jī)做得更好的事情”（Rich和Knight,1991）“計(jì)算智能是對(duì)設(shè)計(jì)智能化智能體的研究”（Poole等，1998）“AI..….關(guān)心的是人工制品中的智能行為”（Nilsson,1998）類人理性行為思維弱人工智能也稱限制領(lǐng)域人工智能或應(yīng)用型人工智能，指的是專注于且只能解決特定領(lǐng)域問題的人工智能。強(qiáng)人工智能又稱通用人工智能或完全人工智能，指的是可以勝任人類所有工作的人工智能。超人工智能假設(shè)機(jī)器系統(tǒng)通過不斷發(fā)展，可以比世界上最聰明的人類還聰明。JohnSearle弱AI：ActingHumanly強(qiáng)AI：ActingandThinkingHumanly對(duì)機(jī)器學(xué)習(xí)的反思當(dāng)前偏好：實(shí)用型、功能型的AI輸入功能輸出文本文本分類標(biāo)簽圖片圖片分類標(biāo)簽中文一句話翻譯英文一句話問句對(duì)話系統(tǒng)答句圖片ImageCaption圖片描述語音語音識(shí)別文字智能的功能表示：從輸入到輸出的映射對(duì)機(jī)器學(xué)習(xí)的反思xyf機(jī)器學(xué)習(xí)的新紀(jì)元新算法富算力大數(shù)據(jù)我不擔(dān)憂了！在有限，透明規(guī)則、特定任務(wù)下，機(jī)器超過人的水平是時(shí)間問題，絕對(duì)是會(huì)超過的

─CMU,Prof.EricXing機(jī)器學(xué)習(xí)的當(dāng)前局限人工智能總體發(fā)展水平仍處于加速階段

人的大腦是一個(gè)通用的智能系統(tǒng)，能舉一反三、融會(huì)貫通，可處理視覺、聽覺、判斷、推理、學(xué)習(xí)、思考、規(guī)劃、設(shè)計(jì)等各類問題，可謂“一腦百用”。

目前人工智能距離人類智能水平差距正在縮小，人工智能處于蓬勃發(fā)展期。強(qiáng)人工智能研究與應(yīng)用正在逐漸靠近我們機(jī)器學(xué)習(xí)的當(dāng)前局限美國DARPA對(duì)當(dāng)前人工智能技術(shù)水平所處發(fā)展階段的判斷：從知識(shí)規(guī)則到統(tǒng)計(jì)學(xué)習(xí)，第三波人工智能技術(shù)在信息感知（Perceiving）和機(jī)器學(xué)習(xí)（Learning）方面進(jìn)展顯著，但是在概念抽象（Abstracting）和推理決策（Reasoning）方面正在發(fā)生翻天覆地的變化與更新。人工智能三次浪潮及技術(shù)特征機(jī)器學(xué)習(xí)驅(qū)動(dòng)的人工智能總體發(fā)展水平處于加速階段機(jī)器學(xué)習(xí)當(dāng)前局限正在逐步改變有智能沒智慧：無意識(shí)和悟性，缺乏綜合決策能力有智商沒情商：機(jī)器對(duì)人的情感理解與交流還處于起步階段會(huì)計(jì)算不會(huì)“算計(jì)”：有智無心，更無謀有專才無通才：會(huì)下圍棋的“阿狗”不會(huì)下象棋機(jī)器學(xué)習(xí)的發(fā)展趨勢1.從專用智能到通用智能如何實(shí)現(xiàn)從專用智能到通用智能的跨越式發(fā)展，既是下一代人工智能發(fā)展的必然趨勢，也是研究與應(yīng)用領(lǐng)域的挑戰(zhàn)問題。機(jī)器學(xué)習(xí)的發(fā)展趨勢2.從機(jī)器智能到人機(jī)混合智能人工智能（機(jī)器智能）和人類智能各有所長，因此需要取長補(bǔ)短，融合多種智能模式的智能技術(shù)將在未來有廣闊的應(yīng)用前景?！叭?機(jī)器”的組合將是人工智能研究的主流方向，“人機(jī)共存”將是人類社會(huì)的新常態(tài)。FromAI(ArtificialIntelligence)toAI(AugmentedIntelligence)人機(jī)協(xié)作人機(jī)決策腦機(jī)接口機(jī)器學(xué)習(xí)的發(fā)展趨勢腦科學(xué)研究腦的多尺度功能連接圖譜基因、蛋白質(zhì)、神經(jīng)元、神經(jīng)環(huán)路的結(jié)構(gòu)與功能認(rèn)知任務(wù)與腦結(jié)構(gòu)的關(guān)聯(lián)疾病與腦結(jié)構(gòu)的關(guān)聯(lián)腦疾病機(jī)理……類腦智能研究借鑒腦科學(xué)研究成果，構(gòu)建認(rèn)知腦模型研究類人學(xué)習(xí)及訓(xùn)練方法模仿人腦多尺度、多腦區(qū)、多模態(tài)產(chǎn)生智能的機(jī)制，實(shí)現(xiàn)對(duì)人類智能的建模和機(jī)理的揭示啟發(fā)未來信息技術(shù)，推動(dòng)智能產(chǎn)業(yè)發(fā)展相互支撐相互促進(jìn)共同發(fā)展提供生理學(xué)原理與數(shù)據(jù)，啟發(fā)全新計(jì)算模式提供仿真模擬手段、系統(tǒng)與平臺(tái)，支持科學(xué)假設(shè)驗(yàn)證提供廣泛的應(yīng)用前景2.從機(jī)器智能到人機(jī)混合智能機(jī)器學(xué)習(xí)的發(fā)展趨勢腦科學(xué)人工智能構(gòu)建智能發(fā)現(xiàn)智能《Nature》報(bào)道研究者證明了大腦中存在“分布強(qiáng)化學(xué)習(xí)”，靠多巴胺驅(qū)動(dòng)。它驗(yàn)證了分布強(qiáng)化學(xué)習(xí)是一條通向更先進(jìn)AI能力的光明大道?！禢ature》報(bào)道研究者受大腦前額葉皮層啟發(fā)，提出了一種新型算法，使ANN具備強(qiáng)大的連續(xù)學(xué)習(xí)和情境依賴學(xué)習(xí)能力，克服了災(zāi)難性遺忘等難題?！禢atureNeuroscience》發(fā)表了一個(gè)研究團(tuán)隊(duì)開發(fā)的人工智能解碼系統(tǒng)，把人的腦電波轉(zhuǎn)譯成英文句子，準(zhǔn)確率高達(dá)97%。《Nature》報(bào)道Hinton等用新一代反向傳播算法NGRAD模擬神經(jīng)網(wǎng)絡(luò)，發(fā)現(xiàn)大腦具有執(zhí)行反向傳播的核心原理的能力。2.從機(jī)器智能到人機(jī)混合智能機(jī)器學(xué)習(xí)的發(fā)展趨勢3.交叉學(xué)科將成為人工智能創(chuàng)新源泉“機(jī)器能促進(jìn)基礎(chǔ)研究嗎？”

人工智能在深刻影響并改變基礎(chǔ)科學(xué)的研究范式。

“人工智能如何賦能基礎(chǔ)研究？”

基于科學(xué)大數(shù)據(jù)的自主涌現(xiàn)，加速了科學(xué)發(fā)現(xiàn)過程。機(jī)器學(xué)習(xí)的發(fā)展趨勢3.交叉學(xué)科將成為人工智能創(chuàng)新源泉信息科學(xué)中的AI：●

高效的AI框架大大降低了AI的技術(shù)門檻●

自動(dòng)機(jī)器學(xué)習(xí)技術(shù)已成為AI發(fā)展的新方向●

AI讓復(fù)雜網(wǎng)絡(luò)及系統(tǒng)的自動(dòng)化設(shè)計(jì)成為可能●

AI讓納米光學(xué)器件設(shè)計(jì)更快、功能更強(qiáng)●

AI正在賦能風(fēng)險(xiǎn)管控、數(shù)字孿生、機(jī)器人等●

AI為新型數(shù)據(jù)理論及模型自動(dòng)發(fā)現(xiàn)提供可能AI的發(fā)展趨勢3.交叉學(xué)科將成為人工智能創(chuàng)新源泉數(shù)學(xué)中的AI：●

數(shù)學(xué)理論的發(fā)展與突破一直都是支撐AI的基石●

逼近論為探索神經(jīng)網(wǎng)絡(luò)的可解釋性提供可能●

優(yōu)化理論可解決AI參數(shù)估計(jì)的非凸性和非光滑性●

概率論與統(tǒng)計(jì)可以支撐AI模型泛化能力的評(píng)估機(jī)器學(xué)習(xí)的發(fā)展趨勢3.交叉學(xué)科將成為人工智能創(chuàng)新源泉物理學(xué)中的AI：●

AI在極小微觀世界的粒子發(fā)現(xiàn)，極大宏觀世界的探索中大展身手●

AI正在加速粒子的模擬和鑒別●

AI讓核物理學(xué)更加強(qiáng)大●

AI在凝聚態(tài)物理方面發(fā)揮重要作用●

AI幫助天文學(xué)發(fā)展登上新臺(tái)階

機(jī)器學(xué)習(xí)的發(fā)展趨勢3.交叉學(xué)科將成為人工智能創(chuàng)新源泉化學(xué)中的AI：●

AI正在實(shí)現(xiàn)化學(xué)研究的智能化、標(biāo)準(zhǔn)化和自動(dòng)化●

AI幫助打破分析化學(xué)中人工特征選擇的瓶頸●

AI提升了多個(gè)尺度計(jì)算化學(xué)方法的精度和效率●

AI使得化合物的自動(dòng)化設(shè)計(jì)與合成成為可能●

AI加速高效催化劑設(shè)計(jì)和開發(fā)Questions？第3章：回歸模型第4章：決策樹第5章：支持向量機(jī)第3章：回歸模型內(nèi)容一元線性回歸多元線性回歸線性回歸模型最小二乘法梯度下降法多項(xiàng)式回歸正則化方法邏輯回歸邏輯回歸模型交叉熵?fù)p失

邏輯回歸模型交叉熵?fù)p失

一元線性回歸——線性回歸模型線性回歸模型：通過收入預(yù)測幸福感核心思想：構(gòu)建一個(gè)智能助手（模型），根據(jù)輸入（收入）

預(yù)測輸出（幸福感）。構(gòu)建線性回歸模型，通過最小二乘法擬合最佳直線。數(shù)據(jù)基礎(chǔ)：收集500名（年收入5-30萬）人群的調(diào)查數(shù)據(jù)自變量(X):收入、因變量(Y):幸福感評(píng)分發(fā)現(xiàn)關(guān)系：數(shù)據(jù)呈現(xiàn)明顯的正相關(guān)趨勢：收入越高，幸福感越強(qiáng)。

一元線性回歸50假設(shè)訓(xùn)練數(shù)據(jù)集

我們期望

設(shè)回歸模型對(duì)任意輸入樣本的輸出預(yù)測為：通過最小二乘法估計(jì)最優(yōu)的參數(shù)

和

，使得的輸出

觀測值

與預(yù)測值

的偏差平方之和最小化，即：模型

一元線性回歸51得到其中得到最佳擬合的線性回歸模型：我們分別求偏導(dǎo)數(shù)

一元線性回歸52

左圖展示了慕尼黑租金指數(shù)，散點(diǎn)圖顯示了租金和面積之間近似線性的關(guān)系。

右邊的散點(diǎn)圖額外包含了一條回歸線。以公寓的總租金為輸出變量，居住面積為輸入變量，利用一元回歸模型

一元線性回歸擬合上述數(shù)據(jù)，使用最小二乘法得到的參數(shù)為

和帶入方程得到那么如果我們選擇每平方米的租金而不是總租金作為輸出變量，會(huì)怎么樣呢？

一元線性回歸54擬合效果不佳！那么每平方米租金與居住面積之間的關(guān)系是非線性的。如果用線性回歸模型擬合這些數(shù)據(jù)(如左圖），可以得到回歸線為

一元線性回歸55我們以

作為線性模型的輸入變量，線性模型為：通過最小二乘法得到：擬合效果更好！Good!

多元線性回歸對(duì)于多元線性回歸模型，輸入變量是多維變量。模型：設(shè)回歸模型對(duì)任意x的輸出的預(yù)測為：設(shè)

為增廣向量，則：1.線性回歸模型

多元線性回歸57

多元線性回歸582.最小二乘法設(shè)

為輸入樣本數(shù)據(jù)矩陣，為輸出樣本矩陣。

多元線性回歸59想象在濃霧山峰中找山谷——只能感知腳下坡度，最佳策略是??沿最陡的下坡方向走??（梯度反方向），這就是梯度下降法的精髓！

3.梯度下降法基本步驟??：1.隨機(jī)初始化參數(shù)θ（相當(dāng)于“隨機(jī)選一個(gè)起點(diǎn)”）；2.計(jì)算當(dāng)前參數(shù)下目標(biāo)函數(shù)的梯度（即“當(dāng)前位置的坡度”）；3.沿梯度反方向調(diào)整參數(shù)（“往下走一步”）；4.重復(fù)步驟2-3，直到梯度為0（到達(dá)山谷，損失最小）。

多元線性回歸

多元線性回歸61物理意義：梯度方向是函數(shù)??最陡上升的方向??，因此??反方向就是最陡下降的方向??迭代更新公式：“一步步”靠近最優(yōu)解?直觀理解：用當(dāng)前梯度（坡度）乘以學(xué)習(xí)率（步長），沿反方向調(diào)整參數(shù)，逐步逼近最小值。

多項(xiàng)式回歸62有一個(gè)簡單函數(shù)

，生成一些非線性數(shù)據(jù)，如果嘗試使用線性模型來擬合這些數(shù)據(jù)（左圖）：如果嘗試使用線性模型來擬合這些數(shù)據(jù)，模型的性能將會(huì)顯著下降（右圖）。

多項(xiàng)式回歸?如果用不同次數(shù)的多項(xiàng)式模型對(duì)數(shù)據(jù)擬合：

多項(xiàng)式回歸多項(xiàng)式回歸模型的一般形式

多項(xiàng)式回歸65高階多項(xiàng)式回歸?能緊密擬合訓(xùn)練數(shù)據(jù)，但易??過擬合??，而線性模型常??欠擬合。交叉驗(yàn)證是一種有效的技術(shù)，用于估計(jì)模型的泛化能力。如果模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但在交叉驗(yàn)證中的表現(xiàn)不佳，這通常表明模型過度擬合了。相反，如果模型在訓(xùn)練集和測試集上的表現(xiàn)都不好，那么它可能欠擬合。模型的可靠性會(huì)隨著用于訓(xùn)練樣本量的增加而提高。在回歸建模的標(biāo)準(zhǔn)實(shí)踐中，應(yīng)該遵循層次原則，先從高階模型開始擬合，然后逐步探索是否可以簡化為低階（更簡單）的模型，同時(shí)保持模型的泛化能力。

正則化方法為了解決過擬合問題，我們可以采用正則化方法。在多項(xiàng)式回歸中，正則化可以通過添加權(quán)重衰減來實(shí)現(xiàn)。權(quán)重衰減（也稱為權(quán)重衰減或L2正則化）通過在損失函數(shù)中添加懲罰項(xiàng)，鼓勵(lì)模型參數(shù)的值盡可能小，從而減少模型復(fù)雜度。常用的正則化模型包括Ridge回歸和Lasso回歸。Ridge回歸使用L2正則化，其目標(biāo)函數(shù)為：

正則化方法Ridge回歸的求解過程與最小二乘法相似，可以Ridge回歸的解析解可以表示為：

Lasso回歸使用L1正則化，其目標(biāo)函數(shù)：Lasso回歸的目標(biāo)函數(shù)是非凸的，這使得它的求解比Ridge回歸更加復(fù)雜。Lasso模型通常使用近端梯度下降算法或次梯度算法來求解。Lasso回歸傾向于產(chǎn)生稀疏的解，即某些參數(shù)的值為零。Ridge回歸鼓勵(lì)參數(shù)的值分布更均勻。正則化方法

邏輯回歸69Sigmoid函數(shù)通常表示為

1.邏輯回歸模型邏輯回歸的核心思想是將線性回歸的輸出通過邏輯函數(shù)（如Sigmoid)映射到[0,1]之間。

邏輯回歸70考慮單一輸入觀測值x，分類標(biāo)簽為y，其取值可以是1或0，要使sigmoid函數(shù)建模P(y=1∣x)的概率，我們只需確保P(y=1∣x)和P(y=0∣x)的總和為1。邏輯回歸對(duì)觀測值x的分類標(biāo)簽為1的概率的預(yù)測

為：其中

，于是

邏輯回歸71因?yàn)槠鋵?duì)稱性得：sigmoid函數(shù)的反函數(shù)為得：所以，線性模型逼近的結(jié)果是兩類概率的對(duì)數(shù)幾率，因此對(duì)應(yīng)的回歸模型為對(duì)數(shù)幾率回歸。

邏輯回歸72

邏輯回歸對(duì)x的預(yù)測標(biāo)簽為:

邏輯回歸73

總結(jié)Sigmoid函數(shù)的特性：1.概率表示：Sigmoid函數(shù)的輸出范圍自然地落在0到1之間，輸入趨近正無窮時(shí)輸出→1（強(qiáng)正信號(hào)），負(fù)無窮時(shí)→0（強(qiáng)負(fù)信號(hào)）2.連續(xù)可微性：Sigmoid函數(shù)是連續(xù)可微的。3.對(duì)稱性：Sigmoid函數(shù)是對(duì)稱的。

邏輯回歸74

2.交叉熵?fù)p失

邏輯回歸的交叉熵?fù)p失函數(shù)可以表示為：

邏輯回歸75

通過邏輯函數(shù)計(jì)算得到：因此邏輯回歸的交叉熵?fù)p失函數(shù)可以表示為：計(jì)算其關(guān)于

的偏導(dǎo)數(shù)

邏輯回歸76

因?yàn)椋核裕阂虼耍?/p>

應(yīng)用案例77

表中有一組學(xué)生的身高、體重和性別，身高、體重分別以英寸和磅為單位，性別男生和女生，輸入變量X1和X2表示身高和體重Y，輸出標(biāo)簽表示性別，男生（標(biāo)簽為1），女生（標(biāo)簽為0），請(qǐng)建立一個(gè)邏輯回歸模型來預(yù)測學(xué)生的性別。1.簡單的邏輯回歸

應(yīng)用案例78

根據(jù)公式采用梯度下降方法最小化交叉熵，得到的參數(shù)為決策邊界為

身高體重性別分類回歸圖

79

2.多元線性回歸引擎排量以升為單位，氣缸數(shù)以個(gè)為單位，城區(qū)油耗、高速油耗、綜合油耗以升每百公里為單位，二氧化碳排放量以克每公里為單位。此處選擇引擎排量、氣缸數(shù)和綜合油耗作為輸入變量X1、X2、X3，輸出y表示二氧化碳排放量，請(qǐng)建立一個(gè)多元線性回歸模型來預(yù)測二氧化碳排放量。應(yīng)用案例

應(yīng)用案例80采用最小二乘法，最小化均方誤差，得到參數(shù)：在測試集上得到殘差平方和632.28和方差0.84。公式第4章：決策樹內(nèi)容決策樹的概念決策樹學(xué)習(xí)算法的基本框架屬性選擇屬性測試剪枝處理應(yīng)用案例

1決策樹的定義和工作原理

定義：

工作原理：決策樹通過建立一個(gè)樹形結(jié)構(gòu)來揭示屬性集與類標(biāo)簽之間的關(guān)系。決策樹能夠?qū)?fù)雜的分類問題分解成一系列簡單的決策問題，從而實(shí)現(xiàn)對(duì)實(shí)例的有效分類。

決策樹概念2決策樹是一種監(jiān)督學(xué)習(xí)模型，主要用于分類任務(wù)。它通過構(gòu)建一棵樹形結(jié)構(gòu)來對(duì)數(shù)據(jù)進(jìn)行分類。決策樹包含一個(gè)稱為“根”的結(jié)點(diǎn)，這個(gè)結(jié)點(diǎn)沒有輸入邊。沒有輸出邊的結(jié)點(diǎn)為葉子結(jié)點(diǎn)，其他結(jié)點(diǎn)為內(nèi)部結(jié)點(diǎn)，根結(jié)點(diǎn)和內(nèi)部結(jié)點(diǎn)都是測試結(jié)點(diǎn)。每個(gè)測試結(jié)點(diǎn)對(duì)一個(gè)屬性執(zhí)行一個(gè)測試，測試結(jié)點(diǎn)的輸出邊被標(biāo)記為屬性的不同取值，以便根據(jù)這些值將數(shù)據(jù)劃分到不同的子結(jié)點(diǎn)。每個(gè)葉子結(jié)點(diǎn)指定了分類標(biāo)簽，代表決策樹對(duì)數(shù)據(jù)進(jìn)行分類的最終結(jié)果。決策樹的例子

決策樹概念84決策樹的數(shù)據(jù)分類行為2決策樹的例子

決策樹概念決策樹包含葉結(jié)點(diǎn)和非終端結(jié)點(diǎn)（包括根結(jié)點(diǎn)和其他內(nèi)部結(jié)點(diǎn)）。每個(gè)葉結(jié)點(diǎn)都有一個(gè)類別標(biāo)簽。非終端結(jié)點(diǎn)包含屬性測試條件，用于區(qū)分具有不同屬性的記錄。從根結(jié)點(diǎn)開始，對(duì)記錄應(yīng)用測試條件，然后根據(jù)測試結(jié)果選擇合適的分支，這將導(dǎo)致分支要么進(jìn)入另一個(gè)內(nèi)部結(jié)點(diǎn)，應(yīng)用新的測試條件，要么進(jìn)入葉結(jié)點(diǎn)。每個(gè)葉子結(jié)點(diǎn)指定了分類標(biāo)簽，代表決策樹對(duì)數(shù)據(jù)進(jìn)行分類的最終結(jié)果。目標(biāo)：根據(jù)給定的訓(xùn)練數(shù)據(jù)集構(gòu)建一個(gè)決策樹模型，使它能夠?qū)π碌膶?shí)例進(jìn)行正確的分類?；緮?shù)據(jù)集：Jeeves訓(xùn)練數(shù)據(jù)集合問題：Bertie喜歡打網(wǎng)球，讓Jeeves為預(yù)訂場地。Jeeves需要預(yù)測Bertie是否打網(wǎng)球，因此記錄了Bertie的一些相關(guān)信息（Jeeves訓(xùn)練數(shù)據(jù)集合）

決策樹學(xué)習(xí)算法的基本框架86DayOutlookTempHumidityWindTennis?1SunnyHotHighWeakNo2SunnyHotHighStrongNo3OvercastHotHighWeakYes4RainMildHighWeakYes5RainCoolNormalWeakYes6RainCoolNormalStrongNo7OvercastCoolNormalStrongYes8SunnyMildHighWeakNo9SunnyCoolNormalWeakYes10RainMildNormalWeakYes11SunnyMildNormalStrongYes12OvercastMildHighStrongYes13OvercastHotNormalWeakYes14RainMildHighStrongNoJeeves訓(xùn)練數(shù)據(jù)集合共有14個(gè)實(shí)例，包括9個(gè)正例和5個(gè)反例；涵蓋了4個(gè)屬性O(shè)utlook，Temp，Humidity和Wind。決策樹的停止條件

決策樹學(xué)習(xí)算法的基本框架87停止條件基本情況1：所有實(shí)例都屬于同一類別

基本情況2：沒有剩余的屬性可以測試

基本情況3：沒有剩余的實(shí)例停止條件（基本情況1：所有實(shí)例都屬于同一類別）例題1給定屬性測試順序，構(gòu)建決策樹

屬性O(shè)utlook的測試

決策樹——決策樹學(xué)習(xí)算法的基本框架88為了使用指定的測試屬性順序?yàn)镴eeves數(shù)據(jù)集構(gòu)建完整的決策樹，將遵循以下步驟：1、從根結(jié)點(diǎn)開始，并測試Outlook屬性。2、如果Outlook=Sunny，測試溫度（Temp）

屬性。如果Outlook=Rain，測試風(fēng)速

（Wind）屬性。3、對(duì)于所有其他分支，先測試濕度Humidity）

屬性，

然后再測試風(fēng)速（Wind）。數(shù)據(jù)集根據(jù)給定測試順序，首先測試Outlook。Outlook有三個(gè)值：Sunny、Overcast和Rain。將實(shí)例分為三個(gè)分支。實(shí)例1的Outlook等于Sunny，所以它進(jìn)入左分支。實(shí)例3的Outlook等于Overcast，所以它進(jìn)入中間分支，等等。停止條件（基本情況1：所有實(shí)例都屬于同一類別）例題1給定屬性測試順序，構(gòu)建決策樹

屬性O(shè)utlook的測試及其葉子結(jié)點(diǎn)生成

決策樹——決策樹學(xué)習(xí)算法的基本框架89為了使用指定的測試屬性順序?yàn)镴eeves數(shù)據(jù)集構(gòu)建完整的決策樹，將遵循以下步驟：1、從根結(jié)點(diǎn)開始，并測試Outlook屬性。2、如果Outlook=Sunny，測試溫度（Temp）

屬性。如果Outlook=Rain，測試風(fēng)速

（Wind）屬性。3、對(duì)于所有其他分支，先測試濕度Humidity）

屬性，

然后再測試風(fēng)速（Wind）。數(shù)據(jù)集在中間分支中，所有實(shí)例都是正例。沒有必要測試另一個(gè)屬性，因此可以做出決定，然后創(chuàng)建一個(gè)帶有標(biāo)簽Yes的葉子結(jié)點(diǎn)，并且完成了這個(gè)分支。停止條件（基本情況1：所有實(shí)例都屬于同一類別）例題1給定屬性測試順序，構(gòu)建決策樹

屬性Temp的測試

決策樹——決策樹學(xué)習(xí)算法的基本框架90為了使用指定的測試屬性順序?yàn)镴eeves數(shù)據(jù)集構(gòu)建完整的決策樹，將遵循以下步驟：1、從根結(jié)點(diǎn)開始，并測試Outlook屬性。2、如果Outlook=Sunny，測試溫度（Temp）

屬性。如果Outlook=Rain，測試風(fēng)速

（Wind）屬性。3、對(duì)于所有其他分支，先測試濕度Humidity）

屬性，

然后再測試風(fēng)速（Wind）。數(shù)據(jù)集首先查看左分支，其中有2個(gè)正例和3個(gè)負(fù)例。因此，根據(jù)給定的順序，測試下一個(gè)屬性，即溫度（Temp）。Temp有三個(gè)值：Hot（熱）、Mild（溫和）和Cool（涼爽）。然后再次創(chuàng)建三個(gè)分支。這五個(gè)實(shí)例被這些分支分割。每個(gè)結(jié)點(diǎn)將重復(fù)這個(gè)過程。首先，檢查所有實(shí)例是否屬于同一類別。如果是，則創(chuàng)建一個(gè)帶有類別標(biāo)簽的葉子結(jié)點(diǎn)并停止。否則，選擇下一個(gè)屬性進(jìn)行測試，并根據(jù)選擇的屬性分割實(shí)例。停止條件（基本情況1：所有實(shí)例都屬于同一類別）

最終的決策樹

決策樹——決策樹學(xué)習(xí)算法的基本框架91停止條件（基本情況2：沒有剩余的屬性可以測試）例題2使用和例1相同的屬性測試順序構(gòu)建決策樹

決策樹——決策樹學(xué)習(xí)算法的基本框架92DayOutlookTempHumidityWindTennis?1SunnyHotHighWeakNo2SunnyHotHighStrongNo3OvercastHotHighWeakYes4RainMildHighWeakYes5RainCoolNormalWeakYes6RainCoolNormalStrongNo7OvercastCoolNormalStrongYes8SunnyMildHighWeakNo9SunnyCoolNormalWeakYes10RainMildNormalWeakYes11SunnyMildNormalStrongYes12OvercastMildHighStrongYes13OvercastHotNormalWeakYes14RainMildHighStrongNo15SunnyMildHighWeakNo16SunnyMildHighWeakYes17SunnyMildHighStrongYes修正的Jeeves訓(xùn)練數(shù)據(jù)集合（17個(gè)實(shí)例）數(shù)據(jù)集在原來Jeeves訓(xùn)練集中添加了3個(gè)實(shí)例（紅色），建立了一個(gè)修正Jeeves訓(xùn)練集停止條件（基本情況2：沒有剩余的屬性可以測試）例題2使用和例1相同的屬性測試順序構(gòu)建決策樹

決策樹——決策樹學(xué)習(xí)算法的基本框架93為了使用指定的測試屬性順序?yàn)镴eeves數(shù)據(jù)集構(gòu)建完整的決策樹，將遵循以下步驟：1、從根結(jié)點(diǎn)開始，并測試Outlook屬性。2、如果Outlook=Sunny，測試溫度（Temp）

屬性。如果Outlook=Rain，測試風(fēng)速

（Wind）屬性。3、對(duì)于所有其他分支，先測試濕度Humidity）

屬性，

然后再測試風(fēng)速（Wind）。數(shù)據(jù)集Jeeves訓(xùn)練集的決策樹停止條件（基本情況2：沒有剩余的屬性可以測試）例題2使用和例1相同的屬性測試順序構(gòu)建決策樹

決策樹——決策樹學(xué)習(xí)算法的基本框架94為了使用指定的測試屬性順序?yàn)镴eeves數(shù)據(jù)集構(gòu)建完整的決策樹，將遵循以下步驟：1、從根結(jié)點(diǎn)開始，并測試Outlook屬性。2、如果Outlook=Sunny，測試溫度（Temp）

屬性。如果Outlook=Rain，測試風(fēng)速

（Wind）屬性。3、對(duì)于所有其他分支，先測試濕度Humidity）

屬性，

然后再測試風(fēng)速（Wind）。數(shù)據(jù)集由測試條件（Outlook是Sunny，Temperature是Mild，Humidity是High）構(gòu)成的測試分支停止條件（基本情況2：沒有剩余的屬性可以測試）例題2使用和例1相同順序的屬性測試構(gòu)建決策樹

決策樹——決策樹學(xué)習(xí)算法的基本框架95為了使用指定的測試屬性順序?yàn)镴eeves數(shù)據(jù)集構(gòu)建完整的決策樹，將遵循以下步驟：1、從根結(jié)點(diǎn)開始，并測試Outlook屬性。2、如果Outlook=Sunny，測試溫度（Temp）

屬性。如果Outlook=Rain，測試風(fēng)速

（Wind）屬性。3、對(duì)于所有其他分支，先測試濕度Humidity）

屬性，

然后再測試風(fēng)速（Wind）。注意：當(dāng)我們沒有屬性可以測試時(shí)，通常使用多數(shù)類別作為最終的決策經(jīng)過Outlook，Temperature和Humidity屬性測試后，屬性Wind的測試結(jié)果停止條件（基本情況3：如果沒有剩下任何實(shí)例）例題3使用和例1相同的屬性測試順序構(gòu)建決策樹

決策樹——決策樹學(xué)習(xí)算法的基本框架96DayOutlookTempHumidityWindTennis?1SunnyHotHighWeakNo2SunnyHotHighStrongNo3OvercastHotHighWeakYes4RainMildHighWeakYes5RainCoolNormalWeakYes6RainCoolNormalStrongNo7OvercastCoolNormalStrongYes8SunnyMildHighWeakNo9SunnyCoolNormalWeakYes10RainMildNormalWeakYes11SunnyMildNormalStrongYes12OvercastMildHighStrongYes13OvercastHotNormalWeakYes14RainMildHighStrongNo15SunnyHotHighWeakNo修正的Jeeves訓(xùn)練數(shù)據(jù)集合（15個(gè)實(shí)例）數(shù)據(jù)集停止條件（基本情況3：如果沒有剩下任何實(shí)例）例題3使用和例1相同的屬性測試順序構(gòu)建決策樹

經(jīng)過三個(gè)屬性測試（Temp，Wind和Humidity）后，屬性O(shè)utlook的測試結(jié)果

決策樹——決策樹學(xué)習(xí)算法的基本框架97數(shù)據(jù)集決策樹學(xué)習(xí)算法的基本框架

決策樹——決策樹學(xué)習(xí)算法的基本框架屬性選擇

屬性選擇：在每一步子集劃分時(shí)，選擇一個(gè)對(duì)分類貢獻(xiàn)最大的屬性

決策樹——屬性選擇991、在決策樹算法中，希望選擇一個(gè)屬性，能夠幫助更快地做出決策，即最大程度地減少對(duì)目標(biāo)變量的不確定性。2、為了衡量這種不確定性的減少，我們需要計(jì)算考慮一個(gè)

屬性前后的不確定性的變化。3、用集合的熵來表示不確定性，刻畫不確定性的變化程度的常用的方法：

信息增益、增益率和基尼指數(shù)的方法。4、ID3算法采用信息增益ID3的改進(jìn)版C4.5算法采用信息增益率

決策樹——屬性選擇100自信息和熵

決策樹——屬性選擇101

決策樹——屬性選擇102互信息是信息論中的概念，用來衡量兩個(gè)隨機(jī)變量之間的相互依賴性，它表示知道一個(gè)變量后，另一個(gè)變量的不確定性減少的程度

決策樹——屬性選擇103

決策樹——屬性選擇104例題4

決策樹——屬性選擇105DayOutlookTempHumidityWindTennis?1SunnyHotHighWeakNo2SunnyHotHighStrongNo3OvercastHotHighWeakYes4RainMildHighWeakYes5RainCoolNormalWeakYes6RainCoolNormalStrongNo7OvercastCoolNormalStrongYes8SunnyMildHighWeakNo9SunnyCoolNormalWeakYes10RainMildNormalWeakYes11SunnyMildNormalStrongYes12OvercastMildHighStrongYes13OvercastHotNormalWeakYes14RainMildHighStrongNoJeeves訓(xùn)練數(shù)據(jù)集合1、Jeeves訓(xùn)練數(shù)據(jù)集

屬性：

OutlookTempHumidity

Wind2、14個(gè)實(shí)例：9個(gè)正例5個(gè)反例例題4

決策樹——屬性選擇106

例題4

決策樹——屬性選擇107

決策樹的根結(jié)點(diǎn)的數(shù)據(jù)分布情況解

集合的熵

關(guān)于屬性Wind的信息增益及信息增益率：

決策樹——屬性選擇解

關(guān)于屬性Humidity的信息增益及信息增益率：

決策樹——屬性選擇109解

關(guān)于屬性O(shè)utlook的信息增益及信息增益率：

決策樹——屬性選擇110解

關(guān)于屬性Temp的信息增益及信息增益率：

決策樹——屬性選擇例5對(duì)于Jeeves訓(xùn)練數(shù)據(jù)集合，利用ID3算法建立決策樹。對(duì)于根結(jié)點(diǎn)，根據(jù)上面例題的結(jié)果，Outlook屬性具有最大的信息增益

決策樹——屬性選擇

決策樹的根結(jié)點(diǎn)劃分例5對(duì)于Jeeves訓(xùn)練數(shù)據(jù)集合，利用ID3算法建立決策樹。1）對(duì)于Outlook=Sunny情況

決策樹——屬性選擇

當(dāng)前結(jié)點(diǎn)（Outlook=Sunny）的數(shù)據(jù)分布例5對(duì)于Jeeves訓(xùn)練數(shù)據(jù)集合，利用ID3算法建立決策樹。

1）對(duì)于Outlook=Sunny情況

計(jì)算屬性Temp的信息增益

決策樹——屬性選擇例5對(duì)于Jeeves訓(xùn)練數(shù)據(jù)集合，利用ID3算法建立決策樹。1）對(duì)于Outlook=Sunny情況

計(jì)算屬性Humidity的信息增益

決策樹——屬性選擇例5對(duì)于Jeeves訓(xùn)練數(shù)據(jù)集合，利用ID3算法建立決策樹。

1）對(duì)于Outlook=Sunny情況

計(jì)算屬性Wind的信息增益

決策樹——屬性選擇Humidity具有最大的信息增益，因此選擇作為劃分屬性例5對(duì)于Jeeves訓(xùn)練數(shù)據(jù)集合，利用ID3算法建立決策樹。

2）對(duì)于Outlook=Rain情況

決策樹——屬性選擇當(dāng)前結(jié)點(diǎn)（Outlook=Rain）數(shù)據(jù)分布例5對(duì)于Jeeves訓(xùn)練數(shù)據(jù)集合，利用ID3算法建立決策樹。

2）對(duì)于Outlook=Rain情況

計(jì)算屬性Temp的信息增益

決策樹——屬性選擇例5對(duì)于Jeeves訓(xùn)練數(shù)據(jù)集合，利用ID3算法建立決策樹。

2）對(duì)于Outlook=Rain情況

計(jì)算屬性Humidity的信息增益

決策樹——屬性選擇例5對(duì)于Jeeves訓(xùn)練數(shù)據(jù)集合，利用ID3算法建立決策樹。

2）對(duì)于Outlook=Rain情況

計(jì)算屬性Wind的信息增益

決策樹——屬性選擇

我們選擇Wind，因?yàn)樗念A(yù)期信息增益最大例5對(duì)于Jeeves訓(xùn)練數(shù)據(jù)集合，利用ID3算法建立決策樹。

最終的生成樹

由Jeeves訓(xùn)練數(shù)據(jù)集合生成的決策樹

決策樹——屬性選擇連續(xù)值的屬性

決策樹——屬性測試122二元屬性測試條件到目前為止，所涉及的屬性都是離散屬性。在處理離散屬性時(shí)，決策樹算法可以選擇允許多元分割或限制為二元分割。允許多元分割的決策樹可以捕捉到更復(fù)雜的數(shù)據(jù)結(jié)構(gòu)，但可能會(huì)導(dǎo)致樹變得更深，計(jì)算成本更高。限制為二元分割的決策樹更簡單，計(jì)算效率更高，但可能無法捕捉到某些復(fù)雜的模式。二元屬性

測試條件生成兩個(gè)潛在的結(jié)果:連續(xù)值的屬性

決策樹——屬性測試123多元屬性測試條件

連續(xù)值的屬性

決策樹——屬性測試124

連續(xù)屬性的離散化處理連續(xù)值的屬性

決策樹——屬性測試125DayOutlookTempHumidity%WindTennis?1SunnyHot80WeakNo2SunnyHot82StrongNo3OvercastHot84WeakYes4RainMild85WeakYes5RainCool60WeakYes6RainCool62StrongNo7OvercastCool65StrongYes8SunnyMild86WeakNo9SunnyCool63WeakYes10RainMild64WeakYes11SunnyMild65StrongYes12OvercastMild83StrongYes13OvercastHot60WeakYes14RainMild83StrongNo修正Jeeves訓(xùn)練數(shù)據(jù)集合（humidity連續(xù)值取值，濕度的單位：%）連續(xù)值的屬性

決策樹——屬性測試126DayOutlookTempHumidity%WindTennis?5RainCool60WeakYes13OvercastHot60WeakYes6RainCool62StrongNo9SunnyCool63WeakYes10RainMild64WeakYes7OvercastCool65StrongYes11SunnyMild65StrongYes1SunnyHot80WeakNo2SunnyHot82StrongNo12OvercastMild83StrongYes14RainMild83StrongNo3OvercastHot84WeakYes4RainMild85WeakYes修正Jeeves訓(xùn)練數(shù)據(jù)集合（按照humidity值排序）連續(xù)值的屬性

決策樹——屬性測試127

T={61.0,62.5,63.5,64.5,72.5,81.0,82.5,83.5,84.5}1、根結(jié)點(diǎn)包含的14個(gè)訓(xùn)練樣本在Humidity屬性上有10個(gè)不同的取值，計(jì)算該屬性的分割點(diǎn)集合2、計(jì)算分割點(diǎn)的信息增益連續(xù)值的屬性

決策樹——屬性測試128

過擬合

決策樹——剪枝處理129決策樹優(yōu)點(diǎn)：結(jié)構(gòu)相對(duì)簡單，易于解釋性強(qiáng)。與神經(jīng)網(wǎng)絡(luò)形成鮮明對(duì)比，后者結(jié)構(gòu)復(fù)雜，往往難以解釋其工作原理。即使是在數(shù)據(jù)量較小的情況下，決策樹也能生成一個(gè)合理的模型。相比之下，神經(jīng)網(wǎng)絡(luò)在處理小數(shù)據(jù)集時(shí)往往效果不佳過擬合現(xiàn)象：神經(jīng)網(wǎng)絡(luò)在處理小數(shù)據(jù)集時(shí)往往效果不佳，且容易過擬合。過擬合仍然是在構(gòu)建決策樹時(shí)需要克服的一個(gè)主要挑戰(zhàn)。決策樹學(xué)習(xí)算法可以不斷生長樹，直到它完美地分類訓(xùn)練集中的所有實(shí)例。然而，這并不一定是一種理想的行為，因?yàn)檫@很容易導(dǎo)致過擬合。過擬合

決策樹——剪枝處理130DayOutlookTempHumidityWindTennis?1SunnyMildHighStrongNo2RainHotNormalStrongNo3RainCoolHighStrongNo4OvercastHotHighStrongYes5OvercastCoolNormalWeakYes6RainHotHighWeakYes7OvercastMildNormalWeakYes8OvercastCoolHighWeakYes9RainCoolHighWeakYes10RainMildNormalStrongNo11OvercastMildHighWeakYes12SunnyMildNormalWeakYes13SunnyCoolHighStrongNo14SunnyCoolHighWeakNoJeeves測試數(shù)據(jù)集合過擬合

決策樹——剪枝處理131(a)由Jeeves訓(xùn)練集生成的決策樹(b)由有噪的Jeeves訓(xùn)練集生成的決策樹決策樹的過擬合現(xiàn)象當(dāng)訓(xùn)練集遭到了破壞：第三個(gè)實(shí)例的標(biāo)簽從“Yes”錯(cuò)誤地更改為了“No”。受損的訓(xùn)練集生成的決策樹將會(huì)不同。當(dāng)用同一個(gè)測試集進(jìn)行評(píng)估時(shí)，原始的決策樹在測試集上的誤差率為0，而新的決策樹在測試集上的錯(cuò)誤率卻上升到了1/14。訓(xùn)練集中一個(gè)微小的變化，可能導(dǎo)致生成的決策樹發(fā)生劇烈的變化。為了適應(yīng)這個(gè)錯(cuò)誤數(shù)據(jù)點(diǎn)，新的決策樹生長出了一個(gè)額外的子樹，使得樹的結(jié)構(gòu)變得更加復(fù)雜。這樣的樹可能不會(huì)很好地泛化到新的數(shù)據(jù)上。過擬合

決策樹——剪枝處理132問題：過擬合模型通常捕捉到了訓(xùn)練數(shù)據(jù)中的噪聲和特異性，這些屬性并不代表數(shù)據(jù)的整體分布或結(jié)構(gòu)。這樣的模型在遇到新數(shù)據(jù)時(shí)往往表現(xiàn)不佳，因?yàn)樗鼘W(xué)習(xí)到的模式太過于特定于訓(xùn)練集，缺乏泛化到未知數(shù)據(jù)的能力。解決思想：通過限制決策樹的深度和結(jié)點(diǎn)數(shù)量，我們可以避免模型變得過于復(fù)雜。這種簡化有助于模型專注于數(shù)據(jù)中最顯著和最普遍的屬性，從而提高了模型在新數(shù)據(jù)上的泛化能力。簡而言之，更小和更淺的決策樹往往能夠更好地捕捉到數(shù)據(jù)的真實(shí)結(jié)構(gòu)，而不是僅僅記憶訓(xùn)練數(shù)據(jù)。解決方法：通過剪枝技術(shù)，不僅能夠得到一個(gè)簡潔且易于解釋的模型，還能提升模型在未知數(shù)據(jù)上的預(yù)測能力。這種簡化不僅有助于防止過擬合，還能提高模型的運(yùn)算效率，使其更加適用于現(xiàn)實(shí)世界的應(yīng)用場景。總之，剪枝是決策樹優(yōu)化中的一項(xiàng)重要技術(shù)，它對(duì)于平衡模型的復(fù)雜度和泛化能力起著至關(guān)重要的作用。剪枝主要包括兩種方法：預(yù)剪枝和后剪枝。過擬合

決策樹——剪枝處理133預(yù)剪枝在決策樹生成的過程中，通過設(shè)定準(zhǔn)則來提前終止樹的生長，以避免過度擬合訓(xùn)練數(shù)據(jù)。預(yù)剪枝的優(yōu)點(diǎn)在于其高效性，因?yàn)樗鼫p少了不必要的樹生長。然而，這種方法可能會(huì)過于保守，導(dǎo)致剪掉一些可能對(duì)模型泛化有益的分支，從而造成欠擬合。后剪枝則是在決策樹完全生長之后進(jìn)行的。它允許樹生長到最大深度，然后從下到上逐層考慮是否剪枝。后剪枝的決策通常基于剪枝前后的錯(cuò)誤率來決定。后剪枝的缺點(diǎn)是計(jì)算成本較高，因?yàn)樗枰壬梢豢猛暾臉?，然后再進(jìn)行剪枝。盡管如此，后剪枝通常能夠得到一個(gè)更精確的模型，因?yàn)樗紤]了所有可能的分支。這里只是介紹了預(yù)剪枝技術(shù)。預(yù)剪枝的基本思想：用訓(xùn)練集進(jìn)行屬性選擇，找到當(dāng)前信息增益或者增益率最大的屬性進(jìn)行數(shù)據(jù)劃分，利用測試集來評(píng)估所做劃分的有效性。如果劃分后的測試精度有所下降，這表明該結(jié)點(diǎn)的劃分并沒有提高模型的泛化能力，反而可能導(dǎo)致了過擬合。在這種情況下，認(rèn)為該結(jié)點(diǎn)的劃分是無效的，并采取減枝操作，即撤銷這一劃分。剪枝處理

例4（利用C4.5算法建立決策樹）

有噪的Jeeves訓(xùn)練數(shù)據(jù)集合所示，它將原Jeeves訓(xùn)練數(shù)據(jù)集的第9個(gè)數(shù)據(jù)的humidity屬性值由Normal改為High，記作：有噪的Jeeves訓(xùn)練數(shù)據(jù)集。以信息增益率為準(zhǔn)則進(jìn)行屬性選擇，利用Jeeves測試集，采用預(yù)剪枝技術(shù)，構(gòu)建決策樹。

決策樹——剪枝處理134剪枝處理

例4（利用C4.5算法建立決策樹）

決策樹——剪枝處理135DayOutlookTempHumidityWindTennis?1SunnyHotHighWeakNo2SunnyHotHighStrongNo3OvercastHotHighWeakYes4RainMildHighWeakYes5RainCoolNormalWeakYes6RainCoolNormalStrongNo7OvercastCoolNormalStrongYes8SunnyMildHighWeakNo9SunnyCoolHighWeakYes10RainMildNormalWeakYes11SunnyMildNormalStrongYes12OvercastMildHighStrongYes13OvercastHotNormalWeakYes14RainMildHighStrongNo有噪的Jeeves訓(xùn)練數(shù)據(jù)集合剪枝處理解：步驟1以根結(jié)點(diǎn)作為當(dāng)前結(jié)點(diǎn)進(jìn)行預(yù)減枝處理首先對(duì)根結(jié)點(diǎn)進(jìn)行測試,D共有14個(gè)實(shí)例，根結(jié)點(diǎn)包含9個(gè)正例和5個(gè)反例。屬性集合：{Outlook、Temp、Humidity、Wind}。正例多于反例，根據(jù)多數(shù)原則，根結(jié)點(diǎn)的標(biāo)簽為“Yes”以Jeeves測試數(shù)據(jù)集合對(duì)根結(jié)點(diǎn)進(jìn)行測試，測試結(jié)果為{1,2,3,4,5,6,7,8,9,10,11,12,13,14}，紅色表示錯(cuò)分的實(shí)例。

決策樹——剪枝處理136剪枝處理步驟1以根結(jié)點(diǎn)作為當(dāng)前結(jié)點(diǎn)進(jìn)行預(yù)減枝處理

接下來考慮不同屬性下的劃分結(jié)果

決策樹——剪枝處理

下面只給出Outlook屬性下的信息增益率的計(jì)算過程，其他屬性下的具體的計(jì)算過程省略。注：用訓(xùn)練集進(jìn)行屬性選擇，找到當(dāng)前增益率最大的屬性進(jìn)行集合劃分，用測試集進(jìn)行測試根據(jù)前后測試精度的改變，決定該結(jié)點(diǎn)的劃分是否保留，如果精度下降，該結(jié)點(diǎn)劃分無效，需要減枝。剪枝處理步驟1以根結(jié)點(diǎn)作為當(dāng)前結(jié)點(diǎn)進(jìn)行預(yù)減枝處理

決策樹——剪枝處理138

對(duì)于根結(jié)點(diǎn)數(shù)據(jù)分布剪枝處理步驟1以根結(jié)點(diǎn)作為當(dāng)前結(jié)點(diǎn)進(jìn)行預(yù)減枝處理

決策樹——剪枝處理計(jì)算屬性O(shè)utlook的信息增益和信息增益率。剪枝處理

決策樹——剪枝處理根結(jié)點(diǎn)的預(yù)剪枝Outlook增益率最大，因此選擇Outlook為分割屬性對(duì)于Outlook=Sunny，Outlook=Overcast和Outlook=Rain，根據(jù)多數(shù)原則，對(duì)應(yīng)的三個(gè)訓(xùn)練子集所的標(biāo)簽分別為“No”，和“Yes”和“Yes”用測試集驗(yàn)證，精度由原來的8/14提高到10/14，因此按照Outlook劃分測試集正確分類的記錄個(gè)數(shù)：8剪枝處理步驟2分別以O(shè)utlook=Sunny，Outlook=Overcast和Outlook=Rain三個(gè)分支結(jié)點(diǎn)作為當(dāng)前結(jié)點(diǎn)，進(jìn)行預(yù)減枝處理

決策樹——剪枝處理1411）對(duì)于Outlook=Sunny情況，計(jì)算屬性Wind,Humidity和Temp的信息增益率當(dāng)前結(jié)點(diǎn)(Outlook=Sunny)的數(shù)據(jù)分布剪枝處理步驟2分別以O(shè)utlook=Sunny，Outlook=Overcast和Outlook=Rain三個(gè)分支結(jié)點(diǎn)作為當(dāng)前結(jié)點(diǎn)，進(jìn)行預(yù)減枝處理

決策樹——剪枝處理計(jì)算屬性Temp的信息增益和信息增益率。同理，屬性Humidity和屬性Wind的信息增益率的計(jì)算方法同上剪枝處理步驟2

決策樹——剪枝處理當(dāng)前結(jié)點(diǎn)(Outlook=Sunny)的剪枝處理用測試集驗(yàn)證，精度由原來的10/14提高到11/14，因此按照Humidity劃分屬性Humidity信息增益率最大，選擇Humidity為分割屬性剪枝處理步驟3Outlook=Rain，Humidity=high時(shí)，在{Outlook、Temp、Humidity、Wind}中沒有測試的屬性Temp和Wind進(jìn)行屬性選擇

決策樹——剪枝處理144當(dāng)前結(jié)點(diǎn)(Outlook=Sunny)的數(shù)據(jù)分布當(dāng)前結(jié)點(diǎn)(Outlook=Rain，Humidity=high)的數(shù)據(jù)分布1）當(dāng)Outlook=Rain，Humidity=high時(shí)，計(jì)算屬性Wind和Temp的信息增益率剪枝處理步驟3

決策樹——剪枝處理當(dāng)前節(jié)點(diǎn)(Outlook=Rain，Humidity=high)的預(yù)剪枝處理用測試集驗(yàn)證，精度由原來的11/14提高到9/14，因此當(dāng)前結(jié)點(diǎn)不需要?jiǎng)澐謱傩訲emp信息增益率最大，選擇Temp為分割屬性剪枝處理步驟2

決策樹——剪枝處理146Overcast對(duì)應(yīng)的子集包含唯一的類別（正類），因此當(dāng)前結(jié)點(diǎn)成為葉子結(jié)點(diǎn)，其類標(biāo)簽為"Yes"。此時(shí)，無需進(jìn)一步測試，因?yàn)樵摻Y(jié)點(diǎn)對(duì)應(yīng)的訓(xùn)練實(shí)例已經(jīng)被正確分類。2）對(duì)于Outlook=Overcast情況剪枝處理步驟2

決策樹——剪枝處理1473）對(duì)于Outlook=Rain情況，計(jì)算屬性Wind,Humidity和Temp的信息增益率當(dāng)前節(jié)點(diǎn)(Outlook=Rain)的數(shù)據(jù)分布剪枝處理步驟2

決策樹——剪枝處理148當(dāng)前結(jié)點(diǎn)(Outlook=Rain)

的預(yù)剪枝處理Wind的增益率最大因此選擇wind進(jìn)行劃分將測試數(shù)據(jù)的精度由原來的10/14上升為13/14，因此當(dāng)前結(jié)點(diǎn)需要?jiǎng)澐旨糁μ幚碜罱K獲得的決策樹

決策樹——剪枝處理149預(yù)剪枝形成的決策樹決策樹——應(yīng)用案例隨著大家生活觀念的轉(zhuǎn)變，周末和節(jié)假日越來越多的人閑暇時(shí)刻選擇親近自然，在大自然中放松身心的人越來越多。登山、吹風(fēng)，采摘、露營，認(rèn)識(shí)一株不一樣的植物，與小動(dòng)物互動(dòng)，與大自然和諧共處，會(huì)找到特別的放松和內(nèi)心的平靜。為了更好地了解大自然，了解我們身邊的一草一木，識(shí)別植物的各類APP不斷涌現(xiàn)。本節(jié)以鳶尾花（Iris）數(shù)據(jù)集為研究對(duì)象，采用決策樹構(gòu)建鳶尾花的分類模型。該數(shù)據(jù)集包含了150個(gè)樣本，每個(gè)樣本有4個(gè)特征：萼片長度、萼片寬度、花瓣長度、花瓣寬度，以及一個(gè)類別標(biāo)簽。這些特征的所有測量單位都以厘米為單位。數(shù)據(jù)集共涉及3個(gè)類別的鳶尾花，分別是山鳶尾（Setosa）、變色鳶尾（Versicolor）和維吉尼亞鳶尾（Virginica），每個(gè)類別各有50個(gè)樣本?；跊Q策樹的鳶尾花識(shí)別結(jié)果下圖所示。第5章：支持向量機(jī)內(nèi)容

概述

硬間隔線性支持向量機(jī)（SupportVectorMachinewithHardMargin）

軟間隔線性支持向量機(jī)（SupportVectorMachinewithSoftMargin）

非線性支持向量機(jī)與核函數(shù)（NonlinearSupportVectorMachineandKernelFunctions）

應(yīng)用案例概述——支持向量機(jī)的發(fā)展歷程與基本概念發(fā)展歷程：1964年：

支持向量機(jī)首次提出20世紀(jì)90年代：

得到快速發(fā)展并衍生出一系列改進(jìn)和擴(kuò)展算法現(xiàn)在：

在人臉識(shí)別、文本分類等模式識(shí)別問題中得到廣泛應(yīng)用

基本概念：支持向量機(jī)定義：

支持向量機(jī)是一種二類分類模型核心思想：

通過最大化數(shù)據(jù)點(diǎn)之間的間隔來尋找最優(yōu)的超平面目標(biāo)：

在特征空間中將不同類別的數(shù)據(jù)點(diǎn)分開概述——線性可分的概念與幾何直觀

線性可分的定義：在特征空間中，存在一個(gè)超平面能夠完美地將兩類不同的數(shù)據(jù)點(diǎn)分隔開來，沒有任何混淆

二維空間的直觀理解：線性可分指存在一條直線能夠完美分隔兩類數(shù)據(jù)點(diǎn)

高維空間的擴(kuò)展：

三維空間：線性分類器對(duì)應(yīng)一個(gè)平面多維空間：線性分類器是一個(gè)超平面

數(shù)學(xué)表示：設(shè)x=(x?,x?)?表示平面上的一個(gè)點(diǎn)，y是該點(diǎn)的類別標(biāo)簽?zāi)繕?biāo)：找到系數(shù)w和b，使得直線方程w·x+b=0能夠?qū)深慄c(diǎn)完全分開。其中，w是直線的法向量，b是直線的截距

分類規(guī)則：當(dāng)w·x+b>0時(shí)，點(diǎn)位于直線上方，屬于正類別（y=+1）當(dāng)w·x+b<0時(shí)，點(diǎn)位于直線下方，屬于負(fù)類別（y=-1）概述——多個(gè)分類器存在性問題分類器的非唯一性：對(duì)于線性可分的數(shù)據(jù)集，通常存在多條直線能夠完成同樣的分類任務(wù)。如圖所示，存在多條直線都能夠?qū)深悢?shù)據(jù)點(diǎn)精確地分開兩個(gè)具體分類器的數(shù)學(xué)表示：

分類器1：

分類器2：關(guān)鍵問題：既然存在多個(gè)直線分類器將數(shù)據(jù)分開，哪條直線分類性能最佳？概述——SVM的三種類型支持向量機(jī)的模型可以分為三類硬間隔支持向量機(jī)

當(dāng)訓(xùn)練樣本線性可分時(shí)，通過硬間隔最