第8章機(jī)器學(xué)習(xí)方法機(jī)器學(xué)習(xí)介紹01無(wú)監(jiān)督學(xué)習(xí)02監(jiān)督學(xué)習(xí)03強(qiáng)化學(xué)習(xí)05本講提綱04回歸什么是學(xué)習(xí)“學(xué)習(xí)是系統(tǒng)通過(guò)經(jīng)驗(yàn)提升性能的過(guò)程?！?--HerbertSimon卡內(nèi)基·梅隆大學(xué)圖靈獎(jiǎng)(1975)人工智能，人類(lèi)認(rèn)知心理學(xué)諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)(1978)什么是機(jī)器學(xué)習(xí)由機(jī)器學(xué)習(xí)泰斗湯姆·米切爾(TomMitchell)給出的更加數(shù)學(xué)化的定義:

機(jī)器學(xué)習(xí)是從人工智能中產(chǎn)生的一個(gè)重要學(xué)科分支，是實(shí)現(xiàn)智能化的關(guān)鍵機(jī)器學(xué)習(xí)是一門(mén)研究學(xué)習(xí)算法的學(xué)科，這些算法能夠：在某些任務(wù)T上通過(guò)經(jīng)驗(yàn)E提升性能P機(jī)器學(xué)習(xí)的分類(lèi)機(jī)器學(xué)習(xí)可以根據(jù)是否需要標(biāo)注數(shù)據(jù)（即目標(biāo)變量）來(lái)進(jìn)行劃分，這也是主流的分類(lèi)方式，可大致劃分為三大類(lèi)：監(jiān)督學(xué)習(xí)（supervisedlearning）、無(wú)監(jiān)督學(xué)習(xí)（unsupervisedlearning）和強(qiáng)化學(xué)習(xí)（reinforcementlearning）。監(jiān)督學(xué)習(xí)：有人為標(biāo)注無(wú)監(jiān)督學(xué)習(xí)：無(wú)人為標(biāo)注強(qiáng)化學(xué)習(xí)：間接人為標(biāo)注機(jī)器學(xué)習(xí)能做什么應(yīng)用情形：模型基于大量數(shù)據(jù)例子：百度網(wǎng)絡(luò)搜索，股票交易輸出必須是個(gè)性化的例子：商品推薦人類(lèi)不能解釋專業(yè)知識(shí)例子：語(yǔ)音/人臉識(shí)別，圍棋游戲人類(lèi)的專業(yè)知識(shí)不存在例子：在火星上導(dǎo)航機(jī)器學(xué)習(xí)歷史1950年代：Samuel的跳棋程序創(chuàng)建機(jī)器學(xué)習(xí)術(shù)語(yǔ)1960年代：神經(jīng)網(wǎng)絡(luò)，感知機(jī)模式識(shí)別Minsky和Papert證明感知機(jī)的局限性1970年代：符號(hào)概念歸納Winston的結(jié)構(gòu)學(xué)習(xí)系統(tǒng)專家系統(tǒng)和知識(shí)獲取瓶頸Quinlan的ID3算法使用AM的數(shù)學(xué)發(fā)現(xiàn)ArthurSamuel在1959年創(chuàng)造了"機(jī)器學(xué)習(xí)"這個(gè)詞1980年代:高級(jí)決策樹(shù)和規(guī)則學(xué)習(xí)基于解釋的學(xué)習(xí)(EBL)學(xué)習(xí)、規(guī)劃、解決問(wèn)題三間小屋問(wèn)題類(lèi)比認(rèn)知架構(gòu)神經(jīng)網(wǎng)絡(luò)復(fù)蘇(反向傳播)Valiant的PAC學(xué)習(xí)理論注重實(shí)驗(yàn)方法機(jī)器學(xué)習(xí)歷史1990年代數(shù)據(jù)挖掘自適應(yīng)軟件代理和網(wǎng)絡(luò)應(yīng)用程序文本學(xué)習(xí)強(qiáng)化學(xué)習(xí)(RL)歸納邏輯編程(ILP)組合:裝袋、提升和堆疊貝葉斯網(wǎng)絡(luò)學(xué)習(xí)支持向量機(jī)核方法2000年代圖模型變分推理統(tǒng)計(jì)關(guān)系學(xué)習(xí)遷移學(xué)習(xí)序列標(biāo)記集體分類(lèi)和結(jié)構(gòu)化輸出計(jì)算機(jī)系統(tǒng)應(yīng)用編譯器調(diào)試圖形安全性(入侵、病毒和蠕蟲(chóng)檢測(cè))電子郵件管理學(xué)習(xí)的個(gè)性化助手機(jī)器人和視覺(jué)的學(xué)習(xí)機(jī)器學(xué)習(xí)歷史2010年代深度學(xué)習(xí)從大數(shù)據(jù)中學(xué)習(xí)結(jié)合知識(shí)圖譜的機(jī)器學(xué)習(xí)使用GPU或HPC學(xué)習(xí)多任務(wù)+終身學(xué)習(xí)深度強(qiáng)化學(xué)習(xí)，AlphaGo視覺(jué)、語(yǔ)音、文本、網(wǎng)絡(luò)、行為等的龐大應(yīng)用...2020年代結(jié)合邏輯推理的深度學(xué)習(xí)超大規(guī)模預(yù)訓(xùn)練模型（GPT-3等）無(wú)人駕駛AI生物制藥技術(shù)生成式模型的爆發(fā)（ChatGPT、DALL-E、Diffusion）…機(jī)器學(xué)習(xí)開(kāi)發(fā)流程從宏觀上了解機(jī)器學(xué)習(xí)的開(kāi)發(fā)流程，有利于對(duì)機(jī)器學(xué)習(xí)的整體認(rèn)識(shí)。下圖展示了機(jī)器學(xué)習(xí)的典型開(kāi)發(fā)流程。機(jī)器學(xué)習(xí)開(kāi)發(fā)流程單變量線性回歸多元線性回歸

回歸任務(wù)基于樣本的特征，對(duì)樣本的某一屬性進(jìn)行預(yù)測(cè)。例如，基于房子的大小預(yù)測(cè)房子的價(jià)格；基于過(guò)去幾天的股票價(jià)格預(yù)測(cè)明天的價(jià)格；基于前幾天的氣溫預(yù)測(cè)未來(lái)幾天的氣溫。邏輯回歸擬合、過(guò)擬合和泛化當(dāng)統(tǒng)計(jì)模型或機(jī)器學(xué)習(xí)算法無(wú)法捕捉數(shù)據(jù)的基本變化趨勢(shì)時(shí),就會(huì)出現(xiàn)欠擬合。監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)是指我們給算法一個(gè)數(shù)據(jù)集，并且給定正確答案。機(jī)器通過(guò)數(shù)據(jù)來(lái)學(xué)習(xí)正確答案的計(jì)算方法。監(jiān)督學(xué)習(xí)類(lèi)似于老師教學(xué)生，把知識(shí)直接傳授給學(xué)生，學(xué)生記住了老師講解的知識(shí)，即可用于實(shí)踐。監(jiān)督學(xué)習(xí)①②③蘋(píng)果桔子顏色大小大小顏色監(jiān)督信息訓(xùn)練分類(lèi)模型測(cè)試模型你們按照標(biāo)注好的監(jiān)督信息進(jìn)行訓(xùn)練下面是監(jiān)督學(xué)習(xí)的一個(gè)例子，學(xué)習(xí)的目的是讓機(jī)器分辨蘋(píng)果和桔子。收集一些蘋(píng)果和桔子的圖片，并對(duì)這些圖片進(jìn)行標(biāo)注，標(biāo)明哪些圖片是蘋(píng)果，哪些圖片是桔子。這些標(biāo)注即是監(jiān)督信息。用這些圖片訓(xùn)練一個(gè)對(duì)蘋(píng)果和桔子的分類(lèi)模型。將一幅沒(méi)見(jiàn)過(guò)的蘋(píng)果圖片送入分類(lèi)模型，模型分辨出這是一個(gè)蘋(píng)果而不是一個(gè)桔子。監(jiān)督學(xué)習(xí)算法決策樹(shù)算法決策樹(shù)是一種樹(shù)狀預(yù)測(cè)模型，其本質(zhì)是一棵由多個(gè)判斷節(jié)點(diǎn)所組成的樹(shù)決策樹(shù)算法常用于解決分類(lèi)和回歸問(wèn)題，常被應(yīng)用于專家系統(tǒng)，用于解釋回答人類(lèi)專家才能回答的問(wèn)題特點(diǎn)是結(jié)構(gòu)簡(jiǎn)單、處理數(shù)據(jù)效率較高監(jiān)督學(xué)習(xí)算法樸素貝葉斯算法樸素貝葉斯算法是基于貝葉斯算法的改進(jìn)，即假定特征條件為獨(dú)立的分類(lèi)方法常用于解決分類(lèi)和回歸問(wèn)題特點(diǎn)是所需估計(jì)的參數(shù)很少，對(duì)缺失數(shù)據(jù)不太敏感監(jiān)督學(xué)習(xí)算法支持向量機(jī)算法支持向量機(jī)是是建立在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上的機(jī)器學(xué)習(xí)方法應(yīng)用于垃圾郵件識(shí)別，人臉識(shí)別等多種分類(lèi)問(wèn)題特點(diǎn)是將輸入數(shù)據(jù)映射到一個(gè)高階的向量空間，從而使得分類(lèi)或者回歸問(wèn)題更容易地解決監(jiān)督學(xué)習(xí)算法K近鄰算法K近鄰算法，又稱為KNN(K-NearestNeighbor)算法，一種重預(yù)測(cè)輕訓(xùn)練的算法用于分類(lèi)、回歸，處理多分類(lèi)問(wèn)題；在模式識(shí)別、數(shù)據(jù)挖掘、文本分類(lèi)中有廣泛應(yīng)用特點(diǎn)是適合在低維空間應(yīng)用，簡(jiǎn)單、容理解和實(shí)現(xiàn)使用scikit-learn實(shí)現(xiàn)KNN算法無(wú)監(jiān)督學(xué)習(xí)相較于有監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)就是從沒(méi)有標(biāo)簽的數(shù)據(jù)中進(jìn)行知識(shí)發(fā)現(xiàn)的過(guò)程。無(wú)監(jiān)督學(xué)習(xí)類(lèi)似于沒(méi)有老師的“自學(xué)成材”。例如，小孩子就算不聽(tīng)課，自己通過(guò)觀察體會(huì)，也可以學(xué)習(xí)到很多知識(shí)。無(wú)監(jiān)督學(xué)習(xí)下圖是無(wú)監(jiān)督學(xué)習(xí)的一個(gè)例子，學(xué)習(xí)的目標(biāo)是將水果進(jìn)行歸類(lèi)。收集一些水果的圖片，但并不知道圖片中的水果的名字，因此不包含監(jiān)督信息。用這些圖片訓(xùn)練一個(gè)模型，這一模型可以將相似的水果聚成一堆。這一過(guò)程稱為“聚類(lèi)”。將一幅沒(méi)見(jiàn)過(guò)的蘋(píng)果圖片送入模型，模型將它歸入蘋(píng)果一類(lèi)。無(wú)監(jiān)督學(xué)習(xí)聚類(lèi)分析的方法有很多種，包括K均值（KMeans）、層次聚類(lèi)、DBSCAN等。一個(gè)常見(jiàn)的降維方法是主成分分析（PCA）。PCA通過(guò)正交變換將可能相關(guān)的高維變量轉(zhuǎn)換為一組線性不相關(guān)的低維變量，這些低維變量被稱為主成分。除了PCA，還有其他多種降維技術(shù)，如線性判別分析（LDA）、t分布隨機(jī)鄰域嵌入（t-SNE）和自編碼器等。K均值算法K均值聚類(lèi)就是制定分組的數(shù)量為K，自動(dòng)進(jìn)行分組。K均值聚類(lèi)的步驟如下：定義K個(gè)重心。一開(kāi)始這些重心是隨機(jī)的（也有一些更加有效的用于初始化重心的算法）尋找最近的重心并且更新聚類(lèi)分配。將每個(gè)數(shù)據(jù)點(diǎn)都分配給這K個(gè)聚類(lèi)中的一個(gè)。每個(gè)數(shù)據(jù)點(diǎn)都被分配給離它們最近的重心的聚類(lèi)。這里的“接近程度”的度量是一個(gè)超參數(shù)——通常是歐幾里得距離（Euclideandistance）。將重心移動(dòng)到它們的聚類(lèi)的中心。每個(gè)聚類(lèi)的重心的新位置是通過(guò)計(jì)算該聚類(lèi)中所有數(shù)據(jù)點(diǎn)的平均位置得到的。重復(fù)第2和3步，直到每次迭代時(shí)重心的位置不再顯著變化（即直到該算法收斂）?！敖稻S算法”–PCA主成分分析是把多指標(biāo)轉(zhuǎn)化為少數(shù)幾個(gè)綜合指標(biāo)。主成分分析經(jīng)常用于減少數(shù)據(jù)集的維數(shù)，同時(shí)保持?jǐn)?shù)據(jù)集的對(duì)方差貢獻(xiàn)最大的特征。這是通過(guò)保留低階主成分，忽略高階主成分做到的。這樣低階成分往往能夠保留住數(shù)據(jù)的最重要方面。變換的步驟：第一步計(jì)算矩陣X的樣本的協(xié)方差矩陣

S（此為不標(biāo)準(zhǔn)PCA，標(biāo)準(zhǔn)PCA計(jì)算相關(guān)系數(shù)矩陣C）第二步計(jì)算協(xié)方差矩陣S（或C）的特征向量

e1,e2,…,eN和特征值,t=1,2,…,N第三步投影數(shù)據(jù)到特征向量張成的空間之中。無(wú)監(jiān)督學(xué)習(xí)應(yīng)用場(chǎng)景有很多違法行為都需要”洗錢(qián)”，這些洗錢(qián)行為跟普通用戶的行為是不一樣的，到底哪里不一樣？如果通過(guò)人為去分析是一件成本很高很復(fù)雜的事情，我們可以通過(guò)這些行為的特征對(duì)用戶進(jìn)行分類(lèi)，就更容易找到那些行為異常的用戶，然后再深入分析他們的行為到底哪里不一樣，是否屬于違法洗錢(qián)的范疇。無(wú)監(jiān)督學(xué)習(xí)應(yīng)用場(chǎng)景這個(gè)對(duì)于廣告平臺(tái)很有意義，我們不僅把用戶按照性別、年齡、地理位置等維度進(jìn)行用戶細(xì)分，還可以通過(guò)用戶行為對(duì)用戶進(jìn)行分類(lèi)。通過(guò)很多維度的用戶細(xì)分，廣告投放可以更有針對(duì)性，效果也會(huì)更好。無(wú)監(jiān)督學(xué)習(xí)應(yīng)用場(chǎng)景大家都聽(tīng)過(guò)”啤酒+尿不濕”的故事，這個(gè)故事就是根據(jù)用戶的購(gòu)買(mǎi)行為來(lái)推薦相關(guān)的商品的一個(gè)例子。比如大家在淘寶、天貓、京東上逛的時(shí)候，總會(huì)根據(jù)你的瀏覽行為推薦一些相關(guān)的商品，有些商品就是無(wú)監(jiān)督學(xué)習(xí)通過(guò)聚類(lèi)來(lái)推薦出來(lái)的。系統(tǒng)會(huì)發(fā)現(xiàn)一些購(gòu)買(mǎi)行為相似的用戶，推薦這類(lèi)用戶最”喜歡”的商品。強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)是一個(gè)非常吸引人的人工智能領(lǐng)域，2016年AlphaGo在圍棋領(lǐng)域挑戰(zhàn)李世石，以幾乎碾壓的結(jié)果奪冠，引起了人們對(duì)于人工智能的廣泛討論。2019年AlphaStar橫空出世，在復(fù)雜的星際爭(zhēng)霸2游戲中達(dá)到能和人類(lèi)頂級(jí)玩家PK的水平，登上Nature。這兩次與人類(lèi)頂級(jí)玩家的抗衡之戰(zhàn)，背后的技術(shù)都是強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)分支，強(qiáng)調(diào)基于環(huán)境而行動(dòng)，以取得最大化的長(zhǎng)期利益。與監(jiān)督學(xué)習(xí)、非監(jiān)督學(xué)習(xí)不同，監(jiān)督學(xué)習(xí)解決如分類(lèi)、回歸等感知和認(rèn)知類(lèi)的任務(wù)，而強(qiáng)化學(xué)習(xí)處理決策問(wèn)題，著重于環(huán)境的交互、序列決策、和長(zhǎng)期收益。強(qiáng)化學(xué)習(xí)32我們想訓(xùn)練一只小狗，當(dāng)說(shuō)“蘋(píng)果”或“桔子”時(shí)，它可以把正確的水果送過(guò)來(lái)。但是小狗聽(tīng)不懂我們說(shuō)話。怎么辦呢？強(qiáng)化學(xué)習(xí)33一種做法是用獎(jiǎng)勵(lì)信號(hào)代替監(jiān)督信號(hào)來(lái)引導(dǎo)它主動(dòng)學(xué)習(xí)。方法如下：如果它拿對(duì)了，就給它一塊骨頭做獎(jiǎng)勵(lì)；如果拿錯(cuò)了，就沒(méi)有獎(jiǎng)勵(lì)。久而久之，它就可以聽(tīng)懂主人的命令了。這是一種有別于監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)的另一種學(xué)習(xí)方法，稱為“強(qiáng)化學(xué)習(xí)”。強(qiáng)化學(xué)習(xí)模型智能體智能體（agent）學(xué)習(xí)的主體，如游戲角色馬里奧、小狗、機(jī)器人、控制程序等agent的特點(diǎn)1、主動(dòng)對(duì)環(huán)境做出試探2、環(huán)境對(duì)試探動(dòng)作反饋是評(píng)價(jià)性的（好或壞）3、在行動(dòng)-評(píng)價(jià)的環(huán)境中獲得知識(shí)，改進(jìn)行動(dòng)方案，達(dá)到預(yù)期目的獎(jiǎng)勵(lì)信號(hào)（rewards）獎(jiǎng)勵(lì)信號(hào)R是一個(gè)標(biāo)量信號(hào)表示agent在步驟t中所產(chǎn)生動(dòng)作好壞agent的任務(wù)是最大化累積獎(jiǎng)勵(lì)信號(hào)例子-強(qiáng)化學(xué)習(xí)模型理解Stateandaction-狀態(tài)和動(dòng)作State可以理解成狀態(tài)(環(huán)境狀態(tài))，當(dāng)我們?cè)谕娉?jí)瑪麗我們可以認(rèn)為當(dāng)前的狀態(tài)就是圖中超級(jí)瑪麗游戲的畫(huà)面，我們玩超級(jí)瑪麗的時(shí)候觀測(cè)到屏幕上的狀態(tài)，就可以操縱馬里奧做出相應(yīng)的動(dòng)作，馬里奧做的動(dòng)作就是action,假設(shè)馬里奧會(huì)做三個(gè)動(dòng)作，left、right和up，這個(gè)例子里面馬里奧就是agent,如果在自動(dòng)駕駛的領(lǐng)域中汽車(chē)就是agent,總之在一個(gè)應(yīng)用里面動(dòng)作是誰(shuí)做的誰(shuí)就是agent。例子-強(qiáng)化學(xué)習(xí)模型理解

例子-強(qiáng)化學(xué)習(xí)模型理解reward-獎(jiǎng)勵(lì)智能體（agent）做出一個(gè)動(dòng)作，游戲就會(huì)給一個(gè)獎(jiǎng)勵(lì)，這個(gè)獎(jiǎng)勵(lì)通常需要我們來(lái)定義，獎(jiǎng)勵(lì)定義的好壞非常容易影響強(qiáng)化學(xué)習(xí)的結(jié)果，如何定義獎(jiǎng)勵(lì)就見(jiàn)人見(jiàn)智了，以超級(jí)瑪麗游戲?yàn)槔厚R里奧吃到一個(gè)金幣獎(jiǎng)勵(lì)R=+1,如果贏了這場(chǎng)游戲獎(jiǎng)勵(lì)R=+10000，我們應(yīng)該把打贏游戲的獎(jiǎng)勵(lì)定義的大一些，這樣才能激勵(lì)學(xué)到的policy打贏游戲而不是一味的吃金幣，如果馬里奧碰到敵人Goomba，馬里奧就會(huì)死，游戲結(jié)束，這時(shí)獎(jiǎng)勵(lì)就設(shè)為R=-10000，如果這一步什么也沒(méi)發(fā)生，獎(jiǎng)勵(lì)就是R=0，強(qiáng)化學(xué)習(xí)的目標(biāo)就是使獲得的獎(jiǎng)勵(lì)總和盡量要高。例子-強(qiáng)化學(xué)習(xí)模型理解

例子-強(qiáng)化學(xué)習(xí)模型理解智能體（agent）與環(huán)境交互強(qiáng)化學(xué)習(xí)由兩部分組成：智能體和環(huán)境。以超級(jí)瑪麗為例，agent是馬里奧，狀態(tài)St是環(huán)境告訴我們的，我們可以把當(dāng)前屏幕上顯示的圖片看作狀態(tài)St，agent看到狀態(tài)St之后要做出一個(gè)動(dòng)作At，動(dòng)作可以是向左走、向右走和向上跳，agent做出動(dòng)作At之后環(huán)境會(huì)更新?tīng)顟B(tài)St+1，同時(shí)環(huán)境還會(huì)給agent一個(gè)獎(jiǎng)勵(lì)Rt，要是吃到金幣獎(jiǎng)勵(lì)是正的，要是贏了游戲獎(jiǎng)勵(lì)就是一個(gè)很大的正數(shù)，要是馬里奧over了獎(jiǎng)勵(lì)就是一個(gè)很大的負(fù)數(shù)。