Algorithm第4章

算法2035主講：王紅梅4.14.24.34.4算法那些事算法概述搜索算法機(jī)器學(xué)習(xí)目錄CONTENTS4.5神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)擴(kuò)展：循環(huán)神經(jīng)網(wǎng)絡(luò)4.6哎呦，我的媽呀機(jī)器能學(xué)習(xí)，你信嗎？它怎么學(xué)呀！

需要先談?wù)勅斯ぶ悄堋C(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)之間的關(guān)系人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)人工智能是一個(gè)很大的概念

人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)之間的關(guān)系研究人工智能要用到各種數(shù)學(xué)算法，統(tǒng)稱為機(jī)器學(xué)習(xí)貝葉斯網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)決策樹支持向量機(jī)等人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是其中的一種方法

人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)之間的關(guān)系神經(jīng)網(wǎng)絡(luò)是一種用多層結(jié)構(gòu)來模擬人腦神經(jīng)網(wǎng)絡(luò)的一種方法。人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

人工智能、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)之間的關(guān)系當(dāng)神經(jīng)網(wǎng)絡(luò)的層數(shù)非常多時(shí)就稱深度學(xué)習(xí)。這么看來，機(jī)器學(xué)習(xí)還是基礎(chǔ)。人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

小智去圖書館借書，用校園卡一刷，屏幕上竟跳出幾本他心儀已久的人工智能書籍。小智驚訝不已，他尚未查詢，計(jì)算機(jī)如何知曉他的需求？原來，這是圖書館新引入的基于機(jī)器學(xué)習(xí)算法的智能推薦系統(tǒng)。該系統(tǒng)通過分析學(xué)生的借閱歷史、網(wǎng)絡(luò)搜索行為等數(shù)據(jù)，預(yù)測其興趣和需求，從而提供個(gè)性化書籍推薦。機(jī)器竟然也能像人類一樣學(xué)習(xí)？4.4.1什么是機(jī)器學(xué)習(xí)？4.4.2機(jī)器怎么學(xué)習(xí)？4.4.3機(jī)器學(xué)習(xí)的類別4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNN4.4.5機(jī)器學(xué)習(xí)的實(shí)際應(yīng)用場景討論：人類是怎么學(xué)習(xí)（廣義的學(xué)習(xí)）和并實(shí)踐的呢討論：人類是怎么學(xué)習(xí)（廣義的學(xué)習(xí)）和并實(shí)踐的呢而機(jī)器學(xué)習(xí)方法不同于前面的算法的地方就是要計(jì)算機(jī)通過歸納法從數(shù)據(jù)中發(fā)現(xiàn)規(guī)律解決問題。人類學(xué)習(xí)新知的方法演繹法歸納法如前面講的冒泡排序算法和搜索算法正是利用邏輯演繹的方法，配合計(jì)算機(jī)的計(jì)算能力開發(fā)出來的。過往經(jīng)驗(yàn)規(guī)律歸納輸入新問題預(yù)測未來歷史數(shù)據(jù)模型訓(xùn)練輸入新數(shù)據(jù)預(yù)測未來屬性4.4.1什么是機(jī)器學(xué)習(xí)？

反饋改進(jìn)歷史數(shù)據(jù)模型訓(xùn)練輸入新數(shù)據(jù)預(yù)測未來屬性4.4.1什么是機(jī)器學(xué)習(xí)？

改進(jìn)機(jī)器學(xué)習(xí)的關(guān)鍵在于從大量的數(shù)據(jù)中發(fā)現(xiàn)一個(gè)“模型”，并通過它來模擬現(xiàn)實(shí)世界事物間的關(guān)系，從而實(shí)現(xiàn)預(yù)測或判斷的功能。建立這個(gè)模型的過程就是學(xué)習(xí)。4.4.2機(jī)器怎么學(xué)習(xí)？

如：利用一個(gè)人的身高（自變量x1）、體重（自變量x2）數(shù)據(jù)預(yù)測他所穿的鞋的尺碼（因變量y）問題。自變量：稱作特征值或者特征變量因變量：稱作目標(biāo)變量或者標(biāo)簽

4.4.2機(jī)器怎么學(xué)習(xí)？

機(jī)器學(xué)習(xí)，就是在已知數(shù)據(jù)集的基礎(chǔ)上，通過反復(fù)的計(jì)算，選擇最貼切的函數(shù)去描述數(shù)據(jù)集中自變量（x1,x2）和因變量y之間的關(guān)系的過程。如果機(jī)器通過所謂的訓(xùn)練找到了一個(gè)函數(shù)，對于已有的1000個(gè)人的身高、體重?cái)?shù)據(jù)，它都能夠根據(jù)這些特征，大致推斷出他穿鞋的對應(yīng)尺碼。那么，再給另一批人的身高、體重?cái)?shù)據(jù)，就很有希望用同樣的函數(shù)（模型）推斷出這另一批人所穿鞋的對應(yīng)尺碼。此時(shí)，已有的1000組身高、體重?cái)?shù)據(jù)叫作訓(xùn)練數(shù)據(jù)集。另一批身高、體重?cái)?shù)據(jù)叫作測試數(shù)據(jù)集。訓(xùn)練數(shù)據(jù)模型訓(xùn)練輸入測試數(shù)據(jù)輸出預(yù)測訓(xùn)練就是用算法確定模型參數(shù)的過程機(jī)器學(xué)習(xí)通過訓(xùn)練調(diào)整參數(shù)，減少誤差改進(jìn)4.4.2機(jī)器怎么學(xué)習(xí)？

生活中的模型4.4.3機(jī)器學(xué)習(xí)的類別（按學(xué)習(xí)方法）

1.監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)利用已知類別的樣本（有標(biāo)記的樣本即有答案的樣本），訓(xùn)練學(xué)習(xí)得到一個(gè)最優(yōu)模型參數(shù)。是將問題的答案告知計(jì)算機(jī)，使計(jì)算機(jī)進(jìn)行學(xué)習(xí)并給出模型參數(shù)的方法。監(jiān)督學(xué)習(xí)的應(yīng)用場景主要有回歸和分類。

實(shí)際可以按任務(wù)分，按學(xué)習(xí)方法分，按復(fù)雜程度分等特征1特征1特征1特征n特征n特征n··················目標(biāo)目標(biāo)目標(biāo)數(shù)據(jù)特征標(biāo)簽監(jiān)督學(xué)習(xí)算法天氣溫度風(fēng)速晴暖強(qiáng)雨冷中晴冷弱享受運(yùn)動是否是對于天氣是否適合運(yùn)動的預(yù)測：分類回歸問題通常用來預(yù)測一個(gè)值，其標(biāo)簽的值是連續(xù)的。例如前面根據(jù)身高和體重?cái)?shù)據(jù)預(yù)測出對應(yīng)的鞋的尺碼的例子就是監(jiān)督學(xué)習(xí)中的回歸。此外，預(yù)測房價(jià)、預(yù)測高考錄取分?jǐn)?shù)線、預(yù)測未來的天氣等任何連續(xù)性的走勢、數(shù)值等問題都是回歸問題。4.4.3機(jī)器學(xué)習(xí)的類別

1.監(jiān)督學(xué)習(xí)：回歸。

分類問題是機(jī)器學(xué)習(xí)中的一種常見類型，算法需要將數(shù)據(jù)劃分到一組已定義的類別中。例如，在醫(yī)學(xué)診斷中，分類問題可能是預(yù)測患者是否患有特定疾病；在營銷領(lǐng)域，分類問題可能是預(yù)測客戶是否會購買某種產(chǎn)品；在金融領(lǐng)域，分類問題可能是預(yù)測客戶是否會逾期還貸。4.4.3機(jī)器學(xué)習(xí)的類別

1.監(jiān)督學(xué)習(xí)：分類。

4.4.3機(jī)器學(xué)習(xí)的類別

1.監(jiān)督學(xué)習(xí)：分類。

將數(shù)據(jù)分類到兩個(gè)類別中，叫做二元分類如前面的天氣是否適合運(yùn)動。將數(shù)據(jù)分類到更多類別，比如10個(gè)類別的情況，這樣的情況稱為多元分類，如超市購買水果，對水果進(jìn)行識別等。分類是機(jī)器學(xué)習(xí)的經(jīng)典應(yīng)用領(lǐng)域，很多種機(jī)器學(xué)習(xí)算法都可以用于分類，包括基礎(chǔ)的K近鄰算法、經(jīng)典的邏輯回歸算法、以及神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等。

無監(jiān)督學(xué)習(xí)直接接收一堆特征數(shù)據(jù)作為起點(diǎn)。然后，它會嘗試對這些數(shù)據(jù)進(jìn)行各種分析，找出數(shù)據(jù)里隱藏的一些規(guī)律或群體。通過這種方式，無監(jiān)督學(xué)習(xí)能夠逐漸理解這些數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特點(diǎn)。無監(jiān)督學(xué)習(xí)的典型應(yīng)用場景是聚類和降維。4.4.3機(jī)器學(xué)習(xí)的類別

2.無監(jiān)督學(xué)習(xí)

討論：物以類聚，人以群分現(xiàn)象學(xué)習(xí)的各種社團(tuán)算不算？聚類問題的目的是將相似的數(shù)據(jù)聚在一起。例如，通信運(yùn)營商可以對手機(jī)用戶的通話行為進(jìn)行聚類，把喜歡上網(wǎng)的用戶聚為一類，喜歡夜間打電話的用戶聚為另一類。4.4.3機(jī)器學(xué)習(xí)的類別2.無監(jiān)督學(xué)習(xí):聚類把相似的數(shù)據(jù)匯總為組的方法叫聚類。

降維，簡單來說，就是把一堆有很多特征的數(shù)據(jù)，想辦法用更少的特征來表示，同時(shí)還要求保留最主要的信息。

也就是指將高維數(shù)據(jù)轉(zhuǎn)換為低維數(shù)據(jù)。

4.4.3機(jī)器學(xué)習(xí)的類別2.無監(jiān)督學(xué)習(xí):降維

降維，簡單來說，就是把一堆有很多特征的數(shù)據(jù)，想辦法用更少的特征來表示，同時(shí)還要求保留最主要的信息。

也就是指將高維數(shù)據(jù)轉(zhuǎn)換為低維數(shù)據(jù)。

4.4.3機(jī)器學(xué)習(xí)的類別2.無監(jiān)督學(xué)習(xí):降維

討論：生活中降維的例子，你了解的有沒有？我們的世界是三維的，拍的照片是二維的。我們的學(xué)科體系是復(fù)雜和多維的，我們把它轉(zhuǎn)換為一個(gè)一個(gè)的知識點(diǎn)和實(shí)踐項(xiàng)目。將大量文字總結(jié)成摘要，保留關(guān)鍵信息，減少數(shù)據(jù)量。在面臨復(fù)雜決策時(shí)，人們可能只關(guān)注最重要的幾個(gè)因素，忽略次要因素。強(qiáng)化學(xué)習(xí)，在不斷嘗試中通過獎懲機(jī)制來學(xué)習(xí)如何做出最好決策的方法。4.4.3機(jī)器學(xué)習(xí)的類別3.強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)在游戲、機(jī)器人控制、自動駕駛等需要決策和優(yōu)化長期目標(biāo)的場景中發(fā)揮著重要作用。4.4.3機(jī)器學(xué)習(xí)的類別3.強(qiáng)化學(xué)習(xí)

監(jiān)督學(xué)習(xí)利用已知類別的樣本（有標(biāo)記的樣本），訓(xùn)練學(xué)習(xí)得到一個(gè)最優(yōu)模型。如用于數(shù)據(jù)分類。無監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)對于沒有標(biāo)記的樣本，學(xué)習(xí)算法直接對輸入數(shù)據(jù)集進(jìn)行建模，如聚類。試圖讓學(xué)習(xí)器自動地對大量未標(biāo)記數(shù)據(jù)進(jìn)行利用以輔助少量有標(biāo)記數(shù)據(jù)進(jìn)行學(xué)習(xí)。強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)通過試錯來學(xué)習(xí)最優(yōu)的行為策略。系統(tǒng)會根據(jù)當(dāng)前的狀態(tài)選擇一個(gè)動作，然后觀察環(huán)境的反饋(獎勵或懲罰),并據(jù)此調(diào)整策略，以便在未來獲得更好的回報(bào)。機(jī)器學(xué)習(xí)的類別4.4.3機(jī)器學(xué)習(xí)的類別同一類別的事物通常聚集在一起“人以群分，物以類聚”說的就是這個(gè)原理？“近”“鄰”K是鄰居個(gè)數(shù)4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNNKNN（K-NearestNeighbor，K近鄰）算法是機(jī)器學(xué)習(xí)算法中最基礎(chǔ)、最簡單的算法之一，屬于監(jiān)督學(xué)習(xí)，主要用于分類。（一）KNN的原理B?A?4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNNKNN算法的核心思想是：如果一個(gè)樣本在特征空間中的K個(gè)最相似（即特征空間中最鄰近）的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別。觀察這張圖，推斷A、B兩點(diǎn)的顏色和形狀？（一）KNN的原理B?A?推測A粉色圓點(diǎn)B綠色方塊4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNN觀察這張圖，推斷A、B兩點(diǎn)的顏色和形狀？B?A?原因01以A為圓心的區(qū)域：粉色圓點(diǎn)多02以B為圓心的區(qū)域：綠色方塊多（一）KNN的原理4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNN觀察這張圖，推斷A、B兩點(diǎn)的顏色和形狀？B?A?（一）KNN的原理4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNN觀察這張圖，推斷A、B兩點(diǎn)的顏色和形狀？KNN如何理解“最近”呢？最直觀的就是用距離量化“遠(yuǎn)近”。距離（用d表示）的計(jì)算方法有很多種。如對于直線上的距離，平面上的兩個(gè)點(diǎn)來說，距離可以采用歐式距離進(jìn)行計(jì)算（一）KNN的原理k近鄰法步驟：1.計(jì)算輸入數(shù)據(jù)與訓(xùn)練數(shù)據(jù)之間的距離；2.按距離遞增排序；3.得到距離輸入數(shù)據(jù)最近的k個(gè)訓(xùn)練數(shù)據(jù)；4.統(tǒng)計(jì)k個(gè)訓(xùn)練數(shù)據(jù)的類別頻率，按規(guī)則確定預(yù)測結(jié)果。B?A?KNN算法的實(shí)現(xiàn)，這里不講了，學(xué)有余力的同學(xué)可以自己探索。（二）KNN的實(shí)現(xiàn)4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNN標(biāo)志型號長（mm）寬（mm）高（mm）價(jià)格（萬元）略過X00140531740144923瀏覽X00250871868150041略過X0034032168014509瀏覽X00443301535188528

推薦?X00845601822164534（三）KNN的實(shí)際應(yīng)用假設(shè)某網(wǎng)站發(fā)現(xiàn)用戶對某些車型的瀏覽行為如綠色數(shù)據(jù)所示，那么現(xiàn)在向用戶推送X008車型的廣告是否會引發(fā)用戶興趣？4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNN標(biāo)志型號長（mm）寬（mm）高（mm）價(jià)格（萬元）略過X00140531740144923瀏覽X00250871868150041略過X0034032168014509瀏覽X00443301535188528

推薦?X00845601822164534為了簡化，此處只考慮價(jià)格特征，我們計(jì)算X008與其它車型的距離，例如與X001的距離為類似的，可以算出X008與其它所有車型的距離（三）KNN的實(shí)際應(yīng)用4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNN用戶行為型號價(jià)格（萬元）距離d略過X0012311瀏覽X002417略過X003925瀏覽X004286

？X00834選取與被測車輛距離最小的k個(gè)點(diǎn)（一般k為奇數(shù)，本例k=3）作為分類判斷的依據(jù)，即圖中藍(lán)色部分的3種車型，2種為用戶感興趣的車型，1種為用戶無興趣車型；按簡單的少數(shù)服從多數(shù)原則，可推測車輛X008也是用戶感興趣的車型。（三）KNN的實(shí)際應(yīng)用4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNN234128934（四）KNN算法的思考討論：這個(gè)圖中，C點(diǎn)預(yù)測是什么？為什么？4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNNC?學(xué)生可能討論出新的ideaC?大圈區(qū)域

K=94:5，粉色圓點(diǎn)小圈區(qū)域k=54:1，綠色方塊如何確定C的類別K個(gè)近鄰？學(xué)生可能討論出新的idea（四）KNN算法的思考討論：這個(gè)圖中，C點(diǎn)預(yù)測是什么？為什么？4.4.4機(jī)器學(xué)習(xí)應(yīng)用實(shí)例：KNN如果考慮減小KNN算法中k的取值k取1待預(yù)測點(diǎn)的分類只依賴于與之最近的點(diǎn)，分類結(jié)果隨機(jī)性