第三章機(jī)器學(xué)習(xí)3.1

應(yīng)用場(chǎng)景CONTENTS目錄應(yīng)用場(chǎng)景

01自動(dòng)駕駛

02應(yīng)用范圍文本分類基因識(shí)別空間數(shù)據(jù)處理衛(wèi)星圖片分析客戶群的特征分類與價(jià)值分析……01OriginalPointsK-means(2Clusters)

01應(yīng)用范圍經(jīng)濟(jì)預(yù)測(cè)疾病自動(dòng)診斷病人分類新聞分類郵件分類……01

01應(yīng)用范圍應(yīng)用范圍：01范圍領(lǐng)域模式識(shí)別機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)+數(shù)據(jù)庫(kù)統(tǒng)計(jì)學(xué)習(xí)統(tǒng)計(jì)+機(jī)器學(xué)習(xí)計(jì)算機(jī)視覺圖像處理+機(jī)器學(xué)習(xí)語音識(shí)別語音處理+機(jī)器學(xué)習(xí)自然語言處理文本處理+機(jī)器學(xué)習(xí)

01應(yīng)用范圍01視頻來源：/sv/cIfmOW4mUBP7UC.html?from=videoso_result

01自動(dòng)駕駛駕駛輔助系統(tǒng)（DAS）

部分自動(dòng)化系統(tǒng)高度自動(dòng)化系統(tǒng)完全自動(dòng)化01

02第三章機(jī)器學(xué)習(xí)3.2

機(jī)器人學(xué)習(xí)概述CONTENTS目錄人工智能，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別

01機(jī)器學(xué)習(xí)的發(fā)展

02機(jī)器學(xué)習(xí)的分類

03各主流框架基本情況

04人工智能，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別02人工智能：人工智能，簡(jiǎn)稱AI，是指為機(jī)器賦予人的智能。人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，它企圖了解智能的本質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機(jī)器，是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。機(jī)器學(xué)習(xí)：機(jī)器學(xué)習(xí)，簡(jiǎn)稱ML，是一種實(shí)現(xiàn)人工智能的方法。機(jī)器學(xué)習(xí)屬于人工智能的一個(gè)分支，也是人工智能的和核心。機(jī)器學(xué)習(xí)理論主要是設(shè)計(jì)和分析一些讓計(jì)算機(jī)可以自動(dòng)“”學(xué)習(xí)的算法。深度學(xué)習(xí)：深度學(xué)習(xí)，簡(jiǎn)稱DL，是一種實(shí)現(xiàn)機(jī)器學(xué)習(xí)的技術(shù)。最初的深度學(xué)習(xí)是利用深度神經(jīng)網(wǎng)絡(luò)來解決特征表達(dá)的一種學(xué)習(xí)過程。深度神經(jīng)網(wǎng)絡(luò)本身并不是一個(gè)全新的概念，可大致理解為包含多個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

01人工智能，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別請(qǐng)分別討論下列各組數(shù)據(jù)的內(nèi)部關(guān)系，并填空。02x131724y14.52.58.53.5?x236812y210.537.565.52.5?y1=x1+1.5y2=x22+1.5

01人工智能，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別定義：計(jì)算機(jī)利用已有的數(shù)據(jù)(經(jīng)驗(yàn))，得出了某種模型(規(guī)律)，并利用此模型預(yù)測(cè)未來數(shù)據(jù)特征的一種方法。02人類學(xué)習(xí)VS機(jī)器學(xué)習(xí)

01人工智能，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別視頻來源：/video/BV1fA411a7X6?from=search&seid=1697965520941191505502

01機(jī)器學(xué)習(xí)的發(fā)展02機(jī)器學(xué)習(xí)的發(fā)展：在機(jī)器學(xué)習(xí)領(lǐng)域，計(jì)算機(jī)科學(xué)家不斷探索，基于不同的理論創(chuàng)建出不同的機(jī)器學(xué)習(xí)模型。從發(fā)展歷程來說，大致經(jīng)歷了三個(gè)階段：符號(hào)主義時(shí)代（1980年左右）概率論時(shí)代（1990-2000年）聯(lián)結(jié)主義時(shí)代（2010年左右）

02機(jī)器學(xué)習(xí)的分類機(jī)器學(xué)習(xí)的分類：可以按照輸入的數(shù)據(jù)本身是否已被標(biāo)定特定的標(biāo)簽將機(jī)器學(xué)習(xí)區(qū)分為有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)以及半監(jiān)督學(xué)習(xí)三類。02機(jī)器學(xué)習(xí)有監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)

03機(jī)器學(xué)習(xí)的分類監(jiān)督學(xué)習(xí)：從帶標(biāo)簽（標(biāo)注）的訓(xùn)練樣本中建立一個(gè)模式（模型），并依此模式推測(cè)新的數(shù)據(jù)標(biāo)簽的算法。無監(jiān)督學(xué)習(xí)：在學(xué)習(xí)時(shí)并不知道其分類結(jié)果，其目的是對(duì)原始資料進(jìn)行分類，以便了解資料內(nèi)部結(jié)構(gòu)算法。半監(jiān)督學(xué)習(xí)：利用少量標(biāo)注樣本和大量未標(biāo)注樣本進(jìn)行機(jī)器學(xué)習(xí)，利用數(shù)據(jù)分布上的模型假設(shè),建立學(xué)習(xí)器對(duì)未標(biāo)簽樣本進(jìn)行標(biāo)簽。02

03各主流框架基本情況各主流框架基本情況對(duì)比：02庫(kù)名發(fā)布者支持語言支持系統(tǒng)TensorFlowGooglePython/C++/Java/GoLinux/Mac

OS/Android/iOSCaffeUCBerkeleyPython/C++/MatlabLinux/Mac

OS/WindowsCNTKMicrosoftPython/C++/BrainScriptLinux/WindowsMXNetDMLC(分布式機(jī)器學(xué)習(xí)社區(qū))Python/C++/Matlab/Julia/Go/R/ScalaLinux/Mac

OS/Windows/Android/iOSTorchFacebookC/Lua/Linux/Mac

OS/Windows/Android/iOSTheano蒙特利爾大學(xué)PythonLinux/Mac

OS/WindowsNeonIntelPythonLinux

04各主流框架基本情況各主流框架的性能對(duì)比：02庫(kù)名學(xué)習(xí)材料豐富程度CNN建模能力RNN建模能力易用程度運(yùn)行速度多GPU支持程度TensorFlow★★★★★★★★★★★★★★★Caffe★★★★★★★CNTK★★★★★★★★★★★MXNet★★★★★★★★★★★★Torch★★★★★★★★★★★★★Theano★★★★★★★★★★★Neon★★★★★★★★★04第三章機(jī)器學(xué)習(xí)3.3監(jiān)督學(xué)習(xí)及案例體驗(yàn)CONTENTS目錄監(jiān)督學(xué)習(xí)簡(jiǎn)介

01案例體驗(yàn)1：電影票房數(shù)據(jù)分析

02案例體驗(yàn)2：鳶尾花分類

03監(jiān)督學(xué)習(xí)簡(jiǎn)介在監(jiān)督學(xué)習(xí)中，每一個(gè)例子都是一對(duì)由一個(gè)輸入對(duì)象（通常是一個(gè)向量）和一個(gè)期望的輸出值（也被稱為監(jiān)督信號(hào)）組成的。01

01監(jiān)督學(xué)習(xí)簡(jiǎn)介應(yīng)用步驟：步驟1：數(shù)據(jù)集的創(chuàng)建和分類。步驟2：訓(xùn)練。步驟3：驗(yàn)證。步驟4：使用。01

01監(jiān)督學(xué)習(xí)簡(jiǎn)介回歸（Regression）y是連續(xù)值（實(shí)數(shù)或連續(xù)整數(shù)），f(x)的輸出也是連續(xù)值。這種類型的問題就是回歸問題。對(duì)于所有已知或未知的(x,y)，使得f(x,θ)和y盡可能地一致。損失函數(shù)通常定義為平方誤差。分類（Classification）y是離散的類別標(biāo)記（符號(hào)），就是分類問題。損失函數(shù)有一般用0-1損失函數(shù)或負(fù)對(duì)數(shù)似然函數(shù)等。在分類問題中，通過學(xué)習(xí)得到的決策函數(shù)f(x,θ)也叫分類器。01

01監(jiān)督學(xué)習(xí)簡(jiǎn)介回歸分析確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法。一元線性回歸只涉及一個(gè)自變量和一個(gè)因變量。因變量與自變量呈線性關(guān)系。因變量與自變量的關(guān)系可以用一個(gè)線性方程表示：01

01案例體驗(yàn)1：電影票房數(shù)據(jù)分析步驟：數(shù)據(jù)讀取數(shù)據(jù)預(yù)處理模型建立與訓(xùn)練數(shù)據(jù)可視化模型預(yù)測(cè)與可視化02

022.1數(shù)據(jù)讀取02案例體驗(yàn)1：電影票房數(shù)據(jù)分析

0202案例體驗(yàn)1：電影票房數(shù)據(jù)分析2.2數(shù)據(jù)預(yù)處理

0202案例體驗(yàn)1：電影票房數(shù)據(jù)分析2.3模型建立與訓(xùn)練（使用一元線性回歸進(jìn)行分析）

0202案例體驗(yàn)1：電影票房數(shù)據(jù)分析2.4數(shù)據(jù)可視化

0202案例體驗(yàn)1：電影票房數(shù)據(jù)分析2.5模型預(yù)測(cè)與可視化

02案例體驗(yàn)2：鳶尾花分類步驟：數(shù)據(jù)讀取數(shù)據(jù)預(yù)處理數(shù)據(jù)可視化模型建立與訓(xùn)練模型評(píng)估03山鳶尾（setosa）

變色鳶尾（versicolor）

維吉尼亞鳶尾（virginica）

03使用K近鄰對(duì)鳶尾花進(jìn)行分類（物以類聚，人以群分）K近鄰（K-NearestNeighbor，KNN）方法的核心思想是：在特征空間中，如果一個(gè)樣本的K個(gè)最相似的樣本中的大多數(shù)屬于某一個(gè)類別，則該樣本也屬于這個(gè)類別，并具有這個(gè)類別上樣本的特性。03案例體驗(yàn)2：鳶尾花分類

03花萼長(zhǎng)度（spepallength）花萼寬度（spepalwidth）花瓣長(zhǎng)度（petallength）花瓣寬度（petalwidth）03案例體驗(yàn)2：鳶尾花分類3.1數(shù)據(jù)讀取

03標(biāo)簽映射03案例體驗(yàn)2：鳶尾花分類3.2數(shù)據(jù)預(yù)處理

03四個(gè)特征值相關(guān)性03案例體驗(yàn)2：鳶尾花分類3.3數(shù)據(jù)可視化

03四個(gè)特征值相關(guān)性03案例體驗(yàn)2：鳶尾花分類3.3數(shù)據(jù)可視化

0303案例體驗(yàn)2：鳶尾花分類3.4模型建立與訓(xùn)練

0303案例體驗(yàn)2：鳶尾花分類3.5模型評(píng)估

03第三章機(jī)器學(xué)習(xí)3.4無監(jiān)督學(xué)習(xí)及案例體驗(yàn)CONTENTS目錄無監(jiān)督學(xué)習(xí)簡(jiǎn)介

01案例體驗(yàn)：使用K-Means對(duì)觀影用戶進(jìn)行聚類

02無監(jiān)督學(xué)習(xí)簡(jiǎn)介無監(jiān)督學(xué)習(xí)就是在樣本數(shù)據(jù)中只有數(shù)據(jù)，而沒有對(duì)數(shù)據(jù)進(jìn)行標(biāo)記。無監(jiān)督學(xué)習(xí)的目的就是讓計(jì)算機(jī)對(duì)這些原始數(shù)據(jù)進(jìn)行分析，讓計(jì)算機(jī)自己去學(xué)習(xí)、找到數(shù)據(jù)之間的某種關(guān)系。01視頻來源：/v?vid=11285795004709214679&pd=bjh&fr=bjhauthor&type=video視頻：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)是什么？

01無監(jiān)督學(xué)習(xí)簡(jiǎn)介無監(jiān)督學(xué)習(xí)主要包括：聚類聚類是對(duì)于未標(biāo)記的數(shù)據(jù)，在訓(xùn)練時(shí)根據(jù)數(shù)據(jù)本身的數(shù)據(jù)特征進(jìn)行訓(xùn)練，呈現(xiàn)出數(shù)據(jù)集聚的形式，每一個(gè)集聚群中的數(shù)據(jù)，彼此都有相似的性質(zhì)，從而形成分組。降維降維是緩解維數(shù)災(zāi)難的一種重要方法，就是通過某種數(shù)學(xué)變換將原始高維屬性空間轉(zhuǎn)變成一個(gè)低維子空間。01

01無監(jiān)督學(xué)習(xí)簡(jiǎn)介聚類主要方法：基于劃分的聚類方法（partitioningmethods）：K-MEANS算法、K-MEDOIDS算法、CLARANS算法基于層次的聚類方法（hierarchicalmethods）：BIRCH算法、CURE算法、CHAMELEON算法基于密度的聚類方法（density-basedmethods）：DBSCAN算法、OPTICS算法、DENCLUE算法基于網(wǎng)格的聚類方法（grid-basedmethods）：STING算法、CLIQUE算法、WAVE-CLUSTER算法基于模型的聚類方法（model-basedmethods）：統(tǒng)計(jì)的方案和神經(jīng)網(wǎng)絡(luò)的方案01聚類方法的優(yōu)點(diǎn)：對(duì)數(shù)據(jù)輸入順序不敏感。聚類方法的缺點(diǎn)：在數(shù)據(jù)分布稀疏時(shí)，分類不準(zhǔn)確；當(dāng)高維數(shù)據(jù)集中存在大量無關(guān)的屬性時(shí)，使得在所有維中存在簇的可能性幾乎為零；缺乏處理“噪聲”數(shù)據(jù)的能力。

01案例體驗(yàn)：使用K-Means對(duì)觀影用戶進(jìn)行聚類K-Means算法原理：K-Means是典型的聚類方法。其中，K表示類別數(shù)，Means表示均值。顧名思義，K-Means是一種通過均值對(duì)數(shù)據(jù)點(diǎn)進(jìn)行聚類的方法。K-Means算法的思想很簡(jiǎn)單，對(duì)于給定的樣本集，按照樣本之間的距離大小，將樣本集劃分為K個(gè)簇。讓簇內(nèi)的點(diǎn)盡量緊密的連在一起，而讓簇間的距離盡量的大。01視頻來源：/video/BV1ei4y1V7hX/?spm_id_from=333.788.recommend_more_video.-1

02案例體驗(yàn)：使用K-Means對(duì)觀影用戶進(jìn)行聚類K-Means算法步驟：（隨機(jī)）選擇K個(gè)聚類的初始中心；對(duì)任意一個(gè)樣本點(diǎn)，求其到K個(gè)聚類中心的距離，將樣本點(diǎn)歸類到距離最小的中心的聚類，如此迭代n次；每次迭代過程中，利用均值等方法更新各個(gè)聚類的中心點(diǎn)(質(zhì)心)；對(duì)K個(gè)聚類中心，利用2,3步迭代更新后，如果位置點(diǎn)變化很小(可以設(shè)置閾值)，則認(rèn)為達(dá)到穩(wěn)定狀態(tài)，迭代結(jié)束，對(duì)不同的聚類塊和聚類中心可選擇不同的顏色標(biāo)注。01

02案例體驗(yàn)：使用K-Means對(duì)觀影用戶進(jìn)行聚類K-Means算法的優(yōu)缺點(diǎn)及應(yīng)用領(lǐng)域：優(yōu)點(diǎn)：算法簡(jiǎn)單、快速。特別是在處理大數(shù)據(jù)集時(shí)，算法可伸縮性高，并且相對(duì)高效。當(dāng)分類（簇）是密集的球狀或團(tuán)狀，且簇與簇之間區(qū)別明顯時(shí)，聚類效果較好。缺點(diǎn)：只有在簇的平均值被定義的情況下才能使用，且對(duì)有些分類屬性的數(shù)據(jù)不適合；要求用戶必須事先給出要生成的簇的數(shù)目K；對(duì)初始值敏感：使用不同的初始值可能會(huì)形成不同的聚類結(jié)果；不適合于非凸面形狀的簇類分析，或者大小差別很大的簇；對(duì)于“噪聲”和孤立點(diǎn)數(shù)據(jù)敏感，少量的該類數(shù)據(jù)可能對(duì)平均值產(chǎn)生極大影響。應(yīng)用：廣泛應(yīng)用于統(tǒng)計(jì)學(xué)、生物學(xué)、數(shù)據(jù)庫(kù)技術(shù)和市場(chǎng)營(yíng)銷等領(lǐng)域。01

02案例體驗(yàn)：使用K-Means對(duì)觀影用戶進(jìn)行聚類使用K-Means對(duì)觀影用戶進(jìn)行聚類，