MACHINELEARNING機(jī)器學(xué)習(xí)第1章機(jī)器學(xué)習(xí)概述1.1什么是機(jī)器學(xué)習(xí)1.2

機(jī)器學(xué)習(xí)的一般形式1.3機(jī)器學(xué)習(xí)的分類of4121.4機(jī)器學(xué)習(xí)過程1.5機(jī)器學(xué)習(xí)解決的問題1.6常用機(jī)器學(xué)習(xí)模型舉例第1章機(jī)器學(xué)習(xí)概述of4131.1什么是機(jī)器學(xué)習(xí)第1章機(jī)器學(xué)習(xí)概述of414機(jī)器學(xué)習(xí)（MachineLearning）：人工智能的一個(gè)子學(xué)科，研究人工智能領(lǐng)域的基本算法、原理、思想方法，機(jī)器學(xué)習(xí)研究的內(nèi)容在其它子學(xué)科都會(huì)用到?？突仿〈髮W(xué)機(jī)器學(xué)習(xí)和人工智能教授湯姆.米切爾（TomMitchell）在他的經(jīng)典教材《機(jī)器學(xué)習(xí)》中，給出了更為具體的定義：對(duì)于某類任務(wù)（Task，簡稱T）和某項(xiàng)性能評(píng)價(jià)準(zhǔn)則（Performance，簡稱P），如果一個(gè)計(jì)算機(jī)在程序T上，以P作為性能度量，隨著經(jīng)驗(yàn)（Experience，簡稱E）的積累，不斷自我完善，那么我們稱計(jì)算機(jī)程序從經(jīng)驗(yàn)E中進(jìn)行了學(xué)習(xí)。例如，射擊運(yùn)動(dòng)員的訓(xùn)練過程：射擊標(biāo)靶（任務(wù)T），以準(zhǔn)確率為性能度量（P），隨著不斷練習(xí)（經(jīng)驗(yàn)E），準(zhǔn)確率不斷提高，這個(gè)過程稱為學(xué)習(xí)。1.1什么是機(jī)器學(xué)習(xí)第1章機(jī)器學(xué)習(xí)概述of4151、建模所謂機(jī)器學(xué)習(xí)，在形式上可近似等同于在數(shù)據(jù)對(duì)象中通過統(tǒng)計(jì)、推理的方法，來尋找一個(gè)接受特定輸入X，并給出預(yù)期輸出Y功能函數(shù)f，即Y=f(x)這個(gè)函數(shù)以及確定函數(shù)的參數(shù)被稱為模型2、評(píng)估針對(duì)已知的輸入，函數(shù)給出的輸出（預(yù)測值）與實(shí)際輸出（目標(biāo)值）之間存在一定誤差，因此需要構(gòu)建一個(gè)評(píng)估體系，根據(jù)誤差大小判定函數(shù)的優(yōu)劣

3、優(yōu)化學(xué)習(xí)的核心在與改善性能，通過數(shù)據(jù)對(duì)算法的反復(fù)錘煉，不斷提升函數(shù)預(yù)測的準(zhǔn)確性，直至獲得能夠滿足實(shí)際需求的最優(yōu)解，這個(gè)過程就是機(jī)器學(xué)習(xí)1.2機(jī)器學(xué)習(xí)的形式第1章機(jī)器學(xué)習(xí)概述of416在已知數(shù)據(jù)輸出（經(jīng)過標(biāo)注的）的情況下對(duì)模型進(jìn)行訓(xùn)練，根據(jù)輸出進(jìn)行調(diào)整、優(yōu)化的學(xué)習(xí)方式稱為有監(jiān)督學(xué)習(xí)1.3機(jī)器學(xué)習(xí)的分類1、有監(jiān)督學(xué)習(xí)第1章機(jī)器學(xué)習(xí)概述of417沒有已知輸出的情況下，僅僅根據(jù)輸入信息的相關(guān)性，進(jìn)行類別的劃分1.3機(jī)器學(xué)習(xí)的分類2、無監(jiān)督學(xué)習(xí)第1章機(jī)器學(xué)習(xí)概述of418先通過無監(jiān)督學(xué)習(xí)劃分類別，再人工標(biāo)記通過有監(jiān)督學(xué)習(xí)方式來預(yù)測輸出.例如先對(duì)相似的水果進(jìn)行聚類，再識(shí)別是哪個(gè)類別

1.3機(jī)器學(xué)習(xí)的分類3、半監(jiān)督學(xué)習(xí)第1章機(jī)器學(xué)習(xí)概述of419通過對(duì)不同決策結(jié)果的獎(jiǎng)勵(lì)、懲罰，使機(jī)器學(xué)習(xí)系統(tǒng)在經(jīng)過足夠長時(shí)間的訓(xùn)練以后，越來越傾向于接近期望結(jié)果的輸出

1.3機(jī)器學(xué)習(xí)的分類4、強(qiáng)化學(xué)習(xí)將學(xué)習(xí)過程和應(yīng)用過程分開，用全部訓(xùn)練數(shù)據(jù)訓(xùn)練模型，然后再在應(yīng)用場景中進(jìn)行預(yù)測，當(dāng)預(yù)測結(jié)果不夠理想時(shí)，重新回到學(xué)習(xí)過程，如此循環(huán)

5、批量學(xué)習(xí)將學(xué)習(xí)過程和應(yīng)用過程統(tǒng)一起來，在應(yīng)用的同時(shí)，以增量的方式不斷學(xué)習(xí)新的內(nèi)容，邊訓(xùn)練、邊預(yù)測

6、增量學(xué)習(xí)第1章機(jī)器學(xué)習(xí)概述of4110根據(jù)樣本數(shù)據(jù)，建立用于聯(lián)系輸入和輸出的某種數(shù)學(xué)模型，將待預(yù)測輸入帶入該模型，預(yù)測其結(jié)果

1.3機(jī)器學(xué)習(xí)的分類7、基于模型學(xué)習(xí)根據(jù)以往經(jīng)驗(yàn)，尋找與待預(yù)測輸入最接近的樣本，以其輸出作為預(yù)測結(jié)果（從數(shù)據(jù)中找答案）

8、基于實(shí)例學(xué)習(xí)第1章機(jī)器學(xué)習(xí)概述of41111、數(shù)據(jù)采集：手段如手工采集、設(shè)備自動(dòng)化采集、爬蟲等2、數(shù)據(jù)清洗：數(shù)據(jù)規(guī)范化，具有較大誤差的、沒有意義的數(shù)據(jù)進(jìn)行清理3、選擇模型（算法）4、訓(xùn)練模型5、模型評(píng)估6、測試模型7、應(yīng)用模型8、模型維護(hù)1.4機(jī)器學(xué)習(xí)的過程第1章機(jī)器學(xué)習(xí)概述of4112根據(jù)已知的輸入和輸出，尋找某種性能最佳的模型，將未知輸出的輸入代入模型，得到連續(xù)的輸出。根據(jù)房屋面積、地段、修建年代以及其它條件預(yù)測房屋價(jià)格根據(jù)各種外部條件預(yù)測某支股票的價(jià)格根據(jù)農(nóng)業(yè)、氣象等數(shù)據(jù)預(yù)測糧食收成計(jì)算兩個(gè)人臉的相似度1.5機(jī)器學(xué)習(xí)解決的問題1、回歸問題第1章機(jī)器學(xué)習(xí)概述of4113問題根據(jù)已知的輸入和輸出，尋找性能最佳的模型，將未知輸出的輸入帶入模型，得到離散的輸出，例如：手寫體識(shí)別（10個(gè)類別分類問題）水果、鮮花、動(dòng)物識(shí)別工業(yè)產(chǎn)品瑕疵檢測（良品、次品二分類問題）識(shí)別一個(gè)句子表達(dá)的情緒（正面、負(fù)面、中性）1.5機(jī)器學(xué)習(xí)解決的問題2、分類問題第1章機(jī)器學(xué)習(xí)概述of4114根據(jù)已知輸入的相似程度，將其劃分為不同的群落，例如：根據(jù)一批麥粒的數(shù)據(jù)，判斷哪些屬于同一個(gè)品種根據(jù)客戶在電商網(wǎng)站的瀏覽和購買歷史，判斷哪些客戶對(duì)某件商品感興趣判斷哪些客戶具有更高的相似度1.5機(jī)器學(xué)習(xí)解決的問題3、聚類問題在性能損失盡可能小的情況下，降低數(shù)據(jù)的復(fù)雜度，數(shù)據(jù)規(guī)模縮小都稱為降維問題.4、降維問題第1章機(jī)器學(xué)習(xí)概述of4115一棟600平方英尺（約56m2）的房子，價(jià)格是220000英鎊（約1942578元）。這個(gè)房子的確很不錯(cuò)，但是它并不滿足你的要求——你將和你的家人一同居住，而這個(gè)房子面積太小，并不能讓每個(gè)人都住得舒適。所以，你繼續(xù)研究并找到一棟1700平方英尺（約158m2）的房子，價(jià)格是730000英鎊（約6445827元）。這個(gè)房子滿足你的要求，但是它的價(jià)格有些超出你現(xiàn)在的預(yù)算——你的預(yù)算與小面積房子的價(jià)格相比要高一些，但也不像大房子的價(jià)格那么高。然而，只有當(dāng)你與業(yè)主或代理人見面并提交詳細(xì)資料后，才能得到房子的實(shí)際價(jià)格。但是你并不想與每一個(gè)業(yè)主或者代理人見面。

1.6常用機(jī)器學(xué)習(xí)模型舉例1、線性回歸第1章機(jī)器學(xué)習(xí)概述of4116找到一棟面積在這兩棟房子之間的房子。這棟新房子的面積大約有1250平方英尺（約116m2），但你還不知道價(jià)格。所以，你想預(yù)測房子的價(jià)格，看其是否符合預(yù)算和要求。將新房子的信息放在同一個(gè)二維平面上，試著預(yù)測這個(gè)房子的價(jià)格。1.6常用機(jī)器學(xué)習(xí)模型舉例1、線性回歸第1章機(jī)器學(xué)習(xí)概述of4117為了預(yù)測房屋的價(jià)格，將設(shè)置一條符合已知結(jié)果（即房屋價(jià)格和房屋面積）的直線，這里得到了一條直線。1.6常用機(jī)器學(xué)習(xí)模型舉例1、線性回歸第1章機(jī)器學(xué)習(xí)概述of4118通過這條直線，可以預(yù)測出1250平方英尺（約116m2）的房子的價(jià)格是475000英鎊（約4194202.5元）。所以，我們得到了一條根據(jù)房子面積來預(yù)測房子價(jià)格的直線，這種技術(shù)稱為線性回歸（LinearRegression）?？梢园堰@種技術(shù)理解為在現(xiàn)有數(shù)據(jù)點(diǎn)上尋找最佳直線。比如，計(jì)算3個(gè)點(diǎn)到直線距離之和的最小值。首先，隨機(jī)選擇一條線，直線上方有A、B、C共3個(gè)點(diǎn)1.6常用機(jī)器學(xué)習(xí)模型舉例1、線性回歸第1章機(jī)器學(xué)習(xí)概述of4119計(jì)算每個(gè)點(diǎn)到直線的距離可以得到總距離是a+b+c?，F(xiàn)在，移動(dòng)直線的位置（向下移動(dòng)）并再次計(jì)算點(diǎn)到直線的距離改變了線的位置，但總距離a+b+c增加了。顯然，這不是我們想要的結(jié)果。讓我們將直線朝另一個(gè)方向（向上移動(dòng)）移動(dòng)1.6常用機(jī)器學(xué)習(xí)模型舉例1、線性回歸第1章機(jī)器學(xué)習(xí)概述of4120這條直線比第一條直線要更符合要求。現(xiàn)在移動(dòng)這條線，并試著重復(fù)進(jìn)行同樣的步驟。最終通過這種方式結(jié)束直線的選擇，從而確定直線位置對(duì)于給定的3個(gè)點(diǎn)（A、B、C）來說，下圖所示的直線是最符合條件的。在這里取3個(gè)點(diǎn)到直線的非負(fù)距離，找到這條線的方法稱為梯度下降法1.6常用機(jī)器學(xué)習(xí)模型舉例1、線性回歸第1章機(jī)器學(xué)習(xí)概述of4121有時(shí)在所有數(shù)據(jù)點(diǎn)上擬合一條直線并沒有多大意義，如果嘗試使用線性回歸技術(shù)來擬合一條直線。1.6常用機(jī)器學(xué)習(xí)模型舉例2、多項(xiàng)式回歸第1章機(jī)器學(xué)習(xí)概述of4122上圖直線不適合用來預(yù)測。相反，曲線來對(duì)數(shù)據(jù)建模更合適。這就是所謂的多項(xiàng)式回歸（PolynomialRegression）

——因?yàn)槠鋮?shù)是多項(xiàng)式1.6常用機(jī)器學(xué)習(xí)模型舉例2、多項(xiàng)式回歸第1章機(jī)器學(xué)習(xí)概述of4123有一個(gè)售鞋網(wǎng)站，其中包含來自不同公司的各種鞋子，可以通過其網(wǎng)上商店訂購鞋子。鞋子成功交付后，公司將發(fā)送電子郵件獲取顧客的反饋。顧客在評(píng)論區(qū)內(nèi)留言，其中有些評(píng)論是正面的，有些評(píng)論則是負(fù)面的。該公司每天銷售數(shù)千雙鞋，需要跟蹤每一個(gè)評(píng)論并采取相應(yīng)的行動(dòng)。如果顧客評(píng)論說鞋子質(zhì)量不佳，則需向生產(chǎn)商詢問有關(guān)產(chǎn)品的質(zhì)量問題；有些鞋子反響很好，則最好將它們放在網(wǎng)站的首頁。為了解決這個(gè)問題，首先需要從一組顧客評(píng)論開始，將每個(gè)評(píng)論分為負(fù)面評(píng)論或者正面評(píng)論，下面給出部分示例。1.6常用機(jī)器學(xué)習(xí)模型舉例3、樸素貝葉斯分類器（Na?veBayesClassifier）第1章機(jī)器學(xué)習(xí)概述of4124正面評(píng)論A1：質(zhì)量不錯(cuò)！我很喜歡這雙鞋子。A2：非常好的產(chǎn)品。A3：給我爸爸買的，他很喜歡。負(fù)面評(píng)論B1：材質(zhì)不好，不適合。B2：很不喜歡這個(gè)產(chǎn)品，包裝也很不好。B3：千萬不要買這個(gè)產(chǎn)品。分析示例中的正面評(píng)論和負(fù)面評(píng)論，會(huì)發(fā)現(xiàn)，如果評(píng)論中包含“喜歡”這個(gè)詞，那么它更可能是一個(gè)正面評(píng)論。因此，創(chuàng)建這條規(guī)則并檢查所有數(shù)據(jù)集，會(huì)發(fā)現(xiàn)60%的正面評(píng)論中包含“喜歡”這個(gè)詞；另一方面，只有10%的負(fù)面評(píng)論中包含“喜歡”這個(gè)詞1.6常用機(jī)器學(xué)習(xí)模型舉例3、樸素貝葉斯分類器（Na?veBayesClassifier）第1章機(jī)器學(xué)習(xí)概述of4125其他詞語所占的比例如表因此，對(duì)于將來可能獲得的評(píng)論，根據(jù)其所包含的詞的復(fù)合概率，可以判定該評(píng)論是正面評(píng)論還是負(fù)面評(píng)論，這就是樸素貝葉斯分類器（Na?veBayesClassifier）1.6常用機(jī)器學(xué)習(xí)模型舉例3、樸素貝葉斯分類器（Na?veBayesClassifier）第1章機(jī)器學(xué)習(xí)概述of4126一個(gè)向不同的人推薦雜志的例子。假設(shè)已經(jīng)記錄了用戶的年齡、性別、位置以及他們閱讀的雜志類型1.6常用機(jī)器學(xué)習(xí)模型舉例4、決策樹第1章機(jī)器學(xué)習(xí)概述of4127現(xiàn)在，通過對(duì)這些數(shù)據(jù)進(jìn)行觀察，可以發(fā)現(xiàn)小于15歲的人喜歡閱讀兒童雜志。根據(jù)其制作一個(gè)節(jié)點(diǎn)和它的決策。每個(gè)圓節(jié)點(diǎn)表示決策節(jié)點(diǎn)，圖的邊緣（箭頭）則表示相應(yīng)的決策，每個(gè)矩形節(jié)點(diǎn)表示通過圖分支之后采取的決策。1.6常用機(jī)器學(xué)習(xí)模型舉例4、決策樹第1章機(jī)器學(xué)習(xí)概述of4128可以說每個(gè)年齡小于或等于15歲的人都有可能閱讀兒童雜志?，F(xiàn)在再來處理大于15歲的讀者的分支。現(xiàn)在，第二個(gè)觀察特征是男性，他們喜歡閱讀政治雜志。為其創(chuàng)建相同的決策節(jié)點(diǎn)和分支1.6常用機(jī)器學(xué)習(xí)模型舉例4、決策樹第1章機(jī)器學(xué)習(xí)概述of4129需要看一下年齡在15歲以上的女性的選擇。還有一個(gè)信息可以利用——地區(qū)。因此，可以說，來自美國的女性喜歡閱讀體育雜志，而其他地區(qū)的女性則喜歡商業(yè)雜志。1.6常用機(jī)器學(xué)習(xí)模型舉例4、決策樹第1章機(jī)器學(xué)習(xí)概述of4130正確地對(duì)每個(gè)數(shù)據(jù)點(diǎn)進(jìn)行分類，這個(gè)過程中形成了決策樹?？赡艽嬖诙喾N創(chuàng)建決策樹的方法。根據(jù)現(xiàn)有的數(shù)據(jù)，這些方法可以做出正確的預(yù)測。1.6常用機(jī)器學(xué)習(xí)模型舉例4、決策樹第1章機(jī)器學(xué)習(xí)概述of4131有幾個(gè)人每年申請貸款，銀行根據(jù)他們的收入和貸款額從而決定是否對(duì)其提供貸款，目標(biāo)是向那些在規(guī)定時(shí)間內(nèi)償還債務(wù)，且沒有任何違約的人提供貸款。如果一個(gè)人月收入是20000美元，他申請了100000美元的貸款，銀行根據(jù)他的收入來源可以批準(zhǔn)貸款；如果一個(gè)人月收入是3000美元，他申請了600000美元的貸款，則銀行可能會(huì)早早地拒絕他。1.6常用機(jī)器學(xué)習(xí)模型舉例5、邏輯回歸第1章機(jī)器學(xué)習(xí)概述of4132因此，銀行基于以往違約者的歷史創(chuàng)建了一個(gè)數(shù)據(jù)散點(diǎn)圖。紅點(diǎn)表示銀行拒絕受理的申請，綠點(diǎn)表示銀行批準(zhǔn)的申請。橫坐標(biāo)是請求的貸款額度，縱坐標(biāo)是月收入。1.6常用機(jī)器學(xué)習(xí)模型舉例5、邏輯回歸第1章機(jī)器學(xué)習(xí)概述of4133現(xiàn)在，一個(gè)月收入20000美元的人想要貸款300000美元，銀行是否會(huì)給予批準(zhǔn)呢？可以通過一條直線來分割數(shù)據(jù)。1.6常用機(jī)器學(xué)習(xí)模型舉例5、邏輯回歸第1章機(jī)器學(xué)習(xí)概述of4134根據(jù)上面的直線，可以預(yù)測銀行將同意月薪20000美元的人申請300000美元的貸款申請。現(xiàn)在，已經(jīng)有一條合適的直線來分割現(xiàn)有的數(shù)據(jù)點(diǎn)。我們使用的算法（梯度下降法）與在線性回歸過程中使用的算法相同。在這里，目標(biāo)變量是類別而不是在線性回歸情況下連續(xù)的預(yù)測值，這種技術(shù)稱為邏輯回歸（LogisticsRegression）。1.6常用機(jī)器學(xué)習(xí)模型舉例5、邏輯回歸第1章機(jī)器學(xué)習(xí)概述of4135接上面例子，現(xiàn)在銀行來了一位新的經(jīng)理，他要檢查所有記錄，他認(rèn)為銀行批準(zhǔn)或拒絕貸款申請的參數(shù)是荒謬的，一些像10000美元或20000美元的貸款申請并沒有風(fēng)險(xiǎn)，銀行可以同意這部分貸款申請。所以，他改變了規(guī)則和數(shù)據(jù)。1.6常用機(jī)器學(xué)習(xí)模型舉例6、神經(jīng)網(wǎng)絡(luò)第1章機(jī)器學(xué)習(xí)概述of4136僅僅使用一條直線并不能將紅點(diǎn)和綠點(diǎn)分開，可以用兩條線把數(shù)據(jù)分開。1.6常用機(jī)器學(xué)習(xí)模型舉例6、神經(jīng)網(wǎng)絡(luò)第1章機(jī)器學(xué)習(xí)概述of4137與一條直線相比，使用兩條直線可以將紅點(diǎn)和綠點(diǎn)分開。這種技術(shù)被稱為神經(jīng)網(wǎng)絡(luò)（NeuralNetwork）。神經(jīng)網(wǎng)絡(luò)是基于大腦中的神經(jīng)元的概念提出的。大腦中的神經(jīng)元收集信息并將其傳遞給其他神經(jīng)元。簡單來說，就是基于先前神經(jīng)元的輸入，下一個(gè)神經(jīng)元接收要求并決定輸出，它還將信息傳遞給其他神經(jīng)元。最后，通過處理不同的神經(jīng)元，大腦做出決定。1.6常用機(jī)器學(xué)習(xí)模型舉例6、神經(jīng)網(wǎng)絡(luò)第1章機(jī)器學(xué)習(xí)概述of4138兩個(gè)神經(jīng)元通過使用不同的假設(shè)建立模型，并且將它們的發(fā)現(xiàn)發(fā)送給另一個(gè)神經(jīng)元。根據(jù)收集到的信息，輸出神經(jīng)元做出決策。1.6常用機(jī)器學(xué)習(xí)模型舉例6、神經(jīng)網(wǎng)絡(luò)第1章機(jī)器學(xué)習(xí)概述of4139在處理數(shù)據(jù)時(shí)，對(duì)于一條分割數(shù)據(jù)點(diǎn)的直線，可能有不同的選擇。與直線1相比，直線2的邊距更大，其在分割數(shù)據(jù)方面似乎更好。要尋找最佳分割路線，而梯度下降并不能解決這個(gè)問題，需要線性優(yōu)化才能實(shí)現(xiàn)。這種技術(shù)被稱為最大間隔分類器或支持向量機(jī)（SupportVectorMachine，SVM）1.6常用機(jī)器學(xué)習(xí)模型舉例7、支持向量機(jī)第1章機(jī)器學(xué)習(xí)概述在現(xiàn)實(shí)世界中，數(shù)據(jù)并不能完全分割開。所以，不能通過一條直線就把紅點(diǎn)和綠點(diǎn)分開。但是如果通過一個(gè)平面來區(qū)分紅點(diǎn)和綠點(diǎn)，就可以用一個(gè)分類器對(duì)它們進(jìn)行分類。創(chuàng)建一個(gè)新的維度并用這個(gè)平面來分割紅點(diǎn)和綠點(diǎn)。使用一個(gè)新的維度將紅點(diǎn)和綠點(diǎn)分開。這種技術(shù)被稱為