第1章機(jī)器學(xué)習(xí)概述一、什么是機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)是一種從數(shù)據(jù)當(dāng)中發(fā)現(xiàn)復(fù)雜規(guī)律，并且利用規(guī)律對(duì)未來(lái)時(shí)刻、未知狀況進(jìn)行預(yù)測(cè)和判定的方法，是當(dāng)下被認(rèn)為最有可能實(shí)現(xiàn)人工智能的方法。機(jī)器學(xué)習(xí)理論主要是設(shè)計(jì)和分析一些讓計(jì)算機(jī)可以自動(dòng)“學(xué)習(xí)”的算法。人工智能核心，使計(jì)算機(jī)具有智能的根本途徑機(jī)器學(xué)習(xí)與人腦學(xué)習(xí)比較人腦：總結(jié)經(jīng)驗(yàn)

發(fā)現(xiàn)規(guī)律預(yù)測(cè)未來(lái)電腦：訓(xùn)練數(shù)據(jù)建立模型預(yù)測(cè)未知屬性數(shù)據(jù)集（Dataset）：數(shù)據(jù)是進(jìn)行機(jī)器學(xué)習(xí)的基礎(chǔ)，所有數(shù)據(jù)的集合稱為數(shù)據(jù)集。樣本（Sample）：數(shù)據(jù)集中每條記錄是關(guān)于一個(gè)事件或?qū)ο蟮拿枋?，稱為樣本。屬性（Attribute）或特征（Feature）：每個(gè)樣本在某方面的表現(xiàn)或性質(zhì)。特征向量（FeatureVector）：每個(gè)樣本的特征對(duì)應(yīng)的特征空間中的一個(gè)坐標(biāo)向量。二、基本的機(jī)器學(xué)習(xí)術(shù)語(yǔ)學(xué)習(xí)（Learning）或者訓(xùn)練（Training）：從數(shù)據(jù)中學(xué)得模型的過(guò)程，這個(gè)過(guò)程通過(guò)執(zhí)行某個(gè)學(xué)習(xí)算法來(lái)完成。訓(xùn)練數(shù)據(jù)（TrainingData）：訓(xùn)練過(guò)程中使用的數(shù)據(jù)。訓(xùn)練樣本（TrainingSample）：訓(xùn)練數(shù)據(jù)的每個(gè)樣本。訓(xùn)練集：訓(xùn)練樣本組成的集合。標(biāo)記（Label）：訓(xùn)練數(shù)據(jù)中可能會(huì)指出訓(xùn)練結(jié)果的信息。二、基本的機(jī)器學(xué)習(xí)術(shù)語(yǔ)分類（Classification）：使用計(jì)算機(jī)學(xué)習(xí)出的模型進(jìn)行預(yù)測(cè)得到的是離散值。二分類：只涉及兩個(gè)類別的分類任務(wù)，其中一個(gè)類為正類（PositiveClass），另一個(gè)類為負(fù)類（NegativeClass），如是貓、不是貓兩類。多分類（Multi-classClassification）：涉及多個(gè)類別的分類任務(wù)?；貧w（Regression）：使用計(jì)算機(jī)學(xué)習(xí)出的模型進(jìn)行預(yù)測(cè)得到的是連續(xù)值。二、基本的機(jī)器學(xué)習(xí)術(shù)語(yǔ)分類與回歸的區(qū)別輸出不同分類問(wèn)題輸出的是物體所屬的類別，回歸問(wèn)題輸出的是物體的值。分類問(wèn)題輸出的值是定性的，回歸問(wèn)題輸出的值是定量的。目的不同分類的目的是為了尋找決策邊界?；貧w的目的是為了找到最優(yōu)擬合。結(jié)果不同分類的結(jié)果沒(méi)有逼近，對(duì)就是對(duì)，錯(cuò)就是錯(cuò)?；貧w是對(duì)真實(shí)值的一種逼近預(yù)測(cè)。測(cè)試（Test）：學(xué)習(xí)到模型后，使用其進(jìn)行預(yù)測(cè)的過(guò)程。泛化能力（Generalization）：學(xué)習(xí)到的模型適用于新樣本的能力。機(jī)器學(xué)習(xí)的目標(biāo)是使得學(xué)習(xí)到的模型能很好得適用于新樣本，而不是僅僅在訓(xùn)練樣本上適用。二、基本的機(jī)器學(xué)習(xí)術(shù)語(yǔ)在建立預(yù)測(cè)模型的過(guò)程中將預(yù)測(cè)結(jié)果與訓(xùn)練數(shù)據(jù)的實(shí)際結(jié)果進(jìn)行比較，不斷的調(diào)整預(yù)測(cè)模型，直到模型的預(yù)測(cè)結(jié)果達(dá)到一個(gè)預(yù)期的準(zhǔn)確率。典型例子：分類和回歸任務(wù)、決策樹、貝葉斯模型、支持向量機(jī)、深度學(xué)習(xí)三、機(jī)器學(xué)習(xí)的分類（一）監(jiān)督學(xué)習(xí)數(shù)據(jù)并不被特別標(biāo)識(shí)，計(jì)算機(jī)自行學(xué)習(xí)分析數(shù)據(jù)內(nèi)部的規(guī)律、特征等，進(jìn)而得出一定的結(jié)果（如內(nèi)部結(jié)構(gòu)、主要成分等）。典型例子：聚類算法（二）非監(jiān)督式學(xué)習(xí)三、機(jī)器學(xué)習(xí)的分類半監(jiān)督學(xué)習(xí)介于監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)之間，輸入數(shù)據(jù)部分被標(biāo)識(shí)，部分沒(méi)有被標(biāo)識(shí)，沒(méi)標(biāo)識(shí)數(shù)據(jù)的數(shù)量常常遠(yuǎn)遠(yuǎn)大于有標(biāo)識(shí)數(shù)據(jù)數(shù)量。這種學(xué)習(xí)模型可以用來(lái)進(jìn)行預(yù)測(cè)，但是模型首先需要學(xué)習(xí)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)以便合理的組織數(shù)據(jù)來(lái)進(jìn)行預(yù)測(cè)。三、機(jī)器學(xué)習(xí)的分類（三）半監(jiān)督學(xué)習(xí)基于與環(huán)境的交互進(jìn)行學(xué)習(xí)。通過(guò)嘗試來(lái)發(fā)現(xiàn)各個(gè)動(dòng)作產(chǎn)生的結(jié)果，對(duì)各個(gè)動(dòng)作產(chǎn)生的結(jié)果進(jìn)行反饋（獎(jiǎng)勵(lì)或懲罰）。在這種學(xué)習(xí)模式下，輸入數(shù)據(jù)直接反饋到模型，模型必須作出調(diào)整。三、機(jī)器學(xué)習(xí)的分類（四）強(qiáng)化學(xué)習(xí)Scikit-Learn是基于Python語(yǔ)言的機(jī)器學(xué)習(xí)工具。它建立在NumPy,Sc