第8章機器學(xué)習(xí)基礎(chǔ)算法建模機器學(xué)習(xí)分類算法回歸算法集成學(xué)習(xí)算法聚類算法關(guān)聯(lián)規(guī)則算法智能推薦算法分類算法分類是人們認知事物的重要手段，如果能將某個事物的分類做得足夠細，那么就已經(jīng)對這個事物有了足夠的認知。例如，將某一個人從各個維度，如專業(yè)能力、人際交往、道德品行、外貌特點等各個方面都進行正確的分類，并且在每個維度的基礎(chǔ)上還能再細分，如專業(yè)能力下的數(shù)據(jù)庫管理能力、Java編程能力、算法能力等也能正確分類，那么可以認為對這個人已經(jīng)有了足夠的了解。分類算法分類分類算法是一種對離散型隨機變量建模或預(yù)測的監(jiān)督學(xué)習(xí)方法，反映的是如何找出同類事物之間具有共同性質(zhì)的特征和不同事物之間的差異特征，是數(shù)據(jù)分析、機器學(xué)習(xí)和模式識別中一個重要的研究領(lǐng)域。分類算法的目的是從給定的人工標(biāo)注的分類訓(xùn)練樣本數(shù)據(jù)集中，學(xué)習(xí)出一個分類函數(shù)或者分類模型，也稱為分類器（Classifier），當(dāng)有新增的未分類的數(shù)據(jù)時，可以根據(jù)這個分類器進行預(yù)測，并將新數(shù)據(jù)映射至給定類別中的某一個類。分類算法對于分類算法，輸入的訓(xùn)練數(shù)據(jù)包含特征和標(biāo)簽，特征也稱為屬性，標(biāo)簽也稱為類別。而所謂的學(xué)習(xí)，其本質(zhì)是找到特征與標(biāo)簽間的關(guān)系或映射。所以，分類算法其實是求取一個從輸入變量（特征）到離散的輸出變量（標(biāo)簽）之間的映射函數(shù)。當(dāng)存在有特征而無標(biāo)簽的未知數(shù)據(jù)輸入時，可以通過映射函數(shù)預(yù)測未知數(shù)據(jù)的標(biāo)簽。分類算法常見的分類算法可以分為基本分類器和集成分類器兩種類別。(本小節(jié)主要介紹基本分類器，集成分類器將在8.4小節(jié)集成學(xué)習(xí)算法中介紹。)基本分類器邏輯回歸KNN樸素貝葉斯SVM決策樹……集成分類器BoostingBaggingStacking……分類算法邏輯回歸邏輯回歸邏輯回歸屬于概率型非線性回歸，能夠?qū)崿F(xiàn)二分類，也能夠?qū)崿F(xiàn)多分類。對于二分類的邏輯回歸，y標(biāo)簽

只有“是”和“否”兩個取值，記為1和0。假設(shè)在特征

作用下，標(biāo)簽y取1的概率是

，則取0的概率是

，邏輯回歸研究的是

與特征

的關(guān)系。邏輯回歸取1和取0的概率之比為

，稱為事件的優(yōu)勢比（odds），對odds取自然對數(shù)即得邏輯變換

。令

，則

即為邏輯函數(shù)，如右圖所示。當(dāng)

在

之間變化時，odds的取值范圍是

，則

的取值范圍是

。邏輯函數(shù)邏輯回歸邏輯回歸模型是建立

與自變量的線性回歸模型，如式（1）所示。式（1）可轉(zhuǎn)換為式（2）

在式（2）中，

表示在沒有自變量時，即

全部取0，y=1與y=0發(fā)生概率之比的自然對數(shù)；

表示某自變量

變化時，即

與

相比，y=1優(yōu)勢比的對數(shù)值。式（1）式（2）邏輯回歸——數(shù)據(jù)輸入邏輯回歸數(shù)據(jù)的輸入要求特征為數(shù)值型，標(biāo)簽為概率值0或1，多分類情況需要對標(biāo)簽進行獨熱編碼處理。數(shù)據(jù)中不能存在空值。特征與標(biāo)簽之間存在線性相關(guān)性。特征需要進行標(biāo)準(zhǔn)化處理。較為平衡的正負樣本比例。邏輯回歸——算法輸出邏輯回歸算法通過模型訓(xùn)練后的輸出訓(xùn)練后的模型，可用于預(yù)測未知標(biāo)簽的樣本。決策系數(shù)（算法公式中的各個未知系數(shù)），可用于特征選擇與重要性排序，值越大，重要性越高。邏輯回歸——優(yōu)缺點邏輯回歸的優(yōu)點算法原理清晰，具有極強的理論支撐。模型以概率的形式輸出結(jié)果，能夠通過自主控制閾值實現(xiàn)分類。模型的可解釋性強、可控度高。訓(xùn)練快，進行特征工程后，性能優(yōu)秀?？蓴U展性強，能夠通過在線學(xué)習(xí)的方式更新參數(shù)，不需要重新訓(xùn)練整個模型。具有L1、L2正則化等多種方法解決過擬合。邏輯回歸——優(yōu)缺點邏輯回歸的缺點在面對多元或非線性決策邊界時性能較差。處理樣本不平衡時效果較差，無法很好處理正負樣本差異巨大的數(shù)據(jù)。在特征數(shù)目非常多時，性能表現(xiàn)不佳。邏輯回歸——算法應(yīng)用由于邏輯回歸易于解釋，性能優(yōu)秀的特點，在金融、廣告、搜索等領(lǐng)域均有大量的應(yīng)用。邏輯回歸的主要應(yīng)用方向通過對算法結(jié)果概率設(shè)定閾值的方式實現(xiàn)分類。特征選擇與排序。使用算法得出的數(shù)學(xué)公式，對輸入特征進行排序，實現(xiàn)重要特征篩選。作為集成算法的基分類器。邏輯回歸——應(yīng)用實例Python機器學(xué)習(xí)庫scikit-learn的linear_model模塊提供LogisticRegression函數(shù)用于構(gòu)建邏輯回歸模型。LogisticRegression函數(shù)基本使用語法sklearn.linear_model.LogisticRegression(penalty='l2',dual=False,tol=0.0001,C=1.0,fit_intercept=True,intercept_scaling=1,class_weight=None,random_state=None,solver='lbfgs',max_iter=100,multi_class='auto',verbose=0,warm_start=False,n_jobs=None,l1_ratio=None)LogisticRegression函數(shù)的主要參數(shù)及其說明參數(shù)名稱說明penalty接收str。表示懲罰項，可選擇的值為"l1"和"l2"，默認為“l(fā)2”solver接收str。表示優(yōu)化的方法，可選擇的值為“l(fā)iblinear”“l(fā)bfgs”“newton-cg”和“sag”，默認為“l(fā)iblinear”multi_class接收str。表示分類方式的選擇，可選擇的值為“ovr”“multinomial”和“auto”，默認為“auto”class_weight接收str。表示模型中各類型的權(quán)重，可選擇的值為“dict”“balanced”和None，默認為None邏輯回歸——應(yīng)用實例KNNKNNKNN是K-NearestNeighbor的縮寫，中文名是最近鄰。KNN假設(shè)給定一個訓(xùn)練數(shù)據(jù)集，其中實例的類別已定。分類時，對新的實例根據(jù)其k個最近鄰的訓(xùn)練實例的類別，通過多數(shù)表決等方式進行預(yù)測，因此KNN不具有顯式的學(xué)習(xí)過程。KNN實際上利用訓(xùn)練數(shù)據(jù)集對特征向量空間進行劃分，并作為其分類的模型。其中，k值的選擇、距離度量及分類決策規(guī)則是KNN的3個基本要素。KNN——數(shù)據(jù)輸入KNN數(shù)據(jù)輸入要求特征為數(shù)值型，標(biāo)簽為類別。數(shù)據(jù)中不能存在空值。如果使用常規(guī)的歐式距離計算，需要對特征進行標(biāo)準(zhǔn)化處理。較為平衡的正負樣本比例。KNN——算法輸出KNN算法通過模型訓(xùn)練后的輸出主要為訓(xùn)練后的模型，可用于預(yù)測未知標(biāo)簽的樣本，直接得出其類別。KNN——優(yōu)缺點KNN算法的優(yōu)點算法原理清晰，具有極強的理論支撐。模型的可解釋性強。模型無需訓(xùn)練。通過調(diào)節(jié)k值即可防止過擬合。KNN——優(yōu)缺點KNN算法的缺點在特征數(shù)目非常多時，性能表現(xiàn)不佳。模型預(yù)測計算開銷受樣本限制，在樣本數(shù)目較多時表現(xiàn)不佳。k值選擇需要較高的技巧。樣本不平衡時預(yù)測偏差大。KNN——算法應(yīng)用KNN算法主要應(yīng)用方向通過算法對新樣本進行分類。將存在缺失值的特征作為標(biāo)簽，可以進行缺失值插補。作為集成算法的基分類器。KNN——應(yīng)用實例Python機器學(xué)習(xí)庫scikit-learn的neighbors模塊提供的KNeighborsClassifier類用于構(gòu)建KNN模型。KNeighborsClassifier類基本使用語法sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,weights='uniform',algorithm='auto',leaf_size=30,p=2,metric='minkowski',metric_params=None,n_jobs=None,**kwargs)KNeighborsClassifier類的主要參數(shù)及其說明參數(shù)名稱說明n_neighbors接收int。表示KNN算法中選取離測試數(shù)據(jù)最近的k個點，默認為5weights接收str。表示k近鄰點對分類結(jié)果的影響，一般的情況下是選取k近鄰點中類別數(shù)目最多的作為分類結(jié)果，這種情況下默認k個點的權(quán)重相等，但在很多情況下，k近鄰點權(quán)重并不相等，可能近的點權(quán)重大，對分類結(jié)果影響大，可選擇的值為“uniform”和“distance”，其含義如下“uniform”：表示所有點的權(quán)重相等“distance”：表示權(quán)重是距離的倒數(shù)，意味著k個點中距離近的點對分類結(jié)果的影響大于距離遠的點默認為“uniform”algorithm接收str。計算找出k近鄰點的算法，可選擇的值為“ball_tree”“kd_tree”“brute”和“auto”，其含義如下“ball_tree”：使用BallTree算法，建議數(shù)據(jù)維度大于20時使用“kd_tree”：使用KDTree算法，在數(shù)據(jù)維度小于20時效率高“brute”：暴力算法，線性掃描“auto”：自動選取最合適的算法默認為“auto”KNN——應(yīng)用實例KNeighborsClassifier類的主要參數(shù)及其說明參數(shù)名稱說明leaf_size接收int。用于構(gòu)造BallTree和KDTree，leaf_size參數(shù)的設(shè)置會影響樹的構(gòu)造和詢問的速度，同樣也會影響樹存儲需要的內(nèi)存，默認為30p接收int。表示度量的方式，可選擇的值為1和2，其含義如下1：使用曼哈頓距離進行度量2：使用歐式距離進行度量默認為2KNN——應(yīng)用實例樸素貝葉斯樸素貝葉斯算法樸素貝葉斯算法（NaiveBayesianalgorithm）是應(yīng)用最為廣泛的分類算法之一。樸素貝葉斯算法是在貝葉斯算法的基礎(chǔ)上進行了相應(yīng)的簡化，即假定給定目標(biāo)值時特征之間相互條件獨立。這意味著，對于決策結(jié)果，沒有哪個特征占有著較大的比重，也沒有哪個特征占有著較小的比重。樸素貝葉斯——數(shù)據(jù)輸入樸素貝葉斯算法數(shù)據(jù)的輸入要求特征類型無要求。特征之間相互獨立?？梢栽试S缺失值。每個特征同等重要。較為平衡的正負樣本比例。樸素貝葉斯——算法輸出樸素貝葉斯算法通過訓(xùn)練后的輸出主要為訓(xùn)練后的模型，可用于預(yù)測未知標(biāo)簽的樣本，直接得出其類別。樸素貝葉斯——優(yōu)缺點樸素貝葉斯算法的優(yōu)點算法原理清晰，具有極強的理論支撐。模型的可解釋性強。預(yù)測過程計算開銷小。支持增量計算，樣本增量，無須重新訓(xùn)練。樸素貝葉斯——優(yōu)缺點樸素貝葉斯算法的缺點需要保證特征間互相獨立，但實際使用過程中很難保證。在特征數(shù)目較多時或者特征相關(guān)性較大時分類性能不佳。樸素貝葉斯——算法應(yīng)用樸素貝葉斯算法主要應(yīng)用方向通過算法對新樣本進行分類。作為集成學(xué)習(xí)算法的基分類器。樸素貝葉斯——應(yīng)用實例Python機器學(xué)習(xí)庫scikit-learn的neighbors模塊提供的naive_bayes模塊提供3種函數(shù)用于構(gòu)建樸素貝葉斯模型。GaussianNB（高斯樸素貝葉斯）、MultinomialNB（多項式分布貝葉斯）和BernoulliNB（伯努利樸素貝葉斯）分別對應(yīng)3種不同的數(shù)據(jù)分布類型，這3種函數(shù)適用的分類場景各不相同。若樣本特征的分布大部分是連續(xù)型，則比較適用GaussianNB函數(shù)。若樣本特征的分布大部分是多元離散型，則比較適用MultinomialNB函數(shù)。若樣本特征是二元離散型或者很稀疏的多元離散型，則比較適用BernoulliNB函數(shù)。樸素貝葉斯——應(yīng)用實例以GaussianNB函數(shù)為例，GaussianNB函數(shù)的基本使用語法GaussianNB函數(shù)的主要參數(shù)及其說明sklearn.naive_bayes.GaussianNB(priors=None,var_smoothing=1e-09)參數(shù)名稱說明priors接收array。表示各類的先驗概率。如果指定，則先驗概率不會根據(jù)輸入的數(shù)據(jù)集自動調(diào)整，默認為Nonevar_smoothing接收float。表示所有特征中的最大穩(wěn)定方差，默認為1e-09SVM支持向量機算法支持向量機的基本模型是定義在特征空間的間隔最大的線性分類器，它包括核函數(shù)，這使得它成為實質(zhì)上的非線性分類器。支持向量機的學(xué)習(xí)策略是間隔最大化，可形式化為一個求解凸二次規(guī)劃的問題，也等價于正則化的合頁損失函數(shù)的最小化問題。支持向量機的學(xué)習(xí)算法是求解凸二次規(guī)劃的最優(yōu)化方法。SVM支持向量機算法支持向量機能對非線性決策邊界進行建模，又有許多可選的核函數(shù)。在面對過擬合時，支持向量機有著極強的穩(wěn)健性，尤其在高維空間中。但是支持向量機是內(nèi)存密集型算法，選擇正確的核函數(shù)就需要相當(dāng)?shù)募记?，不宜用于較大的數(shù)據(jù)集。SVM——數(shù)據(jù)輸入SVM算法數(shù)據(jù)的輸入要求特征類型為數(shù)值型。特征不允許缺失值。使用常規(guī)線性核時需要進行標(biāo)準(zhǔn)化。較為平衡的正負樣本數(shù)。SVM——算法輸出SVM算法的主要輸出內(nèi)容訓(xùn)練后的模型，可用于預(yù)測未知標(biāo)簽的樣本，直接得出其類別。決策函數(shù)，可以用于解讀模型。SVM——優(yōu)缺點SVM算法的優(yōu)點SVM算法的缺點可選擇不同的核函數(shù)，達成不同的目的。不易過擬合，在高維空間中具有極強的穩(wěn)定性。核函數(shù)選擇需要技巧。特征數(shù)目較多時，訓(xùn)練過程計算開銷大。SVM——算法應(yīng)用SVM算法主要應(yīng)用方向通過算法對新樣本進行分類作為集成學(xué)習(xí)算法的基分類器。SVM——應(yīng)用實例Python機器學(xué)習(xí)庫scikit-learn的svm模塊提供3種函數(shù)用于構(gòu)建SVM分類模型。SVCNuSVCLinearSVCSVC和NuSVC的方法基本一致，唯一的區(qū)別是損失函數(shù)的度量方式不同。NuSVC使用nu參數(shù)。SVC使用的C參數(shù)。LinearSVC不接受關(guān)鍵詞kernel。SVM——應(yīng)用實例SVC的基本使用語法sklearn.svm.SVC(C=1.0,kernel='rbf',degree=3,gamma=0.0,coef0=0.0,shrinking=True,probability=False,tol=0.001,cache_size=200,class_weight=None,verbose=False,max_iter=-1,random_state=None)SVC函數(shù)的主要參數(shù)及其說明參數(shù)名稱說明C接收float。表示懲罰參數(shù)，默認為1.0kernel接收str。指定算法中使用的核函數(shù)類型，可選擇的值為“l(fā)inear”“poly”“rbf”“sigmod”和“precomputed”，其含義如下“l(fā)inear”：線性核函數(shù)“poly”：多項式核函數(shù)“rbf”：徑像核函數(shù)/高斯核“sigmod”：sigmod核函數(shù)“precomputed”：核矩陣，表示算法本身計算好的核函數(shù)矩陣默認為“rbf”SVM——應(yīng)用實例SVC函數(shù)的主要參數(shù)及其說明參數(shù)名稱說明degree接收int。這個參數(shù)只對kernel參數(shù)為“poly”時有效，表示多項式核函數(shù)的階數(shù)n，若選擇的kernel參數(shù)是其他核函數(shù)，則會自動忽略該參數(shù)，默認為3gamma接收int。這個參數(shù)只對kernel參數(shù)為“rbf”“poly”和“sigmod”時有效，表示核函數(shù)系數(shù)，若選擇的kernel參數(shù)是其他核函數(shù)，則會自動忽略該參數(shù)，默認為0.0max_iter接收int。表示最大迭代次數(shù)，默認為-1random_state接收int。表示偽隨機數(shù)發(fā)生器的種子，在混洗數(shù)據(jù)時用于概率估計，默認為None決策樹決策樹決策樹是一個樹狀結(jié)構(gòu)，它包含一個根節(jié)點、若干內(nèi)部節(jié)點和若干葉節(jié)點。根節(jié)點包含樣本全集，葉節(jié)點對應(yīng)決策結(jié)果，內(nèi)部節(jié)點對應(yīng)一個特征測試。從根節(jié)點到每個葉節(jié)點的路徑對應(yīng)一個判定測試序列。決策樹的學(xué)習(xí)目的是為了產(chǎn)生一棵泛化能力強，或處理未見示例能力強的決策樹，其基本流程遵循簡單而直觀的分而治之策略，決策樹的生成是一個遞歸過程。決策樹一般決策樹的結(jié)構(gòu)示意圖決策樹——數(shù)據(jù)輸入決策樹算法數(shù)據(jù)的輸入要求特征類型無要求?？梢栽试S缺失值。每個特征同等重要。較為平衡的正負樣本比例。決策樹——算法輸出決策樹算法的主要輸出內(nèi)容訓(xùn)練后的模型，可用于預(yù)測未知標(biāo)簽的樣本，直接得出其類別。特征重要性排名，可用于特征工程。樹狀圖，可以用于可視化和理解模型。決策樹——優(yōu)缺點決策樹算法的優(yōu)點決策樹算法的結(jié)果易于理解和解釋。做可視化分析，容易提取出規(guī)則?？赏瑫r處理標(biāo)稱型（一般在有限的數(shù)據(jù)中取，而且只存在“是”和“否”兩種不同結(jié)果的數(shù)據(jù)類型）和數(shù)值型數(shù)據(jù)。預(yù)測過程計算開銷小。決策樹——優(yōu)缺點決策樹算法的缺點在特征太多而樣本較少的情況下容易出現(xiàn)過擬合。忽略數(shù)據(jù)集中特征的相互關(guān)聯(lián)。ID3算法計算信息增益時結(jié)果偏向數(shù)值比較多的特征。決策樹——算法應(yīng)用決策樹算法主要應(yīng)用方向通過算法對新樣本進行分類。特征工程，篩選出重要的特征。作為集成學(xué)習(xí)算法的基分類器。決策樹——應(yīng)用實例Python機器學(xué)習(xí)庫scikit-learn的tree模塊提供了DecisionTreeClassifier函數(shù)用于構(gòu)建決策樹模型。DecisionTreeClassifier函數(shù)基本使用語法sklearn.tree.DecisionTreeClassifier(criterion='gini',splitter='best',max_depth=None,min_samples_split=2,min_samples_leaf=1,min_weight_fraction_leaf=0.0,max_features=None,random_state=None,max_leaf_nodes=None,min_impurity_decrease=0.0,min_impurity_split=None,class_weight=None,presort='deprecated',ccp_alpha=0.0)DecisionTreeClassifier函數(shù)的主要參數(shù)及其說明參數(shù)名稱說明criterion接收str。表示特征選擇的標(biāo)準(zhǔn)，可選擇的值為“gini”和“entropy”，其含義如下“gini”：基尼系數(shù)“entropy”：信息熵默認為“gini”splitter接收str。表示結(jié)點劃分時的策略，可選擇的值為“best”和“random”，其含義如下“best”：表示選用的criterion標(biāo)準(zhǔn)，選用最優(yōu)劃分特征來劃分該結(jié)點，一般用于訓(xùn)練樣本數(shù)據(jù)量不大的場合，因為選擇最優(yōu)劃分特征需要計算每種候選特征下劃分的結(jié)果“random”：表示最優(yōu)的隨機劃分特征，一般用于訓(xùn)練數(shù)據(jù)量較大的場合，可以減少計算量默認為“best”class_weight接收dict。計算樣本數(shù)據(jù)中每個類的權(quán)重，默認為None決策樹——應(yīng)用實例多層感知機多層感知機多層感知機（Multi-LayerPerceptron）簡稱為MLP，它由感知機推廣而來，克服了感知機無法實現(xiàn)對線性不可分?jǐn)?shù)據(jù)識別的缺點。MLP是一種前向結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，映射一組輸入向量到一組輸出向量。MLP可以被看作是一個有向圖，由多個節(jié)點層組成，每一層全連接到下一層。除了輸入節(jié)點，每個節(jié)點都是一個帶有非線性激活函數(shù)的神經(jīng)元（或稱處理單元）。一種被稱為反向傳播算法的監(jiān)督學(xué)習(xí)方法常被用于訓(xùn)練MLP。多層感知機MLP主要的特點是擁有多個神經(jīng)元層，第一層為輸入層，最后一層為輸出層，中間層為隱層。多層感知機——數(shù)據(jù)輸入多層感知機算法數(shù)據(jù)輸入要求特征要求為數(shù)值型，標(biāo)簽要求為類別。不允許缺失值。特征需要進行標(biāo)準(zhǔn)化或歸一化。較為平衡的正負樣本比例。多層感知機——算法輸出多層感知機算法的主要輸出內(nèi)容訓(xùn)練后的模型，可用于預(yù)測未知標(biāo)簽的樣本，直接得出其類別。多層感知機——優(yōu)缺點多層感知機算法的優(yōu)點模型以概率的形式輸出結(jié)果，能夠通過自主控制閾值實現(xiàn)分類。能夠解決非線性問題。模型性能可以隨著樣本數(shù)目和特征數(shù)目增加而提升。多層感知機——優(yōu)缺點多層感知機算法的缺點具有隱藏層的MLP具有非凸的損失函數(shù)，它有不止一個的局部最小值。因此，不同的隨機權(quán)重初始化會導(dǎo)致不同的驗證集準(zhǔn)確率。需要調(diào)試一些超參數(shù)，如隱藏層神經(jīng)元的數(shù)量、層數(shù)和迭代輪數(shù)。對特征歸一化很敏感。多層感知機——算法應(yīng)用多層感知機主要應(yīng)用方向通過算法對新樣本進行分類。超大型數(shù)據(jù)集分類任務(wù)。多層感知機——應(yīng)用實例Python機器學(xué)習(xí)庫scikit-learn的neural_network模塊提供了MLPClassifier函數(shù)用于構(gòu)建多層感知機分類模型。MLPClassifier函數(shù)基本使用語法sklearn.neural_network.MLPC