Machine

Learning

with

Python5.1目錄5.25.45.3機器學(xué)習(xí)簡介機器學(xué)習(xí)基本理論機器學(xué)習(xí)庫本章小結(jié)5.5延伸閱讀——機器學(xué)習(xí)在國產(chǎn)芯片上的應(yīng)用機器學(xué)習(xí)簡介本節(jié)介紹機器學(xué)習(xí)定義、機器學(xué)習(xí)發(fā)展、機器學(xué)習(xí)應(yīng)用領(lǐng)域5.13

5.1.1機器學(xué)習(xí)定義TomMitchell在1997年出版的MachineLearning一書中指出，機器學(xué)習(xí)這門學(xué)科所關(guān)注的是計算機程序如何積累經(jīng)驗，提高其性能。同時他給出形式化的描述：對于某類任務(wù)T和性能度量P，如果一個程序在T上以P衡量的性能隨著經(jīng)驗E增加，那么就稱這個計算機程序在從經(jīng)驗E學(xué)習(xí)。機器學(xué)習(xí)的一個主要目的就是把人類思考和歸納經(jīng)驗的過程轉(zhuǎn)化為計算機對數(shù)據(jù)的處理，計算得出模型的過程。經(jīng)過計算得出的模型能夠以近似于人的方式解決更為復(fù)雜的問題。4

5.1.2機器學(xué)習(xí)發(fā)展近百年以來，機器學(xué)習(xí)研究不斷發(fā)展，主要經(jīng)歷以下幾個階段。1.20世紀初至60年代初期的萌芽期：1943年，神經(jīng)科學(xué)家和控制論專家WarrenMcCulloch和邏輯學(xué)家WallterPitts基于數(shù)理邏輯算法創(chuàng)造了一種神經(jīng)網(wǎng)絡(luò)計算模型。1949年，心理學(xué)家DonaldHebb基于神經(jīng)心理學(xué)的學(xué)習(xí)機制，提出了一種學(xué)習(xí)假說。2.20世紀60年代至80年代的摸索期：1967年，k近鄰算法出現(xiàn)。20世紀60年代還誕生了著名的決策樹算法。1986年，人工智能專家J.RossQuinlan提出了著名的ID3算法。1974年，偉博斯在博士論文中提出了用誤差反向傳導(dǎo)來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)。1981年，偉博斯在神經(jīng)網(wǎng)絡(luò)反向傳播算法中提出MLP多層神經(jīng)網(wǎng)絡(luò)算法模型。3.20世紀90年代到目前的崛起期：1990年，Schapire構(gòu)造出一種多項式級的算法，對該問題做出了肯定的證明，這就是最初的Boosting算法。1995年誕生了兩種經(jīng)典的算法SVM和AdaBoost。2006年，GeoffreyHinton提出了深度學(xué)習(xí)模型。5

5.1.3機器學(xué)習(xí)應(yīng)用領(lǐng)域1.商業(yè)領(lǐng)域：主要可以對銷售數(shù)據(jù)、客戶信息進行分析。2.金融領(lǐng)域：機器學(xué)習(xí)在處理金融行業(yè)主要是進行數(shù)據(jù)分析和預(yù)測分析。3.醫(yī)療領(lǐng)域：疾病診斷是機器學(xué)習(xí)研究在醫(yī)療領(lǐng)域中的最前沿應(yīng)用。4.自然語言處理：利用機器學(xué)習(xí)技術(shù)進行自然語言的深度理解5.計算機視覺：圖像處理技術(shù)用于將圖像處理為適合進入機器學(xué)習(xí)模型中的輸入，機器學(xué)習(xí)則負責(zé)從圖像中識別出相關(guān)的模式。6.網(wǎng)絡(luò)應(yīng)用：機器學(xué)習(xí)在網(wǎng)絡(luò)應(yīng)用中也占有一定地位，使用貝葉斯分類器、支持向量機等分類算法，對正常郵件和垃圾郵件進行分類；7.工業(yè)領(lǐng)域：機器學(xué)習(xí)在工業(yè)領(lǐng)域的主要應(yīng)用有質(zhì)量管理。8.生活娛樂：機器學(xué)習(xí)在天氣預(yù)報、環(huán)境檢測、自動控制等方面都取得了飛速發(fā)展。機器學(xué)習(xí)基本理論本節(jié)介紹基本術(shù)語、機器學(xué)習(xí)算法、機器學(xué)習(xí)一般流程5.2數(shù)據(jù)集（dataset）是一種由數(shù)據(jù)所組成的集合，通常以表格的形式出現(xiàn)，其中每一行是一個數(shù)據(jù)，表示對一個事件或?qū)ο蟮拿枋觯址Q為樣本（sample）或?qū)嵗╥nstance）。每一列反映事件或?qū)ο笤谀撤矫娴谋憩F(xiàn)或性質(zhì)，稱為特征（feature）或?qū)傩裕╝ttribute）。屬性上的取值稱為屬性值（attributevalue）或特征值。所有屬性張成的空間稱為屬性空間（attributespace）、樣本空間（samplespace）或輸入空間（inputspace）。屬性空間中的每一個點通常用一個向量來表示，稱為特征向量（featurevector），即每個特征向量附屬于一個實例。模型（model）指描述特征和問題之間關(guān)系的數(shù)學(xué)對象。從數(shù)據(jù)中使用算法得到模型的過程稱為學(xué)習(xí)（learning）或訓(xùn)練（training）。5.2.1基本術(shù)語7

訓(xùn)練過程中使用的數(shù)據(jù)集又被分為以下3種。1）訓(xùn)練集（trainningset）：通常取數(shù)據(jù)集中一部分數(shù)據(jù)作為訓(xùn)練集來訓(xùn)練模型。2）測試集（testingset）：用來對已經(jīng)學(xué)習(xí)好的模型或者算法進行測試和評估的數(shù)據(jù)集。3）驗證集（validationset）：有時需要把訓(xùn)練集進一步拆分成訓(xùn)練集和驗證集，驗證集用于在學(xué)習(xí)過程中對模型進行調(diào)整和選擇。5.2.1基本術(shù)語8

每個實例中描述模型輸出的可能值稱為標簽（lable）或標記。特征是事物固有屬性，標簽是根據(jù)固有屬性產(chǎn)生的認知。在經(jīng)過一定次數(shù)的訓(xùn)練迭代后，模型損失不再發(fā)生變化或變化很小，說明當前訓(xùn)練樣本已經(jīng)無法改進模型，稱為模型達到收斂（convergence）狀態(tài)。新的數(shù)據(jù)輸入到訓(xùn)練好的模型中，以對其進行判斷稱為預(yù)測（prediction）。通過學(xué)習(xí)得到的模型適用于新樣本的能力，稱為泛化（generalization）能力。檢驗?zāi)Ｐ托Ч姆椒ǚQ為模型評估（evaluation）。5.2.1基本術(shù)語9

機器學(xué)習(xí)算法從學(xué)習(xí)方式上可分為：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強化學(xué)習(xí)。監(jiān)督學(xué)習(xí)（SupervisedLearning）：在監(jiān)督學(xué)習(xí)方式下，從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個函數(shù)（模型參數(shù)），然后根據(jù)這個模型對未知樣本進行預(yù)測。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求包括輸入輸出，也可以說是特征和標簽。訓(xùn)練集中的標簽是由人標注的。屬于監(jiān)督學(xué)習(xí)的算法包括回歸模型、決策樹、隨機森林、k鄰近算法等。無監(jiān)督學(xué)習(xí)（UnsuperisedLearning）：又稱非監(jiān)督學(xué)習(xí)。在非監(jiān)督式學(xué)習(xí)方式下，它的輸入樣本并不需要標記，學(xué)習(xí)模型是為了推斷出數(shù)據(jù)的一些內(nèi)在結(jié)構(gòu)。常見的應(yīng)用場景包括關(guān)聯(lián)規(guī)則的學(xué)習(xí)以及聚類等，常見算法包括k均值算法、DBSCAN算法等。5.2.2機器學(xué)習(xí)算法10

半監(jiān)督學(xué)習(xí)（Semi-supervisedLearning）：在半監(jiān)督學(xué)習(xí)方式下，輸入數(shù)據(jù)部分被標識，部分沒有被標識，這種學(xué)習(xí)模型可以用來進行預(yù)測，但是模型首先需要學(xué)習(xí)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)以便合理的組織數(shù)據(jù)來進行預(yù)測。應(yīng)用場景包括分類和回歸，算法包括一些對常用監(jiān)督式學(xué)習(xí)算法的延伸，這些算法首先試圖對未標識數(shù)據(jù)進行建模，在此基礎(chǔ)上再對標識的數(shù)據(jù)進行預(yù)測。如圖論推理算法（GraphInference）或者拉普拉斯支持向量機（LaplacianSVM）等。強化學(xué)習(xí)（ReinforcementLearning）：在強化學(xué)習(xí)方式下，強調(diào)如何基于環(huán)境而行動，以取得最大化的預(yù)期利益。其靈感來源于心理學(xué)中的行為主義理論，即有機體如何在環(huán)境給予的獎勵或懲罰的刺激下，逐步形成對刺激的預(yù)期，產(chǎn)生能獲得最大利益的習(xí)慣性行為。常見的應(yīng)用場景包括動態(tài)系統(tǒng)以及機器人控制等。常見算法包括Q-Learning以及時間差學(xué)習(xí)（TemporalDifferenceLearning）。5.2.2機器學(xué)習(xí)算法11

機器學(xué)習(xí)算法從算法功能上可分為：分類、回歸、聚類和降維。分類（Classification）：分類問題是監(jiān)督學(xué)習(xí)的一個核心問題，它從數(shù)據(jù)中學(xué)習(xí)一個分類決策函數(shù)或分類模型（分類器），對新的輸入進行輸出預(yù)測，輸出變量取有限個離散值。常用的方法有決策樹、樸素貝葉斯、支持向量機、集成學(xué)習(xí)等。回歸（Regression）：回歸問題用于預(yù)測輸入變量（自變量）和輸出變量（因變量）之間的關(guān)系，特別是當輸入變量的值發(fā)生變化時，輸出變量值隨之發(fā)生變化。常用方法有線性回歸、嶺回歸、Lasso回歸等。5.2.2機器學(xué)習(xí)算法12

聚類（Cluster）：聚類問題是無監(jiān)督學(xué)習(xí)的問題，聚類算法感知樣本間的相似度，進行類別歸納，對新的輸入進行輸出預(yù)測，輸出變量取有限個離散值。常用方法有k均值聚類、密度聚類、層次聚類、譜聚類等。降維（Dimensionalityreduction）：降維指從高維度數(shù)據(jù)中提取關(guān)鍵信息，將其轉(zhuǎn)換為易于計算的低維度問題進而求解。若輸入輸出均已知，屬于監(jiān)督學(xué)習(xí)；若只有輸入已知，屬于無監(jiān)督學(xué)習(xí)。在轉(zhuǎn)換為低維度的樣本后，應(yīng)保持原始輸入樣本的數(shù)據(jù)分布性質(zhì)，以及數(shù)據(jù)間的近鄰關(guān)系不發(fā)生變化。常用方法有主成分分析（PCA）和線性判別分析（LDA）。5.2.2機器學(xué)習(xí)算法13

機器學(xué)習(xí)主要是利用歷史數(shù)據(jù)使用機器學(xué)習(xí)算法構(gòu)造模型，然后對模型進行評估和優(yōu)化，利用建立的模型對新數(shù)據(jù)預(yù)測。一般包括以下幾個過程。數(shù)據(jù)采集與預(yù)處理。機器學(xué)習(xí)所用數(shù)據(jù)對整個項目至關(guān)重要，數(shù)據(jù)要有代表性并且盡量覆蓋所研究領(lǐng)域，并評估數(shù)據(jù)的樣本量和特征等。如果數(shù)據(jù)發(fā)現(xiàn)問題，需要對數(shù)據(jù)進行預(yù)處理。數(shù)據(jù)預(yù)處理包含歸一化、離散化、缺失處理、去共性等。數(shù)據(jù)集分割。一般需要將樣本分為訓(xùn)練集和測試集，或再進一步分為訓(xùn)練集、驗證集和測試集。其中訓(xùn)練集用來訓(xùn)練模型，驗證集用來調(diào)整模型參數(shù)從而得到最終模型，測試集用來檢驗最終模型性能。5.2.3機器學(xué)習(xí)一般流程14

模型選擇和訓(xùn)練。模型本身并沒有優(yōu)劣，模型選擇要依據(jù)問題和數(shù)據(jù)進行分析，比如是分類問題還是回歸問題，是監(jiān)督學(xué)習(xí)還是無監(jiān)督學(xué)習(xí)，根據(jù)問題類型和數(shù)據(jù)集大小等因素選擇合適的模型。一般不存在任何情況都很好的模型，所以一般會嘗試用不同模型進行訓(xùn)練，從中選擇較優(yōu)模型。模型評估和優(yōu)化。使用訓(xùn)練數(shù)據(jù)集建模后，需要用測試數(shù)據(jù)集進行測試和評估，測試模型對數(shù)據(jù)的泛化能力。模型評估可以根據(jù)分類、回歸、聚類等不同問題選擇不同的指標，然后利用模型評估結(jié)果對模型進行改進。模型應(yīng)用。使用創(chuàng)建好的模型，對新的數(shù)據(jù)進行預(yù)測。5.2.3機器學(xué)習(xí)一般流程15

機器學(xué)習(xí)庫本節(jié)介紹Scikit-learn庫的安裝5.317

5.3.1安裝Scikit-learn庫Python環(huán)境下的安裝下載Scipy安裝程序。打開網(wǎng)址/project/scipy/，運行界面如圖8-1a）所示。找到所安裝的Python版本所對應(yīng)的Scipy版本，根據(jù)需要選擇下載32位/64位安裝程序。將下載文件復(fù)制到Python安裝目錄下的Scripts目錄。

a）

圖8-1Scipy下載b）

18

5.3.1安裝Scikit-learn庫安裝Scipy。用cmd命令打開“命令提示符”窗口，通過cd命令切換到Python安裝目錄下的Scripts目錄，輸入命令：pipinstallscipy-1.4.1-cp36-cp36m-win_amd64.whl。試是否安裝成功。進入到PythonIDLE中，運行importscipy，如果沒有錯誤提示，說明安裝成功。19

5.3.1安裝Scikit-learn庫

下載Scikit-learn。打開網(wǎng)址/project/scikit-learn/，找到相應(yīng)的Scikit-learn版本，根據(jù)需要選擇下載32位/64位安裝程序。然后將下載的文件復(fù)制到Python安裝目錄下的Scripts目錄。a）

圖8-2Scikit-learn下載b）

20

5.3.1安裝Scikit-learn庫

安裝Scikit-learn。用cmd命令打開“命令提示符”窗口，通過cd命令切換到Python安裝目錄下的Scripts目錄，輸入命令：pipinstallscikit_learn-0.22.1-cp35-cp35m-win_amd64.whl。測試是否安裝成功。進入到PythonIDLE中，運行importsklearnassk，如果沒有錯誤提示，說明安裝成功。PyCharm的安裝1）單擊file下面的settings選項。2）單擊projectinterpreter選項。3）單擊最右側(cè)的加號（+）按鈕。4）分別輸入scipy和sklearn，選擇查詢結(jié)果的第一個選項。5）單擊底部的installpackage按鈕。6）當?shù)撞砍霈F(xiàn)successfully字樣則表示安裝成功。5.3.1安裝Scikit-learn庫21

22

5.3.2數(shù)據(jù)的加載自帶標準數(shù)據(jù)集Scikit-learn自帶標準數(shù)據(jù)集，這類數(shù)據(jù)集使用時不需要從任何外部網(wǎng)站下載文件，其函數(shù)原型如下：sklearn.datasets.load_<name>（[return_X_y]）其主要參數(shù)為：return_X_y：返回值信息。數(shù)據(jù)類型為布爾值，可選參數(shù)，如果不指定該參數(shù)值，則使用默認參數(shù)值False。False：函數(shù)輸出為bunch對象，包含data（樣本特征）、target（標簽）、DESCR（數(shù)據(jù)集描述），同時一部分數(shù)據(jù)也包含feature_names和images等。True：將輸出約束為只包含data（樣本特征數(shù)據(jù)）和target（標簽）。name：要下載的數(shù)據(jù)集名稱。23

5.3.2數(shù)據(jù)的加載Scikit-learn共自帶7個標準數(shù)據(jù)集，每個數(shù)據(jù)集特點如下。波士頓房價數(shù)據(jù)集：波士頓房價數(shù)據(jù)集是經(jīng)典的用于回歸任務(wù)的數(shù)據(jù)集。鳶尾花數(shù)據(jù)集：鳶尾花數(shù)據(jù)集是經(jīng)典的用于多分類任務(wù)的數(shù)據(jù)集。糖尿病數(shù)據(jù)集：糖尿病數(shù)據(jù)集是用于回歸任務(wù)的數(shù)據(jù)集。手寫數(shù)字數(shù)據(jù)集：手寫數(shù)字數(shù)據(jù)集該數(shù)據(jù)集是用于分類任務(wù)或者降維任務(wù)的數(shù)據(jù)集。體能訓(xùn)練數(shù)據(jù)集：體能訓(xùn)練數(shù)據(jù)集用于多變量回歸任務(wù)的數(shù)據(jù)集。葡萄酒數(shù)據(jù)集：葡萄酒數(shù)據(jù)集用于多分類任務(wù)的數(shù)據(jù)集。乳腺癌數(shù)據(jù)集：乳腺癌數(shù)據(jù)集是經(jīng)典的用于二分類任務(wù)的數(shù)據(jù)集。24

5.3.2數(shù)據(jù)的加載大規(guī)模在線數(shù)據(jù)集這類數(shù)據(jù)集需要從網(wǎng)絡(luò)上下載，sklearn中使用sklearn.datasets.fetch_<name>獲取該類數(shù)據(jù)集，name表示數(shù)據(jù)集名稱。常用數(shù)據(jù)集有：Olivetti人臉數(shù)據(jù)集（olivetti_faces），新聞主題20分類數(shù)據(jù)集（20newsgroups）、加州房屋數(shù)據(jù)集（california_housing）和野外人臉識別數(shù)據(jù)集（lfw_people）等。其主要參數(shù)為：data_home：指定數(shù)據(jù)集的下載和緩存文件夾。若設(shè)置為None，則所有學(xué)習(xí)數(shù)據(jù)存儲在“～/scikit_learn_data”子文件夾中。subtrain：選擇數(shù)據(jù)集。取值可以為“train”、“test”或“all”，分別對應(yīng)選擇訓(xùn)練集、測試集和所有樣本。category：選取數(shù)據(jù)類別。如果不指定參數(shù)值，則使用默認參數(shù)值None，提取所有類別出來。shuffle：是否將樣本打亂。數(shù)據(jù)類型為布爾型，如不指定該參數(shù)，則使用默認參數(shù)值True。radom_state：用于設(shè)置隨機數(shù)產(chǎn)生方式，若不指定該參數(shù)，則自動使用默認值None。5.3.2數(shù)據(jù)的加載25

remove：設(shè)置的內(nèi)容將被檢測到并從新聞組帖子中刪除。從而防止分類器過度適合元數(shù)據(jù)。參數(shù)值為元組值，可包含如下內(nèi)容：headers：刪除新聞組的標題。footers：刪除帖子的末尾看起來像簽名的塊。quotes：刪除被另一篇文章引用的行。download_if_missing：如果數(shù)據(jù)缺失，是否去下載。如不指定該參數(shù)值，則使用默認值True，如果設(shè)置為False則數(shù)據(jù)不在本地可用時引發(fā)IOError，而不是嘗試從源站點下載數(shù)據(jù)。return_X_y：返回數(shù)據(jù)信息。可選參數(shù)，如不指定該參數(shù)，則使用默認值False。5.3.2數(shù)據(jù)的加載26

生成數(shù)據(jù)集Scikit-learn包括各種隨機樣本生成器，sklearn.datasets.make_<name>可用于構(gòu)建大小和復(fù)雜度受控的人工數(shù)據(jù)集。生成數(shù)據(jù)集可以用于分類任務(wù)、回歸任務(wù)和聚類任務(wù)等。用于分類任務(wù)和聚類任務(wù)的函數(shù)產(chǎn)生樣本特征向量矩陣以及對應(yīng)的類別標簽集合。5.3.2數(shù)據(jù)的加載27

以make_blobs和make_mooms為例，看如何生成所需數(shù)據(jù)集。Scikit-learn使用make_blobs根據(jù)用戶指定的特征數(shù)量、中心點數(shù)量、范圍等來生成幾類數(shù)據(jù)，這些數(shù)據(jù)可用于測試聚類算法的效果。其函數(shù)原型如下：sklearn.datasets.make_blobs(n_samples=100,n_features=2,centers=None,cluster_std=1.0,center_box=(-10.0,10.0),shuffle=True,random_state=None)Scikit-learn5.3.2數(shù)據(jù)的加載28

其主要參數(shù)為：n_samples：生成樣本的總數(shù)。數(shù)據(jù)類型為整型，默認值為100。n_features：每個樣本的特征數(shù)目即特征維度數(shù)目。數(shù)據(jù)類型為整型，默認值為2。centers：生成的樣本中心數(shù)，即類別數(shù)目。數(shù)據(jù)類型為整型或者整型二維數(shù)組[n_centers,n_features]，默認值為3。cluster_std：每個類別的方差。數(shù)據(jù)類型為浮點型，默認值為1.0。center_box：中心確定后的邊界。數(shù)據(jù)格式為floats(min,max)，默認值為(-10.0,10.0)。shuffle：是否將樣本打亂。數(shù)據(jù)類型為布爾值，為可選參數(shù)，若不指定該參數(shù)值，則使用默認參數(shù)值True。random_state：用于設(shè)置隨機數(shù)產(chǎn)生方式。若不指定該參數(shù)，則自動使用默認值None。5.3.2數(shù)據(jù)的加載29

Scikit-learn使用make_moons生成數(shù)據(jù)集，為兩個相交的半圓，用于聚類和分類算法。其函數(shù)原型如下：sklearn.datasets.make_moons(n_samples=100,shuffle=True,noise=None,random_state=None)5.3.2數(shù)據(jù)的加載30

其主要參數(shù)為：n_samples：生成樣本的總數(shù)。數(shù)據(jù)類型為整型，默認值為100。shuffle：是否將樣本打亂。數(shù)據(jù)類型為布爾型，若不指定該參數(shù)值，則使用默認參數(shù)值True。noise：加到數(shù)據(jù)中的高斯噪聲標準差。數(shù)據(jù)類型為布爾型，若不指定該參數(shù)值，則使用默認參數(shù)值None。random_state：設(shè)置隨機數(shù)產(chǎn)生方式。參數(shù)取值與make_blobs相同。5.3.2數(shù)據(jù)的加載31

模型訓(xùn)練前需將數(shù)據(jù)集劃分為訓(xùn)練集與測試集，Scikit-learn中sklearn.model_selection包含rain_test_split()方法，可以方便的將數(shù)據(jù)集拆分為train_data和test_data兩個部分。理論上更合理的數(shù)據(jù)集劃分方案是分成3個，此外還要再加一個交叉驗證數(shù)據(jù)集。常用回歸模型：線性回歸、決策樹、SVM、KNN、隨機森林、Adaboost、Bagging、GradientBoosting、ExtraTrees。常用分類模型：線性、決策樹、SVM、KNN、樸素貝葉斯、隨機森林、Adaboost、GradientBoosting、Bagging、ExtraTrees。常用聚類模型：k均值聚類、層次聚類、DBSCAN。常用降維模型：LinearDiscriminantAnalysis、PCA。5.3.3模型訓(xùn)練和預(yù)測32

在Scikit-learn中，可以在以下3個地方進行模型的評估。各個模型均提供相應(yīng)的score方法來進行評估。這種方法對于每一種學(xué)習(xí)器來說都是根據(jù)學(xué)習(xí)器本身的特點定制的，其方法比較簡單。用交叉驗證cross_val_score，或者參數(shù)調(diào)試GridSearchCV，它們都依賴scoring參數(shù)傳入一個性能度量函數(shù)。使用sklearn.metrics中的評估方法，metrics有為各種問題提供的評估方法，這些問題包括分類、回歸、聚類等。5.3.4模型的評估33

34

5.3.5模型的保存與使用模型訓(xùn)練完成后，可以將模型永久化保存，這樣可以在使用時直接調(diào)用，避免花大量時間再訓(xùn)練，可以通過兩種方法保存一個模型。1）使用Python的內(nèi)置永久化模塊（pickle）保存模型。2）使用joblib對模型進行保存，可以