第5章文件的讀寫操作文件的讀寫方式r:以只讀方式打開文件。文件必須存在,指針將放在文件開頭。默認(rèn)。rb:以二進(jìn)制格式打開文件用于只讀。默認(rèn)模式。r+:打開文件用于讀寫。rb+:以二進(jìn)制格式打開用于讀寫。w:打開文件只用于寫入。文件可以不存在,會擦掉原有內(nèi)容從頭寫。wb:以二進(jìn)制格式打開文件只用于寫入。w+:打開文件用于讀寫。wb+:以二進(jìn)制格式打開文件用于讀寫。a:只能寫,文件可以不存在,不修改原有內(nèi)容,只能在結(jié)尾追加ab:以二進(jìn)制格式打開文件用于追加。a+:打開文件用于讀寫。ab+:以二進(jìn)制格式打開文件用于讀寫。5.1txt文件的讀取5.2docx文件的讀取5.3pdf文件的讀取5.4CSV數(shù)據(jù)文件的讀寫5.4.1pandas讀取csv文件5.4.2pandas寫入csv文件condainstallopenpyxl-i/pypi/simple5.5Excel數(shù)據(jù)文件的讀寫5.5.1讀取Excel文件5.5.2寫入Excel文件5.6大文件數(shù)據(jù)集的讀取與保存5.7批量合并excel文件5.7.1合并文件5.7批量合并excel文件5.7.1合并文件5.7.2提取多文件數(shù)據(jù)并合并5.7.3提取多個文件數(shù)據(jù)保存到一個文件的多個sheet5.7.4提取文件中多個sheet保存為一個工作表5.7.5glob的應(yīng)用【應(yīng)用案例】1.將數(shù)據(jù)按地區(qū)分別保存到文件“銷售數(shù)據(jù).xlsx”的四個表單里。2.讀取“銷售數(shù)據(jù).xlsx”文件，匯總統(tǒng)計該公司各類產(chǎn)品的銷售量、銷售額、經(jīng)銷費(fèi)用和利潤，并將結(jié)果保存到“銷售數(shù)據(jù).xlsx”文件的第五個表單里。3.讀取“銷售數(shù)據(jù).xlsx”文件，統(tǒng)計分析該公司各地區(qū)各類產(chǎn)品的利潤額、利潤率，并將結(jié)果保存到“銷售數(shù)據(jù).xlsx”文件的第六個表單里。4.選擇合適的圖形進(jìn)行可視化分析。第6章sympy與符號計算“大數(shù)據(jù)分析技術(shù)”教學(xué)團(tuán)隊

經(jīng)濟(jì)管理學(xué)院大數(shù)據(jù)管理科學(xué)系6.1導(dǎo)入sympy6.2創(chuàng)建符號6.3定義數(shù)字6.4定義函數(shù)6.5表達(dá)式6.5.1定義表達(dá)式6.5.2表達(dá)式化簡6.5.3表達(dá)式展開6.5.4因式分解6.5.5表達(dá)式求值6.6微積分6.6.1導(dǎo)數(shù)6.6.2積分6.6.3級數(shù)展開6.6.4極限6.6.5和與積6.7繪制函數(shù)的圖像第7章scipy與科學(xué)計算大數(shù)據(jù)分析技術(shù)教學(xué)團(tuán)隊引言：應(yīng)用sympy解方程7.1方程求解7.1.1線性方程組

方形方程組矩陣的秩：矩陣線性無關(guān)的行數(shù)或線性無關(guān)的列數(shù)，也稱為該矩陣的奇異值。矩陣的跡：矩陣的主對角線元素之和。向量的范數(shù)：方程組的近似解向量與準(zhǔn)確解向量之差稱為誤差向量，范數(shù)是估計誤差向量大小的指標(biāo)。1-范數(shù)：元素的絕對值之和；2-范數(shù)：元素的平方和的平方根；∞-范數(shù)：元素絕對值的最大值。矩陣的范數(shù)：1-范數(shù)：矩陣各個列向量元素的絕對值之和的最大值；2-范數(shù)：ATA最大特征值的平方根；∞-范數(shù)：矩陣各個行向量元素的絕對值之和的最大值。矩陣的條件數(shù)：等于A的范數(shù)與A的逆矩陣的范數(shù)的乘積（A的最大奇異值除以最小奇異值），描述矩陣性能的指標(biāo)（解不因其系數(shù)矩陣的微小擾動而發(fā)生大的變化為良性矩陣。條件數(shù)越接近于1，矩陣的性能越好。病態(tài)矩陣和良性矩陣）。

矩形方程組

一個特征值的代數(shù)重數(shù)就是它在特征多項(xiàng)式中作為根出現(xiàn)的次數(shù)，幾何重數(shù)就是它對應(yīng)的特征空間的維數(shù)。7.1.2特征值的求解7.1.3非線性方程

單變量方程(1)二分法

定區(qū)間，找中點(diǎn)，中值計算兩邊看。同號去，異號算，零點(diǎn)落在異號間。周而復(fù)始怎么辦?精確度上來判斷。fm==0呢？iffm==0:break(2)牛頓法

割線法

非線性方程組求解

屬性x：ndarray，解決方案(或不成功調(diào)用的最后一次迭代的結(jié)果)infodict：dict，帶有鍵的可選輸出字典：nfev，函數(shù)調(diào)用次數(shù)njev，雅可比調(diào)用次數(shù)fvec，在輸出處評估的函數(shù)fjac，正交矩陣q，由最終近似雅可比矩陣的QR因式分解產(chǎn)生，按列存儲r，同一矩陣的QR因式分解產(chǎn)生的上三角矩陣qtf，矢量(transpose(q)*fvec)ier：int，一個整數(shù)標(biāo)志。如果找到解決方案，則設(shè)置為1。mesg：str，如果沒有找到解決方案，會說明失敗的原因。root方法

解方程組：7.2優(yōu)化問題7.2.1單變量優(yōu)化

scipy.optimize.brent(func,args=(),brack=None,tol=1.48e-08,full_output=0,maxiter=500)func：目標(biāo)函數(shù)；args：附加參數(shù)(若有)；brack：起止區(qū)間；tol：相對誤差;full_output：True返回所有輸出參數(shù)(xmin：最佳點(diǎn)。fval：最優(yōu)值。iter：迭代次數(shù)。funcalls：進(jìn)行的目標(biāo)函數(shù)評估次數(shù)）;maxiter：最大迭代次數(shù)。7.2.2雙變量無約束優(yōu)化問題

牛頓法優(yōu)化成功終止。當(dāng)前函數(shù)值：-3.867223；迭代次數(shù)：8；函數(shù)計算次數(shù)：10梯度計算次數(shù)：10；Hessian計算次數(shù)：8

暴力搜索法(全局搜索）7.2.3非線性最小二乘問題7.2.4有約束的優(yōu)化問題

取值受約束

拉格朗日乘數(shù)SLSQP方法:序列最小二乘法

不等式約束

condainstall-cconda-forge/label/gcc7cvxopt

第6章

Sklearn與機(jī)器學(xué)習(xí)

（適用于大數(shù)據(jù)類各專業(yè)）

“大數(shù)據(jù)分析技術(shù)”教學(xué)團(tuán)隊

經(jīng)濟(jì)管理學(xué)院大數(shù)據(jù)管理科學(xué)系6.2多元線性回歸6.2.1導(dǎo)入數(shù)據(jù)6.2.2查看數(shù)據(jù)6.2.3相關(guān)系數(shù)熱力圖6.2.4簡單線性回歸6.2.5逐步回歸6.2.6預(yù)測分析第6章scikit-learn與機(jī)器學(xué)習(xí)6.1概述6.1.1庫的安裝與導(dǎo)入6.1.2機(jī)器學(xué)習(xí)的組成要素6.1.3機(jī)器學(xué)習(xí)的流程6.1.4樣本及樣本劃分6.1.5泛化能力6.1.6導(dǎo)入或創(chuàng)建數(shù)據(jù)集6.1.7數(shù)據(jù)預(yù)處理6.3Lasso回歸分析6.3.1導(dǎo)入數(shù)據(jù)6.3.2相關(guān)性分析6.3.3定義回歸函數(shù)6.3.4劃分?jǐn)?shù)據(jù)集6.3.5誤差分析6.3.6擬合模型6.4Logistic回歸分析6.4.1導(dǎo)入數(shù)據(jù)6.4.2劃分?jǐn)?shù)據(jù)集第6章scikit-learn與機(jī)器學(xué)習(xí)6.4.3模型訓(xùn)練6.4.4結(jié)果分析6.5時間序列預(yù)測6.5.1ARIMA步驟6.5.2基本概念6.5.3導(dǎo)入數(shù)據(jù)6.5.4白噪聲檢驗(yàn)6.5.5單位根檢驗(yàn)6.5.6一階差分處理6.5.7模型選擇與預(yù)測分析唐四薪主編，大數(shù)據(jù)分析實(shí)用教程，機(jī)械工業(yè)出版社，2021年06月。雷扎爾·卡里姆著，Scala和Spark大數(shù)據(jù)分析，清華大學(xué)出版社，2020年06月。余本國，python在機(jī)器學(xué)習(xí)中的應(yīng)用，水利水電出版社，2019年06月。王東著，機(jī)器學(xué)習(xí)導(dǎo)論，清華大學(xué)出版社，2021年02月6.1機(jī)器學(xué)習(xí)概述6.1.1scikit-learn庫庫的安裝：pipinstallscikit-learn-i

/simplescikit-learn(簡記sklearn)，是采用python語言實(shí)現(xiàn)的基于NumPy、SciPy、matplotlib擴(kuò)展庫的機(jī)器學(xué)習(xí)算法庫，主要有分類、回歸、聚類、數(shù)據(jù)將維、模型選擇和數(shù)據(jù)預(yù)處理六大基本功能。6.1.2機(jī)器學(xué)習(xí)的組成要素機(jī)器學(xué)習(xí)：如果一個程序可以在任務(wù)T上，隨著經(jīng)驗(yàn)E的增加，效果P也隨之增加，則稱這個程序可以從經(jīng)驗(yàn)中學(xué)習(xí)（吃十塹，長一智）。模型：假設(shè)空間（模型構(gòu)成的集合）策略：從假設(shè)空間中挑選出參數(shù)最優(yōu)模型的準(zhǔn)則（誤差最?。┧惴ǎ簭募僭O(shè)空間中挑選模型的方法（最優(yōu)化方法）6.1.3機(jī)器學(xué)習(xí)的流程研究數(shù)據(jù)選擇模型用訓(xùn)練數(shù)據(jù)進(jìn)行模型訓(xùn)練（用算法搜尋模型的參數(shù)值，使代價函數(shù)最?。┦褂糜?xùn)練好的模型對新案例（樣本）進(jìn)行推斷6.1.4樣本及樣本劃分樣本分為訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)。訓(xùn)練數(shù)據(jù)又分為訓(xùn)練集和驗(yàn)證集。訓(xùn)練（training）：從數(shù)據(jù)中學(xué)得模型的過程稱為學(xué)習(xí)（learning）或訓(xùn)練（training），這個過程通過執(zhí)行某個學(xué)習(xí)算法來完成。訓(xùn)練過程中使用的數(shù)據(jù)稱為訓(xùn)練數(shù)據(jù)（trainingdata），其中每個樣本稱為一個訓(xùn)練樣本（trainingsample），訓(xùn)練樣本組成的集合稱為訓(xùn)練集（trainingset）。被預(yù)測的樣本稱為測試集（testingsample）泛化能力（generalization）：學(xué)得模型適用于新樣本的能力（準(zhǔn)確率）。樣本的作用：利用訓(xùn)練集來建立模型和參數(shù)估計，利用測試集進(jìn)行模型測試。總體的均值、方差模型的參數(shù)（ANN中節(jié)點(diǎn)的權(quán)重）統(tǒng)計學(xué)機(jī)器學(xué)習(xí)參數(shù)劃分樣本的方法（1）train_test_split()函數(shù)劃分樣本fromsklearn.model_selectionimporttrain_test_splitX_train,X_test,y_train,y_test=train_test_split(train_data,train_target,test_size=0.3,random_state=0)train_data：所要劃分的樣本特征集；train_target：待劃分的樣本標(biāo)簽test_size：樣本占比(整數(shù)為測試集樣本的數(shù)目）；random_state：隨機(jī)種子數(shù)train_test_split()函數(shù)返回4個值：訓(xùn)練集、測試集數(shù)據(jù)，訓(xùn)練集、測試集標(biāo)簽假設(shè)：已有樣本和未知樣本中蘊(yùn)含相同規(guī)律。將已有的樣本劃分為訓(xùn)練集和驗(yàn)證集，也是基于這樣的假設(shè)，即訓(xùn)練集蘊(yùn)含的規(guī)律與驗(yàn)證集中蘊(yùn)含的規(guī)律一致，因此，可以用訓(xùn)練集來訓(xùn)練模型，用驗(yàn)證集來驗(yàn)證模型，達(dá)到希望的效果后，再用來預(yù)測測試集。（2）k折交叉驗(yàn)證:針對小樣本總體train_test_split()函數(shù)返回4個值（實(shí)際是一個元組）樣本集TrainingfoldsTestfolds…E1E2E3E101次迭代2次迭代3次迭代10次迭代fromsklearn.model_selectionimportcross_val_predictpredicted=cross_val_predict(clf,iris.data,iris.target,cv=10)metrics.accuracy_score(iris.target,predicted)#交叉訓(xùn)練的結(jié)果驗(yàn)證結(jié)果更加穩(wěn)定，尤其是在小數(shù)據(jù)集中。通過查看每份的驗(yàn)證結(jié)果，可以得到該數(shù)據(jù)集分布對模型的影響。更好地利用訓(xùn)練數(shù)據(jù)，如果是5折交叉驗(yàn)證，那么訓(xùn)練量占了80%。Clf：分類器iris.data：特征數(shù)據(jù)iris.target：類別數(shù)據(jù)模型在訓(xùn)練樣本上產(chǎn)生的誤差叫訓(xùn)練誤差（trainingerror）。在測試樣本上產(chǎn)生的誤差叫測試誤差（testerror）。6.1.5泛化能力

線性回歸模型三次多項(xiàng)式模型五次多項(xiàng)式模型九次多項(xiàng)式模型訓(xùn)練誤差20195342094測試誤差578247123238492和2597781144138496泛化能力與模型復(fù)雜度：衡量模型好壞的是測試誤差，它標(biāo)志了模型對未知新實(shí)例的預(yù)測能力，因此一般追求的是測試誤差最小的模型。模型對新實(shí)例的預(yù)測能力稱為泛化能力，模型在新實(shí)例上的誤差稱為泛化誤差。訓(xùn)練集、驗(yàn)證集的數(shù)據(jù)要盡可能充分且分布平衡，并符合一定的清潔度要求。泛化能力評估方法將訓(xùn)練數(shù)據(jù)劃分為訓(xùn)練集和驗(yàn)證集的方法稱為保持法（holdoutmethod），一般保留已知樣本的20%到30%作為驗(yàn)證集。K-折交叉驗(yàn)證是將總樣本集隨機(jī)地劃分為K個互不相交的子集。對于每個子集，將所有其它樣本集作為訓(xùn)練集訓(xùn)練出模型，將該子集作為驗(yàn)證集，并記錄驗(yàn)證集每一個樣本的預(yù)測結(jié)果。每個子集都這樣處理完后，所有樣本都有一個預(yù)測值。然后與真實(shí)值進(jìn)行比對，從而評估模型的效果。這個方法將每一個樣本都用來進(jìn)行了驗(yàn)證，其評估的準(zhǔn)確性一般要高于保持法。6.1.6導(dǎo)入或創(chuàng)建數(shù)據(jù)集:導(dǎo)入Sklearn自帶的樣本數(shù)據(jù)集數(shù)據(jù)集名稱調(diào)用函數(shù)適用數(shù)據(jù)規(guī)模波士頓房價數(shù)據(jù)集load_boston()回歸506行*13鳶尾花數(shù)據(jù)集load_iris()分類150*4糖尿病數(shù)據(jù)集load_diabetes()回歸442*10體能訓(xùn)練數(shù)據(jù)集load_linnerud()

手寫數(shù)字圖像數(shù)據(jù)集load_digits()分類5620*64臉部圖像數(shù)據(jù)集fetch_olivetti_faces()降維400*64*64新聞分類數(shù)據(jù)集fetch_20newsgroups()分類

大帶標(biāo)簽人臉數(shù)據(jù)集fetch_lfw_people()降維

大路透社新聞?wù)Z料數(shù)據(jù)集fetch_rcv1()分類804414*47236特征屬性:[‘sepallength(cm)’,‘sepalwidth(cm)’,‘petallength(cm)’,‘petalwidth(cm)’](萼片長度、寬度，花瓣長度、寬度）類別屬性:['setosa''versicolor''virginica’]利用Sklearn生成隨機(jī)的數(shù)據(jù)集make_<name>函數(shù)：make_circles()：生成環(huán)形數(shù)據(jù)。make_moons()：生成月亮形（半環(huán)形）數(shù)據(jù)。make_blobs()：生成球型數(shù)據(jù)，多類單標(biāo)簽數(shù)據(jù)集。make_classification()：多類單標(biāo)簽數(shù)據(jù)集，為每個類分配一個或多個正態(tài)分布的點(diǎn)集。make_gaussian_quantiles()：將一個單高斯分布的點(diǎn)集劃分為兩個數(shù)量均等的點(diǎn)集，作為兩類。make_hastie-10-2()：產(chǎn)生一個相似的二元分類數(shù)據(jù)集，有10個維度。包括去除唯一屬性、處理缺失值、屬性編碼、數(shù)據(jù)標(biāo)準(zhǔn)化、特征選擇、主成分分析數(shù)據(jù)標(biāo)準(zhǔn)化:消除特征屬性之間不同量級的影響數(shù)量級較大的屬性占主導(dǎo)地位。

數(shù)量級差異將導(dǎo)致迭代收斂速度減慢。以樣本距離的算法對于數(shù)量級非常敏感。常用的數(shù)據(jù)標(biāo)準(zhǔn)化方法：(1)min-max標(biāo)準(zhǔn)化（歸一化）：新數(shù)據(jù)=（原數(shù)據(jù)-最小值）/（最大值-最小值）歸一化對離群值很敏感;當(dāng)有新數(shù)據(jù)加入時，可能導(dǎo)致max和min值發(fā)生較大變化。歸一化會改變數(shù)據(jù)的原始距離、分布，使得歸一化后的數(shù)據(jù)分布呈現(xiàn)類圓形。優(yōu)點(diǎn)是歸一化后，最優(yōu)解的尋找過程會變得更平緩，更容易正確地收斂到最優(yōu)解。常用于圖像處理、神經(jīng)網(wǎng)絡(luò)算法中。6.1.7數(shù)據(jù)預(yù)處理（2）z-score標(biāo)準(zhǔn)化函數(shù)StandardScaler()（規(guī)范化）新數(shù)據(jù)=（原數(shù)據(jù)-均值）/標(biāo)準(zhǔn)差如果數(shù)據(jù)服從正態(tài)分布，采用之。當(dāng)不確定采用哪種方法時，就用之。常用于聚類分析、主成分分析。(3)正則化函數(shù)Normalizer()正則化的主要思想：對每個樣本計算其p-范數(shù)，然后對該樣本中每個元素除以該范數(shù)。正則化在邏輯回歸、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)中經(jīng)常使用。(4)二值化函數(shù)binarizer()6.1.8Sklearn中的模型種類x1x2x1x1*x2*x2x1*回歸：梯度下降回歸（SGD）、Lasso回歸、嶺回歸等。分類：樸素貝葉斯、K近鄰算法（KNN）、支持向量機(jī)（SVM）、決策樹和隨機(jī)森林、邏輯回歸等。聚類：k均值（K-means）、層次聚類、DBSCAN。降維：主成分分析（PCA）、線性判別分析（LDA）。矩陣的主成分就是其協(xié)方差矩陣對應(yīng)的特征向量，按照對應(yīng)的特征值大小進(jìn)行排序，最大的特征值就是第一主成分，其次是第二主成分，以此類推。估計器(Estimator)其實(shí)就是模型，它用于對數(shù)據(jù)的預(yù)測或回歸。fit(X,y)：傳入數(shù)據(jù)（X）以及標(biāo)簽（y）即可訓(xùn)練模型，對于無監(jiān)督學(xué)習(xí)，調(diào)用方法是fit(X)。score(x,y)：用于對模型的正確率進(jìn)行評分（分?jǐn)?shù)范圍是0-1）。predict(x)：用于對數(shù)據(jù)的預(yù)測，它接受輸入，并輸出預(yù)測標(biāo)簽，輸出結(jié)果的格式為numpy數(shù)組。估計器（Estimator）轉(zhuǎn)化器(Transformer)用于對數(shù)據(jù)的處理，例如標(biāo)準(zhǔn)化、降維以及特征選擇等。轉(zhuǎn)化器具有以下方法：fit(x,y)：該方法接受輸入和標(biāo)簽，計算出數(shù)據(jù)變換的方式。transform(x)：根據(jù)已經(jīng)計算出的變換方式，返回對輸入數(shù)據(jù)x變換后的結(jié)果（不改變x）fit_transform(x,y):該方法在計算出數(shù)據(jù)變換方式之后對輸入x就地轉(zhuǎn)換。轉(zhuǎn)化器(Transformer)6.2多元線性回歸回歸分析是一種針對連續(xù)型數(shù)據(jù)進(jìn)行預(yù)測方法，目的在于分析兩個或多個變量之間是否相關(guān)以及相關(guān)方向和強(qiáng)度。回歸分析解決的問題：確定是否存在相關(guān)關(guān)系，預(yù)測或控制及能達(dá)到的精度，因素分析。6.2.1導(dǎo)入數(shù)據(jù)分析建筑物的供熱負(fù)荷和制冷負(fù)荷要求（即能源效率）與建筑參數(shù)的關(guān)系。Enb=pd.read_excel("ENB2012_data.xlsx")print(Enb.sample(5))#從數(shù)據(jù)集中隨機(jī)抽取5個樣本X1相對緊湊X2表面積X3墻面積X4屋頂區(qū)域X5總高度X6方向X7玻璃區(qū)域X8玻璃面積分布y1加熱負(fù)載y2冷卻負(fù)荷

/ml/datasets/Energy+efficiency6.2.2查看數(shù)據(jù)##查看數(shù)據(jù)基本信息E()#參數(shù)verbose=None：TrueorFalse，是否顯示所有列的信息X1相對緊湊X2表面積X3墻面積X4屋頂區(qū)域X5總高度X6方向X7玻璃區(qū)域X8玻璃面積分布y1加熱負(fù)載y2冷卻負(fù)荷End.describe()6.2.3相關(guān)系數(shù)熱力圖x

：一維或二維數(shù)組。rowvar

：True（默認(rèn)值）則每一行代表一個變量。否則，每一列代表一個變量，而行包含觀察值。Square：為真，則將軸設(shè)置為“equal”，以便每個單元格都是方形。annot：為真，則在每個單元格中寫入數(shù)據(jù)值。linewidths=0.3,linecolor=“grey”,方格間隙和顏色；cbar_kws：橫向顯示顏色X1-X4和Y1之間有很強(qiáng)相關(guān)性，且X1、X4之間還有很強(qiáng)的相關(guān)性。但由于X6、X8的取值較為離散，所以與Y1的相關(guān)性很小，且X6、X8之間沒有相關(guān)性。分析完熱力圖后，將全部變量（X1-X8）作為自變量，Y1作為因變量進(jìn)行多元線性回歸分析模型的建立。6.2.4簡單線性回歸使用"Y1~X1+X2+X3+X4+X5+X6+X7+X8"定義了回歸模型的形式，并使用smf.ols()建立了回歸模型，用fit方法擬合了數(shù)據(jù)集Enb，最后使用print(lm.summary())輸出模型的結(jié)果，3行代碼就完成了模型的建立和求解。

R-squared：可決系數(shù)，用于度量因變量的變異中可由自變量解釋部分所占的比例，以此來判斷統(tǒng)計模型的解釋力，越接近1說明對y的解釋能力越強(qiáng)。Adj.R-squared:如果添加新的變量，調(diào)整R方變小，該變量多余；變大，有用。F-statistic：衡量擬合的顯著性的重要程度。值越大越好。Prob(F-statistic)：<α?xí)r，表示拒絕原假設(shè)，即認(rèn)為模型顯著。（1）模型的顯著性檢驗(yàn)?zāi)Ｐ偷娘@著性檢驗(yàn)主要是F檢驗(yàn)。在statsmodels的輸出結(jié)果中，會輸出F-statistic值和Prob(F-statistic)，如果Prob(F-statistic)<0.05，則說明在置信度為95%時，可以認(rèn)為回歸模型是成立的。如果Prob(F-statistic)>0.1，說明回歸模型整體上沒有通過顯著性檢驗(yàn)，需要進(jìn)一步調(diào)整。（2）R-squared稱為決定系數(shù)（R^2），用于度量因變量的變異中可由自變量解釋部分所占的比例，以此來判斷統(tǒng)計模型的解釋力，取值范圍為[0,1]，取值越接近1，說明回歸模型的模擬程度越好。此外，Adj.R-squared表示調(diào)整的決定系數(shù)。（3）AIC和BIC：均是評估統(tǒng)計模型的復(fù)雜度和衡量統(tǒng)計模型擬合優(yōu)良性的標(biāo)準(zhǔn)。AIC：赤池信息量準(zhǔn)則，建立在熵的概念基礎(chǔ)上，假設(shè)模型的誤差服從獨(dú)立正態(tài)分布。由日本統(tǒng)計學(xué)家赤池弘次創(chuàng)立。AIC=(2k-2L)/n。k是所擬合模型中參數(shù)的數(shù)量，L是對數(shù)似然值,n是觀測值數(shù)目。k小意味著模型簡潔，L大意味著模型精確。L=-(n/2)ln(2pi)-(n/2)*ln(sse/n)-n/2，其中sse為殘差平方和，L主要取決于殘差平方和。模型差異主要體現(xiàn)在似然函數(shù)項(xiàng)-2ln(L)，當(dāng)似然函數(shù)差異不顯著時，隨著模型中參數(shù)個數(shù)增加，2k增大，AIC增大，從而參數(shù)個數(shù)少的模型是較好的選擇。AIC越小，模型越好，通常選擇AIC最小的模型。BIC=-2ln(L)+ln(n)*k。BIC的懲罰項(xiàng)比AIC的大，樣本數(shù)量過多時，可有效防止模型精度過高造成的模型復(fù)雜度過高。AIC是從預(yù)測角度選擇好的模型，BIC是從擬合角度選擇對現(xiàn)有數(shù)據(jù)擬合最好的模型。（4）系數(shù)顯著性檢驗(yàn)：t檢驗(yàn)。如果相應(yīng)的P值<0.05(0.1)，說明該系數(shù)在置信度為95%（90%）水平下，系數(shù)是顯著的。如果系數(shù)不顯著，說明對應(yīng)的變量不能添加到模型中，需要對變量進(jìn)行篩選，重新建立回歸模型。

（6）條件數(shù)Cond.No:是衡量輸入?yún)?shù)的微小變化對輸出值的影響矩陣A的條件數(shù)等于A的范數(shù)與A的逆的范數(shù)的乘積，即cond(A)=‖A‖·‖A的逆‖。Cond.No.<100，說明共線性程度小；如果100<Cond.No.<1000，則存在較多的多重共線性；如果Cond.No.>1000，則存在嚴(yán)重的多重共線性。[1]標(biāo)準(zhǔn)誤差假設(shè)誤差指定為誤差的協(xié)方差矩陣。[2]最小的特征值為3.81e-24。這可能表明存在強(qiáng)烈的多重共線性問題或數(shù)據(jù)矩陣是奇異的。核心代碼歸納6.2.5逐步回歸逐步回歸可以自動對眾多的自變量進(jìn)行篩選，挑選出那些對因變量影響較大、較重要的自變量，而對因變量影響很小或者沒有影響的變量則剔除。針對那些影響小的自變量可以簡單的認(rèn)為它是一種噪聲或者干擾，它們的存在并沒有提高模型的精度和可解釋性，反而會使模型變得更加不穩(wěn)定，預(yù)測效果更差，所以需要剔除它們來增加模型的穩(wěn)定性。逐步回歸也是解決模型具有多重共線性的一種辦法。比如：自變量之間具有很強(qiáng)的線性關(guān)系，可以使用逐步回歸通過剔除多余的自變量，來緩解甚至解決多重共線性問題。該方法就是針對所有的自變量組合進(jìn)行回歸分析，輸出Bic值、Aic值、條件數(shù)Cond.No.和R-squared，然后再選擇合適的模型。可以發(fā)現(xiàn)bic最小的回歸方程只用到了(X1,X4,X5,X7,X8)5個自變量，并且R2

＝0.9157，并且條件數(shù)下降到7622，接下來使用5個自變量進(jìn)行多元回歸分析。variablebicaicCondR_squared194(X1,X4,X5,X7,X8)3869384176220.915722118(X1,X4,X5,X7)3871384776170.914785230(X1,X2,X4,X5,X7,X8)387138381428810.916195235(X1,X3,X4,X5,X7,X8)38713838746340.916195226(X1,X2,X3,X5,X7,X8)38713838.1525000.916195選定變量formula=“Y1~X1+X4+X5+X7+X8“#選定變量lm=smf.ols(formula,Enb).fit()print(lm.summary())回歸模型中R-squared=0.916非常接近1，說明該模型對原始數(shù)據(jù)擬合得較好。并且F檢驗(yàn)的P值Prob(F-statistic)遠(yuǎn)小于0.05，說明該模型是顯著的。所有系數(shù)的P值均小于0.05，說明所有自變量都是顯著的。條件數(shù)為7620，相對來說大幅度減小，說明多重共線性問題得到了很好的解決。模型為：Y1=45.45–43.87*X1–0.11*X4+4.16*X5+19.93*X7+0.20*X86.2.6擬合分析2.08538946445264056.3Lasso回歸分析6.3.1導(dǎo)入數(shù)據(jù)diabete=pd.read_csv(“diabetes.csv”,sep=“\t”)#糖尿病數(shù)據(jù)集print(diabete.sample(5))通過構(gòu)造一個懲罰函數(shù)L1得到較為精煉的模型，使得它壓縮一些系數(shù)，同時設(shè)定一些系數(shù)為零，以達(dá)到同時進(jìn)行變量篩選和復(fù)雜度調(diào)整的目的。無論因變量是連續(xù)的還是離散的，都可以使用Lasso回歸建立模型然后進(jìn)行預(yù)測，或者找到對因變量影響大的自變量。6.3.2相關(guān)性分析datacor=np.corrcoef(diabete,rowvar=0)datacor=pd.DataFrame(data=datacor,columns=diabete.columns,index=diabete.columns)##熱力圖可視化相關(guān)系數(shù)plt.figure(figsize=(8,8))ax=sns.heatmap(datacor,square=True,annot=True,fmt=".3f",linewidths=.5,cmap="flag",cbar_kws={"fraction":0.046,"pad":0.03})ax.set_title("數(shù)據(jù)變量相關(guān)性")plt.show()6.3.3定義回歸函數(shù)mean_absolute_error：平均絕對誤差（MAE），用于評估預(yù)測結(jié)果和真實(shí)數(shù)據(jù)的接近程度，其值越小說明擬合效果越好。mean_squared_error：均方差（MSE），擬合數(shù)據(jù)和原始數(shù)據(jù)對應(yīng)樣本點(diǎn)的誤差的平方和的均值，值越小擬合效果越好。r2_score：判定系數(shù)，是解釋回歸模型的方差得分，取值范圍是[0,1]，越接近于1說明自變量越能解釋因變量方差變化。%c讀入一個字符%d讀入十進(jìn)制整數(shù)%s讀入一個字符串，遇空格、制表符或換行符結(jié)束。%f,%F,%e,%E,%g,%G用來輸入實(shí)數(shù)。alphar2_scoremaeAGESEXBMIBPS1S2S3S4S5S60.63160.30993750.03840.038062-9.83873.7281580.7873160.005727-0.0422-0.63065.35402231.53080.4603361.15790.2877651.18850.082251-5.98063.0283220.6582320.028417-0.0077-0.55215.04432225.490170.4542490.42100.31913749.265750.004488-12.3784.1300380.858668-0.0130-0.0613-0.66735.413235.32860.4452690.21050.32652248.6016-0.047379-15.96824.649480.948534-0.0531-0.0732-0.69955.31777741.07110.402931.26310.28373551.35980.08722-5.46592.9224030.6380810.031031-0.0029-0.53874.97483724.61140.449945顏色可用元組表示，元組由4各元素組成(R,G,B,A)，每個元素范圍在[0,1]之間.6.3.6擬合模型Logistic回歸模型的適用條件因變量為二分類的分類數(shù)值型變量。殘差和因變量都要服從二項(xiàng)分布。自變量和Logistic概率是線性關(guān)系各觀測對象間相互獨(dú)立。6.4.1導(dǎo)入數(shù)據(jù)fromsklearn.linear_modelimportLogisticRegressioncredit=pd.read_excel("defaultofcreditcardclients.xls")23個自變量、1個二分類因變量Y，其中1代表還款，0代表未還款。共計30000個樣本。6.4Logistic回歸分析#6636個不違約，其余的違約print(credit["Y"].sum())響應(yīng)函數(shù)6.4.2數(shù)據(jù)集切分trainx=['X1','X2','X3','X4','X5','X6','X7','X8','X9','X10','X11','X12’,'X13','X14','X15','X16','X17','X18','X19','X20','X21','X22','X23']Target=["Y"]##將訓(xùn)練集切分為訓(xùn)練集和驗(yàn)證集traindata_x,valdata_x,traindata_y,valdata_y=train_test_split(credit[trainx],credit[Target],test_size=0.25,random_state=1)print(traindata_x.sample(5))print(traindata_y.sum())定義好自變量trainx和因變量Target，用train_test_split函數(shù)將25%的數(shù)據(jù)集作為測試，剩余的數(shù)據(jù)作為訓(xùn)練集。使用函數(shù)LogisticRegression(penalty="l2")定義logistic回歸模型。啟用參數(shù)penalty="l2"代表模型使用L2范數(shù)來約束自變量。這里的L2范數(shù)和Lasso回歸中的懲罰函數(shù)一樣，都有對變量進(jìn)行控制的作用，以防止回歸模型的過擬合。最后使用metrics.classification_report()函數(shù)輸出模型在測試集上的預(yù)測報告。6.4.3模型訓(xùn)練clf_l2_LR=LogisticRegression(penalty="l2")clf_l2_LR.fit(traindata_x,traindata_y)pre_y=clf_l2_LR.predict(valdata_x)print(metrics.classification_report(valdata_y,pre_y))classification_report函數(shù)用于顯示主要分類指標(biāo)的文本報告,在報告中顯示每個類的精確度，召回率，F(xiàn)1值等信息。主要參數(shù):valdata_y

：1維數(shù)組，或標(biāo)簽指示器數(shù)組/稀疏矩陣，目標(biāo)值。pre_y

：1維數(shù)組，或標(biāo)簽指示器數(shù)組/稀疏矩陣，分類器返回的估計值。labels：array，shape=[n_labels]，報表中包含的標(biāo)簽索引的可選列表。target_names：字符串列表，與標(biāo)簽匹配的可選顯示名稱（相同順序）。sample_weight：類似于shape=[n_samples]的數(shù)組，可選項(xiàng)，樣本權(quán)重。digits：int，輸出浮點(diǎn)值的位數(shù)．fromsklearn.metricsimportclassification_reportlabel={0:'科技',1:'體育',2:'社會',3:'娛樂',4:'股票'}y_true=[0,3,2,2,1,1,4,3,2,4,1,0,0]y_pred=[0,3,1,2,1,2,4,3,2,2,1,3,0]print(classification_report(y_true,y_pred,target_names=['科技','體育','社會','娛樂','股票']))precision：精確率是針對預(yù)測結(jié)果而言的，它表示預(yù)測為正的樣本中有多少是真正的正樣本。recall：召回率是針對原來的樣本而言的，它表示樣本中的正例有多少被預(yù)測正確了。f1-score：綜合評價指標(biāo)是精確率和召回率的加權(quán)調(diào)和平均，更具有綜合代表性。support：相應(yīng)類別的數(shù)量。weightedavg:帶權(quán)重平均，表示類別樣本占總樣本的比重與對應(yīng)指標(biāo)的乘積的累加和，即

precision=1.0*3/13+0.67*3/13+0.5*3/13+0.67*2/13+1.0*2/13=0.76

recall=0.67*3/13+0.67*3/13+0.67*3/13+1.0*2/13+0.5*2/13=0.69

f1-score=0.8*3/13+0.67*3/13+0.57*3/13+0.8*2/13+0.67*2/13=0.70Accuracy:準(zhǔn)確率，也即正確預(yù)測樣本量與總樣本量的比值，即9/13=0.69macroavg:宏平均，表示所有類別對應(yīng)指標(biāo)的平均值，即precision=(1.0+0.67+0.5+0.67+1.0)/5=0.77recall=(0.67+0.67+0.67+1.0+0.5)/5=0.70f1-score=(0.8+0.67+0.57+0.8+0.67)/5=0.70該模型的平均精確率約為0.78，綜合評價指標(biāo)f1-score=0.78，說明模型的效果不錯。下面繪制該模型的ROC曲線并計算AUC以評估模型的效果。為了得到ROC曲線，上面的代碼使用predict_proba方法得到了預(yù)測的概率，并使用metrics.roc_curve()函數(shù)計算出假正例率和真正例率，用metrics.auc()函數(shù)計算出AUC，最后通過繪圖得到ROC曲線。TPR=tp/(tp+fn)：即真正率或靈敏度或召回率或查全率本來為正樣本的樣本被預(yù)測為正樣本的總樣本數(shù)量÷真實(shí)結(jié)果為正樣本的總樣本數(shù)FNR=fn/(tp+fn)=1-TPR：即假負(fù)率本來為正樣本的樣本被預(yù)測為負(fù)樣本的總樣本數(shù)量÷真實(shí)結(jié)果為正樣本的總樣本數(shù)FPR=fp/(fp+tn)：即假正率本來為負(fù)樣本的樣本被預(yù)測為正樣本的總樣本數(shù)量÷真實(shí)結(jié)果為負(fù)樣本的總樣本數(shù)TNR=tn/(fp+tn)=1-FPR：即真負(fù)率或特異度本來為負(fù)樣本的樣本被預(yù)測為負(fù)樣本的總樣本數(shù)量÷真實(shí)結(jié)果為負(fù)樣本的總樣本數(shù)真實(shí)類別1真實(shí)類別0預(yù)測類別1Truepositives(tp)Falsepositives(fp)預(yù)測列表0Falsenegatives(fn)Turenegatives(tn)精確度或查準(zhǔn)率=tp/(tp+fp)準(zhǔn)確得分=(tp+tn)/(tp+fp+fn+tn)y_true=np.array([0,0,0,1,1,0,0,0,1,0])y_score=np.array([0,0,0,1,1,0,0,0,0,0])#y_score是標(biāo)簽數(shù)據(jù)print(metrics.roc_curve(y_true,y_score))threshold：[2,1,0]tpr：[0,0.67,1]fpr：[0,0,1]threshold返回的結(jié)果是y_score內(nèi)的元素去重后‘最大值+1’的值降序排序后組成的數(shù)據(jù),每一個元素作為閾值，數(shù)據(jù)類型是一維數(shù)組。比如y_score=np.array([0,1,2,0,3,1])對應(yīng)的threshold=np.array([4,3,2,1,0])當(dāng)index=0,閾值等于threshold[0]=2。此時，假定y_score中所有大于等于2的元素對應(yīng)index在y_true中的樣本為正樣本，其他為負(fù)樣本，然后與y_true對應(yīng)元素對比組成混淆矩陣，因沒有大于等于2的值，所以TP和FP都為0，tpr[0]=0/3=0,fpr[0]=0/7=0當(dāng)index=1,閾值等于1。假定y_score中所有大于等于1的元素對應(yīng)index在y_true中的樣本為正樣本，其他為負(fù)樣本，因大于等于1的數(shù)有2個，所以TP=2和FP=0,tpr[1]=2/3=0.67,fpr[1]=0/7=0當(dāng)index=2,閾值0。假定y_score中所有大于等于0的元素對應(yīng)index在y_true中的樣本為正樣本，其他為負(fù)樣本，因大于等于0的數(shù)有10個，所以TP=3和FP=7，tpr[2]=3/3=1,fpr[2]=7/7=1y_true=np.array([0,0,1,1])y_score=np.array([0.1,0.4,0.35,0.8])#y_score是概率值fpr,tpr,threshold=roc_curve(y_true,y_score)threshold：[1.8,0.8,0.4,0.35,0.1]tpr：[0.,0.5,0.5,1.,1.]fpr：[0.,0.,0.5,0.5,1.]當(dāng)index=0,閾值等于threshold[0]=1.8。此時，假定y_score中所有大于等于1.8的元素對應(yīng)index在y_true中的樣本為正樣本，其他為負(fù)樣本，因沒有大于等于1.8的值，所以TP和FP都為0，即tpr[0]=0/2=0.0,fpr[0]=0/2=0.0當(dāng)index=1,閾值等于threshold[1]=0.8。此時，假定y_score中所有大于等于1的元素對應(yīng)index在y_true中的樣本為正樣本，其他為負(fù)樣本，因大于等于0.8的數(shù)有1個，剛好y_true中該位置元素值為1，所以TP=1和FP=0，即tpr[1]=1/2=0.5,fpr[1]=0/2=0.0當(dāng)index=2,閾值等于threshold[2]=0.4。此時，假定y_score中所有大于等于0.4的元素對應(yīng)index在y_true中的樣本為正樣本，其他為負(fù)樣本，因大于等于0.4的數(shù)有2個，所以TP=1和FP=1，即tpr[2]=1/2=0.5,fpr[2]=1/2=0.5當(dāng)index=3,閾值等于threshold[3]=0.35。此時，假定y_score中所有大于等于0.35的元素對應(yīng)index在y_true中的樣本為正樣本，其他為負(fù)樣本，因大于等于0.35的數(shù)有3個，所以TP=2和FP=1，即tpr[3]=2/2=1.0,fpr[3]=1/2=0.5當(dāng)index=4,閾值等于threshold[4]=0.1。此時，假定y_score中所有大于等于0.1的元素對應(yīng)index在y_true中的樣本為正樣本，其他為負(fù)樣本，因大于等于0.1的數(shù)有4個，所以TP=2和FP=2，即tpr[4]=2/2=1.0,fpr[4]=2/2=1.06.5.1ARIMA(自回歸綜合移動平均線)步驟根據(jù)時間序列的散點(diǎn)圖、自相關(guān)函數(shù)和偏自相關(guān)函數(shù)圖識別其平穩(wěn)性。對非平穩(wěn)的時間序列數(shù)據(jù)進(jìn)行平穩(wěn)化處理。直到處理后的自相關(guān)函數(shù)和偏自相關(guān)函數(shù)的數(shù)值非顯著非零。根據(jù)所識別出來的特征建立相應(yīng)的時間序列模型。平穩(wěn)化處理后，若偏自相關(guān)函數(shù)是截尾的，而自相關(guān)函數(shù)是拖尾的，則建立AR模型；若偏自相關(guān)函數(shù)是拖尾的，而自相關(guān)函數(shù)是截尾的，則建立MA模型；若偏自相關(guān)函數(shù)和自相關(guān)函數(shù)均是拖尾的，則序列適合ARMA模型。常用的時間序列模型有四種：自回歸模型AR(p)、移動平均模型MA(q)、自回歸移動平均模型ARMA(p,q)、自回歸差分移動平均模型ARIMA(p,d,q),可以說前三種都是ARIMA(p,d,q)模型的特殊形式。參數(shù)估計，檢驗(yàn)是否具有統(tǒng)計意義。假設(shè)檢驗(yàn)，判斷（診斷）殘差序列是否為白噪聲序列。利用已通過檢驗(yàn)的模型進(jìn)行預(yù)測。6.5時間序列預(yù)測6.5.2基本概念平穩(wěn)性：指數(shù)據(jù)的分布在時間上平移時不發(fā)生變化。差分：指將非平穩(wěn)數(shù)據(jù)轉(zhuǎn)換為平穩(wěn)的過程，去除其非恒定的趨勢?！安罘窒藭r間序列水平的變化，消除了趨勢和季節(jié)性，從而穩(wěn)定了時間序列的平均值?！盇R-自回歸：及時地“回顧”過去，分析數(shù)據(jù)中先前的值，并對它們做出假設(shè)。I-表示綜合：當(dāng)應(yīng)用差分步驟時，數(shù)據(jù)是“綜合”的，以消除非平穩(wěn)性。表示原始觀測值的差異，以允許時間序列變得平穩(wěn)，即數(shù)據(jù)值被數(shù)據(jù)值和以前的值之間的差異替換。MA-移動平均線：是將觀測值與應(yīng)用于滯后觀測值的移動平均模型的殘差之間的相關(guān)性合并。Airp=pd.read_csv("AirPassengers.csv",index_col="Month")Airp=Airp.astype("float64",copy=False)##調(diào)整數(shù)據(jù)類型##調(diào)整數(shù)據(jù)索引Airp.index=pd.date_range(start=Airp.index.values[0],periods=Airp.shape[0],freq="MS")print(Airp.head(5))print(Airp.tail(5))##該數(shù)據(jù)集為1949年到1960年的數(shù)據(jù)集Airp.plot(kind="line",figsize=(12,6))plt.grid("on")plt.show()6.5.3導(dǎo)入數(shù)據(jù)6.5.4白噪聲檢驗(yàn)##該檢驗(yàn)用來檢查序列是否為隨機(jī)序列，如果是隨機(jī)序列，那它們的值之間沒有任何關(guān)系。使用LB檢驗(yàn)來檢驗(yàn)序列是否為白噪聲，原假設(shè)為在延遲期數(shù)內(nèi)序列之間相互獨(dú)立。lags=[4,8,12,16,20,24,28,32,36,64,128]LB=sm.stats.diagnostic.acorr_ljungbox(Airp,lags=lags)LB=pd.DataFrame(data=np.array(LB).T,columns=["LBvalue","P-value"])LB["lags"]=lagsprint(LB)LBvalueP-valuelags0427.7386842.817731e-9141709.4844986.496271e-148821036.4819072.682212e-2141231289.0370761.137910e-2641641434.1489075.300473e-2922051606.0838170.000000e+002461732.2797060.000000e+002871792.5230030.000000e+003281866.6250620.000000e+003691960.3288570.000000e+0064105085.2314480.000000e+001286.5.5單位根檢驗(yàn)：檢驗(yàn)序列的平穩(wěn)性dftest=sm.tsa.adfuller(Airp.Passengers,autolag='BIC')print("adf:",dftest[0])print("pvalue:",dftest[1])print("usedlag:",dftest[2])dfoutput=pd.Series(dftest[0:4],index=['TestStatistic','p-value','#LagsUsed','NumberofObservationsUsed’])print(dfoutput)adf:0.815

p-value:0.991

usedlag:13TestStatistic(檢驗(yàn)統(tǒng)計量)0.815

p（值）0.991

#LagsUsed13.NumberofObservationsUsed（使用的觀察次數(shù)）130.從P值>0.05說明我們不可以拒絕原假設(shè)，認(rèn)為序列是不平穩(wěn)的。因?yàn)椴黄椒€(wěn)可以確定參數(shù)i！=06.5.6一階差分處理datadiff=Airp.diff().dropna()print(datadiff.describe())##將時間序列可視化datadiff.plot(kind="line",figsize=(12,6))plt.grid("on")plt.title('diffdata')plt.show()##一階差分后序列的白噪聲檢驗(yàn)：該檢驗(yàn)用來檢查序列是否為隨機(jī)序列，如果是隨機(jī)序列，那它們的值之間沒有任何關(guān)系。使用LB檢驗(yàn)來檢驗(yàn)序列是否為白噪聲，原假設(shè)為在延遲期數(shù)內(nèi)序列之間相互獨(dú)立。lags=[4,8,12,16,20,24,28,32,36,64,128]LB=sm.stats.diagnostic.acorr_ljungbox(datadiff,lags=lags)LB=pd.DataFrame(data=np.array(LB).T,columns=["LBvalue","P-value"])LB["lags"]=lagsprint("差分后序列的白噪聲檢驗(yàn):\