Python數(shù)據(jù)挖掘第四章回分析歸回歸分析基本問題線性回歸模型其他回歸模型目錄01回

歸

分

析基

本

問

題回歸分析是對有相關(guān)關(guān)系的對象，依據(jù)關(guān)系的形態(tài)選擇合適的數(shù)學(xué)模型來近似地表達(dá)變量間平均變化關(guān)系。這個(gè)數(shù)學(xué)模型稱為回歸方程式。

通常選定ζ=η時(shí)η的數(shù)學(xué)期望作為對應(yīng)ζ=η時(shí)η的代表值，因?yàn)樗从肠?x條件下η取值的平均水平。這樣的對應(yīng)關(guān)系稱為回歸關(guān)系。根據(jù)回歸分析可以建立變量間的數(shù)學(xué)表達(dá)式，稱為回歸方程?；貧w方程反映自變量在固定條件下因變量的平均狀態(tài)變化情況。相關(guān)分析是以某一指標(biāo)來度量回歸方程所描述的各個(gè)變量間關(guān)系的密切程度。相關(guān)分析常用回歸分析來補(bǔ)充，二者相輔相成。若通過相關(guān)分析顯示出變量間關(guān)系十分密切，則通過所建立的回歸方程可以獲取相當(dāng)準(zhǔn)確的取值。4.1.1.回歸分析的介紹回歸分析的概念收集數(shù)據(jù)數(shù)據(jù)清理模型評估回歸分析的一般步驟確定模型類型擬合模型推斷和解釋驗(yàn)證和預(yù)測4.1.1.回歸分析的介紹線性回歸假設(shè)自變量和因變量之間存在線性關(guān)系，而非線性回歸則允許更復(fù)雜的函數(shù)形式。線性回歸與非線性回歸簡單回歸只包含一個(gè)自變量，而多元回歸則包含兩個(gè)或更多的自變量簡單回歸與多元回歸參數(shù)回歸假設(shè)自變量和因變量之間的關(guān)系可以用參數(shù)化的數(shù)學(xué)公式表示，而非參數(shù)回歸則不對關(guān)系做具體的函數(shù)形式假設(shè)。參數(shù)回歸與非參數(shù)回歸嶺回歸、Lasso回歸等是一些正則化方法，可以用于處理高維數(shù)據(jù)或存在共線性的情況。嶺回歸、Lasso回歸等回歸分析的分類4.1.2.回歸分析的分類4.1.3.回歸分析發(fā)展史02線

性

回

歸

模

型數(shù)據(jù)回歸模型是數(shù)據(jù)挖掘中常用的一種模型，用于建立輸入變量與輸出變量之間的關(guān)系。它通過分析已知數(shù)據(jù)集中的特征和結(jié)果，來預(yù)測未知數(shù)據(jù)的輸出結(jié)果。具體而言，數(shù)據(jù)回歸模型可以被定義為一個(gè)函數(shù)，將一個(gè)或多個(gè)輸入變量映射到一個(gè)連續(xù)的輸出變量。該函數(shù)可以表示為PPT模板/moban/

Y=f(X)+ε其中Y是輸出變量，X是輸入變量，f是函數(shù)關(guān)系，ε是模型誤差。回歸模型的目標(biāo)是找到最符合已知數(shù)據(jù)集的函數(shù)關(guān)系f，以便能夠準(zhǔn)確地預(yù)測未知數(shù)據(jù)的輸出結(jié)果。4.2.1.模型的相關(guān)概念線性回歸模型的基本公式可以表示為：PPT模板/moban/

其中，y是因變量（輸出變量），x_0,x_1,x_2,...,x_n是自變量（輸入特征），β_0,β_1,β_2,...,β_n是模型的系數(shù)（也稱為權(quán)重或回歸系數(shù)），ε是誤差項(xiàng)，表示模型無法完美擬合真實(shí)數(shù)據(jù)的部分。這個(gè)公式表示了自變量與因變量之間的線性關(guān)系。每個(gè)自變量乘以一個(gè)系數(shù)，然后加上一個(gè)常數(shù)項(xiàng)β_0，最終得到預(yù)測的因變量值y。4.2.1.模型的相關(guān)概念一元線性回歸模型是統(tǒng)計(jì)學(xué)中常用的一種模型，用于描述兩個(gè)變量之間的線性關(guān)系。其數(shù)學(xué)原理公式如下：假設(shè)我們有一組觀測數(shù)據(jù)，包括一個(gè)自變量x和一個(gè)因變量Y。我們希望建立一個(gè)線性模型來描述它們之間的關(guān)系。一元線性回歸模型的數(shù)學(xué)表達(dá)式為：PPT模板/moban/

其中，y是因變量，x是自變量，β?和β?是回歸系數(shù)，ε是誤差項(xiàng)。在回歸分析中，β?表示截距（或稱為常數(shù)項(xiàng)），它表示當(dāng)自變量x為0時(shí)，因變量y的期望值。β_1表示斜率（或稱為回歸系數(shù)），它表示自變量x每變化一個(gè)單位，因變量y的平均變化量。4.2.2.一元線性回歸的定義為了找到最佳的參數(shù)估計(jì)值，通常使用最小二乘法。最小二乘法的思想是通過最小化觀測值與模型預(yù)測值之間的平方差來確定參數(shù)估計(jì)值。具體而言，我們要找到使得誤差平方和最小的β0和β1。具體而言，我們需要計(jì)算出回歸系數(shù)的估計(jì)值β0和β1，使得殘差平方和最小化。估計(jì)值的計(jì)算公式為：PPT模板/moban/

其中，x?和y?分別表示觀測數(shù)據(jù)中的第i個(gè)樣本的自變量和因變量值，x?和?分別表示自變量和因變量的均值。

4.2.2.一元線性回歸的定義在一元線性回歸分析中，判定系數(shù)（也稱為決定系數(shù)）是用來衡量模型對因變量變異性的解釋程度。它表示因變量的變異性有多少能夠被自變量解釋。判定系數(shù)的取值范圍在0到1之間，越接近1表示模型對因變量的解釋能力越強(qiáng)，越接近0表示模型對因變量的解釋能力越弱。判定系數(shù)的計(jì)算公式為：PPT模板/moban/

其中，SSE（SumofSquaresError）表示殘差平方和，即觀測值與模型預(yù)測值之間的差異的平方和；SST（SumofSquaresTotal）表示總平方和，即觀測值與因變量均值之間的差異的平方和。

4.2.2.一元線性回歸的定義多元線性回歸模型是一種廣泛應(yīng)用于統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)中的方法，用于分析多個(gè)自變量與一個(gè)或多個(gè)因變量之間的關(guān)系。它建立在線性回歸模型的基礎(chǔ)上，通過使用多個(gè)自變量來預(yù)測因變量的值。多元線性回歸模型的基本形式可以表示為：PPT模板/moban/

在這個(gè)公式中：Ｙ是因變量，即我們想要預(yù)測或解釋的變量。ｘ是自變量，也就是影響因變量的因素。β_0是截距項(xiàng)，它代表的是當(dāng)所有自變量為零時(shí)因變量的期望值。β_1,β_2,…,β_k是回歸系數(shù)，它們表示各自自變量對因變量的平均影響。?是誤差項(xiàng)，它包括了模型未能捕捉的所有其他因素的影響。4.2.3.多元線性回歸的原理為了估計(jì)模型中的參數(shù)（β_0,β_1,β_2,…,β_k），我們通常使用普通最小二乘法（OLS）。OLS的目標(biāo)是找到一組系數(shù)，使得實(shí)際觀測值與模型預(yù)測值之間的差異（即殘差平方和）最小。具體來說，OLS試圖最小化以下目標(biāo)函數(shù)：PPT模板/moban/

其中ｎ是觀測值的數(shù)量，Y_i是第i個(gè)觀測值的因變量，X_1i,X_2i,…,X_ki是第i個(gè)觀測值的自變量。4.2.3.多元線性回歸的原理在實(shí)際應(yīng)用中，我們通常使用矩陣表示法來簡化計(jì)算。設(shè)X是一個(gè)n×(k+1)的矩陣，其中每一行表示一個(gè)觀測值，每一列表示一個(gè)自變量（包括一個(gè)全為1的列，對應(yīng)截距項(xiàng)β_0）。設(shè)Y是一個(gè)n×1的列向量，表示因變量的觀測值。設(shè)β是一個(gè)(k+1)×1的列向量，表示回歸系數(shù)。那么，多元線性回歸模型可以表示為：PPT模板/moban/

使用OLS估計(jì)回歸系數(shù)β的方法是：

其中β?是回歸系數(shù)的估計(jì)值，〖(X^TX)〗^(-1)是X^TX的逆矩陣，X^T是X的轉(zhuǎn)置矩陣。通過這種方法，我們可以得到回歸系數(shù)的估計(jì)值，從而得到多元線性回歸模型。4.2.3.多元線性回歸的原理4.2.3.多元線性回歸的原理回歸系數(shù)顯著性檢驗(yàn)對于每個(gè)自變量的回歸系數(shù)，可以進(jìn)行t檢驗(yàn)或者F檢驗(yàn)來判斷其是否顯著不等于0。1模型整體顯著性檢驗(yàn)F檢驗(yàn)的原假設(shè)是所有的回歸系數(shù)都等于0，如果p值小于某個(gè)顯著性水平（如0.05），則可以拒絕原假設(shè)，認(rèn)為模型整體是顯著的。2擬合優(yōu)度檢驗(yàn)通過R方或者調(diào)整后的R方來評估模型對數(shù)據(jù)的擬合程度。R方表示因變量的變異程度能夠被自變量解釋的比例，取值范圍在0到1之間，越接近1表示模型對數(shù)據(jù)的擬合越好。3計(jì)算p值的公式可以根據(jù)具體的回歸模型而有所不同。在一元線性回歸模型中，可以使用t檢驗(yàn)來計(jì)算回歸系數(shù)的p值。t檢驗(yàn)的公式如下：PPT模板/moban/

其中，t表示T統(tǒng)計(jì)量，β是回歸系數(shù)的估計(jì)值，β_0是零假設(shè)的回歸系數(shù)，SE(β)是回歸系數(shù)的標(biāo)準(zhǔn)誤差。根據(jù)t的值，可以查找t分布表來獲取對應(yīng)的p值。如果p值小于顯著性水平，就可以拒絕零假設(shè)，認(rèn)為回歸系數(shù)是顯著的。4.2.3.多元線性回歸的原理PPT模板/moban/

在多元線性回歸模型中，可以使用F檢驗(yàn)來計(jì)算整個(gè)回歸模型的顯著性。F檢驗(yàn)的公式如下：

其中，F(xiàn)表示F統(tǒng)計(jì)量，SSR表示回歸平方和，k表示回歸模型中自變量的個(gè)數(shù)，SSE表示殘差平方和，n表示樣本觀測值的個(gè)數(shù)，k+1表示回歸模型中的參數(shù)個(gè)數(shù)（包括截距項(xiàng)）。根據(jù)F的值，可以查找F分布表來獲取對應(yīng)的p值。如果p值小于顯著性水平，就可以拒絕零假設(shè)，認(rèn)為整個(gè)回歸模型是顯著的。4.2.3.多元線性回歸的原理我們通過經(jīng)典數(shù)據(jù)集-波士頓房價(jià)數(shù)據(jù)集來解釋說明模型評估方式。如左下圖所示R方值表示回歸模型的擬合程度，即模型可以解釋目標(biāo)變量的方差的比例。同時(shí)，如右下圖所示在散點(diǎn)圖和回歸線圖中，我們可以看到散點(diǎn)圖展示了房間數(shù)量和房價(jià)之間的關(guān)系。模型整體顯著性檢驗(yàn)案例4.2.3.多元線性回歸的原理在線性回歸分析中，調(diào)整判定系數(shù)（AdjustedR^2）用于評估模型的整體擬合程度，同時(shí)考慮了自變量個(gè)數(shù)對判定系數(shù)的影響。調(diào)整判定系數(shù)的計(jì)算公式如下：擬合優(yōu)度檢驗(yàn)PPT模板/moban/

其中，R^2是判定系數(shù)，n是樣本數(shù)量，k是自變量的個(gè)數(shù)。調(diào)整判定系數(shù)的取值范圍也在0到1之間。與判定系數(shù)相比，調(diào)整判定系數(shù)在自變量個(gè)數(shù)較多時(shí)會(huì)進(jìn)行懲罰，以避免過度擬合（overfitting）的問題。當(dāng)自變量個(gè)數(shù)增加時(shí)，判定系數(shù)會(huì)增加，但可能只是因?yàn)槟Ｐ瓦^度擬合了樣本數(shù)據(jù)，而在新的樣本上的預(yù)測能力可能不佳。調(diào)整判定系數(shù)通過懲罰多余的自變量，更準(zhǔn)確地評估模型對未知數(shù)據(jù)的擬合能力。4.2.3.多元線性回歸的原理使用Python來實(shí)現(xiàn)線性回歸算法，通?？梢越柚粋€(gè)Statsmodels的工具包來實(shí)現(xiàn)。在使用這個(gè)工具包前，使用“pipinstall工具包名”命令下載安裝工具包。Statsmodels是一個(gè)用于擬合統(tǒng)計(jì)模型和進(jìn)行統(tǒng)計(jì)測試的庫。它基于NumPy和SciPy庫，并提供了多種統(tǒng)計(jì)模型的實(shí)現(xiàn)，如線性回歸、廣義線性模型、時(shí)間序列分析等。Statsmodels提供了模型擬合、參數(shù)估計(jì)、模型診斷和模型比較等功能。4.2.4.實(shí)戰(zhàn)準(zhǔn)備03其

他

回

歸模

型假設(shè)我們有一個(gè)數(shù)據(jù)集，包括房屋面積和房屋價(jià)格。我們可以使用這些數(shù)據(jù)來構(gòu)建線性回歸模型，其中房屋面積是自變量（特征），房屋價(jià)格是因變量（目標(biāo)）。分別創(chuàng)建一次、四次和十五次多項(xiàng)式模型。最后繪制真實(shí)模型（綠色曲線）、模型的擬合曲線（紅色曲線）以及訓(xùn)練數(shù)據(jù)點(diǎn)（藍(lán)色散點(diǎn)）。案例4.3.1.Lasso回歸模型4.3.1.Lasso回歸模型L1正則化的定義如下：Lasso回歸原理PPT模板/moban/

其中，J(β)是總的目標(biāo)函數(shù)；L(y,?)是損失函數(shù)，衡量實(shí)際值y和預(yù)測值?之間的差異。其中，α是正則化參數(shù)，用于調(diào)節(jié)正則化的強(qiáng)度；β是模型的參數(shù)。L1正則化的目標(biāo)是最小化損失函數(shù)和正則化項(xiàng)之和：

4.3.1.Lasso回歸模型1)坐標(biāo)軸下降法

參數(shù)求解2)最小角回歸法坐標(biāo)下降法（CoordinateDescent）是一種優(yōu)化算法，用于求解無約束優(yōu)化問題。它即目標(biāo)函數(shù)可以表示為各個(gè)變量的函數(shù)的和。最小角回歸法的基本思想是，在每一步選擇與響應(yīng)變量具有最強(qiáng)相關(guān)性的預(yù)測變量，并沿著與之相關(guān)的方向移動(dòng)。它通過計(jì)算預(yù)測變量與殘差之間的相關(guān)性來確定每一步的移動(dòng)方向和步長。L2正則化，是一種常用的正則化方法，用于控制模型的復(fù)雜度和防止過擬合。它通過在損失函數(shù)中添加模型參數(shù)的平方和作為懲罰項(xiàng)來實(shí)現(xiàn)正則化。L2正則化的數(shù)學(xué)定義如下：PPT模板/moban/

在這個(gè)公式中，RSS表示殘差平方和，即實(shí)際值與預(yù)測值之間的差異的平方和?！?β^2表示所有模型參數(shù)β的平方和。其中，α是正則化強(qiáng)度的超參數(shù)，L2范數(shù)表示模型參數(shù)的平方和。根據(jù)定義，對于一個(gè)線性回歸模型，L2正則化的目標(biāo)函數(shù)可以表示為：

4.3.2.嶺回歸模型L2正則化的作用是通過懲罰模型參數(shù)的平方和，迫使模型選擇較小的系數(shù)來減少模型的復(fù)雜度。較小的系數(shù)意味著模型對訓(xùn)練數(shù)據(jù)中的噪聲更不敏感，從而減少了過擬合的風(fēng)險(xiǎn)。具體來說，在線性回歸中，最小二乘問題的解可以通過以下公式求解：PPT模板/moban/

其中，X是輸入特征矩陣，y是目標(biāo)變量向量，I是單位矩陣。

4.3.2.嶺回歸模型4.3.2.嶺回歸模型嶺跡圖法選擇嶺參數(shù)的一般準(zhǔn)則是：各回歸系數(shù)的嶺估計(jì)基本穩(wěn)定。用最小二乘估計(jì)時(shí)符號不合理的回歸系數(shù)，其嶺估計(jì)的符號變得合理?；貧w系數(shù)沒有不合乎經(jīng)濟(jì)意義的絕對值。殘差平方和增大不太多。參數(shù)求解殘差平方和法嶺估計(jì)在減小均方誤差的同時(shí)增大了殘差平方和，我們希望在嶺回歸的殘差平方和SSE(k)的增加幅度控制在一定范圍內(nèi)，可以給定一個(gè)大于1的C值，要求SSE(k)<CSSE。4.3.3.邏輯回歸模型1)設(shè)置邏輯回歸函數(shù)邏輯回歸假設(shè)決策邊界是一個(gè)超平面，其方程可以表示為：PPT模板/moban/

其中，p(Y=1|X)代表給定輸入x時(shí)，樣本屬于類別1的概率，p(Y=0|X)則表示屬于類別0的概率。其中，w是特征權(quán)重向量，b是偏置項(xiàng)。h(x)代表了線性函數(shù)的輸出。為了將線性函數(shù)的輸出轉(zhuǎn)換為概率值，使用sigmoid函數(shù)（也稱為邏輯函數(shù)）作為激活函數(shù)，公式如下：

2)損失函數(shù)和參數(shù)估計(jì)邏輯回歸模型的參數(shù)估計(jì)是通過最大似然估計(jì)方法來實(shí)現(xiàn)的。通常使用對數(shù)似然損失函數(shù)作為優(yōu)化目標(biāo)，公式如下：PPT模板/moban/

其中，N表示樣本數(shù)量，y_i是樣本的真實(shí)類別標(biāo)簽。參數(shù)w和b的估計(jì)可以通過梯度下降等優(yōu)化算法來求解。目標(biāo)是最小化損失函數(shù)，找到使損失函數(shù)最小的參數(shù)值。4.3.3.邏輯回歸模型1)模型定義設(shè)定輸入特征變量x和輸出目標(biāo)變量y之間的關(guān)系，并假設(shè)它們之間存在線性關(guān)系。使用sigmoid函數(shù)將線性組合的結(jié)果映射到0到1之間的概率范圍內(nèi)，以進(jìn)行二分類預(yù)測。2)目標(biāo)函數(shù)構(gòu)建使用最大似然估計(jì)法來構(gòu)建邏輯回歸模型的目標(biāo)函數(shù)。最大似然估計(jì)法基于給定數(shù)據(jù)條件下的最大概率原則，通過最大化樣本觀測值產(chǎn)生的似然函數(shù)來求解最優(yōu)參數(shù)。構(gòu)建邏輯回歸的對數(shù)似然函數(shù)：PPT模板/moban/

其中，y_i是樣本i的實(shí)際類別（0或1），p_i是樣本i屬于類別1的預(yù)測概率。

4.3.3.邏輯回歸模型3)參數(shù)估計(jì)使用梯度下降法或者其他優(yōu)化算法，最小化對數(shù)似然函數(shù)來估計(jì)模型參數(shù)。梯度下降法通過計(jì)算目標(biāo)函數(shù)對于參數(shù)的偏導(dǎo)數(shù)，不斷迭代調(diào)整參數(shù)值，使得目標(biāo)函數(shù)逐步接近最小值。更新參數(shù)的函數(shù)公式如下：PPT模板/moban/

其中，θ_j表示模型參數(shù)的j維度，α是學(xué)習(xí)率，(?I(θ))/(?θ_j)是對數(shù)似然函數(shù)對參數(shù)θ_j的偏導(dǎo)數(shù)。

4.3.3.邏輯回歸模型1)Lasso回歸fromsklearn.linear_modelimportLasso,LassoCVfromsklearn.preprocessingimportStandardScaler#使用Lasso回歸進(jìn)行特征選擇和預(yù)測lasso=Lasso(alpha=0.1)lasso.fit(X_scaled,y)y_pred=lasso.predict(X_scaled)#交叉驗(yàn)證lasso_cv=LassoCV(cv=5)lasso_cv.fit(X_scaled,y)best_alpha=lasso_cv.alpha_4.3.4.實(shí)戰(zhàn)準(zhǔn)備2)嶺回歸fromsklearn.linear_modelimportRidge,RidgeCVfromsklearn.preprocessingimportStandardScaler#使用嶺回歸進(jìn)行預(yù)測ridge=Ridge(alpha=1.0)ridge.fit(X_scaled,y)y_pred=ridge.predict(X_scaled)4.3.4.實(shí)戰(zhàn)準(zhǔn)備#交叉驗(yàn)證ridge_cv=RidgeCV(