第6章機(jī)器學(xué)習(xí)與實(shí)現(xiàn)一元線性回歸多元線性回歸線性回歸應(yīng)用舉例一元線性回歸第6章

變量之間的相互關(guān)系，主要有3種：①確定的函數(shù)關(guān)系，y=f(x)。②不確定的統(tǒng)計(jì)相關(guān)關(guān)系，y=f(x)+??。③沒(méi)有關(guān)系，不用分析。比如：引例1：旅游總收入（y），居民平均收入（x）引例2：子女的身高（y），父母的身高（x）引例3：圓的半徑（r），圓的面積（s）一元線性回歸第6章

一元線性回歸模型y為因變量（隨機(jī)變量），x為自變量（確定的變量），

為模型系數(shù)，

每給定一個(gè)x，就得到y(tǒng)的一個(gè)分布。對(duì)回歸模型兩邊取數(shù)學(xué)期望，得到以下回歸方程：回歸方程的估計(jì)形式：一元線性回歸第6章

（1）參數(shù)估計(jì)如何對(duì)這些觀測(cè)值給出最合適的擬合直線呢？使用最小二乘法。其基本思路是真實(shí)觀測(cè)值與預(yù)測(cè)值（均值）總的偏差平方和最小，計(jì)算公式如下：求解以上最優(yōu)化問(wèn)題，即得到：其中最后得到了基于經(jīng)驗(yàn)的回歸方程一元線性回歸第6章

（2）模型評(píng)價(jià)：擬合優(yōu)度（判定系數(shù)），值越大表明直線擬合程度越好。指標(biāo)公式：其中：RSS反映回歸方程解釋原始變量波動(dòng)的比例。多元線性回歸第6章

將一元線性回歸模型推廣為多元線性回歸模型，即自變量為多個(gè)時(shí)：對(duì)于總體的n個(gè)觀測(cè)值，方程組的模型形式：其中

相互獨(dú)立，且矩陣的模型形式為，其中

即為待估計(jì)的向量多元線性回歸第6章

則回歸方程：其一般的形式如下其中

分布為期望值及回歸系數(shù)的估計(jì)的參數(shù)估計(jì)（最小二乘法，過(guò)程略）為擬合優(yōu)度（判定系數(shù)）公式為：線性回歸應(yīng)用舉例第6章

在發(fā)電場(chǎng)中電力輸出（PE）與溫度（AT）、壓力（V）、濕度（AP）、壓強(qiáng)（RH）有關(guān)，相關(guān)測(cè)試數(shù)據(jù)（部分）如表所示ATVAPRHPE8.3440.771010.8490.01480.4823.6458.491011.474.2445.7529.7456.91007.1541.91438.7619.0749.691007.2276.79453.09…………………………需實(shí)現(xiàn)的功能如下：（1）利用線性回歸分析命令，求出PE與AT、V、AP、RH之間的線性回歸關(guān)系式系數(shù)

向量（包括常數(shù)項(xiàng)）和擬合優(yōu)度（判定系數(shù)），并在命令窗口輸出。（2）現(xiàn)有某次測(cè)試數(shù)據(jù)AT=28.4、V=50.6、AP=1011.9、RH=80.54，試預(yù)測(cè)其PE值。線性回歸應(yīng)用舉例第6章

1．讀取數(shù)據(jù)，確定自變量x和因變量yimportpandasaspddata=pd.read_excel('發(fā)電場(chǎng)數(shù)據(jù).xlsx')x=data.iloc[:,0:4].valuesy=data.iloc[:,4].values線性回歸應(yīng)用舉例第6章

（1）導(dǎo)入線性回歸模塊（簡(jiǎn)稱LR）。

fromsklearn.linear_modelimportLinearRegressionasLR（2）利用LR創(chuàng)建線性回歸對(duì)象lr。

lr=LR()（3）調(diào)用lr對(duì)象中的fit()方法，對(duì)數(shù)據(jù)進(jìn)行擬合訓(xùn)練。

lr.fit(x,y)（4）調(diào)用lr對(duì)象中的score()方法，返回其擬合優(yōu)度，觀察線性關(guān)系是否顯著。

Slr=lr.score(x,y)#判定系數(shù)R2（5）取lr對(duì)象中的coef_、intercept_屬性，返回x對(duì)應(yīng)的回歸系數(shù)和回歸系數(shù)常數(shù)項(xiàng)。

c_x=lr.coef_#x對(duì)應(yīng)的回歸系數(shù)

c_b=ercept_#回歸系數(shù)常數(shù)項(xiàng)2.線性回歸分析線性回歸應(yīng)用舉例第5章

（1）可以利用lr對(duì)象中的predict()方法進(jìn)行預(yù)測(cè)。

importnumpyasnp

x1=np.array([28.4,50.6,1011.9,80.54])

x1=x1.reshape(1,4)

R1=lr.predict(x1)（2）也可以利用線性回歸方程式進(jìn)行預(yù)測(cè)，這個(gè)方法需要自行計(jì)算。

r1=x1*c_x

R2=r1.sum()+c_b#計(jì)算預(yù)測(cè)值3．利用線性回歸模型進(jìn)行預(yù)測(cè)執(zhí)行結(jié)果為：x回歸系數(shù)為：[-1.97751311-0.233916420.06208294-0.1580541]回歸系數(shù)常數(shù)項(xiàng)為：454.609274315判定系數(shù)為：0.928696089812樣本預(yù)測(cè)值為：[436.70378447]（3）輸出相關(guān)結(jié)果。