回歸分析山東建筑大學(xué)賀長(zhǎng)偉第1頁(yè)引言

回歸分析是處理極難用一個(gè)準(zhǔn)確方法表示出來(lái)變量之間關(guān)系一個(gè)數(shù)學(xué)方法，它是最慣用數(shù)理統(tǒng)計(jì)方法，能處理預(yù)測(cè)、控制、生產(chǎn)工藝優(yōu)化等問(wèn)題。它在工農(nóng)業(yè)生產(chǎn)和科學(xué)研究各個(gè)領(lǐng)域中都有廣泛應(yīng)用?；貧w分析普通分為線性回歸分析和非線性回歸分析。本節(jié)著重介紹線性回歸分析基本結(jié)論及其在Matlab中對(duì)應(yīng)命令。線性回歸分析是兩類回歸分析中較簡(jiǎn)單一類，也是應(yīng)用較多一類。第2頁(yè)一一元線性回歸分析針對(duì)一組（二維）數(shù)據(jù)（其中互不相同），其最簡(jiǎn)單數(shù)據(jù)擬合形式為尋求直線，使在最小二乘準(zhǔn)則下與全部數(shù)據(jù)點(diǎn)最為靠近。但因?yàn)殡S機(jī)觀察誤差存在，滿足上述數(shù)據(jù)點(diǎn)直線應(yīng)該是(1.1)其中x,y是準(zhǔn)確,是兩個(gè)未知參數(shù)，是均值為零隨機(jī)觀察誤差，含有不可觀察性，能夠合理地假設(shè)這種觀察誤差服從正態(tài)分布。第3頁(yè)于是我們得到一元線性回歸模型為(1.2)其中未知，固定未知參數(shù)稱為回歸系數(shù)，自變量x稱為回歸變量。(1.1)式兩邊同時(shí)取期望得：稱為y對(duì)x回歸直線方程。在該模型下，第i個(gè)觀察值可以看作樣本（這些樣本相互獨(dú)立但不一樣分布,i=1,2,…,n）實(shí)際抽樣值，即樣本值。第4頁(yè)

一元線性回歸分析主要任務(wù)是：a.用試驗(yàn)值（樣本值）對(duì)作點(diǎn)預(yù)計(jì)；b.對(duì)回歸系數(shù)作假設(shè)檢驗(yàn)；c.在處對(duì)y作預(yù)測(cè)，并對(duì)y作區(qū)間預(yù)計(jì)。1、回歸參數(shù)預(yù)計(jì)假設(shè)有n組獨(dú)立觀察值：則由(1.2)有（1.3）第5頁(yè)其中相互獨(dú)立。記稱為偏離真實(shí)直線偏差平方和。由最小二乘法得到預(yù)計(jì)稱為最小二乘預(yù)計(jì)，其中（經(jīng)驗(yàn)）回歸方程為（1.4）第6頁(yè)這么我們得到無(wú)偏預(yù)計(jì)，其中服從正態(tài)分布第7頁(yè)2模型假設(shè)、預(yù)測(cè)、控制1、回歸方程顯著性檢驗(yàn)在實(shí)際問(wèn)題中，因變量y與自變量x之間是否有線性關(guān)系(1.1)只是一個(gè)假設(shè)，在求出回歸方程之后，還必須對(duì)這種回歸方程同實(shí)際觀察數(shù)據(jù)擬合效果進(jìn)行檢驗(yàn)。由(1.1)可知，越大，y隨x改變趨勢(shì)就越顯著；反之，越小，y隨x改變趨勢(shì)就越不顯著。尤其當(dāng)=0時(shí)，則認(rèn)為y與x之間不存在線性關(guān)系，當(dāng)時(shí)，則認(rèn)為y與x之間有線性關(guān)系。所以，問(wèn)題歸結(jié)為對(duì)假設(shè)進(jìn)行檢驗(yàn)。第8頁(yè)假設(shè):被拒絕，則回歸顯著，認(rèn)為y與x之間存在線性關(guān)系，所求線性回歸方程有意義；不然回歸不顯著，y與x關(guān)系不能用一元線性回歸模型來(lái)描述，所得回歸方程也無(wú)意義。此時(shí)，可能有以下幾個(gè)情況：（1）x對(duì)y沒(méi)有顯著影響，此時(shí)應(yīng)丟掉變量x；（2）x對(duì)y有顯著影響，但這種影響不能用線性關(guān)系來(lái)表示，應(yīng)該用非線性回歸；（3）除x之外，還有其它不可忽略變量對(duì)y有顯著影響，從而減弱了x對(duì)y影響。此時(shí)應(yīng)用

多元線性回歸模型。所以，在接收H0同時(shí)，需要深入查明原因方便分別處理。第9頁(yè)檢驗(yàn)方法：（a）F檢驗(yàn)法對(duì)樣本方差進(jìn)行分解，有上式中是由實(shí)際觀察值沒(méi)有落在回歸直線上引發(fā)（不然為零），U是由回歸直線引發(fā)。因此，U越大，就越小，表示y與x線性關(guān)系就越顯著；不然，U越小，就越大，表示y與x線性關(guān)系就越不顯著。這么我們就找到了一個(gè)判別回歸直線擬合程度好壞方法：假如U/s靠近于1，即U/

較大時(shí)，則對(duì)擬合效果感到滿意。第10頁(yè)由F分布有其中r稱為相關(guān)系數(shù)。對(duì)給定顯著水平a，有置信水平為1-a臨界值，從而F檢驗(yàn)法檢驗(yàn)準(zhǔn)則為：當(dāng)時(shí)，拒絕；不然就接收第11頁(yè)（b）t檢驗(yàn)法當(dāng)成立時(shí)，由T分布定義有所以，對(duì)于給定顯著水平a，用T統(tǒng)計(jì)量檢驗(yàn)，有置信水平為1-a臨界值,從而t檢驗(yàn)法檢驗(yàn)準(zhǔn)則為：當(dāng)時(shí)，拒絕；不然就接收第12頁(yè)2、預(yù)測(cè)與控制當(dāng)檢驗(yàn)結(jié)果拒絕了:，接下來(lái)問(wèn)題是如何利用回歸方程

進(jìn)行預(yù)測(cè)和控制。預(yù)測(cè)就是對(duì)固定x值預(yù)測(cè)對(duì)應(yīng)y值，控制就是通過(guò)控制x值，方便把y值控制在制訂范圍內(nèi)。(a)預(yù)測(cè)設(shè)y與x滿足模型(1.2)。令

表示x某個(gè)固定值，且假設(shè)相互獨(dú)立，則預(yù)測(cè)值和預(yù)測(cè)區(qū)間以下。第13頁(yè)y預(yù)測(cè)值為回歸值。它是

無(wú)偏預(yù)計(jì)，即給定顯著水平，置信水平為1-預(yù)測(cè)區(qū)間為，其中由上式可知，剩下標(biāo)準(zhǔn)差越小，預(yù)測(cè)區(qū)間越小，預(yù)測(cè)值越準(zhǔn)確；對(duì)于給定樣本觀察值和置信水平而言，越靠近時(shí)，預(yù)測(cè)精度就越高。第14頁(yè)(b)控制若要值以1-概率落在指定區(qū)間(c,d)之內(nèi)，變量x應(yīng)控制在什么范圍內(nèi)問(wèn)題就是所謂控制問(wèn)題。它是預(yù)測(cè)問(wèn)題反問(wèn)題。只要控制x滿足以下兩不等式這要求若方程分別有解a,b，則(a,b)就是所求x控制區(qū)間。第15頁(yè)二可線性化一元非線性回歸（曲線回歸）在工程技術(shù)中，自變量x與因變量y之間有時(shí)展現(xiàn)出非線性（或曲線）關(guān)系，這是通常出現(xiàn)兩種情況：一個(gè)是展現(xiàn)多項(xiàng)式關(guān)系，這種情況經(jīng)過(guò)變量替換可化為多元線性回歸問(wèn)題給予處理；另一個(gè)是展現(xiàn)出其它非線性關(guān)系，經(jīng)過(guò)變量替換可化為一元線性回歸問(wèn)題給予處理。若匹配曲線（經(jīng)驗(yàn)公式）為含參量a,b非線性曲線，采取方法是經(jīng)過(guò)變量替換把非線性回歸化為線性回歸。通常匹配含參量a,b非線性曲線有以下六類，詳細(xì)替換方法以下：第16頁(yè)1雙曲線作變量替換

得2冪函數(shù)曲線兩邊取慣用對(duì)數(shù)：，再作代換則冪函數(shù)曲線方程就變成直線方程注：對(duì)于非線性回歸問(wèn)題Matlab實(shí)現(xiàn)問(wèn)題，一個(gè)方法是化為對(duì)應(yīng)線性模型實(shí)現(xiàn)，另種方法是直接應(yīng)用Matlab中對(duì)應(yīng)命令，其結(jié)果是一致。第17頁(yè)三多元線性回歸分析普通地，在實(shí)際問(wèn)題中影響應(yīng)變量y自變量往往不止一個(gè)，不妨設(shè)有k個(gè)為。通過(guò)觀察得到一組（k+1維）相互獨(dú)立試驗(yàn)觀察數(shù)據(jù)，其中n>k+1。假設(shè)變量y與變量之間有線性關(guān)系：(1.5)其中是隨機(jī)變量，普通假設(shè)則觀察數(shù)據(jù)滿足

(1.6)第18頁(yè)其中互不相關(guān)且均是與同分布隨機(jī)變量。令則(1.6)可簡(jiǎn)寫(xiě)為其中X為已知n*(k+1)矩陣，稱為回歸設(shè)計(jì)矩陣或資料矩陣，Y是n維觀察值列向量，為k+1維未知列向量，是滿足

n維隨機(jī)列向量.第19頁(yè)普通稱

(1.7)為k線性回歸模型（高斯—馬爾科夫線性模型）對(duì)(1.7)取數(shù)學(xué)期望得到稱為線性回歸方程。第20頁(yè)對(duì)線性模型所要考慮主要問(wèn)題是：（i）用試驗(yàn)觀察數(shù)據(jù)對(duì)未知參數(shù)做點(diǎn)預(yù)計(jì)和假設(shè)檢驗(yàn)，從而建立因變量y和自變量之間線性關(guān)系；（ii）在處對(duì)y值作預(yù)測(cè)和控制，并對(duì)y作區(qū)間預(yù)計(jì)。本部分總是假設(shè)

n>k+1。

（詳細(xì)方法略）第21頁(yè)四、逐步線性回歸分析逐步線性回歸分析方法就是一個(gè)自動(dòng)從大量可供選擇變量中選擇那些對(duì)建立回歸方程比較主要變量方法，它是在多元線性回歸基礎(chǔ)上派生一個(gè)算法技巧，詳可參閱對(duì)應(yīng)文件。其基本思緒為：從一個(gè)自變量開(kāi)始，視自變量對(duì)y作用顯著程度，從大到小依次逐一引入回歸方程。當(dāng)引入自變量因?yàn)楹竺孀宰兞恳攵兊貌伙@著時(shí)，要將其剔除掉。引入一個(gè)自變量或從回歸方程中剔除一個(gè)自變量，為逐步回歸一步。對(duì)于每一步，都要進(jìn)行y值檢驗(yàn)，以確保每次引入新顯著性變量前回歸方程中只包含對(duì)y作用顯著變量。這個(gè)過(guò)程重復(fù)進(jìn)行，直至即無(wú)不顯著變量從回歸方程中剔除，又無(wú)顯著變量可引入回歸方程止。第22頁(yè)五回歸分析Matlab實(shí)現(xiàn)Matlab統(tǒng)計(jì)工具箱中提供了一些回歸分析命令，現(xiàn)介紹以下。1、多元線性回歸多元線性回歸命令是regress，此命令也可用于一元線性回歸。其格式為：（1）確定回歸系數(shù)點(diǎn)預(yù)計(jì)，用命令：b=regress(Y，X)。（2）求回歸系數(shù)點(diǎn)預(yù)計(jì)和區(qū)間預(yù)計(jì)，并檢驗(yàn)回歸模型，用命令：[b，bint，r，rint，stats]=regress(Y，X，alpha)。（3）畫(huà)出殘差及其置信區(qū)間，用命令：rcoplot（r，rint）。第23頁(yè)在上述命令中，各符號(hào)含義為：（i），Y，X定義同本部分前面所述。對(duì)一元線性回歸，在，Y，X中取k=1即可；（ii）alpha為顯著性水平（缺省時(shí)為0.05）；（iii）bint為回歸系數(shù)區(qū)間預(yù)計(jì)；（iv）r與rint分別為殘差及其置信區(qū)間；（v）stats是用于檢驗(yàn)回歸模型統(tǒng)計(jì)量，有三個(gè)數(shù)值，第一個(gè)是，第二個(gè)是F值，第三個(gè)是與F對(duì)應(yīng)概率P。其中與F定義同前，值越大，說(shuō)明回歸方程越顯著，P<a(0.01或0.05)時(shí)拒絕，回歸模型成立。第24頁(yè)例1合金強(qiáng)度y與其中碳含量x有比較親密關(guān)系，今從生產(chǎn)中搜集了一批數(shù)據(jù)以下表。試先擬合一個(gè)函數(shù)y(x)，再用回歸分析對(duì)它進(jìn)行檢驗(yàn)。x0.100.110.120.130.140.150.160.170.18y42.041.545.045.545.047.549.055.050.0解先畫(huà)出散點(diǎn)圖：x=0.10:0.01:0.18;y=[42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0];plot(x,y,'+')可知y與x大致為線性關(guān)系。設(shè)回歸模型為，用regress和rcoplot編程以下：clc,clearx1=[0.10:0.01:0.18];y=[42.0,41.5,45.0,45.5,45.0,47.5,49.0,55.0,50.0];x=[ones(9,1),x1’];[b,bint,r,rint,stats]=regress(y’,x);b,bint,stats,rcoplot(r,rint)第25頁(yè)第26頁(yè)得到b=27.4722137.5000bint=18.685136.259475.7755199.2245stats=0.798527.74690.0012即=27.4722，=137.5000，置信區(qū)[18.6851，36.2594]，置信區(qū)間是[75.7755，199.2245]；R2=0.7985，F(xiàn)=27.7469，p=0.0012?？芍O(shè)回歸模型成立。觀察命令rcoplot(r,rint)所畫(huà)殘差分布，除第8個(gè)數(shù)據(jù)外其余殘差置信區(qū)間均包含零點(diǎn)，第8個(gè)點(diǎn)應(yīng)視為異常點(diǎn)，將其剔除后重新計(jì)算，可得b=30.7280109.3985bint=26.280535.283476.9014141.8955stats=0.918867.85340.0002應(yīng)該用修改后這個(gè)結(jié)果。第27頁(yè)第28頁(yè)2、多元二項(xiàng)式回歸多元二項(xiàng)式回歸可用命令：rstool(x,y,model,alpha)。其中，輸入數(shù)據(jù)x、y分別為n×m矩陣和n維列向量；alpha為顯著性水平（缺省時(shí)為0.05）；model由以下4個(gè)模型中選擇1個(gè)（用字符串輸入，缺省時(shí)為線性模型）：linear（線性）：purequadratic（純二次）：interaction（交叉）：quadratic（完全二次）：第29頁(yè)3、非線性回歸非線性回歸可用命令nlinfit,nlintool,nlparci,nlpredci來(lái)實(shí)現(xiàn)。命令格式以下：回歸：回歸可用命令[beta,r,J]=nlinfit(x,y,model,beta0)或者nlintool(x,y,model,beta0,alpha)來(lái)實(shí)現(xiàn)。其中命令[beta,r,J]=nlinfit(x,y,model,beta0)作用為確定回歸系數(shù)；而命令nlintool(x,y,model,beta0,alpha)產(chǎn)生一個(gè)交互式畫(huà)面，畫(huà)面中有擬合曲線和y置信區(qū)間。經(jīng)過(guò)左下方Export下拉式菜單，能夠輸出回歸系數(shù)等。第30頁(yè)這里輸入數(shù)據(jù)x、y分別為n×m矩陣和n維列