1、回歸分析法概念及原理回歸分析定義：利用數(shù)據(jù)統(tǒng)計(jì)原理，對(duì)大量統(tǒng)計(jì)數(shù)據(jù)進(jìn)行數(shù)學(xué)處理，并確定因變量與某些自變量的相關(guān)關(guān)系，建立一個(gè)相關(guān)性較好的回歸方程（函數(shù)表達(dá)式），并加以外推，用于預(yù)測(cè)今后的因變量的變化的分析方法。分類(lèi)：1. 根據(jù)因變量和自變量的個(gè)數(shù)來(lái)分類(lèi)：一元回歸分析；多元回歸分析；2. 根據(jù)因變量和自變量的函數(shù)表達(dá)式來(lái)分類(lèi)：線(xiàn)性回歸分析；非線(xiàn)性回歸分析；幾點(diǎn)說(shuō)明：1. 通常情況下，線(xiàn)性回歸分析是回歸分析法中最基本的方法，當(dāng)遇到非線(xiàn)性回歸分析時(shí)，可以借助數(shù)學(xué)手段將其化為線(xiàn)性回歸；因此，主要研究線(xiàn)性回歸問(wèn)題，一點(diǎn)線(xiàn)性回歸問(wèn)題得到解決，非線(xiàn)性回歸也就迎刃而解了，例如，取對(duì)數(shù)使得乘法變成加法等；當(dāng)然，

2、有些非線(xiàn)性回歸也可以直接進(jìn)行，如多項(xiàng)式回歸等；2. 在社會(huì)經(jīng)濟(jì)現(xiàn)象中，很難確定因變量和自變量之間的關(guān)系，它們大多是隨機(jī)性的，只有通過(guò)大量統(tǒng)計(jì)觀察才能找出其中的規(guī)律。隨機(jī)分析是利用統(tǒng)計(jì)學(xué)原理來(lái)描述隨機(jī)變量相關(guān)關(guān)系的一種方法；3. 由回歸分析法的定義知道，回歸分析可以簡(jiǎn)單的理解為信息分析與預(yù)測(cè)。信息即統(tǒng)計(jì)數(shù)據(jù)，分析即對(duì)信息進(jìn)行數(shù)學(xué)處理，預(yù)測(cè)就是加以外推，也就是適當(dāng)擴(kuò)大已有自變量取值范圍，并承認(rèn)該回歸方程在該擴(kuò)大的定義域內(nèi)成立，然后就可以在該定義域上取值進(jìn)行“未來(lái)預(yù)測(cè)”。當(dāng)然，還可以對(duì)回歸方程進(jìn)行有效控制；4. 相關(guān)關(guān)系 可以分為確定關(guān)系和不確定關(guān)系。但是不論是確定關(guān)系或者不確定關(guān)系，只要有相關(guān)關(guān)系

3、，都可以選擇一適當(dāng)?shù)臄?shù)學(xué)關(guān)系式，用以說(shuō)明一個(gè)或幾個(gè)變量變動(dòng)時(shí)，另一變量或幾個(gè)變量平均變動(dòng)的情況?；貧w分析主要解決的問(wèn)題：回歸分析主要解決方面的問(wèn)題；1. 確定變量之間是否存在相關(guān)關(guān)系，若存在，則找出數(shù)學(xué)表達(dá)式；2. 根據(jù)一個(gè)或幾個(gè)變量的值，預(yù)測(cè)或控制另一個(gè)或幾個(gè)變量的值，且要估計(jì)這種控制或預(yù)測(cè)可以達(dá)到何種精確度?；貧w模型：回歸分析步驟：1. 根據(jù)自變量與因變量的現(xiàn)有數(shù)據(jù)以及關(guān)系，初步設(shè)定回歸方程；2. 求出合理的回歸系數(shù)；3. 進(jìn)行相關(guān)性檢驗(yàn)，確定相關(guān)系數(shù)； 4. 在符合相關(guān)性要求后，即可根據(jù)已得的回歸方程與具體條件相結(jié)合，來(lái)確定事物的未來(lái)狀況，并計(jì)算預(yù)測(cè)值的置信區(qū)間；回歸分析的有效性和注意事

4、項(xiàng)：有效性：用回歸分析法進(jìn)行預(yù)測(cè)首先要對(duì)各個(gè)自變量做出預(yù)測(cè)。若各個(gè)自變量可以由人工控制或易于預(yù)測(cè)，而且回歸方程也較為符合實(shí)際，則應(yīng)用回歸預(yù)測(cè)是有效的，否則就很難應(yīng)用；注意事項(xiàng)：為使回歸方程較能符合實(shí)際，首先應(yīng)盡可能定性判斷自變量的可能種類(lèi)和個(gè)數(shù)，并在觀察事物發(fā)展規(guī)律的基礎(chǔ)上定性判斷回歸方程的可能類(lèi)型；其次，力求掌握較充分的高質(zhì)量統(tǒng)計(jì)數(shù)據(jù)，再運(yùn)用統(tǒng)計(jì)方法，利用數(shù)學(xué)工具和相關(guān)軟件從定量方面計(jì)算或改進(jìn)定性判斷?；貧w分析中的幾個(gè)常用概念：實(shí)際值：實(shí)際觀測(cè)到的研究對(duì)象特征數(shù)據(jù)值；理論值：根據(jù)實(shí)際值我們可以得到一條傾向線(xiàn)，用數(shù)學(xué)方法擬合這條曲線(xiàn)，可以得到數(shù)學(xué)模型，根據(jù)這個(gè)數(shù)學(xué)模型計(jì)算出來(lái)的、與實(shí)際值相對(duì)應(yīng)

5、的值，稱(chēng)為理論值；預(yù)測(cè)值：實(shí)際上也是根據(jù)數(shù)學(xué)模型計(jì)算出來(lái)的理論值，但它是與未來(lái)對(duì)應(yīng)的理論值。表示符號(hào)：實(shí)際值，用表示；理論值，用表示；預(yù)測(cè)值，用表示。+Unary Linear Regression +一元線(xiàn)性回歸，就是只涉及一個(gè)自變量的回歸；自變量和因變量之間的關(guān)系是線(xiàn)性關(guān)系的回歸；因變量與自變量之間的關(guān)系用一條線(xiàn)性方程來(lái)表示的回歸。方法步驟：1. 確定回歸模型：由于我們研究的是一元線(xiàn)性回歸，因此其回歸模型可表示為：；其中，是因變量；是自變量；是誤差項(xiàng)；和稱(chēng)為模型參數(shù)（回歸系數(shù)）。2. 求出回歸系數(shù)：這里的回歸系數(shù)的求解，就要用一定的方法，使得該系數(shù)應(yīng)用于該方程是“合理的”。最常用的一種方法

6、就是最小二乘估計(jì)法。最小二乘法是測(cè)量工作和科學(xué)實(shí)驗(yàn)中最常用的一種數(shù)據(jù)處理方法，其基本原理是，根據(jù)實(shí)驗(yàn)觀測(cè)得到的自變量x和因變量y之間的一組對(duì)應(yīng)關(guān)系，找出一個(gè)給定類(lèi)型的函數(shù)，使得它所取的值與觀測(cè)值 在某種尺度下最接近，即在各點(diǎn)處的偏差的平方和達(dá)到最小，即。這種方法求的的和將使得擬合直線(xiàn)中的和之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線(xiàn)都小。根據(jù)最小二乘法的要求，可以推導(dǎo)得到最小二乘法的計(jì)算公式： 其中，；相關(guān)性檢驗(yàn)：對(duì)于若干組具體數(shù)據(jù)都可算出回歸系數(shù)，從而得到回歸方程。至于與之間是否真有如回歸模型所描述的關(guān)系，或者說(shuō)用所得的回歸模型去擬合實(shí)際數(shù)據(jù)是否有足夠好的近似，并沒(méi)有得到判明。因此，必須對(duì)回歸模

7、型描述實(shí)際數(shù)據(jù)的近似程度，也即對(duì)所得的回歸模型的可信程度進(jìn)行檢驗(yàn)，稱(chēng)為相關(guān)性檢驗(yàn)。相關(guān)系數(shù)是衡量一組測(cè)量數(shù)據(jù)線(xiàn)性相關(guān)程度的參量，其定義為：,或者值在0|1中。 |越接近于1， 之間線(xiàn)性好；為正，直線(xiàn)斜率為正，稱(chēng)為正相關(guān)；為負(fù)，直線(xiàn)斜率為負(fù)，稱(chēng)為負(fù)相關(guān)。|接近于0，則測(cè)量數(shù)據(jù)點(diǎn)分散或之間為非線(xiàn)性。不論測(cè)量數(shù)據(jù)好壞都能求出，所以我們必須有一種判斷測(cè)量數(shù)據(jù)好壞的方法，用來(lái)判斷什么樣的測(cè)量數(shù)據(jù)不宜擬合，判斷的方法是|時(shí)，測(cè)量數(shù)據(jù)是非線(xiàn)性的稱(chēng)為相關(guān)系數(shù)的起碼值，與測(cè)量次數(shù)有關(guān)，如下表:相關(guān)系數(shù)起碼值31.00090.798150.64140.990100.765160.62350.959110.7351

8、70.60660.917120.708180.59070.874130.684190.57580.834140.661200.561在進(jìn)行一元線(xiàn)性回歸之前應(yīng)先求出值，再與比較，若| ，則具有線(xiàn)性關(guān)系，可求回歸直線(xiàn)；否則反之。置信區(qū)間的確定：當(dāng)確定相關(guān)性后，就可以對(duì)置信區(qū)間進(jìn)行確定，就可以結(jié)合實(shí)際情況，確定事物未來(lái)的狀況了?；貧w分析的最主要的應(yīng)用就在于“預(yù)測(cè)”，而預(yù)測(cè)是不是準(zhǔn)確的，就得有一個(gè)衡量的工具。它就是置信區(qū)間?；蛘邚牧硗庖环矫鎭?lái)說(shuō)，回歸方程是由數(shù)理統(tǒng)計(jì)得出的，它反映的是實(shí)際數(shù)據(jù)的統(tǒng)計(jì)規(guī)律，所以，根據(jù)回歸方程所得的預(yù)測(cè)值只是對(duì)應(yīng)于的單點(diǎn)預(yù)測(cè)估計(jì)值，預(yù)測(cè)值應(yīng)該有一個(gè)置信區(qū)間。這樣來(lái)看，計(jì)算置

9、信區(qū)間就是很有必要的。置信區(qū)間：，其中是的無(wú)偏估計(jì)量，稱(chēng)為剩余方差，稱(chēng)為剩余標(biāo)準(zhǔn)差。注：該表達(dá)式的自由度為是因?yàn)橛?個(gè)限制變量故對(duì)于給定的，值的概率為0.95的置信區(qū)間是：。點(diǎn)擊參看置信區(qū)間的確定內(nèi)容。+Example+實(shí)驗(yàn)數(shù)據(jù)如下表： 城鎮(zhèn)居民家庭人均可支配收入城市人均住宅面積城鎮(zhèn)居民家庭人均可支配收入城市人均住宅面積343.46.74838.917.0477.67.25160.317.8739.110.05425.118.71373.913.55854.019.41510.213.76280.020.31700.614.26859.620.82026.614.87702.822.82577

10、.415.28472.223.73496.215.79421.625.04283.016.310493.026.1步驟一：先畫(huà)出散點(diǎn)圖，進(jìn)行觀察：程序如下： clf x=343.4 477.6 739.1 1373.9 1510.2 1700.6 2026.6 2577.4 3496.2 4283.0 4838.9 5160.3 5425.1 5854.0 6280.0 6859.6 7702.8 8472.2 9421.6 0493.0;y=6.7 7.2 10.0 13.5 13.7 14.2 14.8 15.2 15.7 16.3 17.0 17.8 18.7 19.4 20.3 20.

11、8 22.8 23.7 25.0 26.1;plot(x,y,x) xlabel(城鎮(zhèn)居民家庭人均可支配收入) ylabel(城市人均住宅面積)在MATALB中的運(yùn)行結(jié)果：可以看到，除了個(gè)別點(diǎn)除外，基本上所有的點(diǎn)都分布在一條直線(xiàn)的附近。而且自變量只有一個(gè)，因此可以假設(shè)其回歸模型為：；步驟二：求出回歸系數(shù)，過(guò)程根據(jù)最小而乘法的公式計(jì)算；計(jì)算公式為：其中，；編程： n1,n2=size(x); lxx=0; lxy=0 for k=1:n2 lxx=lxx+(x(k)-mean(x)2 lxy=lxy+(x(k)-mean(x)*(y(k)-mean(y) end b=lxy/lxx a=mean

12、(y)-b*mean(x)在MATLAB中的運(yùn)行結(jié)果：求得=0.0017 =9.4866, 故：=9.4866+0.0017為所求。整個(gè)數(shù)據(jù)擬合如下： clf x=343.4 477.6 739.1 1373.9 1510.2 1700.6 2026.6 2577.4 3496.2 4283.0 4838.9 5160.3 5425.1 5854.0 6280.0 6859.6 7702.8 8472.2 9421.6 0493.0;y=6.7 7.2 10.0 13.5 13.7 14.2 14.8 15.2 15.7 16.3 17.0 17.8 18.7 19.4 20.3 20.8 2

13、2.8 23.7 25.0 26.1;plot(x,y,x) xlabel(城鎮(zhèn)居民家庭人均可支配收入) ylabel(城市人均住宅面積) n1,n2=size(x); lxx=0; lxy=0 for k=1:n2 lxx=lxx+(x(k)-mean(x)2 lxy=lxy+(x(k)-mean(x)*(y(k)-mean(y) end b=lxy/lxx a=mean(y)-b*mean(x)n1,n2=size(x); lxx=0; lxy=0 for k=1:n2 lxx=lxx+(x(k)-mean(x)2 lxy=lxy+(x(k)-mean(x)*(y(k)-mean(y) end b=lxy/lxx a=mean(y)-b*mean(x) xx=linspace(0,12000,500) yy=a+b*xx; hold on plot(xx,yy,b-) text(6000,15,FitFunction: y=a+b*x)在MATLAB中運(yùn)行得到擬合圖：步驟三：相關(guān)性檢驗(yàn)；，同理編程計(jì)算出相關(guān)系數(shù)為：=0.24