第九章

多元線性回歸與非線性回歸分析

多元線性回歸分析非線性回歸分析EXCEL在相關(guān)與回歸分析中的應(yīng)用如何測定需求函數(shù)2引例：如何測定需求函數(shù)

反映產(chǎn)品需求及其決定因素的數(shù)學(xué)關(guān)系式被稱為需求函數(shù)。根據(jù)經(jīng)濟學(xué)的理論分析,影響某種產(chǎn)品需求量的基本因素有:①產(chǎn)品的價格(P);②消費者的人均收入(M);③消費者的數(shù)量(N);④其他相關(guān)產(chǎn)品的價格(Pr);⑤消費者的偏好(Pe);⑥未來一段時期產(chǎn)品的預(yù)期價格(J)。其數(shù)學(xué)表達式為:Qd=f(P,M,N,Pr,Pe,J)在經(jīng)營管理中,常常需要對產(chǎn)品的市場需求做出正確預(yù)測。因此,有必要根據(jù)實際的統(tǒng)計數(shù)據(jù),對各種因素對需求量的具體影響進行細致的定量分析,估計出具體的需求函數(shù)。影響需求的自變量通常不是一個,而是多個。另外,在許多場合,需求與影響它的自變量之間呈現(xiàn)的是一種非線性關(guān)系,。因此,在本章中,我們將進一步討論多元線性回歸和非線性回歸分析的理論與方法。

第一節(jié)多元線性回歸分析標準的多元線性回歸模型多元線性回歸模型的估計

多元線性回歸模型的檢驗和預(yù)測

復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)一、標準的多元線性回歸模型研究在線性相關(guān)條件下，兩個和兩個以上自變量對一個因變量的數(shù)量變化關(guān)系，稱為多元線性回歸分析，表現(xiàn)這一數(shù)量關(guān)系的數(shù)學(xué)公式，稱為多元線性回歸模型。多元線性回歸模型總體回歸函數(shù)的一般形式如下：

（9.1）多元線性回歸模型的樣本回歸函數(shù)如下

（9.2）

(t＝1,2,…,n)上式中，et是Yt與其估計之間的離差，即殘差。與一元線性回歸分析相類似，為了進行多元線性回歸分析也需要提出一些必要的假定。多元線性回歸分析的標準假定除了包括上一章中已經(jīng)提出的關(guān)于隨機誤差項的假定外，還要追加一條假定。這就是回歸模型所包含的自變量之間不能具有較強的線性關(guān)系，同時樣本容量必須大于所要估計的回歸系數(shù)的個數(shù)即n>k。我們稱這條假定為標準假定6。二、多元線性回歸模型的估計（一）回歸系數(shù)的估計多元線性回歸模型中回歸系數(shù)的估計同樣采用最小二乘法。設(shè)根據(jù)微積分中求極小值的原理，可知殘差平方和Q存在極小值，欲使Q達到最小，Q對的偏導(dǎo)數(shù)必須等于零。將Q對求偏導(dǎo)數(shù)，并令其等于零，加以整理后可得到以下k個方程式：

（9.4）通過求解這一方程組便可以得到。求解多元回歸方程，用矩陣形式來表達較為簡便（這里給出的矩陣形式具有一般性，一元線性回歸模型也同樣適用。對于尚未學(xué)過矩陣代數(shù)的讀者,可不必掌握這一部分內(nèi)容。）記

則總體回歸函數(shù)(9.1)

式可以寫為：

Y＝XB＋U（9.5）樣本回歸函數(shù)(9.2)式可以寫為：（9.6）標準方程組可以寫為：（9.7）

式中X’表示X的轉(zhuǎn)置矩陣。(X’X)是一個k×k的對稱矩陣根據(jù)標準假定6，(k-1)個自變量之間不存在高度線性相關(guān)，其逆矩陣存在。在上式兩邊同時左乘(X’X)-1，可以得到：

（9.8）

上式是回歸系數(shù)最小二乘估計的一般形式。（二）總體方差的估計多元線性回歸模型中的

2也是利用殘差平方和除以其自由度來估計的。即有：（9.9） 式中，n是樣本觀測值的個數(shù)；k是方程中回歸系數(shù)的個數(shù)；可以證明，S2是

2的無偏估計。S2的正平方根S又叫做回歸估計的標準誤差。在編制計算機程序時，殘差平方和一般利用以下公式計算：

（9.10） 式中Y是因變量樣本觀測值向量；X是自變量樣本觀測值矩陣；是回歸系數(shù)估計值向量的轉(zhuǎn)置向量。（三）最小二乘估計量的性質(zhì)在標準多元線性回歸模型中，高斯定理同樣成立。

三、多元線性回歸模型的檢驗和預(yù)測（一）擬合程度的評價利用R2來評價多元線性回歸方程的擬合程度，必須注意以下問題。

（9.13）由決定系數(shù)的定義可知，R2的大小取決于殘差平方和在總離差平方和中所占的比重。在樣本容量一定的條件下，總離差平方和與自變量的個數(shù)無關(guān)，而殘差平方和則會隨著模型中自變量個數(shù)的增加不斷減少，至少不會增加。因此，R2是自變量個數(shù)的非遞減函數(shù)。在一元線性回歸模型中，所有模型包含的變量數(shù)目都相同，如果所使用的樣本容量也一樣，決定系數(shù)便可以直接作為評價擬合程度的尺度。然而在多元線性回歸模型中，各回歸模型所含的變量的數(shù)目未必相同，以R2的大小作為衡量擬合優(yōu)劣的尺度是不合適的。在多元回歸分析中，人們更常用的評價指標是所謂的修正自由度的決定系數(shù)。該指標定義如下：

（9.14） 式中，n是樣本容量；k是模型中回歸系數(shù)的個數(shù)。(n-1)和(n-k)分別是總離差平方和與殘差平方和的自由度。修正自由度的決定系數(shù)具有以下特點：1.。因為k≥1，所以根據(jù)和R2各自的定義式可以得出這一結(jié)論。對于給定的R2值和n值，k值越大越小。在進行回歸分析時，一般總是希望以盡可能少的自變量去達到盡可能高的擬合程度。作為綜合評價這兩方面情況的一項指標顯然比R2更為合適。2.小于1，但未必都大于0。在擬合極差的場合，有可能取負值。（二）顯著性檢驗1.回歸系數(shù)的顯著性檢驗多元回歸中進行這一檢驗的目的主要是為了檢驗與各回歸系數(shù)對應(yīng)的自變量對因變量的影響是否顯著，以便對自變量的取舍做出正確的判斷。一般來說，當發(fā)現(xiàn)某個自變量的影響不顯著時，應(yīng)將其從模型中刪除。這樣才能夠做到以盡可能少的自變量去達到盡可能高的擬合優(yōu)度。多元模型中回歸系數(shù)的檢驗同樣采用t檢驗和P檢驗，其原理和基本步驟與一元回歸模型基本相同，這里不再贅述。下面僅給出回歸系數(shù)顯著性檢驗t統(tǒng)計量的一般計算公式。

j=1,2,…,k

（9.15）

式中，是回歸系數(shù)的估計值，是的標準差的估計值，其按下式計算：

（9.16） 式中，是(X’X)-1的第j個對角線元素，S2是隨機誤差項方差的估計值。上式的t

統(tǒng)計量背后的原假設(shè)是

H0:

j=0，因此t的絕對值越大表明

j為0的可能性越小，即表明相應(yīng)的自變量對因變量的影響是顯著的。2.回歸方程的顯著性檢驗必須在方差分析的基礎(chǔ)上利用F檢驗進行。其步驟如下：（1）假設(shè)總體回歸方程不顯著，即有

H0:

2＝

3

＝……＝

k

＝0（2）進行方差分析，列出回歸方差分析表（見下表）表中，回歸平方和的取值受k個回歸系數(shù)估計值的影響，同時又要服從的約束條件，其自由度是k-1。殘差平方和取決于n個因變量的觀測值，同時又要服從k個正規(guī)方程式的約束，其自由度是n-k

?；貧w平方和與殘差平方和各除以自身的自由度得到的是樣本方差?；貧w模型方差分析表離差名稱平方和自由度方差回歸平方和

k-1SSR/(k-1)殘差平方和n-kSSE/(n-k)總離差平方和n-1（3）根據(jù)方差分析的結(jié)果求Ｆ統(tǒng)計量，即 數(shù)學(xué)上可以證明，在隨機誤差項服從正態(tài)分布同時原假設(shè)成立的條件下，F(xiàn)服從于自由度為(k-1)和(n-k)的F分布。（4）根據(jù)自由度和給定的顯著性水平，查F分布表中的理論臨界值F

。當F>F

時，拒絕原假設(shè)，即認為總體回歸函數(shù)中各自變量與因變量的線性回歸關(guān)系顯著。當F<F

時，接受原假設(shè)，即認為總體回歸函數(shù)中，自變量與因變量的線性關(guān)系不顯著，所建立的回歸模型沒有意義。（三）多元線性回歸預(yù)測在通過各種檢驗的基礎(chǔ)上，多元線性回歸模型可以用于預(yù)測。多元線性回歸預(yù)測與一元線性回歸預(yù)測的原理是一致的，其基本公式如下：式中，Xjf(j=2,3,…,k)是給定的Xj在預(yù)測期的具體數(shù)值；

是估計的樣本回歸系數(shù)；是Xj給定時Y的預(yù)測值。該方程的矩陣形式為：

式中：多元線性回歸預(yù)測標準誤差的計算公式如下： 式中，S是回歸方程估計的標準誤差。多元線性回歸預(yù)測Yf的(1-)的置信區(qū)間可由下式給出： 式中，t/2是顯著水平為的t分布雙側(cè)臨界值。例9-1.docx

（9.21）±tα／2四、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)（一）復(fù)相關(guān)系數(shù)樣本復(fù)相關(guān)系數(shù)（簡稱復(fù)相關(guān)系數(shù)）的定義式如下：實際計算復(fù)相關(guān)系數(shù)時，一般不直接根據(jù)其定義式，而是先計算出決定系數(shù)，然后再求決定系數(shù)的平方根。復(fù)相關(guān)系數(shù)只取正值。因此，復(fù)相關(guān)系數(shù)只是反映一個變量Y與其他多個變量X2,X3,…,Xk之間線性相關(guān)程度的指標，而不能反映其相互之間線性相關(guān)的方向。復(fù)相關(guān)系數(shù)的取值區(qū)間為：0≤R≤1。（二）偏相關(guān)系數(shù)在對其他變量的影響進行控制的條件下，衡量多個變量中某兩個變量的線性相關(guān)程度和方向的指標稱為偏相關(guān)系數(shù)。在多變量的場合，變量之間存在錯綜復(fù)雜的關(guān)系，偏相關(guān)系數(shù)與單相關(guān)系數(shù)在數(shù)值上可能相差很大，有時甚至符號都可能相反。單相關(guān)系數(shù)反映的往往是表面的非本質(zhì)的聯(lián)系，而偏相關(guān)系數(shù)則較能說明現(xiàn)象之間真實的聯(lián)系。例如，一種商品的需求既受收入的影響又受其價格的影響。按照經(jīng)濟學(xué)理論，在一定的收入水平下，該商品的價格越高，商品的需求量就越小。也就是說，需求與價格應(yīng)當是負相關(guān)。在現(xiàn)實經(jīng)濟生活中，由于收入和價格常常都有不斷提高的趨勢，如果不考慮收入對需求的影響，僅僅利用需求和價格的時間序列數(shù)據(jù)去計算單相關(guān)系數(shù)，就有可能得出錯誤結(jié)論。樣本單相關(guān)系數(shù)也可定義為兩個樣本回歸系數(shù)的乘積的開方，即:

上式中r的符號應(yīng)與回歸系數(shù)的符號一致?；貧w系數(shù)為正數(shù)時，r取正值；回歸系數(shù)為負數(shù)時，r取負值。樣本偏相關(guān)系數(shù)也可以按照類似的形式來定義，即偏相關(guān)系數(shù)等于兩個相應(yīng)的偏回歸系數(shù)的幾何平均數(shù)。為簡明起見，下面舉3變量的偏相關(guān)分析為例。設(shè)有3個變量X1、X2和X3。3個變量各自以另兩個變量為自變量擬合的樣本回歸方程如下：利用以上偏回歸系數(shù)，3變量之間偏相關(guān)系數(shù)可定義如下：偏相關(guān)系數(shù)的取值范圍與單相關(guān)系數(shù)一樣也是在-1至+1之間，其符號與相應(yīng)的偏回歸系數(shù)相同。以上偏相關(guān)系數(shù)的定義可以推廣到k個變量的場合。在進行實際的客觀現(xiàn)象的定量分析時，人們所關(guān)心的通常是某一個因變量Y

與多個自變量之間的偏相關(guān)程度。這時若令Y為X1，則Y與各自變量的偏相關(guān)系數(shù)的一般形式可表現(xiàn)為： 式中，是Y對Xj的偏回歸系數(shù)； 是Xj對Y的偏回歸系數(shù)。 表示k個變量情況下Y與Xj的偏相關(guān)系數(shù)，它反映其他變量保持不變時Y與Xj的凈相關(guān)程度?！纠?-2】試根據(jù)例9-1中的數(shù)據(jù)計算Ａ商品需求與價格的單相關(guān)系數(shù)和偏相關(guān)系數(shù)。解：將有關(guān)數(shù)據(jù)代入單相關(guān)系數(shù)的計算公式可得：ｒ13=0.2266

以價格為因變量，收入和需求為自變量，擬合樣本回歸方程，可得

=-0.2571，由例9-1的結(jié)果已知

=-1.7996。將其代入（9.30）式，可得：ｒ13.2＝

－=-0.68由以上計算結(jié)果可知：在本例中需求與價格的單相關(guān)系數(shù)和偏相關(guān)系數(shù)差別很大，甚至連符號也不相同。26－

第二節(jié)非線性相關(guān)與回歸分析非線性回歸分析的意義非線性函數(shù)形式的確定非線性回歸分析模型估計

相關(guān)指數(shù)一、非線性回歸分析的意義在現(xiàn)實生活中，非線性關(guān)系是大量存在的。在許多場合，非線性的回歸函數(shù)比線性回歸函數(shù)更能夠正確地反映客觀現(xiàn)象之間的相互聯(lián)系。非線性回歸分析必須著重解決以下兩個問題：第一、如何確定非線性函數(shù)的具體形式。與線性回歸分析的場合不同，非線性回歸函數(shù)有多種多樣的具體形式，需要根據(jù)所要研究的問題的性質(zhì)并結(jié)合實際的樣本觀測值做出恰當?shù)倪x擇。第二、如何估計函數(shù)中的參數(shù)。非線性回歸分析最常用的方法仍然是最小二乘估計法。但需要根據(jù)函數(shù)的不同類型，作適當?shù)奶幚?。二、非線性函數(shù)形式的確定首先，方程形式應(yīng)與有關(guān)實質(zhì)性科學(xué)的基本理論相一致。例如，采用冪函數(shù)的形式，能夠較好地表現(xiàn)生產(chǎn)函數(shù)；采用多項式方程能夠較好地反映總成本與總產(chǎn)量之間的關(guān)系。其次，方程有較高的擬合程度。因為只有這樣，才能說明回歸方程可以較好地反映現(xiàn)實經(jīng)濟的運行情況。最后，方程的數(shù)學(xué)形式要盡可能簡單。如果幾種形式都能基本符合上述兩項要求，則應(yīng)該選擇其中數(shù)學(xué)形式較簡單的一種。一般來說，數(shù)學(xué)形式越簡單，其可操作性就越強。（一）拋物線函數(shù)

拋物線方程的具體形式為：

Y=a+bX+cX2

式中a、b和c為待定參數(shù)。判斷某種現(xiàn)象是否適合應(yīng)用拋物線，可以利用“差分法”將樣本觀察值按X的大小順序排列，按以下兩式計算X和Y的一階差分△Xt

、△Yt以及Y的二階差分△Y2t

△Xt=Xt–Xt-1;△Yt=Yt–Yt-1

△Y2t=△Yt-△Yt-1

當△Xt接近于一常數(shù)，而△Y2t的絕對值接近于常數(shù)時，Y與X

之間的關(guān)系可以用拋物線方程近似反映。（二）雙曲線函數(shù)

假如Y隨著X的增加而增加（或減少），最初增加（或減少）很快，以后逐漸放慢并趨于穩(wěn)定，則可以選用雙曲線來擬合。雙曲線的方程式是：

Y=a+b(1/X)

（三）冪函數(shù)冪函數(shù)方程的一般形式是：這類函數(shù)的優(yōu)點在于：方程中的參數(shù)可以直接反映因變量Y

對于某一個自變量的彈性。（四）指數(shù)函數(shù)指數(shù)曲線的函數(shù)為：

Y=abx

式中有兩個待定參數(shù)a和b。當a>0,b>1時，曲線隨X值的增加而彎曲上升,趨于+∞；當a>0,0<b<1時，曲線隨X值的增長而彎曲下降趨于0。（五）對數(shù)函數(shù)對數(shù)函數(shù)的方程形式為：

Y=a+blnX

式中，ln表示取自然對數(shù)。對數(shù)函數(shù)的特點是隨著X的增大，X的單位變動對因變量Y的影響效果不斷遞減。（六）Ｓ形曲線函數(shù)邏輯曲線具有以下性質(zhì)。Y是X的非減函數(shù)，開始時隨著X的增加，Y的增長速度也逐漸加快，但是達到一定水平之后，其增長速度又逐漸放慢。最后無論X如何增加，Y只會趨近于L,而永遠不會超過L。由于邏輯曲線的這一特點，它常被用來表現(xiàn)耐用消費品普及率的變化。（七）多項式方程多項式方程在非線性回歸分析中占有重要的地位。因為根據(jù)級數(shù)展開的原理，任何曲線、曲面、超曲面問題，在一定的范圍內(nèi)都能用多項式任意逼近。當變量之間的確實關(guān)系未知時，可以用適當冪次的多項式來近似反映。一元多項式三、非線性回歸模型估計（一）倒數(shù)變換

倒數(shù)變換是用新的變量來替換原模型中變量的倒數(shù)，從而使原模型變成線性模型的一種方法。例如，對于雙曲線函數(shù)，令X*=1/X代入原方程式，可有：Y=a+bX*。（二）半對數(shù)變換這種方法主要應(yīng)用于對數(shù)函數(shù)的線性變換。對于對數(shù)函數(shù)，令X*=lnX，代入原方程，同樣可得：Y=a+bX*。（三）雙對數(shù)變換這種方法通過用新變量替換原模型中變量的對數(shù)，從而使原模型變換為線性模型。如對冪函數(shù)的兩邊求對數(shù)，可得：

lnY=lna+b1lnX1+b2lnX2+…+bklnXk

令Y*=lnY;b0=lna;X1*=lnX1,…,Xk*=lnXk,代入上式可得：

Y*=b0+b1X1*+b2X2*+…+bkXk*

（四）多項式變換這種方法適用于多項式方程的變換。例如，對于二元二次多項式，可令X2*=X1,X3*=X2,X4*=X1X2,X5*=X12,X6*=X22，代入方程，得：Y=b1+b2X2*+b3X3*+b4X4*+b5X5*+b6X6*

實際應(yīng)用時要注意以下幾個問題：一些比較復(fù)雜的非線性函數(shù)，要綜合利用各種方法。

為了能夠根據(jù)樣本觀測值，對通過變換得到的線性回歸方程式進行估計，該方程中的所有變量都不允許包含未知的參數(shù)。

在以上的討論中，為敘述方便，省略了非線性回歸函數(shù)中包含的隨機誤差項。但與線性回歸分析的場合一樣，非線性回歸分析也要考慮隨機誤差項的問題。

嚴格地說，上述各種線性變換方法只是適用于變量為非線性的函數(shù)。

并不是所有的非線性函數(shù)都可以通過變換得到與原方程完全等價的線性方程。例9-3.docx四、相關(guān)指數(shù)變量之間非線性相關(guān)的強弱，難以用單相關(guān)系數(shù)去判斷。這種場合，可利用相關(guān)指數(shù)作為判斷變量之間是否存在某種類型的非線性相關(guān)的尺度。所謂相關(guān)指數(shù)，也就是對非線性回歸模型進行擬合時所得到的決定系數(shù)。【例9-4】假設(shè)變量Y與變量X的樣本觀測值如下：。X0123456Y9521259.2

試計算Y與X的單相關(guān)系數(shù)和以Y為因變量、X為自變量的拋物線方程的相關(guān)指數(shù)，判斷Y與X之間是否存在某種相關(guān)關(guān)系？解：利用求單相關(guān)系數(shù)的公式可得：Y與X的單相關(guān)系數(shù)

rxy＝0.0138,可以認為兩者之間線性關(guān)系很不密切。但是，擬合拋物線方程可得：

Y=15.3714-7.1214X+0.8928X2R2=0.99702F=669.77

可以認為Y與X之間存在非常顯著的拋物線形式的相關(guān)關(guān)系。第三節(jié)Excel在相關(guān)與回歸分析中的應(yīng)用輸入數(shù)據(jù)相關(guān)圖的繪制線性回歸分析單相關(guān)系數(shù)和偏相關(guān)系數(shù)的計算預(yù)測擬合冪函數(shù)形式的需求函數(shù)一、輸入數(shù)據(jù)這里我們用例9-1的資料演示相關(guān)圖、線性回歸分析、單相關(guān)系數(shù)和偏相關(guān)系數(shù)的計算、預(yù)測,以及例9-3冪函數(shù)回歸的實現(xiàn)過程。將有關(guān)A商品需求的統(tǒng)計數(shù)據(jù)輸入Excel,如圖9-1所示。圖9-1

A商品需求的統(tǒng)計數(shù)據(jù)二、相關(guān)圖的繪制利用Excel中的圖表工具可以很方便地繪制相關(guān)圖。銷售量(Y)與居民人均收入(X2)的散點圖繪制步驟如下:(1)選定Y與X2所在的單元格區(qū)域B1:C11。(2)點擊“插入”→“散點圖”→“僅帶數(shù)據(jù)標記的散點圖”,即可得到相應(yīng)的散點圖。(3)為了使散點圖看起來更美觀一些,對其進行適當修改,修改后的結(jié)果如圖9-2所示。根據(jù)散點圖可以看出,A商品的銷售量與居民人均收入之間存在較強的正相關(guān)關(guān)系。按照同樣的方法,可以繪制銷售量與價格的散點圖,因篇幅限制,此處略去。圖9-2

A商品的銷售量與居民人均收入的散點圖三、線性回歸分析對于回歸分析,Excel提供了專門的“回歸”分析工具,利用該工具可以方便地進行線性回歸模型的估計與檢驗。(1)調(diào)出“回歸”分析對話框,本例中可按圖9-3所示填寫。圖9-3

“回歸”分析對話框注意使用“回歸”分析工具時,所有變量只能按列存放。在該對話框中,“Y值輸入?yún)^(qū)域”指定因變量數(shù)據(jù)區(qū)域,該區(qū)域只能由單列數(shù)據(jù)組成;“X值輸入?yún)^(qū)域”指定自變量數(shù)據(jù)區(qū)域,Excel將此區(qū)域中的自變量從左到右排列,一列數(shù)據(jù)作為一個自變量,并且自變量必須連續(xù)排列,即“X值輸入?yún)^(qū)域”必須是連續(xù)的區(qū)域;“標志”,當輸入的數(shù)值區(qū)域包括變量名時,選擇該復(fù)選項;“置信度”,如果需要在匯總輸出表中包含附加的置信度信息,則選中此復(fù)選框,然后輸入所要使用的置信度,95%為默認值;“常數(shù)為零”,如果回歸方程中不想包含常數(shù)項,則選中此復(fù)選框;“殘差”,如果需要查看殘差,則選中此復(fù)選框;“標準殘差”,如果需要在殘差輸出表中包含標準殘差,則選中此復(fù)選框;“殘差圖”,如果需要生成一張圖表,繪制每個自變量及其殘差,請選中此復(fù)選框;“線形擬合圖”,如果需要為預(yù)測值和觀察值生成一個圖表,則選中此復(fù)選框。(2)填寫完成后,單擊“確定”按鈕,計算機輸出的結(jié)果如表9-5所示?；貧w統(tǒng)計multipleR0.937723765Rsquare0.87932586adjustedRsquare0.844847534標準誤差1.966842176觀測值10方差分析

dfSSMSFsignificanceF回歸分析2197.32072398.6603614925.503728550.00061045殘差727.079277023.868468146

總計9224.4

coefficients標準誤差tstatp-value下限95.0%上限95.0%intercept4.5875092.5199801.8204550.111494-1.37129610.546314X21.8684680.2696106.9302630.0002251.2309422.505994X3-1.7995710.732946-2.455