應(yīng)用統(tǒng)計(jì)第十二章多元回歸和多重相關(guān)分析引言在許多經(jīng)濟(jì)問題中，簡單相關(guān)分析和回歸分析只不過是相關(guān)分析和回歸分析中的一種特例，它通常是對(duì)影響某種經(jīng)濟(jì)現(xiàn)象的許多因素進(jìn)行了簡化考慮的結(jié)果。若某公司管理人員要預(yù)測(cè)來年該公司的銷售額y時(shí)，研究認(rèn)為影響銷售額的因素不只是廣告宣傳費(fèi)x1,還有個(gè)人可支配收入x2,價(jià)格x3,研究與發(fā)展費(fèi)用x4,各種投資x5,銷售費(fèi)用x6.因此我們需要進(jìn)一步討論多元相關(guān)分析和多元回歸問題（復(fù)相關(guān)和復(fù)回歸問題）。多元線性回歸多元線性回歸模型回歸方程的擬合優(yōu)度顯著性檢驗(yàn)利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)回歸模型的檢測(cè)多重相關(guān)分析技術(shù)多元回歸模型

(multipleregressionmodel)一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xk

和誤差項(xiàng)

的方程，稱為多元回歸模型涉及k個(gè)自變量的多元回歸模型可表示為

β0，b1，b2

，，bk是參數(shù)是被稱為誤差項(xiàng)的隨機(jī)變量

y是x1,，x2

，，xk

的線性函數(shù)加上誤差項(xiàng)

包含在y里面但不能被k個(gè)自變量的線性關(guān)系所解釋的變異性多元回歸模型

(基本假定)誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E()=0對(duì)于自變量x1，x2，…，xk的所有值，的方差2都相同誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，即ε~N(0,2)，且相互獨(dú)立總體多元回歸方程

(multipleregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程總體多元線性回歸方程的形式為

E(y)=0

+1x1

+2x2

+…+

k

xkbi

表示假定其他變量不變，當(dāng)xi

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值b1，b2，，bk稱為偏回歸系數(shù)二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}估計(jì)的多元回歸方程估計(jì)的多元回歸的方程

(estimatedmultipleregressionequation)用樣本統(tǒng)計(jì)量估計(jì)回歸方程中的參數(shù)

時(shí)得到的方程由最小二乘法求得一般形式為

是估計(jì)值是y

的估計(jì)值。參數(shù)的最小二乘估計(jì)求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得

。即參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘估計(jì)根據(jù)實(shí)際資料，用最小平方法，即使，分別對(duì)a、b1、b2求編導(dǎo)并令其為零，求得三個(gè)標(biāo)準(zhǔn)方程：二元線性回歸方程的確定參數(shù)的最小二乘法

(例題分析)【例1】抽樣調(diào)查了12個(gè)地區(qū)，獲得了個(gè)地區(qū)某季度家具銷售額和前一個(gè)季度住宅許可證頒發(fā)數(shù)，以及結(jié)婚證頒發(fā)數(shù)的相應(yīng)資料。試建立一個(gè)二元回歸方程以揭示家具銷售額y與上季度住宅建筑許可證頒發(fā)數(shù)x1和結(jié)婚證數(shù)頒發(fā)數(shù)x2之間的關(guān)系。參數(shù)的最小二乘法

(例題分析)本季度家具銷售額（萬元）y上季度住宅建筑許可證頒發(fā)數(shù)（份）x1上季度結(jié)婚證頒發(fā)數(shù)（對(duì)）x2

261122336129274023919382212442248234425126572023556338214825434603723960247416341038參數(shù)的最小二乘法

(例題分析)參數(shù)的最小二乘法

(例題分析)參數(shù)的最小二乘法

(例題分析)參數(shù)的最小二乘法

(例題分析)【例2】一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行，為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)。試建立不良貸款y與貸款余額x1、累計(jì)應(yīng)收貸款x2、貸款項(xiàng)目個(gè)數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并解釋各回歸系數(shù)的含義用Excel進(jìn)行回歸參數(shù)的最小二乘法

(例題分析)回歸方程的擬合優(yōu)度多重可決系數(shù)估計(jì)標(biāo)準(zhǔn)誤差多重可決系數(shù)

(multiplecoefficientofdetermination)回歸平方和占總平方和的比例計(jì)算公式為因變量取值的變差中，能被估計(jì)的多元回歸方程所解釋的比例修正多重可決系數(shù)

(adjustedmultiplecoefficientofdetermination)用樣本容量n和自變量的個(gè)數(shù)k去修正R2得到計(jì)算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R2估計(jì)標(biāo)準(zhǔn)誤差對(duì)誤差項(xiàng)的標(biāo)準(zhǔn)差的一個(gè)估計(jì)值衡量多元回歸方程的擬合優(yōu)度計(jì)算公式為回歸方程的擬合優(yōu)度

（例題分析）例1例2顯著性檢驗(yàn)線性關(guān)系檢驗(yàn)回歸系數(shù)檢驗(yàn)和推斷線性關(guān)系檢驗(yàn)檢驗(yàn)因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗(yàn)檢驗(yàn)方法是將回歸均方和(MSR)同離差均方和(MSE)加以比較，應(yīng)用F

檢驗(yàn)來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系線性關(guān)系檢驗(yàn)提出假設(shè)H0：12k=0線性關(guān)系不顯著H1：1，2，k至少有一個(gè)不等于02.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F

4.作出決策：若F>F

，拒絕H0回歸系數(shù)的檢驗(yàn)線性關(guān)系檢驗(yàn)通過后，對(duì)各個(gè)回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗(yàn)究竟要對(duì)哪幾個(gè)回歸系數(shù)進(jìn)行檢驗(yàn)，通常需要在建立模型之前作出決定對(duì)回歸系數(shù)檢驗(yàn)的個(gè)數(shù)進(jìn)行限制，以避免犯過多的第一類錯(cuò)誤(棄真錯(cuò)誤)對(duì)每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn)應(yīng)用t檢驗(yàn)統(tǒng)計(jì)量回歸系數(shù)的檢驗(yàn)

(步驟)提出假設(shè)H0：bi=0(自變量xi

與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi

與

因變量y有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t確定顯著性水平，并進(jìn)行決策t>t，拒絕H0；t<t，不拒絕H0回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在(1-)%置信水平下的置信區(qū)間為回歸系數(shù)的抽樣標(biāo)準(zhǔn)差兩點(diǎn)說明t值除了作為檢驗(yàn)統(tǒng)計(jì)量決定對(duì)擬合假設(shè)的拒絕和接受外，還可以相互比較，衡量哪一個(gè)自變量對(duì)推斷因變量的作用大。如果擬合一個(gè)回歸方程的主要目的在于取得因變量得估算值，那么各偏回歸系數(shù)能否通過t檢驗(yàn)十不大重要的。如果回歸分析的目的在于判斷每個(gè)自變量對(duì)因變量的單獨(dú)影響，那么進(jìn)行偏回歸系數(shù)的顯著性檢驗(yàn)就很重要。多元回歸分析

（例題1分析）多元回歸分析

（例題2分析）多元回歸分析

（例題2分析）關(guān)于因變量的估計(jì)和預(yù)測(cè)Y的平均值E(Y(x0))的區(qū)間估計(jì)

Y的特點(diǎn)值Y(x0)的區(qū)間估計(jì)使用Excel進(jìn)行多元回歸預(yù)測(cè)多重相關(guān)分析相關(guān)系數(shù)矩陣相關(guān)系數(shù)矩陣(matrixofcorrelationcoefficients)是矩陣形式排列的變量間兩兩相關(guān)系數(shù)可以借助Excel數(shù)據(jù)分析工具庫之相關(guān)系數(shù)工具完成相關(guān)系數(shù)矩陣

（例題1分析）相關(guān)系數(shù)矩陣

（例題2分析）多元(重)相關(guān)系數(shù)R多元(重)相關(guān)系數(shù)R由多元可決系數(shù)R2幵平方所得。在多元回歸中，各自變量與因變量的協(xié)變關(guān)系可能有正有負(fù)，多元相關(guān)系數(shù)作為描述所有自變量協(xié)變關(guān)系密切程度的度量，一律取正值。多(重)元相關(guān)系數(shù)又稱為復(fù)相關(guān)系數(shù)。偏可決系數(shù)和偏相關(guān)系數(shù)多重可決系數(shù)反映的是所有自變量綜合在一起所能發(fā)揮的對(duì)因變量變差的解釋作用。偏可決系數(shù)(coefficientofpartialdetermination)是反映單個(gè)自變量對(duì)因變量變差所起的解釋作用

偏可決系數(shù)圖示偏可決系數(shù)和偏相關(guān)系數(shù)引入了k個(gè)自變量的基礎(chǔ)上再引入第(k+1)個(gè)自變量，第(k+1)個(gè)自變量的偏可決系數(shù)為偏相關(guān)系數(shù)為偏可決系數(shù)的平方根，其符號(hào)與相應(yīng)的偏回歸系數(shù)同號(hào)。偏相關(guān)系數(shù)與簡單相關(guān)系數(shù)的區(qū)別簡單相關(guān)系數(shù)是假定只存在兩個(gè)變量時(shí)對(duì)其相關(guān)程度的測(cè)度，實(shí)際上這里面隱含著其他未予考慮的且與之相關(guān)的潛在變量的影響。簡單相關(guān)關(guān)系沒有確切地描述兩個(gè)變量間的“凈相關(guān)”關(guān)系，即排除其他潛在變量影響后這兩個(gè)變量間的相關(guān)關(guān)系。而偏相關(guān)系數(shù)恰恰承擔(dān)這一功能的描述量數(shù)；值得注意的是同一自變量的相關(guān)系數(shù)與偏相關(guān)系數(shù)不一定相等，且符號(hào)可能不同。多重共線性及其產(chǎn)生的問題多重共線性

(multicollinearity)回歸模型中兩個(gè)或兩個(gè)以上的自變量彼此相關(guān)多重共線性帶來的問題有可能會(huì)使回歸的結(jié)果造成混亂，甚至?xí)逊治鲆肫缤究赡軐?duì)參數(shù)估計(jì)值的正負(fù)號(hào)產(chǎn)生影響，特別是各回歸系數(shù)的正負(fù)號(hào)有可能同我們預(yù)期的正負(fù)號(hào)相反

Excel輸出結(jié)果的分析多重共線性的識(shí)別多重共線性的識(shí)別檢測(cè)多重共線性的最簡單的一種辦法是計(jì)算模型中各對(duì)自變量之間的相關(guān)系數(shù)，并對(duì)各相關(guān)系數(shù)進(jìn)行顯著性檢驗(yàn)若有一個(gè)或多個(gè)相關(guān)系數(shù)顯著，就表示模型中所用的自變量之間相關(guān)，存在著多重共線性如果出現(xiàn)下列情況，暗示存在多重共線性模型中各對(duì)自變量之間顯著相關(guān)。當(dāng)模型的線性關(guān)系檢驗(yàn)(F檢驗(yàn))顯著時(shí)，幾乎所有回歸系數(shù)的t檢驗(yàn)卻不顯著回歸系數(shù)的正負(fù)號(hào)與預(yù)期的相反。多重共線性

(例題分析)【例】判別各自變量之間是否存在多重共線性多重共線性

(例題分析)【例】判別各自變量之間是否存在多重共線性多重共線性

(例題分析)t(25-2)=2.069，所有統(tǒng)計(jì)量t>t(25-2)=2.069，所以均拒絕原假設(shè)，說明這4個(gè)自變量兩兩之間都有顯著的相關(guān)關(guān)系由表Excel輸出的結(jié)果可知，回歸模型的線性關(guān)系顯著(Significance-F＝1.03539E-06<=0.05)。而回歸系數(shù)檢驗(yàn)時(shí)卻有3個(gè)沒有通過t檢驗(yàn)(P-Value=0.074935，0.862853，0.067030>=0.05)。這也暗示了模型中存在多重共線性固定資產(chǎn)投資額的回歸系數(shù)為負(fù)號(hào)(-0.029193)，與預(yù)期的不一致多重共線性問題的處理多重共線性

(問題的處理)將一個(gè)或多個(gè)相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)如果要在模型中保留所有的自變量，則應(yīng)避免根據(jù)t統(tǒng)計(jì)量對(duì)單個(gè)參數(shù)進(jìn)行檢驗(yàn)對(duì)因變量值的推斷(估計(jì)或預(yù)測(cè))的限定在自變量樣本值的范圍內(nèi)對(duì)子變量實(shí)施中心離差的變量的變換。增加樣本容量關(guān)于多元回歸模型假定條件的討論誤差項(xiàng)ε為一隨機(jī)向量，且對(duì)不同的自變量取值對(duì)應(yīng)的ε是相互獨(dú)立的。ε服從正態(tài)分布，期望值為0。對(duì)于自變量x1，x2，…，xk的所有值，的方差2都相同自相關(guān)問題圖形法－散點(diǎn)圖殘值隨著時(shí)間的順序推演交替改變符號(hào)，就是負(fù)自相關(guān)。殘值隨著時(shí)間的順序推演并不頻繁變號(hào)，而是連續(xù)幾個(gè)正值后面跟著連續(xù)幾個(gè)負(fù)值，就是正自相關(guān)。統(tǒng)計(jì)檢驗(yàn)方法自相關(guān)問題杜賓----沃岑檢驗(yàn)(Durbin-Watsontest)DW-檢驗(yàn)，檢驗(yàn)統(tǒng)計(jì)量

把上式計(jì)算的DW值，與杜賓----沃岑給出的不同顯著性水平下的DW值的上限du和下限dL（它們與樣本容量n和自變量的個(gè)數(shù)k有關(guān)）進(jìn)行比較，DW的取值域在0～4之間。自相關(guān)問題DW檢驗(yàn)法則規(guī)定：在DW小于等于2時(shí)，如DW<dL,認(rèn)為存在正自相關(guān)；如DW>dU，認(rèn)為無自相關(guān)；如dL<DW<du,不能確定是否有自相關(guān)。在DW大于2時(shí)，如4－DW<dL,認(rèn)為存在負(fù)自相關(guān)；如4－DW>du，認(rèn)為無自相關(guān)；如dL<4-Dw<du,能確定是否存在自相關(guān)。變量選擇與逐步回歸變量選擇過程向前選擇向后剔除逐步回歸變量選擇過程在建立回歸模型時(shí)，對(duì)自變量進(jìn)行篩選選擇自變量的原則是對(duì)統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)將一個(gè)或一個(gè)以上的自變量引入到回歸模型中時(shí)，是否使得殘差平方和(SSE)有顯著地減少。如果增加一個(gè)自變量使SSE的減少是顯著的，則說明有必要將這個(gè)自變量引入回歸模型，否則，就沒有必要將這個(gè)自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計(jì)量的值作為一個(gè)標(biāo)準(zhǔn)，以此來確定是在模型中增加一個(gè)自變量，還是從模型中剔除一個(gè)自變量變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸、最優(yōu)子集等向前選擇

(forwardselection)從模型中沒有自變量開始對(duì)k個(gè)自變量分別擬合對(duì)因變量的一元線性回歸模型，共有k個(gè)，然后找出F統(tǒng)計(jì)量的值最高的模型及其自變量，并將其首先引入模型分別擬合引入模型外的k-1個(gè)自變量的線性回歸模型如此反復(fù)進(jìn)行，直至模型外的自變量均無統(tǒng)計(jì)顯著性為止向后剔除

(backwardelimination)先對(duì)因變量擬合包括所有k個(gè)自變量的回歸模型。然后考察p(p<k)個(gè)去掉一個(gè)自變量的模型(這些模型中每一個(gè)都有的k-1個(gè)自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察p-1個(gè)再去掉一個(gè)自變量的模型(這些模型中在每一個(gè)都有k-2個(gè)的自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復(fù)進(jìn)行，一直將自變量從模型中剔除，直至剔除一個(gè)自變量不會(huì)使SSE顯著減小為止逐步回歸

(stepwiseregression)將向前選擇和向后剔除兩種方法結(jié)合起來篩選自變量在增加了一個(gè)自變量后，它會(huì)對(duì)模型中所有的變量進(jìn)行考察，看看有沒有可能剔除某個(gè)自變量。如果在增加了一個(gè)自變量后，前面增加的某個(gè)自變量對(duì)模型的貢獻(xiàn)變得不顯著，這個(gè)變量就會(huì)被剔除按照方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經(jīng)不能導(dǎo)致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進(jìn)入到模型中逐步回歸

(例題分析—SPSS輸出結(jié)果)VariableEntered/Removeda

modelVariableEnteredVariableRemovedmethod1各項(xiàng)貸款余額x1Stepwise(Criteria:Probability-of-F-to-enter<=.050,Probability-of-F-to-remove<=.100).2固定資產(chǎn)投資額x4Stepwise(Criteria:Probability-of-F-to-enter<=.050,Probability-of-F-to-remove<=.100).aDependentvariable:不良貸款y逐步回歸

(例題分析—SPSS輸出結(jié)果)Modelsummary

modelRR-SquareAdjustedR-Square

Std.ErroroftheEstimate

1.844a.712.6991.97992.872b.761.7391.8428aPredictors:(Constant),各項(xiàng)貸款余額x1bPredictors:(Constant),各項(xiàng)貸款余額x1,固定資產(chǎn)投資額x4含x1和x4的模型只含x1的模型逐步回歸

(例題分析—SPSS輸出結(jié)果)

ANOVAc