.,第5章基本回歸模型的OLS估計(jì)重點(diǎn)內(nèi)容：普通最小二乘法線性回歸模型的估計(jì)線性回歸模型的檢驗(yàn),.,一、普通最小二乘法（OLS）1.最小二乘原理,設(shè)（x1，y1），（x2，y2），（xn，yn）是平面直角坐標(biāo)系下的一組數(shù)據(jù)，且x1x2xn，如果這組圖像接近于一條直線，我們可以確定一條直線y=a+bx，使得這條直線能反映出該組數(shù)據(jù)的變化。如果用不同精度多次觀測(cè)一個(gè)或多個(gè)未知量，為了確定各未知量的可靠值，各觀測(cè)量必須加改正數(shù)，使其各改正數(shù)的平方乘以觀測(cè)值的權(quán)數(shù)的總和為最小。因而稱最小二乘法。,.,一、普通最小二乘法（OLS）1.最小二乘原理,設(shè)雙變量的總體回歸方程為yt=B1+B2xt+t樣本回歸函數(shù)為yt=b1+b2xt+et其中，et為殘差項(xiàng)，5-3式為估計(jì)方程，b1和b2分別為B1和B2的估計(jì)量，因而e=實(shí)際的yt估計(jì)的yt,.,一、普通最小二乘法（OLS）1.最小二乘原理,估計(jì)總體回歸函數(shù)的最優(yōu)方法是選擇B1和B2的估計(jì)量b1，b2，使得殘差et盡可能達(dá)到最小。用公式表達(dá)即為總之，最小二乘原理就是選擇樣本回歸函數(shù)使得y的估計(jì)值與真實(shí)值之差的平方和最小。,.,一、普通最小二乘法（OLS）2.方程對(duì)象,選擇工作文件窗口工具欄中的“Object”|“NewObject”|“Equation”選項(xiàng)，在下圖所示的對(duì)話框中輸入方程變量。,.,一、普通最小二乘法（OLS）2.方程對(duì)象,EViews5.1提供了8種估計(jì)方法：“LS”為最小二乘法；“TSLS”為兩階段最小二乘法；“GMM”為廣義矩法；“ARCH”為自回歸條件異方差；“BINARY”為二元選擇模型，其中包括Logit模型、Probit模型和極端值模型；“ORDERED”為有序選擇模型；“CENSORED”截取回歸模型；“COUNT”為計(jì)數(shù)模型。,.,二、一元線性回歸模型1.模型設(shè)定,一元線性回歸模型的形式為yi=0+1xi+ui（i=1，2，n）其中，y為被解釋變量，也被稱為因變量；x為解釋變量或自變量；u是隨機(jī)誤差項(xiàng)（randomerrorterm），也被稱為誤差項(xiàng)或擾動(dòng)項(xiàng)，它表示除了x之外影響y的因素，即y的變化中未被x所解釋的部分；n為樣本個(gè)數(shù)。,.,二、一元線性回歸模型2.實(shí)際值、擬合值和殘差,估計(jì)方程為表示的是yt的擬合值，和分別是0和1的估計(jì)量。實(shí)際值指的是回歸模型中被解釋變量（因變量）y的原始觀測(cè)數(shù)據(jù)。擬合值就是通過回歸模型計(jì)算出來的yt的預(yù)測(cè)值。,.,二、一元線性回歸模型2.實(shí)際值、擬合值和殘差,三條曲線分別是實(shí)際值（Actual），擬合值（Fitted）和殘差（Residual）。實(shí)際值和擬合值越接近，方程擬合效果越好。,.,三、多元線性回歸模型,通常情況下，將含有多個(gè)解釋變量的線性回歸模型（多元線性回歸模型）寫成如下形式，yi=0+1x1i+2x2i+3x3i+kxki+ui（i=1，2，n）其中，y為被解釋變量，也被稱為因變量；x為解釋變量或自變量；u是隨機(jī)誤差項(xiàng)（randomerrorterm），也被稱為誤差項(xiàng)或擾動(dòng)項(xiàng)；n為樣本個(gè)數(shù)。,.,三、多元線性回歸模型,在多元線性回歸模型中，要求解釋變量x1，x2，xk之間互不相關(guān)，即該模型不存在多重共線性問題。如果有兩個(gè)變量完全相關(guān)，就出現(xiàn)了完全多重共線性，這時(shí)參數(shù)是不可識(shí)別的，模型無法估計(jì)。,.,三、多元線性回歸模型,通常情況下，把多元線性回歸方程中的常數(shù)項(xiàng)看作虛擬變量的系數(shù)，在參數(shù)估計(jì)過程中該常數(shù)項(xiàng)始終取值為1。因而模型的解釋變量個(gè)數(shù)為k+1.多元回歸模型的矩陣形式為Y=X+u其中，Y是因變量觀測(cè)值的T維列向量；X是所有自變量（包括虛擬變量）的T個(gè)樣本點(diǎn)觀測(cè)值組成的T（k+1）的矩陣；是k+1維系數(shù)向量；u是T維擾動(dòng)項(xiàng)向量。,.,四、線性回歸模型的基本假定,線性回歸模型必須滿足以下幾個(gè)基本假定：假定1：隨機(jī)誤差項(xiàng)u具有0均值和同方差，即E(ui)=0i=1，2，nVar(ui)=2i=1，2，n其中，E表示均值，也稱為期望，在這里隨機(jī)誤差項(xiàng)u的均值為0。Var表示隨機(jī)誤差項(xiàng)u的方差，對(duì)于每一個(gè)樣本點(diǎn)i，即在i=1，2，n的每一個(gè)數(shù)值上，解釋變量y對(duì)被解釋變量x的條件分布具有相同的方差。當(dāng)這一假定條件不成立是，稱該回歸模型存在異方差問題。,.,四、線性回歸模型的基本假定,假定2：不同樣本點(diǎn)下的隨機(jī)誤差項(xiàng)u之間是不相關(guān)的，即Cov（ui，uj）=0，ij，i，j=1，2，n其中，cov表示協(xié)方差。當(dāng)此假定條件不成立時(shí)，則稱該回歸模型存在序列相關(guān)問題，也稱為自相關(guān)問題。,.,四、線性回歸模型的基本假定,假定3：同一個(gè)樣本點(diǎn)下的隨機(jī)誤差項(xiàng)u與解釋變量x之間不相關(guān)，即Cov（xi，ui）=0i=1，2，n,.,四、線性回歸模型的基本假定,假定4：隨機(jī)誤差項(xiàng)u服從均值為0、同方差的正態(tài)分布，即uN（0，2）如果回歸模型中沒有被列出的各因素是獨(dú)立的隨機(jī)變量，則隨著這些隨機(jī)變量個(gè)數(shù)的增加，隨機(jī)誤差項(xiàng)u服從正態(tài)分布。,.,四、線性回歸模型的基本假定,假定5：解釋變量x1，x2，xi是非隨機(jī)的確定性變量，并且解釋變量間互不相關(guān)。則這說明yi的概率分布具有均值，即E（yi|xi）=E（0+1xi+ui）=0+1xi該式被稱為總體回歸函數(shù)。如果兩個(gè)或多個(gè)解釋變量間出現(xiàn)了相關(guān)性，則說明該模型存在多重共線性問題。,.,五、線性回歸模型的檢驗(yàn)1.擬合優(yōu)度檢驗(yàn),擬合優(yōu)度檢驗(yàn)用來驗(yàn)證回歸模型對(duì)樣本觀測(cè)值（實(shí)際值）的擬合程度，可通過R2統(tǒng)計(jì)量來檢驗(yàn)。,.,五、線性回歸模型的檢驗(yàn)1.擬合優(yōu)度檢驗(yàn),公式三者的關(guān)系為TSS=RSS+ESSTSS為總體平方和，RSS為殘差平方和，ESS為回歸平方和。,.,五、線性回歸模型的檢驗(yàn)1.擬合優(yōu)度檢驗(yàn),總體平方和（TSS）反映了樣本觀測(cè)值總體離差的大小，也被稱為離差平方和；殘差平方（RSS）說明的是樣本觀測(cè)值與估計(jì)值偏離的程度，反映了因變量總的波動(dòng)中未被回歸模型所解釋的部分；回歸平方和（ESS）反映了擬合值總體離差大小，這個(gè)擬合值是根據(jù)模型解釋變量算出來的。,.,五、線性回歸模型的檢驗(yàn)1.擬合優(yōu)度檢驗(yàn),擬合優(yōu)度R2的計(jì)算公式為R2=ESS/TSS=1RSS/TSS當(dāng)回歸平方（ESS）和與總體平方和（TSS）較為接近時(shí)，模型的擬合程度較好；反之，則模型的擬合程度較差。因此，模型的擬合程度可通過這兩個(gè)指標(biāo)來表示。,.,五、線性回歸模型的檢驗(yàn)2.顯著性檢驗(yàn),變量顯著性檢驗(yàn)（t檢驗(yàn)）檢驗(yàn)中的原假設(shè)為：H0：i=0，備擇假設(shè)為：H1：i0，如果原假設(shè)成立，表明解釋變量x對(duì)被解釋變量y沒有顯著的影響；當(dāng)原假設(shè)不成立時(shí)，表明解釋變量x對(duì)被解釋變量y有顯著的影響，此時(shí)接受備擇假設(shè)。,.,五、線性回歸模型的檢驗(yàn)2.顯著性檢驗(yàn),方程顯著性檢驗(yàn)（F檢驗(yàn)）原假設(shè)為：H0：1=0，2=0，k=0，備擇假設(shè)為：H1：i中至少有一個(gè)不為0，如果原假設(shè)成立，表明解釋變量x對(duì)被解釋變量y沒有顯著的影響；當(dāng)原假設(shè)不成立時(shí)，表明解釋變量x對(duì)被解釋變量y有顯著的影響，此時(shí)接受備擇假設(shè)。,.,五、線性回歸模型的檢驗(yàn)2.顯著性檢驗(yàn),方程顯著性檢驗(yàn)（F檢驗(yàn)）F統(tǒng)計(jì)量為該統(tǒng)計(jì)量服從自由度為（k，nk1）的F分布。給定一個(gè)顯著性水平，當(dāng)F統(tǒng)計(jì)量的數(shù)值大于該顯著性水平下的臨界值F（k，nk1）時(shí)，則在（1）的水平下拒絕原假設(shè)H0，即模型通過了方程的顯著性檢驗(yàn)，模型的線性關(guān)系顯著成立。,.,五、線性回歸模型的檢驗(yàn)3.異方差性檢驗(yàn),（1）圖示檢驗(yàn)法圖示檢驗(yàn)法通過散點(diǎn)圖來判斷用OLS方法估計(jì)的模型異方差性，這種方法較為直觀。通常是先將回歸模型的殘差序列和因變量一起繪制一個(gè)散點(diǎn)圖，進(jìn)而判斷是否存在相關(guān)性，如果兩個(gè)序列的相關(guān)性存在，則該模型存在異方差性。,.,五、線性回歸模型的檢驗(yàn)3.異方差性檢驗(yàn),（1）圖示檢驗(yàn)法檢驗(yàn)步驟：建立方程對(duì)象進(jìn)行模型的OLS（最小二乘）估計(jì)，此時(shí)產(chǎn)生的殘差保存在主窗口界面的序列對(duì)象resid中。建立一個(gè)新的序列對(duì)象，并將殘差序列中的數(shù)據(jù)復(fù)制到新建立的對(duì)象中。然后選擇主窗口中的“Quick”|“Graph”|“Scatter”選項(xiàng)，生成散點(diǎn)圖，進(jìn)而可判斷隨機(jī)項(xiàng)是否存在異方差性。,.,五、線性回歸模型的檢驗(yàn)3.異方差性檢驗(yàn),（2）懷特（White）檢驗(yàn)法檢驗(yàn)步驟：用OLS（最小二乘法）估計(jì)回歸方程，得到殘差e。作輔助回歸模型：求輔助回歸模型的擬合優(yōu)度R2的值。White檢驗(yàn)的統(tǒng)計(jì)量服從2分布，即NR22(k)其中，N為樣本容量，k為自由度，k等于輔助回歸模型（）中解釋變量的個(gè)數(shù)。如果2值大于給點(diǎn)顯著性水平下對(duì)應(yīng)的臨界值，則可以拒絕原假設(shè)，即存在異方差；反之，接受原假設(shè)，即不存在異方差。,.,五、線性回歸模型的檢驗(yàn)3.異方差性檢驗(yàn),（2）懷特（White）檢驗(yàn)法White檢驗(yàn)的統(tǒng)計(jì)量服從2分布，即NR22(k)其中，N為樣本容量，k為自由度，k等于輔助回歸模型（）中解釋變量的個(gè)數(shù)。如果2值大于給點(diǎn)顯著性水平下對(duì)應(yīng)的臨界值，則可以拒絕原假設(shè)，即存在異方差；反之，接受原假設(shè)，即不存在異方差。,.,五、線性回歸模型的檢驗(yàn)3.異方差性檢驗(yàn),（2）懷特（White）檢驗(yàn)法在EViews5.1軟件中選擇方程對(duì)象工具欄中的“View”|“ResidualTests”|“WhiteHeteroskedasticity”選項(xiàng)即可完成操作。,.,五、線性回歸模型的檢驗(yàn)3.異方差性檢驗(yàn),異方差性的后果：當(dāng)模型出現(xiàn)異方差性時(shí)，用OLS（最小二乘估計(jì)法）得到的估計(jì)參數(shù)將不再有效；變量的顯著性檢驗(yàn)（t檢驗(yàn)）失去意義；模型不再具有良好的統(tǒng)計(jì)性質(zhì)，并且模型失去了預(yù)測(cè)功能。,.,五、線性回歸模型的檢驗(yàn)4.序列相關(guān)檢驗(yàn),方法：（1）杜賓（D.W.Durbin-Watson）檢驗(yàn)法（2）LM（拉格朗日乘數(shù)LagrangeMultiplier）檢驗(yàn)法,.,五、線性回歸模型的檢驗(yàn)4.序列相關(guān)檢驗(yàn),（1）杜賓（D.W.Durbin-Watson）檢驗(yàn)法J.Durbin,G.S.Watson于1950年提出了D.W.檢驗(yàn)法。它是通過對(duì)殘差構(gòu)成的統(tǒng)計(jì)量來判斷誤差項(xiàng)ut是否存在自相關(guān)。D.W.檢驗(yàn)法用來判定一階序列相關(guān)性的存在。D.W.的統(tǒng)計(jì)量為,.,五、線性回歸模型的檢驗(yàn)4.序列相關(guān)檢驗(yàn),（1）杜賓（D.W.Durbin-Watson）檢驗(yàn)法如果，0D.W.dt，存在一階正自相關(guān)dtD.W.du，不能確定是否存在自相關(guān)duD.W.4du，不存在自相關(guān)4duD.W.4dt不能確定是否存在自相關(guān)4dtD.W.4，存在一階負(fù)自相關(guān),.,五、線性回歸模型的檢驗(yàn)4.序列相關(guān)檢驗(yàn),（1）杜賓（D.W.Durbin-Watson）檢驗(yàn)法使用D.W.檢驗(yàn)時(shí)應(yīng)注意，因變量的滯后項(xiàng)yt-1不能作為回歸模型的解釋變量，否則D.W.檢驗(yàn)失效。另外，樣本容量應(yīng)足夠大，一般情況下，樣本數(shù)量應(yīng)在15個(gè)以上。,.,五、線性回歸模型的檢驗(yàn)4.序列相關(guān)檢驗(yàn),（2）LM（拉格朗日乘數(shù)LagrangeMultiplier）檢驗(yàn)法LM檢驗(yàn)原假設(shè)和備擇假設(shè)分別為：H0：直到p階滯后不存在序列相關(guān)H1：存在p階序列相關(guān)LM的統(tǒng)計(jì)量為L(zhǎng)M=nR22（p）其中，n為樣本容量，R2為輔助回歸模型的擬合優(yōu)度。LM統(tǒng)計(jì)量服從漸進(jìn)的2（p）。在給定顯著性水平的情況下，如果LM統(tǒng)計(jì)量小于設(shè)定在該顯著性水平下的臨近值，則接受原假設(shè)，即直到p階滯后不存在序列相關(guān)。,.,五、線性回歸模型的檢驗(yàn)4.序列相關(guān)檢驗(yàn),序列相關(guān)性的后果：用OLS（最小二乘估計(jì)法）得到的估計(jì)參數(shù)將不再有效；變量的顯著性檢驗(yàn)（t檢驗(yàn)）失去意義；模型不再具有良好的統(tǒng)計(jì)性質(zhì)，并且模型失去了預(yù)測(cè)功能。,.,五、線性回歸模型的檢驗(yàn)5.多重共線性,方法：（1）相關(guān)系數(shù)檢驗(yàn)法（2）逐步回歸法,.,五、線性回歸模型的檢驗(yàn)5.多重共線性,（1）相關(guān)系數(shù)檢驗(yàn)法在群對(duì)象窗口的工具欄中選擇“View”|“Correlations”|“CommonSample”選項(xiàng)，即可得到變量間的相關(guān)系數(shù)。如果相關(guān)系數(shù)較高，則變量間可能存在線性關(guān)系，即模型有多重共線性的可能。,.,五、線性回歸