1、浙江財(cái)經(jīng)學(xué)院 倪偉才,第五章逐步回歸法,浙江財(cái)經(jīng)學(xué)院 倪偉才,一、前進(jìn)法,前進(jìn)法（forward）的思想：自變量由少到多，每次增加1個(gè)，直到?jīng)]有可引入的變量為止。 具體步驟：將x1,x2,.,xp中的一個(gè)變量引入回歸方程，作p個(gè)一元線性回歸方程；選取與y關(guān)系最密切（相關(guān)性最強(qiáng)）（或p值最小的）解釋變量引入。不妨設(shè)為x1. 回歸方程中已有x1 ，再引入一個(gè)變量。作p-1個(gè)二元線性回歸方程；選取x2,.,xp中與y關(guān)系最密切（相關(guān)性最強(qiáng)）（或p值最小的）解釋變量引入。不妨設(shè)為x2. 回歸方程中已有x1 ， x2，再引入一個(gè)變量。作p-2個(gè)三元線性回歸方程；選取x3,.,xp中與y關(guān)系最密切（相關(guān)性

2、最強(qiáng)）（或p值最小的）解釋變量引入。不妨設(shè)為x3. 。 直到未被引入方程的p值0.05為止。 例：用前進(jìn)法建立例3.1的 回歸方程,浙江財(cái)經(jīng)學(xué)院 倪偉才,二、后退法,后退法（backwad）的基本思想：首先用全部的p個(gè)自變量建立一個(gè)回歸方程，然后將最不重要的自變量一個(gè)一個(gè)地刪除。 具體步驟：作y對(duì)全部的p個(gè)自變x1,x2,.,xp的回歸在回歸方程中，將x1,x2,.,xp 對(duì)y的影響最?。ㄗ畈恢匾騪值最大）的自變量剔除，不妨令x1；在 中的回歸方程（已沒(méi)有x1 ），將x2,.,xp 對(duì)y的影響最?。ㄗ畈恢匾騪值最大）的自變量剔除，直到回歸方程中，自變量對(duì)y的影響都重要為止。 例：用后退法建

3、立例3.1回歸方程,浙江財(cái)經(jīng)學(xué)院 倪偉才,三.前進(jìn)法、后退法的缺點(diǎn),前進(jìn)法：終身制。 前面引進(jìn)的自變量是顯著的，但后面引進(jìn)其它變量后變地不顯著了，此時(shí)再也無(wú)法將其剔除。 后退法 ：一棍子打死。 一旦某個(gè)自變量被剔除后，它再也沒(méi)有機(jī)會(huì)重新進(jìn)入回歸方程。,浙江財(cái)經(jīng)學(xué)院 倪偉才,四.逐步回歸法,思想：有進(jìn)有出，在前進(jìn)法的基礎(chǔ)上，結(jié)合后退法。 步驟：將變量一個(gè)一個(gè)引入，當(dāng)引入一個(gè)新的變量時(shí)，不僅對(duì)新變量進(jìn)行檢驗(yàn)，而且對(duì)已引進(jìn)的自變量也要檢驗(yàn)。若已引進(jìn) 的 變量由于后面的 變量引進(jìn)而變地不顯著時(shí)，將其剔除（有進(jìn)有出），直到不再有顯著的變量引入回歸方程，也不再有不顯著的變量從回歸方程中剔除。（通俗的說(shuō)：方

4、程中的自變量都是顯著的，方程外的自變量都是不顯著的） 引入自變量顯著性水平記為： 進(jìn) 剔除自變量顯著性水平記為： 出 要使用逐步回歸法的前提： 進(jìn) chapter12 appendix 12.5,浙江財(cái)經(jīng)學(xué)院 倪偉才,16,Question,Question: Why is it not a good practice to use a complicated model? Answer: A complicated model contains many unknown parameters. Given a fixed amount of data information, paramet

5、er estimation will become less precise if more parameters have to be estimated. As a consequence, the out-of-sample forecast for Yt will become less precise than the forecast of a simpler model. The latter may have a larger bias but more precise parameter estimates. Intuitively, a complicated model

6、is too flexible in the sense that it may not only capture systematic components but also some features in the data which will not show up again.,浙江財(cái)經(jīng)學(xué)院 倪偉才,17,例題講解,數(shù)據(jù)見(jiàn)(自變量的選擇準(zhǔn)則.sav或自變量的選擇準(zhǔn)則.dta ) 請(qǐng)分別用調(diào)整復(fù)決定系數(shù)，回歸的標(biāo)準(zhǔn)誤， AIC準(zhǔn)則，BIC準(zhǔn)則，來(lái)選擇最優(yōu)子集。 Spss:regression中block的使用！ 結(jié)果請(qǐng)見(jiàn)(自變量的選擇準(zhǔn)則.xls) Stata相關(guān)命令： rquare

7、fitstat,浙江財(cái)經(jīng)學(xué)院 倪偉才,18,閱讀材料,請(qǐng)閱讀課本135頁(yè)137頁(yè) 用SAS軟件尋找最優(yōu)子集 操作課本例5.2,浙江財(cái)經(jīng)學(xué)院 倪偉才,19,Stata自變量的選擇準(zhǔn)則.dta (即課本例5.1),findit rsquare rsquare y x1 x2 x3 Regression models for dependent variable : y R-squared Mallows C SEE MSE models with 1 variable 0.9728 6.13 8.2845 0.5178 x1 0.9566 18.15 13.2301 0.8269 x2 0.950

8、8 22.45 14.9995 0.9375 x3 R-squared Mallows C SEE MSE models with 2 variables 0.9747 6.74 7.7093 0.5140 x1 x2 0.9784 4.01 6.5860 0.4391 x1 x3 0.9576 19.46 12.9464 0.8631 x2 x3 R-squared Mallows C SEE MSE models with 3 variables 0.9811 4.00 5.7607 0.4115 x1 x2 x3,浙江財(cái)經(jīng)學(xué)院 倪偉才,20,Cond,fitstat Measures of Fit for regress of y Log-Lik Intercept Only: -51.010 Log-Lik Full Model: