6.5模型檢驗(yàn)與評(píng)價(jià)

基于數(shù)據(jù)用統(tǒng)計(jì)方法建立經(jīng)驗(yàn)回歸模型,做了以下工作：6.5.1模型檢驗(yàn)的必要性

1）借助于數(shù)據(jù)散布圖的直觀形象,

選擇一個(gè)函數(shù)來近似變量之間的相關(guān)關(guān)系；

2）用最小二乘法求經(jīng)驗(yàn)?zāi)Ｐ椭袇?shù)的最佳估計(jì).

問題：如何評(píng)價(jià)此建模方法？

分析：若兩個(gè)變量X、Y間存在相關(guān)關(guān)系,設(shè)其回歸函數(shù)為

y=μ(x).

客觀存在相當(dāng)于做假設(shè),令

這種假設(shè)主觀性太強(qiáng),是否合理必須經(jīng)過檢驗(yàn).

選擇一個(gè)函數(shù)

f(x)

作為y=μ(x)的估計(jì)函數(shù).

主觀設(shè)定

續(xù)例6.4.3

非線性交調(diào)的頻率設(shè)計(jì)(1993全國大學(xué)生數(shù)學(xué)模型聯(lián)賽題).得到系統(tǒng)輸入輸出的兩個(gè)經(jīng)驗(yàn)關(guān)系式為

考慮到輸入輸出關(guān)系的物理背景（這一點(diǎn)在處理實(shí)際問題時(shí)尤需重視）可以判斷第二式更為合理.需對(duì)兩個(gè)不同模型進(jìn)行評(píng)價(jià)和合理性檢驗(yàn).

一般更需要用一定的方法對(duì)模型進(jìn)行檢驗(yàn)和評(píng)價(jià),選擇更“合理”的模型.

本節(jié)主要介紹多元線性回歸模型的評(píng)價(jià)和檢驗(yàn)方法.

選擇下線性回歸模型描述因變量Y與自變量X1，X2，...XP的關(guān)系有以下問題值得思考:1)因變量Y與可控變量X1，X2，...XP是否確有線性相關(guān)關(guān)系?是否顯著?

2)是否所有回歸系數(shù)都不為零?3)回歸方程中,設(shè)定的可控變量的個(gè)數(shù)及相應(yīng)變量是否合理?回歸系數(shù)的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)“最優(yōu)”回歸方程的選擇

6.5.2回歸方程的顯著性檢驗(yàn)根據(jù)數(shù)據(jù)建立線性經(jīng)驗(yàn)數(shù)學(xué)模型

形式地估計(jì)回歸系數(shù)并建立經(jīng)驗(yàn)線性回歸方程無實(shí)際意義.問題:

1.變量之間是否存在線性相關(guān)關(guān)系？

2.上述方程對(duì)樣本數(shù)據(jù)的代表程度如何？

身高h(yuǎn)和體重m無明顯的線性相關(guān)關(guān)系.模型對(duì)數(shù)據(jù)的代表程度不夠需做兩方面的檢驗(yàn)工作：

1.評(píng)價(jià)方程對(duì)樣本數(shù)據(jù)的代表程度；

2.檢驗(yàn)變量之間的線性關(guān)系是否顯著.

以分析一元線性回歸模型入手.一.線性關(guān)系檢驗(yàn)1.相關(guān)系數(shù)檢驗(yàn)法2.方差分析法已學(xué)一元經(jīng)驗(yàn)線性回歸模型取定可控變量X的一組值x1，x2，…，xN,對(duì)Y做獨(dú)立n次觀察(試驗(yàn)),其觀察値為記作為yi，(i=1，2，…，N)的估計(jì)值.

1)自變量X的不同取值致使因變量Y產(chǎn)生的變化;2)其它因素（包括試驗(yàn)誤差）的影響.關(guān)心哪一個(gè)方面的影響占主導(dǎo).描述了觀察值相對(duì)數(shù)據(jù)平均值的離散程度.總偏差平方和分解總偏差平方和

回歸平方和

反映在線性回歸方程中由自變量X值的變化致使因變量Y變化的差異程度.表征自變量X的重要程度殘差平方和

反映試驗(yàn)誤差和其它因素對(duì)試驗(yàn)結(jié)果的影響程度.

對(duì)于正態(tài)線性回歸模型，在滿足回歸假定的條件下,相應(yīng)統(tǒng)計(jì)量

并且相互獨(dú)立.檢驗(yàn)假設(shè)若H0成立，則由F分布定理知統(tǒng)計(jì)量

若X與Y之間存在線性相關(guān)關(guān)系，回歸方程中應(yīng)有b≠0.QR的值越大，統(tǒng)計(jì)量F的值越大,說明X對(duì)Y的影響程度越高

.給定的顯著性水平α，H0：b=0的拒絕域?yàn)槠渲?/p>

若拒絕H0，稱線性回歸方程是顯著的，或稱X與Y的線性相關(guān)關(guān)系顯著.類似地,檢驗(yàn)多元（經(jīng)驗(yàn)）線性回歸方程線性關(guān)系是否顯著,需檢驗(yàn)

若H0成立，即有多元線性回歸模型中β的每一分量均為零，則Y與之間無顯著的線性相關(guān)關(guān)系.仍將總偏差平方和分解為若H0成立，統(tǒng)計(jì)量若算得F的統(tǒng)計(jì)值f使在顯著性水平下，可認(rèn)為方程有顯著意義.

續(xù)例6.4.3

非線性交調(diào)的頻率設(shè)計(jì)(1993全國大學(xué)生數(shù)學(xué)模型聯(lián)賽題).進(jìn)行檢驗(yàn)有表明所建立的經(jīng)驗(yàn)輸入輸出關(guān)系式是顯著的.6.5.3回歸系數(shù)的顯著性檢驗(yàn)

對(duì)經(jīng)驗(yàn)回歸方程

通過回歸方程的顯著性檢驗(yàn),說明因變量和可控變量之間的回歸關(guān)系顯著,并且回歸函數(shù)的形式明顯.思考1)得到回歸系數(shù)不全為零的結(jié)論，能否說明所有的回歸系數(shù)都不為零;2）每個(gè)可控變量對(duì)Y的影響程度是否同等重要.在例6.4.3考慮進(jìn)零輸入項(xiàng)的經(jīng)驗(yàn)回歸模型經(jīng)檢驗(yàn)也是顯著的.

應(yīng)建立只包含對(duì)因變量影響顯著的自變量的回歸方程.

回歸系數(shù)的大小反映了各個(gè)變量因素對(duì)Y的影響程度.

若變量Xj對(duì)Y的線性影響不顯著,則正態(tài)線性回歸模型中應(yīng)有βj等于零或很接近于零.有必要對(duì)各回歸系數(shù)本身進(jìn)行檢驗(yàn).檢驗(yàn)Xj與Y有無顯著的線性影響,相當(dāng)于檢驗(yàn)

正態(tài)多元線性回歸模型的最小二乘估計(jì)向量b的每一分量bj都服從正態(tài)分布，且E(bj)=βj,,(j=1,2,…,P),其中cjj是相關(guān)矩陣的第j個(gè)對(duì)角元素，故若成立,則從而又因bj與殘差平方和QE相互獨(dú)立，由F定理有

對(duì)給定顯著性水平α,由樣本值算得Fj的統(tǒng)計(jì)值fj,

檢驗(yàn)準(zhǔn)則為若,則拒絕H0,可以認(rèn)為Xj對(duì)Y的線性影響顯著；6.5.4“最優(yōu)”回歸模型的選擇

應(yīng)用中總希望用“最優(yōu)”的線性回歸方程來描述變量間的線性相關(guān)關(guān)系.最優(yōu)：1）模型中應(yīng)包含所有對(duì)因變量Y有顯著影響的自變量；2）希望方程中所包含的自變量個(gè)數(shù)盡可能少.

通過回歸系數(shù)顯著性檢驗(yàn),判斷出原回歸方程問題：

有一個(gè)或幾個(gè)不顯著的自變量,能否簡單地從方程中將它們剔除即可呢?

如檢驗(yàn)出xi的線性相關(guān)性不顯著,去掉xi得到的方程就是理想的“最優(yōu)”回歸方程？答案：否定！

回歸系數(shù)的最小二乘估計(jì)b0,b1,…,bP相互之間存在相關(guān)性.

當(dāng)從原方程剔除一個(gè)變量時(shí)，其它變量,特別是與它密切相關(guān)的變量的回歸系數(shù)就會(huì)受到影響.

應(yīng)從余下的P－1個(gè)自變量

著手,重新估計(jì)出回歸函數(shù),寫出新的回歸方程一般引進(jìn)偏回歸平方和的概念總偏差平方和分解式為自變量xi的偏回歸平方和

.其中是由自變量中x1,x2,,…,xP掉xi所得的回歸平方和.反映了xi對(duì)Y的波動(dòng)的貢獻(xiàn)中回歸平方和QR反映了所有自變量對(duì)Y波動(dòng)的總貢獻(xiàn).

在回歸模型中去掉一個(gè)自變量，回歸平方和QR只能減小，而且減小的數(shù)值越大,說明該自變量在回歸模型中的作用越大.

評(píng)價(jià)一個(gè)自變量在一組給定自變量中的重要性,可以用它的偏回歸平方和的大小來衡量.按一定的優(yōu)化原則剔除或引進(jìn)自變量的方法:1.剔除變量算法

1)計(jì)算所有自變量的偏回歸平方和Q1,Q2…,QP及min{Q1,Q2,…,QP};2)若Qk=min{Q1,Q2,…,QP},計(jì)算若,則從P個(gè)自變量剔除xk,反之則不能剔除xk和任何變量；3）若剔除了xk，再對(duì)新的回歸方程中余下的P－1個(gè)自變量重新計(jì)算偏回歸平方和，循環(huán)到不能再剔除變量為止.2.引進(jìn)變量算法

1）求出max{Q1,Q2,…,QP};2)若Qk=max{Q1,Q2,…,QP},且,就引進(jìn)第P+1個(gè)自變量，否則認(rèn)為沒有必要引進(jìn)模型新的變量；3）若引進(jìn)了第P+1個(gè)自變量xP+1

，重新計(jì)算新回歸方程的偏回歸平方和Q*1,Q*2，…，Q*P+1，重新回到1）.如此循環(huán)到不能再引進(jìn)變量為止.

根據(jù)以上剔除和引進(jìn)變量的算法，有以下三種常用的最優(yōu)多元線性回歸方程的選擇計(jì)算程序：1.淘汰法（向后法、下降法

將所有可能供選擇的變量都放入模型中，然后逐個(gè)剔除，直到不能剔除為止.2.納新法（向前法、上升法）

模型中先選進(jìn)少量變量，然后一個(gè)一個(gè)地使用引進(jìn)變量程序，將新變量引進(jìn)到模型中，直到不能引進(jìn)為止.3.逐步回歸法（吐故納新法）前兩種方法的綜合與改進(jìn).1）用納新法引進(jìn)一個(gè)（只能一個(gè)）變量；2）對(duì)已進(jìn)入模型的變量使用淘汰法，淘汰不顯著的變量（可連續(xù)多次），直到無變量可淘汰；3）再使用納新法引進(jìn)一個(gè)新變量，回到2);如此循環(huán)，直到既不能納新又不能淘汰為止.

注使用不同的選擇變量計(jì)算程序,可得出不同的經(jīng)驗(yàn)回歸方程.在實(shí)際應(yīng)用中應(yīng)充分考慮問題的背景.6.5.5數(shù)據(jù)殘差圖分析

是檢驗(yàn)回歸方程擬合優(yōu)度的一個(gè)簡單有效的方法.數(shù)據(jù)殘差圖分析原理一元線性回歸模型獨(dú)立試驗(yàn)結(jié)果:滿足回歸假定1）

相互獨(dú)立；2）具有相同分布：～N(0,σ2).設(shè)Y對(duì)應(yīng)于的N個(gè)觀測(cè)值為作為yi，(i=1,2,…,n)的估計(jì)值,其中分別為a和b的估計(jì).稱為標(biāo)準(zhǔn)化殘差.定義

稱為殘差注1

ei，i=1,2,…,n是

,i=1,2,…,N的樣本值.

注2

可用作為σ的估計(jì),仍記

由于,i=1,2,…,n相互獨(dú)立,并且～N(0,σ2)有95.45%的把握e*的值在(一2,2)區(qū)間內(nèi)變動(dòng).以e*為縱坐標(biāo)，xi為橫坐標(biāo),將數(shù)據(jù)（xi，e*），i=1,2,…,n繪在平面圖內(nèi)，所得圖形稱為標(biāo)準(zhǔn)化殘差圖.

分析數(shù)據(jù)殘差圖,若數(shù)據(jù)點(diǎn)（xi，e*），i=1,2,…,n在(一2，2)區(qū)間內(nèi)隨機(jī)散布,說明回歸方程的擬合是良好的.xiei*例6.5.1生產(chǎn)費(fèi)用與產(chǎn)量擬合優(yōu)度分析

隨機(jī)抽取了某一類企業(yè)中的10個(gè)企業(yè),調(diào)查了它們的產(chǎn)量和生產(chǎn)費(fèi)用情況,取得數(shù)據(jù)如下表：

企業(yè)編號(hào)12345678910產(chǎn)量(千個(gè))X40424855657988100120140生產(chǎn)費(fèi)用(千元)Y150140160170150162185165190185建立經(jīng)驗(yàn)回歸方程為

計(jì)算出標(biāo)準(zhǔn)化殘差(見P170表7.9),繪制生產(chǎn)費(fèi)用的標(biāo)準(zhǔn)化殘差圖(圖7.11).圖中標(biāo)準(zhǔn)化殘差e*在橫軸上下隨機(jī)散布,且位于（一2，2）區(qū)間內(nèi),可以認(rèn)為方程對(duì)數(shù)據(jù)的擬合是良好的.

例6.5.2

試分析講義P175圖7.10的四副標(biāo)準(zhǔn)化殘差圖.1.圖（a）全部數(shù)據(jù)都在(－2,2)區(qū)間內(nèi),且隨機(jī)散布,說明方程對(duì)數(shù)據(jù)的擬合是良好的.2.圖（b）中有較多數(shù)據(jù)落在(－2,2)區(qū)間的外面,這說明方程對(duì)數(shù)據(jù)的擬合不充分.