1、第4章，非線性回歸模型，1，2，本章內(nèi)容，非線性模型參數(shù)非線性概念的估計(jì)技術(shù)，非線性最小二乘法，最大似然法，非線性模型統(tǒng)計(jì)檢驗(yàn)的應(yīng)用案例分析，3，參數(shù)非線性，當(dāng)模型是參數(shù)非線性形式時(shí)，應(yīng)采用非線性估計(jì)技術(shù)。非線性模型的一般形式是：易=f(，b) ei，其中f(.)是一個(gè)可微的非線性函數(shù)，b是K1的未知參數(shù)向量，x是kn的解釋變量矩陣，e是服從某種形式的統(tǒng)計(jì)分布(通常使用正態(tài)分布)的誤差項(xiàng)。此時(shí)，我們不能將待估計(jì)的參數(shù)表示為由已知的x和y表示的線性函數(shù)，這稱為參數(shù)非線性。4，非線性模型情況1，C-D生產(chǎn)函數(shù)，5，非線性模型情況2，不變替代彈性生產(chǎn)函數(shù)(CES)，假設(shè)模型有兩個(gè)解釋變量，簡化形式可

2、以表示如下：0是技術(shù)效率系數(shù)1是分配系數(shù)(011) 2是替代系數(shù)3是規(guī)模報(bào)酬系數(shù)，隨機(jī)誤差項(xiàng)U服從正態(tài)分布。6，非線性模型案例3，回歸方程Front具有特殊統(tǒng)計(jì)分布的Probit Logit Tobit誤差項(xiàng)在限制因變量模型中，非線性模型與線性模型之間的關(guān)系，考慮到一般非線性模型Y=f(X) e條件均值函數(shù)是EY|X=f(X)條件均值函數(shù)的線性逼近(泰勒級數(shù)在X=X0展開)，可以看出線性模型是一個(gè)非線性模型如果函數(shù)關(guān)系是高度非線性的，當(dāng)使用線性函數(shù)逼近時(shí)會(huì)出現(xiàn)遺漏重要解釋變量的誤差。7，8，兩種主要的估計(jì)技術(shù)，非線性最小二乘法(NLS)基于殘差平方和的最小值獲得參數(shù)估計(jì)，這通?；谡`差項(xiàng)滿足正

3、態(tài)分布的假設(shè)。通常，計(jì)量經(jīng)濟(jì)學(xué)軟件有標(biāo)準(zhǔn)的指令和算法。最大似然法基于最大似然值獲得參數(shù)估計(jì)。誤差項(xiàng)可以是任何統(tǒng)計(jì)分布形式。不同的情況需要不同的指令和算法。9、NLS方法，用最小二乘法估計(jì)非線性回歸方程的原理與估計(jì)線性回歸方程的原理相同，即求解使殘差平方和最小的參數(shù)。在函數(shù)形式滿足要求的條件下，模型參數(shù)可以通過求解由一階條件組成的方程得到，即對于非線性方程，我們通常不能保證估計(jì)參數(shù)的解析解，但通?？梢酝ㄟ^數(shù)值逼近得到方程的近似解。此時(shí)，估計(jì)的參數(shù)可能不是唯一的，并且存在收斂問題。10，NLS方法，求解非線性方程常用的方法有：直接搜索，即根據(jù)某個(gè)指標(biāo)(如誤差平方和)選擇最優(yōu)結(jié)果；直接最優(yōu)化方法，即

4、使用上述偏導(dǎo)數(shù)方法，通過直接求解方程來獲得參數(shù)估計(jì)，這在實(shí)際工作中很少使用；迭代線性化方法，從一組參數(shù)的初始值線性化非線性函數(shù)，然后求解線性方程，得到新的估計(jì)值；重復(fù)上述步驟，直到估計(jì)結(jié)果達(dá)到收斂標(biāo)準(zhǔn)或最大迭代次數(shù)。11，NLS法，線性回歸迭代解法包括以下步驟：當(dāng)初始值未給定時(shí)，用OLS法估計(jì)系數(shù)(或用其它算法得到的估計(jì)值)作為初始值，否則用給定的初始值。在這組初始值下，非線性方程通過泰勒級數(shù)轉(zhuǎn)化為線性方程，然后通過求解它們得到新的參數(shù)估計(jì)。重復(fù)上述過程，直到參數(shù)達(dá)到給定的收斂標(biāo)準(zhǔn)或給定的最大迭代次數(shù)。此時(shí)獲得的結(jié)果包括參數(shù)的估計(jì)值、相應(yīng)的漸近t統(tǒng)計(jì)量、R2值等。12，NLS方法，應(yīng)當(dāng)注意，N

5、LS方法不能保證總是收斂到最優(yōu)解，并且可能的情況如下：當(dāng)收斂速度緩慢收斂直到局部最優(yōu)解的估計(jì)系數(shù)發(fā)散并收斂到錯(cuò)誤的結(jié)果時(shí)，R2可能具有負(fù)值。在應(yīng)用工作中，當(dāng)遇到上述情況時(shí)，一種方法是ch使用現(xiàn)有的計(jì)算機(jī)能力和軟件，模型的重復(fù)估算不會(huì)產(chǎn)生過高的成本或需要太長的投資。該方法有助于識別估計(jì)結(jié)果的可靠性。13，NLS方法，ESS，全局最優(yōu)，局部最優(yōu)，a，b，c，d，*，14，nls方法，非線性模型以矩陣形式表示：一階條件為：15，NLS估計(jì)參數(shù)b的性質(zhì)，假設(shè)任何觀測值的誤差項(xiàng)et服從標(biāo)準(zhǔn)正態(tài)分布，不同觀測值之間的誤差項(xiàng)協(xié)方差等于0，即， 假設(shè)解釋變量X是非隨機(jī)的，在這種情況下，得到如下結(jié)論：當(dāng)n趨于無

6、窮大時(shí)，估計(jì)參數(shù)*接近正態(tài)分布，實(shí)參數(shù)為均值(根據(jù)中心極限定理)； 因此*是一致性估計(jì)量；這一結(jié)論與模型誤差項(xiàng)ei的統(tǒng)計(jì)分布假設(shè)無關(guān)。16，nls估計(jì)量的性質(zhì)，線性回歸模型的統(tǒng)計(jì)檢驗(yàn)方法不能直接應(yīng)用于非線性回歸模型，因?yàn)榧词够貧w殘差服從正態(tài)分布，我們也不能從回歸殘差中得到模型誤差項(xiàng)方差的無偏估計(jì)。當(dāng)采用迭代法時(shí)，我們對最后一次線性化后的估計(jì)結(jié)果進(jìn)行標(biāo)準(zhǔn)線性模型的統(tǒng)計(jì)檢驗(yàn)。該方法依賴于NLS估計(jì)工具在大樣本中的一致性。17歲。非線性函數(shù)的統(tǒng)計(jì)檢驗(yàn)。當(dāng)需要檢驗(yàn)非線性函數(shù)的某些系數(shù)是否滿足一定的約束條件時(shí)，可以采用似然比檢驗(yàn)法。對帶系數(shù)約束和不帶系數(shù)約束的模型進(jìn)行了估計(jì)，得到了相應(yīng)的似然值，分別用L

7、(r)和L(ur)表示。似然比介于0和1之間。服從有限自由度的2分布。當(dāng)它足夠小時(shí)，我們拒絕對應(yīng)于系數(shù)約束的假假設(shè)。18，隨機(jī)前沿模型，70年代末問世，側(cè)重于分析生產(chǎn)過程的技術(shù)效率(最大化)。從數(shù)學(xué)規(guī)劃方法到統(tǒng)計(jì)方法，可以估計(jì)，技術(shù)效率的應(yīng)用將逐步擴(kuò)展利潤函數(shù)(最大化)成本函數(shù)(最小化)，以及技術(shù)無效率的概念，19，X2，X1，xa，xa，x *，20，技術(shù)無效率的概念，考慮到當(dāng)生產(chǎn)函數(shù)yi=f(xi)，TEi為00時(shí)的技術(shù)效率損失?？梢钥闯?，21、前沿函數(shù)估計(jì)、確定性前沿一般采用非統(tǒng)計(jì)方法，例如，基于線性規(guī)劃方法的數(shù)據(jù)包絡(luò)分析已經(jīng)得到廣泛應(yīng)用。有專門的軟件。隨機(jī)前沿函數(shù)基于統(tǒng)計(jì)技術(shù)，需要假設(shè)

8、技術(shù)效率的分布形式，并用最大似然法進(jìn)行估計(jì)。這一定律也得到廣泛應(yīng)用，并且有許多種特殊的軟件。前沿Limdep/Nlogit Stata，22，隨機(jī)前沿函數(shù)，可表示為Yit=xit (vit-uit) i=1，N；T=1。其中y是因變量(產(chǎn)量/成本/利潤)，x是解釋變量和待估計(jì)的參數(shù)(1k向量)，vit被假定為正態(tài)分布的隨機(jī)變量，其平均值為零，方差為v2，且與uit無關(guān)；Uit是一個(gè)非負(fù)隨機(jī)變量，反映了生產(chǎn)單位I的技術(shù)效率損失，它通常被假設(shè)為服從截尾正態(tài)分布，具有mit均值和u2方差。為了檢驗(yàn)技術(shù)效率損失的影響因素，有：mit=zit，23，估計(jì)隨機(jī)前沿函數(shù)，用OLS方法估計(jì)：斜率系數(shù)估計(jì)量是無

9、偏和一致的，常項(xiàng)估計(jì)量是有偏的(往往被低估)，因?yàn)镋(uit)0不能分解方差，用最大似然法估計(jì)：估計(jì)量有共同的性質(zhì)，當(dāng)u0轉(zhuǎn)化為OLS估計(jì)量時(shí)存在收斂問題，24，隨機(jī)前沿函數(shù)的估計(jì)方法， Battese和克拉(1977)提出的方法(最大似然法)，使得2=v2 u2和=u2/(v2 u2)，并且值在0和1之間。 在估計(jì)模型時(shí)，通過尋找最優(yōu)解可以得到一個(gè)初始值，然后利用非線性估計(jì)技術(shù)可以得到所有參數(shù)的最大似然估計(jì)。估計(jì)值的統(tǒng)計(jì)檢驗(yàn)可以反映生產(chǎn)單元之間技術(shù)效率的變化是否具有統(tǒng)計(jì)顯著性，即以下公式用于計(jì)算技術(shù)效率(以生產(chǎn)函數(shù)為例):效率=e (YIT * | uit，xit)/e (YIT * | u

10、it=0，xit)，其中e(。)意味著找到括號中數(shù)學(xué)表達(dá)式的期望值。25，參數(shù)非線性方程在Eviews下用NLS方法估計(jì)，EVIEWS軟件包括非線性最小二乘估計(jì)方法。非線性最小二乘估計(jì)指令與線性最小二乘估計(jì)指令相同，但是需要給出方程的數(shù)學(xué)表達(dá)式，其中向量C(i)表示ith參數(shù)。如果方程左側(cè)的因變量也有參數(shù)，EIVEWS可以在給出完整的方程表達(dá)式f (y)=g (x) u后，根據(jù)最小化u2=(f(y)-g(x)2的原則得到參數(shù)估計(jì)。注意，此時(shí)得到的估計(jì)結(jié)果不能用于計(jì)算因變量的擬合值或預(yù)測它。在EVIEWS下，用NLS方法估計(jì)參數(shù)非線性方程。在大多數(shù)情況下，EVIEWS可以用線性最小二乘法來估計(jì)初

11、始值，得到最終結(jié)果。如果使用上述方法出現(xiàn)在給定迭代次數(shù)下不收斂或收斂到異常的參數(shù)(可以通過檢查R2、對數(shù)似然值和可變系數(shù)來判斷)，則可以使用用戶提供的值。人工初始值實(shí)際上是存儲(chǔ)在系數(shù)向量c中的當(dāng)前值。為了確定結(jié)果的可靠性，我們可以嘗試不同的初始值，看看它們是否能收斂到相似的結(jié)果(局部最優(yōu)和全局最優(yōu))。26，最大似然法用于估計(jì)EVIEWS下的參數(shù)非線性方程。最大似然法適用于更一般的情況。在EVIEWS下選擇對象/新對象/日志。在隨后的窗口中，根據(jù)研究的需要，需要調(diào)用Eviews的幾個(gè)函數(shù)來給出參數(shù)的初始值，調(diào)用估計(jì)并確定相關(guān)的選項(xiàng)來得到估計(jì)結(jié)果。您可以在“文件”下選擇“新建/程序”來創(chuàng)建一個(gè)程序

12、文件，這樣更便于調(diào)試。通常需要給出初始值。27，EVIEWS使用最大似然法來估計(jì)參數(shù)非線性方程，例如：Box-Cox模型基本形式：當(dāng)=1時(shí)，前因變成線性函數(shù)；當(dāng)=0時(shí)，泰勒級數(shù)展開可以得到先行項(xiàng)成為對數(shù)線性函數(shù)；因此，Box-Cox模型是一個(gè)廣義的非線性模型，它可以采用不同的變量值。28歲，EVIEWS下用最大似然法估計(jì)參數(shù)非線性方程，似然函數(shù)為LogL文件形式(C(1)=，C(2)=，C(3)=，C(4)=(2)LOGL LOGL YT=(YC(1)-1)/C(1)XT=(XC(1)-1)/C(1)RES=YT-C(2)-C(3)* XT LOGL=LOG(DNORM(RES/SQRT(C(

13、4)-LOG(C(4)/2(C(1)-1)* LOG(Y)，29，30，案例：農(nóng)業(yè)國內(nèi)生產(chǎn)總值生產(chǎn)函數(shù)，相關(guān)變量：對數(shù)(RAGDP)包括觀測值： 120經(jīng)過12次迭代后達(dá)到收斂白異方差一致標(biāo)準(zhǔn)誤差協(xié)方差對數(shù)(RAGDP)=C(1)C(2)*對數(shù)(RULA-C(3)*核糖核酸(4)*對數(shù)（面積(7)*對數(shù)（拉米(5)*對數(shù)（面積)2系數(shù)標(biāo)準(zhǔn)。錯(cuò)誤-統(tǒng)計(jì)問題C(1)-2.3872790.992403-2.405553 0.0178 C(2)0.262193 0.040308 6.504712 0.0000 C(3)1.475834 0.014264 103.46690.0000000 C(4)0.00000001.0000001案例：非農(nóng)業(yè)國內(nèi)生產(chǎn)總值生產(chǎn)函數(shù)，相關(guān)變量：對數(shù)（包括觀測值): 120經(jīng)過1次迭代后達(dá)到的收斂白異方差一致標(biāo)準(zhǔn)誤差協(xié)方差對數(shù)（包括觀測值)=C(1)C(2)* LOG(NALA C(3)* RNALA)C(4)*