廣義矩估計(jì)、背景我們前面學(xué)了OLS估計(jì)、工具變量估計(jì)方法，前面這幾種方法都有重要假設(shè)就是需要知道分布才能估計(jì)，但是往往現(xiàn)實(shí)理論我們無(wú)法得到關(guān)于分布的信息，因此矩估計(jì)方法應(yīng)運(yùn)而生。矩估計(jì)方法的基本思想是利用樣本矩的信息組成方程組來求總體矩，以此得到漸進(jìn)性質(zhì)下的一致性估計(jì)量。那么在構(gòu)成方程組求解的過程中涉及識(shí)別問題和解決。本章詳細(xì)介紹矩估計(jì)方法。矩估計(jì)方法實(shí)際應(yīng)用非常廣泛，應(yīng)注意將矩估計(jì)與OLS估計(jì)、工具變量估計(jì)和極大似然估計(jì)方法結(jié)合對(duì)比進(jìn)行應(yīng)用。二、知識(shí)要點(diǎn)1，應(yīng)用背景2，矩估計(jì)存在的問題（識(shí)別）3，矩正交方程和矩條件4，矩估計(jì)的屬性三、要點(diǎn)細(xì)綱1、應(yīng)用背景其基本思想是：在隨機(jī)抽樣中，樣本統(tǒng)計(jì)量（在一個(gè)嚴(yán)格意義上，一個(gè)統(tǒng)計(jì)量是觀察的n維隨機(jī)向量即子樣X=J「X2,…，Xn丿的一個(gè)（波雷爾可測(cè)）函數(shù)，且要求它不包含任何未知參數(shù)）將依概率收斂于某個(gè)常數(shù)。這個(gè)常數(shù)又是分布中未知參數(shù)的一個(gè)函數(shù)。即在不知道分布的情況下，利用樣本矩構(gòu)造方程（包含總體的未知參數(shù)），利用這些方程求得總體的未知參數(shù)?；径x統(tǒng)計(jì)量mv仝-士X：為子樣的v階矩S階原點(diǎn)矩）ni=1統(tǒng)計(jì)量1n(工統(tǒng)計(jì)量1n(工VXi-為子樣的v階中心矩。ni=1子樣矩的均值與方差

EX=卩Var(x)=E(X_p)2=EC2p2全o2EXk=ak我們用到ak或些時(shí)假定它是存在的。基本做法設(shè)：母體X的可能分布族為?(X,0),0W?｝，其中屬于參數(shù)空間@的0=(01,02,…,0k)是待估計(jì)的未知參數(shù)。假定母體分布的k階矩存在，則母體分布的v階矩ovG，。2，…,0丿=JxvdF(x,0)1<v<k是0=(01,02,...,0k)的函數(shù)。對(duì)于子樣X=(X1,X2,…,Xn)，其v階子樣矩是mv=1EXv,1<v<kni=1i現(xiàn)在用子樣矩作為母體矩的估計(jì)，即令：aG],0aG],02,…,0丿=mv=—EXv=1,2,...,k(1)ni=1(1)式確定了包含k個(gè)未知參數(shù)0=(01,02,...,0k)的k個(gè)方程式。求解(1)

式就可以得到0=(q],02,…,0k)的一組解0=(^1,02,…,0k)。因?yàn)閙v是隨機(jī)變量，故解得的『也是隨機(jī)變量。將片％，…皿分別作為九02,…,0k的估計(jì)稱為矩方法的估計(jì)，這種求估計(jì)量的方法稱為矩方法。2、矩估計(jì)存在的問題(識(shí)別)當(dāng)我們選擇的樣本矩方程多于、等于或少于我們所要估計(jì)的參數(shù)時(shí)，是否存在唯一解？如果無(wú)解，我們應(yīng)該采用什么技術(shù)進(jìn)行處理？設(shè)wt為模型向量，設(shè)wt為模型向量，zt為工具變量。考慮R個(gè)矩條件這里0是這里0是Kx1向量，fR維向量函數(shù)?？紤]相應(yīng)的樣本矩條件:()1T( )gTy=工f'wt,zt,e丿=0.Tt=1什么時(shí)候可以利用R個(gè)樣本矩條件估計(jì)K個(gè)參數(shù)？⑵R=K:存在唯一解gT0，參數(shù)正好識(shí)別，此時(shí)可采用OLS估計(jì)(1)R<K:不存在唯一解g⑵R=K:存在唯一解gT0，參數(shù)正好識(shí)別，此時(shí)可采用OLS估計(jì)和IV估計(jì)，因此OL(古(和IV估計(jì)是『MM估計(jì)的特例。Ezt兒一耳卩=0Kx1(3)R>K這時(shí)方程組中方程的個(gè)數(shù)多于參數(shù)的個(gè)數(shù)，此為過度識(shí)別問題,這時(shí)我們對(duì)矩條件的權(quán)重進(jìn)行修正，即采用最優(yōu)GMM估計(jì)方法?？紤]GMM的目標(biāo)函數(shù)Q(9)=考慮GMM的目標(biāo)函數(shù)Q(9)=采用平方形式：qt(e)ixi=gT()―g弋，yTSTg(e)WTgyT)WTgTM問題就是最小化皿(Wt)=呼\t如何選擇WT?根據(jù)大數(shù)定理：gT()TE(f(.))TT8.和中心極限定理：gT(?E(f(.))T->g.pT.gT(e)-》N(0,S)方差較小的矩就賦予較小的權(quán)重，即plimwTpt=Wopt=STTTg如不存在自相關(guān)，貝I」：S=Var(T.gT(e))=TVar(gT(e))=T?Var=1thf(wt，zt，e)f(wt，zt，必意味著我們選用的最優(yōu)權(quán)重矩陣為：

(1&f(wt,zt,0)f(wt，zt，叫矩正交方程和矩條件本節(jié)介紹實(shí)際操作中如何建立矩條件方程組。的矩條件：E(yt—丿=考慮一個(gè)變量yt，我們不知道分布，但是知道“=E(yt)，我們得到總體0或者E_f(yt,丿]=0這里f(yt,^的矩條件：E(yt—丿=、厶、“「( )「、、、由于我們不能計(jì)算E「f、yt,卩丿」，定義樣本矩條件：(1)(2)gT3=Tt!f(yt,宀Tt!i(yt一宀0(1)(2)根據(jù)大數(shù)定理，有：gT(P)TE[f(yt，卩)]對(duì)于t—g.Tt=1那么采用矩估計(jì)量bMM=丄纟yt，可以證明：bMM=-Iyt。Tt=1Tt=] Tt=1實(shí)際操作中采用兩階段GMM估計(jì)和迭代GMM估計(jì)。(1)兩階段GMM估計(jì)選擇一個(gè)最初的估計(jì)權(quán)重W0，W(l)=I或W(1)=(ZTZ戶，找到參數(shù)的一致性估計(jì)量：0(])=argmingT(0)TW(1)gT(0)，接著估計(jì)最優(yōu)權(quán)重wTpt=ST最后作最優(yōu)GMM估計(jì)：0GMM=argmin\T(0產(chǎn)W^PgT(2)迭代GMM估計(jì)選擇一個(gè)最初的估計(jì)權(quán)重％]),計(jì)算矩條件得到的參數(shù)函數(shù)0(1),再找一個(gè)新的權(quán)重w(2p)，進(jìn)行迭代運(yùn)算直到0(.)和w(p收斂。4，矩估計(jì)的屬性1、 矩估計(jì)量是一個(gè)大樣本估計(jì)量。2、 當(dāng)T—g，沒有關(guān)于分布的假設(shè)條件；矩估計(jì)量是漸進(jìn)有效的；很多估計(jì)量可以作為GMM的估計(jì)量，應(yīng)用很廣泛；矩估計(jì)量是一個(gè)非線性的估計(jì)量:「( )1ELfyt,xt,0丿」=0。四、習(xí)題1、 闡述矩估計(jì)的應(yīng)用背景。2、 簡(jiǎn)要闡述矩估計(jì)的識(shí)別問題。3、 簡(jiǎn)要闡述兩階段矩估計(jì)和迭代矩估計(jì)的思想和做法。4、 簡(jiǎn)要闡述矩估計(jì)和OLS估計(jì)和IV估計(jì)之間的關(guān)系。極大似然估計(jì)一、背景極大似然估計(jì)法(ML)是不同于最小二乘法的另一種參數(shù)估計(jì)方法，其應(yīng)用雖然沒有最小二乘普遍，但在計(jì)量經(jīng)濟(jì)學(xué)中占有絕對(duì)重要的地位，因?yàn)闃O大似然原理比最小二乘原理更本質(zhì)的揭示了通過樣本估計(jì)母體參數(shù)的內(nèi)在機(jī)理。計(jì)量經(jīng)濟(jì)學(xué)理論的發(fā)展更多的是以極大似然估計(jì)原理為基礎(chǔ)的，一些特殊的計(jì)量經(jīng)濟(jì)模型只有用極大似然的方法才能進(jìn)行估計(jì)。本部分我們就極大似然估計(jì)的基本原理以及性質(zhì)進(jìn)行學(xué)習(xí)。二、知識(shí)要點(diǎn)1，極大似然函數(shù)2，正則條件與克拉美-勞下界3，極大似然估計(jì)的性質(zhì)4，BHHH三、要點(diǎn)細(xì)綱1、極大似然函數(shù)及其估計(jì)的基本原理從總體中經(jīng)過N次隨機(jī)抽取得到樣本容量為N的樣本觀測(cè)值，在任一次隨機(jī)抽取中，樣本觀測(cè)值都以一定的概率出現(xiàn)，各樣本的抽取是獨(dú)立的，因此容易得到樣本的聯(lián)合密度函數(shù)。若只知道總體服從某種分布，但不知道其分布的參數(shù)，在可供選擇的總體中，我們選擇使得產(chǎn)生N個(gè)樣本的聯(lián)合概率最大的總體。樣本觀測(cè)值聯(lián)合概率函數(shù)就稱為似然函數(shù)。設(shè)總體的概率密度函數(shù)為f，其類型是已知的，但含有未知參數(shù)0，觀測(cè)值X，XX的聯(lián)合密度函數(shù)為：L(x,0)=用f(x)。它就稱為樣本的似然函1 2 N ii=1數(shù)，包含有未知參數(shù)0。極大似然估計(jì)的原理就是尋找參數(shù)估計(jì)量0，使得似然函數(shù)達(dá)到最大，0就稱為極大似然估計(jì)量。通過取對(duì)數(shù)以及一階條件可以求得該參數(shù)估計(jì)值?？梢宰C明對(duì)于多元線性回歸模型，在古典假設(shè)條件成立的條件下，極大似然估計(jì)得到的參數(shù)估計(jì)量與最小二乘估計(jì)得到的參數(shù)估計(jì)量是一樣的。2、正則條件設(shè)（x,x，…,x）是來自于密度函數(shù)為f（x,e）的單元（或多元）總體，密度函1 2 n數(shù)f（x,e）遵從下列正則條件：R1.對(duì)幾乎所有的x和所有的0，lnf（x月）關(guān)于e的前三階導(dǎo)數(shù)是有限的。i（這樣就確保了某些Taylor級(jí)數(shù)近似的存在和lnL導(dǎo)數(shù)的有限方差）；R2.滿足獲得lnf（x,e）一階二階導(dǎo)數(shù)期望所需的條件；iR3.對(duì)于所有0的取值，°* ；°）小于一個(gè)具有有限期望的函數(shù)（這點(diǎn)303030jkl使我們能夠?qū)aylor級(jí)數(shù)進(jìn)行舍去項(xiàng)數(shù)）。在這些正則條件，我們有下列關(guān)于f（x,e）的基本性質(zhì)：iD1.lnf（x,°）,g/山fg°）和H=3心fg°）（i=1,2,...,n）是i i 30 i 3e3°T隨機(jī)變量的全部隨機(jī)樣本；D2.E\g]=E3山弋）=0，一階導(dǎo)數(shù)的期望為零；D3.Var[g]=-E[h]=-E[巴丿辺]，二階導(dǎo)數(shù)矩陣期望的負(fù)值等于i i（3e3°T 丿一階導(dǎo)數(shù)的方差。了解正則條件，記住D2、D3的性質(zhì)。3、克拉美-勞下界若x的密度函數(shù)滿足一定的正則條件，參數(shù)0的一個(gè)無(wú)偏估計(jì)量的方差總是大于等于[I[I（0）[-1—-E[32InL（0）]'302丿這就是克拉美-勞下界，或稱為信息矩陣。對(duì)ge)的任一無(wú)偏估計(jì)，g=g(x,x,x),1 2 nVar(g)＞罟器，這是g(9)無(wú)偏估計(jì)的方差下界，但不一定是下確界。若g(9)的方差正好達(dá)到不等式的右端，則g(9)為g(9)的最小方差估計(jì)。4、極大似然估計(jì)的性質(zhì)若似然函數(shù)f(x,e)滿足正則條件，極大似然估計(jì)量有下列漸進(jìn)性質(zhì):mi、一致性：plime=eM2、漸進(jìn)正態(tài)：eNe,「I(e)-1，I(e)—EQ2lnL一oeoeTM3、漸進(jìn)有效：9是漸進(jìn)有效的，且達(dá)到一致估計(jì)量的克拉美-勞下界:AsyVar0AsyVar0<Ev *-inl(e)、'QlnL(e)J][QeJ[沏J][「Q2lnL(0)]]-1—丿——~E >aeaeT |M4、不變性：若9是9的ML估計(jì)，C(9)是連續(xù)函數(shù)，則Y—C(9)的ML估計(jì)是c(9)。這四個(gè)性質(zhì)特別是最后兩個(gè)性質(zhì)，估計(jì)量達(dá)到了最小方差，即ML估計(jì)量是有效估計(jì)量。同時(shí)若要估計(jì)參數(shù)的函數(shù)，無(wú)需重新估計(jì)模型，為估計(jì)參數(shù)函數(shù)提供了便利。但在小樣本的條件下，ML估計(jì)并不一定是最佳的。5、BHHH簡(jiǎn)單的說它是用來估計(jì)最大似然估計(jì)量的漸近方差，也就是方差的克拉美-勞下界，是一種依靠計(jì)算機(jī)的算法，因此此內(nèi)容只是作為了解。當(dāng)對(duì)數(shù)似然函數(shù)的二階微分期望值的形式是已知的，那么可以在9處估計(jì)MLE的方差。[I(9)[I(9)]-i——E「Q2InL(9)「——1Q9-Q9'由于對(duì)數(shù)似然函數(shù)的二階微分幾乎總是復(fù)雜的非線性函數(shù)，其確切的期望值是未知的，那么可以考慮如下兩個(gè)可選估計(jì)量：1)計(jì)算對(duì)數(shù)似然函數(shù)的二階微分矩陣而不是其期望值簡(jiǎn)單得到漸近方差：

-1a-1a2lnLCA"它的缺點(diǎn)仍然在于計(jì)算二階微分矩陣的復(fù)雜性，計(jì)算機(jī)編程難以實(shí)現(xiàn)。2）由于在正則條件下我們有性質(zhì)二階導(dǎo)數(shù)矩陣期望的負(fù)值等于一階導(dǎo)數(shù)G'G￡ggG'G￡