1、9.2 隨機時間序列分析模型,一、時間序列模型的基本概念及其適用性 二、隨機時間序列模型的平穩(wěn)性條件 三、隨機時間序列模型的識別 四、隨機時間序列模型的估計 五、隨機時間序列模型的檢驗,經(jīng)典計量經(jīng)濟學(xué)模型與時間序列模型 確定性時間序列模型與隨機性時間序列模型,一、時間序列模型的基本概念及其適用性,1、時間序列模型的基本概念,隨機時間序列模型（time series modeling）是指僅用它的過去值及隨機擾動項所建立起來的模型，其一般形式為 Xt=F(Xt-1, Xt-2, , t) 建立具體的時間序列模型，需解決如下三個問題： (1)模型的具體形式 (2)時序變量的滯后期 (3)隨機擾動項

2、的結(jié)構(gòu) 例如，取線性方程、一期滯后以及白噪聲隨機擾動項（ t =t），模型將是一個1階自回歸過程AR(1)： Xt=Xt-1+ t 這里， t特指一白噪聲。,一般的p階自回歸過程AR(p)是 Xt=1Xt-1+ 2Xt-2 + + pXt-p + t (*),(1)如果隨機擾動項是一個白噪聲(t=t)，則稱(*)式為一純AR(p)過程（pure AR(p) process），記為 Xt=1Xt-1+ 2Xt-2 + + pXt-p +t (2)如果t不是一個白噪聲，通常認為它是一個q階的移動平均（moving average）過程MA(q)： t=t - 1t-1 - 2t-2 - - qt-

3、q 該式給出了一個純MA(q)過程（pure MA(p) process）。,將純AR(p)與純MA(q)結(jié)合，得到一個一般的自回歸移動平均（autoregressive moving average）過程ARMA（p,q）：,Xt=1Xt-1+ 2Xt-2 + + pXt-p + t - 1t-1 - 2t-2 - - qt-q,該式表明： （1）一個隨機時間序列可以通過一個自回歸移動平均過程生成，即該序列可以由其自身的過去或滯后值以及隨機擾動項來解釋。 （2）如果該序列是平穩(wěn)的，即它的行為并不會隨著時間的推移而變化，那么我們就可以通過該序列過去的行為來預(yù)測未來。 這也正是隨機時間序列分析模

4、型的優(yōu)勢所在。,經(jīng)典回歸模型的問題： 迄今為止，對一個時間序列Xt的變動進行解釋或預(yù)測，是通過某個單方程回歸模型或聯(lián)立方程回歸模型進行的，由于它們以因果關(guān)系為基礎(chǔ)，且具有一定的模型結(jié)構(gòu)，因此也常稱為結(jié)構(gòu)式模型（structural model）。 然而，如果Xt波動的主要原因可能是我們無法解釋的因素，如氣候、消費者偏好的變化等，則利用結(jié)構(gòu)式模型來解釋Xt的變動就比較困難或不可能，因為要取得相應(yīng)的量化數(shù)據(jù)，并建立令人滿意的回歸模型是很困難的。 有時，即使能估計出一個較為滿意的因果關(guān)系回歸方程，但由于對某些解釋變量未來值的預(yù)測本身就非常困難，甚至比預(yù)測被解釋變量的未來值更困難，這時因果關(guān)系的回歸模

5、型及其預(yù)測技術(shù)就不適用了。,2、時間序列分析模型的適用性,例如，時間序列過去是否有明顯的增長趨勢，如果增長趨勢在過去的行為中占主導(dǎo)地位，能否認為它也會在未來的行為里占主導(dǎo)地位呢？ 或者時間序列顯示出循環(huán)周期性行為，我們能否利用過去的這種行為來外推它的未來走向？ 隨機時間序列分析模型，就是要通過序列過去的變化特征來預(yù)測未來的變化趨勢。 使用時間序列分析模型的另一個原因在于： 如果經(jīng)濟理論正確地闡釋了現(xiàn)實經(jīng)濟結(jié)構(gòu)，則這一結(jié)構(gòu)可以寫成類似于ARMA(p,q)式的時間序列分析模型的形式。,在這些情況下，我們采用另一條預(yù)測途徑：通過時間序列的歷史數(shù)據(jù)，得出關(guān)于其過去行為的有關(guān)結(jié)論，進而對時間序列未來行為

6、進行推斷。,例如，對于如下最簡單的宏觀經(jīng)濟模型：,這里，Ct、It、Yt分別表示消費、投資與國民收入。 Ct與Yt作為內(nèi)生變量，它們的運動是由作為外生變量的投資It的運動及隨機擾動項t的變化決定的。,上述模型可作變形如下：,兩個方程等式右邊除去第一項外的剩余部分可看成一個綜合性的隨機擾動項，其特征依賴于投資項It的行為。 如果It是一個白噪聲，則消費序列Ct就成為一個1階自回歸過程AR(1)，而收入序列Yt就成為一個(1,1)階的自回歸移動平均過程ARMA(1,1)。,二、隨機時間序列模型的平穩(wěn)性條件,自回歸移動平均模型（ARMA）是隨機時間序列分析模型的普遍形式，自回歸模型（AR）和移動平均

7、模型（MA）是它的特殊情況。 關(guān)于這幾類模型的研究，是時間序列分析的重點內(nèi)容：主要包括模型的平穩(wěn)性分析、模型的識別和模型的估計。,1、AR(p)模型的平穩(wěn)性條件,隨機時間序列模型的平穩(wěn)性，可通過它所生成的隨機時間序列的平穩(wěn)性來判斷。 如果一個p階自回歸模型AR(p)生成的時間序列是平穩(wěn)的，就說該AR(p)模型是平穩(wěn)的， 否則，就說該AR(p)模型是非平穩(wěn)的。,考慮p階自回歸模型AR(p) Xt=1Xt-1+ 2Xt-2 + + pXt-p +t (*),引入滯后算子（lag operator ）L： LXt=Xt-1, L2Xt=Xt-2, , LpXt=Xt-p (*)式變換為 (1-1L-

8、 2L2-pLp)Xt=t,記(L)= (1-1L- 2L2-pLp),則稱多項式方程 (z)= (1-1z- 2z2-pzp)=0 為AR(p)的特征方程(characteristic equation)。 可以證明，如果該特征方程的所有根在單位圓外（根的模大于1），則AR(p)模型是平穩(wěn)的。,例9.2.1 AR(1)模型的平穩(wěn)性條件。,對1階自回歸模型AR(1),方程兩邊平方再求數(shù)學(xué)期望，得到Xt的方差,由于Xt僅與t相關(guān)，因此，E(Xt-1t)=0。如果該模型穩(wěn)定，則有E(Xt2)=E(Xt-12)，從而上式可變換為：,在穩(wěn)定條件下，該方差是一非負的常數(shù)，從而有 |1。,而AR(1)的特

9、征方程,的根為 z=1/ AR(1)穩(wěn)定，即 | 1，意味著特征根大于1。,例9.2.2 AR(2)模型的平穩(wěn)性。 對AR(2)模型,方程兩邊同乘以Xt，再取期望得：,又由于,于是,同樣地，由原式還可得到,于是方差為,由平穩(wěn)性的定義，該方差必須是一不變的正數(shù)，于是有 1+21, 2-11, |2|1,這就是AR(2)的平穩(wěn)性條件，或稱為平穩(wěn)域。它是一頂點分別為（-2,-1），（2,-1），（0,1）的三角形。,對應(yīng)的特征方程1-1z-2z2=0 的兩個根z1、z2滿足： z1z2=-1/2 , z1+z2 =-1/2,AR(2)模型,解出1，2,由AR(2)的平穩(wěn)性，|2|=1/|z1|z2|

10、1，有,于是| z2 |1。由 2 - 1 1可推出同樣的結(jié)果。,對高階自回模型AR(p)來說，多數(shù)情況下沒有必要直接計算其特征方程的特征根，但有一些有用的規(guī)則可用來檢驗高階自回歸模型的穩(wěn)定性：,(1)AR(p)模型穩(wěn)定的必要條件是： 1+2+p1 (2)由于i(i=1,2,p)可正可負，AR(p)模型穩(wěn)定的充分條件是： |1|+|2|+|p|1,對于移動平均模型MR(q)： Xt=t - 1t-1 - 2t-2 - - qt-q 其中t是一個白噪聲，于是,2、MA(q)模型的平穩(wěn)性,當滯后期大于q時，Xt的自協(xié)方差系數(shù)為0。 因此:有限階移動平均模型總是平穩(wěn)的。,由于ARMA (p,q)模型

11、是AR(p)模型與MA(q)模型的組合： Xt=1Xt-1+ 2Xt-2 + + pXt-p + t - 1t-1 - 2t-2 - - qt-q,3、ARMA(p,q)模型的平穩(wěn)性,而MA(q)模型總是平穩(wěn)的，因此ARMA (p,q)模型的平穩(wěn)性取決于AR(p)部分的平穩(wěn)性。 當AR(p)部分平穩(wěn)時，則該ARMA(p,q)模型是平穩(wěn)的，否則，不是平穩(wěn)的。,最后,（1）一個平穩(wěn)的時間序列總可以找到生成它的平穩(wěn)的隨機過程或模型； （2）一個非平穩(wěn)的隨機時間序列通?？梢酝ㄟ^差分的方法將它變換為平穩(wěn)的，對差分后平穩(wěn)的時間序列也可找出對應(yīng)的平穩(wěn)隨機過程或模型。 因此，如果我們將一個非平穩(wěn)時間序列通過d

12、次差分，將它變?yōu)槠椒€(wěn)的，然后用一個平穩(wěn)的ARMA(p,q)模型作為它的生成模型，則我們就說該原始時間序列是一個自回歸單整移動平均（autoregressive integrated moving average）時間序列，記為ARIMA(p,d,q)。 例如，一個ARIMA(2,1,2)時間序列在它成為平穩(wěn)序列之前先得差分一次，然后用一個ARMA(2,2)模型作為它的生成模型的。 當然，一個ARIMA(p,0,0)過程表示了一個純AR(p)平穩(wěn)過程；一個ARIMA(0,0,q)表示一個純MA(q)平穩(wěn)過程。,三、隨機時間序列模型的識別,所謂隨機時間序列模型的識別，就是對于一個平穩(wěn)的隨機時間序列

13、，找出生成它的合適的隨機過程或模型，即判斷該時間序列是遵循一純AR過程、還是遵循一純MA過程或ARMA過程。 所使用的工具主要是時間序列的自相關(guān)函數(shù)（autocorrelation function，ACF）及偏自相關(guān)函數(shù)（partial autocorrelation function， PACF ）。,1、AR(p)過程,(1)自相關(guān)函數(shù)ACF 1階自回歸模型AR(1) Xt=Xt-1+ t 的k階滯后自協(xié)方差為：,=1,2,因此，AR(1)模型的自相關(guān)函數(shù)為,=1,2,由AR(1)的穩(wěn)定性知|1，因此，k時，呈指數(shù)形衰減，直到零。這種現(xiàn)象稱為拖尾或稱AR(1)有無窮記憶（infinite

14、 memory）。 注意， 0時，呈振蕩衰減狀。,Xt=1Xt-1+ 2Xt-2 + t 該模型的方差0以及滯后1期與2期的自協(xié)方差1, 2分別為,階自回歸模型AR(2),類似地,可寫出一般的k期滯后自協(xié)方差：,(K=2,3,),于是,AR(2)的k 階自相關(guān)函數(shù)為：,(K=2,3,),其中 :1=1/(1-2), 0=1,如果AR(2)穩(wěn)定，則由1+21知|k|衰減趨于零，呈拖尾狀。 至于衰減的形式，要看AR(2)特征根的實虛性，若為實根，則呈單調(diào)或振蕩型衰減，若為虛根，則呈正弦波型衰減。,一般地，p階自回歸模型AR(p) Xt=1Xt-1+ 2Xt-2 + pXt-p + t,k期滯后協(xié)方

15、差為:,從而有自相關(guān)函數(shù) :,可見，無論k有多大， k的計算均與其到p階滯后的自相關(guān)函數(shù)有關(guān)，因此呈拖尾狀。 如果AR(p)是穩(wěn)定的，則|k|遞減且趨于零。,其中：1/zi是AR(p)特征方程(z)=0的特征根，由AR(p)平穩(wěn)的條件知，|zi|1; 因此，當1/zi均為實數(shù)根時，k呈幾何型衰減（單調(diào)或振蕩）； 當存在虛數(shù)根時，則一對共扼復(fù)根構(gòu)成通解中的一個阻尼正弦波項， k呈正弦波衰減。,事實上，自相關(guān)函數(shù),是一p階差分方程，其通解為,（2）偏自相關(guān)函數(shù),自相關(guān)函數(shù)ACF(k)給出了Xt與Xt-1的總體相關(guān)性，但總體相關(guān)性可能掩蓋了變量間完全不同的隱含關(guān)系。 例如，在AR(1)隨機過程中，X

16、t與Xt-2間有相關(guān)性可能主要是由于它們各自與Xt-1間的相關(guān)性帶來的:,即自相關(guān)函數(shù)中包含了這種所有的“間接”相關(guān)。 與之相反，Xt與Xt-k間的偏自相關(guān)函數(shù)(partial autocorrelation，簡記為PACF)則是消除了中間變量Xt-1，Xt-k+1 帶來的間接相關(guān)后的直接相關(guān)性，它是在已知序列值Xt-1，Xt-k+1的條件下，Xt與Xt-k間關(guān)系的度量。,從Xt中去掉Xt-1的影響，則只剩下隨機擾動項t，顯然它與Xt-2無關(guān)，因此我們說Xt與Xt-2的偏自相關(guān)系數(shù)為零，記為,在AR(1)中，,同樣地，在AR(p)過程中，對所有的kp，Xt與Xt-k間的偏自相關(guān)系數(shù)為零。 AR

17、(p)的一個主要特征是:kp時，k*=Corr(Xt,Xt-k)=0 即k*在p以后是截尾的。,一隨機時間序列的識別原則： 若Xt的偏自相關(guān)函數(shù)在p以后截尾，即kp時，k*=0，而它的自相關(guān)函數(shù)k是拖尾的，則此序列是自回歸AR(p)序列。,在實際識別時，由于樣本偏自相關(guān)函數(shù)rk*是總體偏自相關(guān)函數(shù)k*的一個估計，由于樣本的隨機性，當kp時，rk*不會全為0，而是在0的上下波動。但可以證明，當kp時，rk*服從如下漸近正態(tài)分布: rk*N(0,1/n) 式中n表示樣本容量。 因此，如果計算的rk*滿足,需指出的是，,我們就有95.5%的把握判斷原時間序列在p之后截尾。,對MA(1)過程,2、MA

18、(q)過程,可容易地寫出它的自協(xié)方差系數(shù)：,于是，MA(1)過程的自相關(guān)函數(shù)為：,可見，當k1時，k0，即Xt與Xt-k不相關(guān)，MA(1)自相關(guān)函數(shù)是截尾的。,MA(1)過程可以等價地寫成t關(guān)于無窮序列Xt，Xt-1，的線性組合的形式：,或,（*）,(*)是一個AR()過程，它的偏自相關(guān)函數(shù)非截尾但卻趨于零，因此MA(1)的偏自相關(guān)函數(shù)是非截尾但卻趨于零的。,注意: (*)式只有當|1時才有意義，否則意味著距Xt越遠的X值，對Xt的影響越大，顯然不符合常理。 因此，我們把|1稱為MA(1)的可逆性條件（invertibility condition）或可逆域。,其自協(xié)方差系數(shù)為,一般地，q階移

19、動平均過程MA(q),相應(yīng)的自相關(guān)函數(shù)為,可見，當kq時， Xt與Xt-k不相關(guān)，即存在截尾現(xiàn)象，因此，當kq時， k=0是MA(q)的一個特征。 于是：可以根據(jù)自相關(guān)系數(shù)是否從某一點開始一直為0來判斷MA(q)模型的階。,與MA(1)相仿，可以驗證MA(q)過程的偏自相關(guān)函數(shù)是非截尾但趨于零的。,MA(q)模型的識別規(guī)則：若隨機序列的自相關(guān)函數(shù)截尾，即自q以后，k=0（ kq）；而它的偏自相關(guān)函數(shù)是拖尾的，則此序列是滑動平均MA(q)序列。,同樣需要注意的是：在實際識別時，由于樣本自相關(guān)函數(shù)rk是總體自相關(guān)函數(shù)k的一個估計，由于樣本的隨機性，當kq時，rk不會全為0，而是在0的上下波動。但可

20、以證明，當kq時，rk服從如下漸近正態(tài)分布: rkN(0,1/n) 式中n表示樣本容量。 因此，如果計算的rk滿足：,我們就有95.5%的把握判斷原時間序列在q之后截尾。,ARMA(p,q)的自相關(guān)函數(shù)，可以看作MA(q)的自相關(guān)函數(shù)和AR(p)的自相關(guān)函數(shù)的混合物。 當p=0時，它具有截尾性質(zhì)； 當q=0時，它具有拖尾性質(zhì)； 當p、q都不為0時，它具有拖尾性質(zhì) 從識別上看，通常： ARMA(p，q)過程的偏自相關(guān)函數(shù)（PACF）可能在p階滯后前有幾項明顯的尖柱（spikes），但從p階滯后項開始逐漸趨向于零； 而它的自相關(guān)函數(shù)（ACF）則是在q階滯后前有幾項明顯的尖柱，從q階滯后項開始逐漸趨

21、向于零。,3、ARMA(p, q)過程,四、隨機時間序列模型的估計,AR(p)、MA(q)、ARMA(p,q)模型的估計方法較多，大體上分為3類： （1）最小二乘估計； （2）矩估計； （3）利用自相關(guān)函數(shù)的直接估計。 下面有選擇地加以介紹。,結(jié)構(gòu) 階數(shù),模型 識別,確定,估計,參數(shù), AR(p)模型的Yule Walker方程估計,在AR(p)模型的識別中，曾得到,利用k=-k，得到如下方程組：,此方程組被稱為Yule Walker方程組。該方程組建立了AR(p)模型的模型參數(shù)1,2,p與自相關(guān)函數(shù)1,2,p的關(guān)系，,利用實際時間序列提供的信息，首先求得自相關(guān)函數(shù)的估計值,然后利用Yule

22、Walker方程組，求解模型參數(shù)的估計值,由于,于是,從而可得2的估計值,在具體計算時，,可用樣本自相關(guān)函數(shù)rk替代。, MA(q)模型的矩估計,將MA(q)模型的自協(xié)方差函數(shù)中的各個量用估計量代替，得到：,首先求得自協(xié)方差函數(shù)的估計值，(*)是一個包含(q+1)個待估參數(shù),(*),的非線性方程組，可以用直接法或迭代法求解。,常用的迭代方法有線性迭代法和Newton-Raphsan迭代法。,（1）MA(1)模型的直接算法,對于MA(1)模型，（*）式相應(yīng)地寫成,于是,或,有,于是有解,由于參數(shù)估計有兩組解，可根據(jù)可逆性條件|1|1來判斷選取一組。,（2）MA(q)模型的迭代算法,對于q1的MA

23、(q)模型，一般用迭代算法估計參數(shù)： 由（*）式得,第一步，給出,的一組初值，比如,代入（*）式，計算出第一次迭代值,（*）,第二步，將第一次迭代值代入（*）式，計算出第二次迭代值,按此反復(fù)迭代下去，直到第m步的迭代值與第m-1步的迭代值相差不大時（滿足一定的精度），便停止迭代，并用第m步的迭代結(jié)果作為（*）的近似解。, ARMA(p,q)模型的矩估計,在ARMA(p,q)中共有(p+q+1)個待估參數(shù)1,2,p與1,2,q以及2，其估計量計算步驟及公式如下： 第一步，估計1,2,p,是總體自相關(guān)函數(shù)的估計值，可用樣本自相關(guān)函數(shù)rk代替。,第二步，改寫模型，求1,2,q以及2的估計值,將模型,

24、改寫為：,令,于是(*)可以寫成：,(*),構(gòu)成一個MA模型。按照估計MA模型參數(shù)的方法，可以得到1,2,q以及2的估計值。, AR(p)的最小二乘估計,假設(shè)模型AR(p)的參數(shù)估計值已經(jīng)得到，即有,殘差的平方和為：,(*),根據(jù)最小二乘原理，所要求的參數(shù)估計值是下列方程組的解：,即,j=1,2,p (*),解該方程組，就可得到待估參數(shù)的估計值。,為了與AR(p)模型的Yule Walker方程估計進行比較，將(*)改寫成：,j=1,2,p,由自協(xié)方差函數(shù)的定義，并用自協(xié)方差函數(shù)的估計值,代入，上式表示的方程組即為：,或,j=1,2,p,j=1,2,p,解該方程組，得到：,即為參數(shù)的最小二乘估

25、計。 Yule Walker方程組的解,比較發(fā)現(xiàn)，當n足夠大時，二者是相似的。 2的估計值為：,需要說明的是，在上述模型的平穩(wěn)性、識別與估計的討論中，ARMA(p,q)模型中均未包含常數(shù)項。,如果包含常數(shù)項，該常數(shù)項并不影響模型的原有性質(zhì)，因為通過適當?shù)淖冃危蓪?shù)項的模型轉(zhuǎn)換為不含常數(shù)項的模型。 下面以一般的ARMA(p,q)模型為例說明。 對含有常數(shù)項的模型,方程兩邊同減/(1-1-p)，則可得到,其中,五、模型的檢驗,由于ARMA(p,q)模型的識別與估計是在假設(shè)隨機擾動項是一白噪聲的基礎(chǔ)上進行的，因此，如果估計的模型確認正確的話，殘差應(yīng)代表一白噪聲序列。 如果通過所估計的模型計算

26、的樣本殘差不代表一白噪聲，則說明模型的識別與估計有誤，需重新識別與估計。 在實際檢驗時，主要檢驗殘差序列是否存在自相關(guān)。,1、殘差項的白噪聲檢驗,可用QLB的統(tǒng)計量進行2檢驗：在給定顯著性水平下，可計算不同滯后期的QLB值，通過與2分布表中的相應(yīng)臨界值比較，來檢驗是否拒絕殘差序列為白噪聲的假設(shè)。 若大于相應(yīng)臨界值，則應(yīng)拒絕所估計的模型，需重新識別與估計。,2、AIC與SBC模型選擇標準 另外一個遇到的問題是，在實際識別ARMA(p,q)模型時，需多次反復(fù)償試，有可能存在不止一組（p,q）值都能通過識別檢驗。 顯然，增加p與q的階數(shù)，可增加擬合優(yōu)度，但卻同時降低了自由度。 因此，對可能的適當?shù)哪?/p>

27、型，存在著模型的“簡潔性”與模型的擬合優(yōu)度的權(quán)衡選擇問題。,其中，n為待估參數(shù)個數(shù)（p+q+可能存在的常數(shù)項），T為可使用的觀測值，RSS為殘差平方和（Residual sum of squares）。 在選擇可能的模型時，AIC與SBC越小越好 顯然，如果添加的滯后項沒有解釋能力，則對RSS值的減小沒有多大幫助，卻增加待估參數(shù)的個數(shù)，因此使得AIC或SBC的值增加。 需注意的是：在不同模型間進行比較時，必須選取相同的時間段。,常用的模型選擇的判別標準有：赤池信息法（Akaike information criterion，簡記為AIC）與施瓦茲貝葉斯法（Schwartz Bayesian c

28、riterion，簡記為SBC）：,由第一節(jié)知：中國支出法GDP是非平穩(wěn)的，但它的一階差分是平穩(wěn)的，即支出法GDP是I(1)時間序列。 可以對經(jīng)過一階差分后的GDP建立適當?shù)腁RMA(p,q)模型。 記GDP經(jīng)一階差分后的新序列為GDPD1，該新序列的樣本自相關(guān)函數(shù)圖與偏自相關(guān)函數(shù)圖如下：,例9.2.3 中國支出法GDP的ARMA(p,q)模型估計。,圖形：樣本自相關(guān)函數(shù)圖形呈正弦線型衰減波，而偏自相關(guān)函數(shù)圖形則在滯后兩期后迅速趨于0。因此可初步判斷該序列滿足2階自回歸過程AR(2)。,自相關(guān)函數(shù)與偏自相關(guān)函數(shù)的函數(shù)值： 相關(guān)函數(shù)具有明顯的拖尾性； 偏自相關(guān)函數(shù)值在k2以后，,可認為：偏自相關(guān)函數(shù)是截尾的。再次驗證了一階差分后的GDP滿足AR(2)隨機過程。,設(shè)序列GDPD1的模型形式為,有如下Yule Walker 方程：,解為：,用OLS法回歸的結(jié)果為：,（7.91) (-3.60) r2=0.8469 R2=0.8385 DW=1.15,有時，在用回歸法時，也可加入常數(shù)項。 本例中加入常數(shù)項的回歸為：,（1.99） （7.74）