1、第四章預(yù)測在本章當(dāng)中我們討論預(yù)測的一般概念和方法， 然后分析利用ARMAq）模型進(jìn)行預(yù)測的問題。4.1預(yù)期原理利用各種條件對某個(gè)變量下一個(gè)時(shí)點(diǎn)或者時(shí)間階段內(nèi)取值的判斷是預(yù)測的重要情形。 為此， 需 要了解如何確定預(yù)測值和度量預(yù)測的精度。4.1.1基于條件預(yù)期的預(yù)測假設(shè)我們可以觀察到一組隨機(jī)變量 X,的樣本值，然后利用這些數(shù)據(jù)預(yù)測隨機(jī)變量的值。特 別地，一個(gè)最為簡單的情形就是利用匕的前川個(gè)樣本值預(yù)測丫屮，此時(shí)乙可以描述為：假設(shè) X； 川表示根據(jù) X,對于 做出的預(yù)測。 那么如何度量預(yù)測效果呢？通常情況下， 我們利用 損失函數(shù)來度量預(yù)測效果的優(yōu)劣。假設(shè)預(yù)測值與真實(shí)值之間的偏離作為損失，則簡單的二次

2、損失函 數(shù)可以表示為（該度量也稱為預(yù)測的均方誤差）：定理定理4 1使得預(yù)測均方誤差達(dá)到最小的預(yù)測是給定 X,時(shí)，對的條件數(shù)學(xué)期望，即：證明：假設(shè)基于&對滄的任意預(yù)測值為：f則此預(yù)測的均方誤差為： 對上式均方誤差進(jìn)行分解，可以得到： 其中交叉項(xiàng)的數(shù)學(xué)期望為（利用數(shù)學(xué)期望的疊代法則）： 因此均方誤差為：q為了使得均方誤差達(dá)到最小，則有： 此時(shí)最優(yōu)預(yù)測的均方誤差為：/MSE（Yt） =EYl+l- E（Y| X, ） End 我們以后經(jīng)常使用條件數(shù)學(xué)期望作為隨機(jī)變量的預(yù)測值。4.1.2基于線性投影的預(yù)測由于上述條件數(shù)學(xué)期望比較難以確定， 因此將預(yù)測函數(shù)的范圍限制在線性函數(shù)當(dāng)中， 我們考慮 下

3、述線性預(yù)測：V如此預(yù)測的選取是所有預(yù)測變量的線性組合，預(yù)測的優(yōu)劣則體現(xiàn)在系數(shù)向量的選擇上。定義定義4.1如果我們可以求出一個(gè)系數(shù)向量值使得預(yù)測誤差（匕+】-”乙）與 X,不相關(guān)： 則稱預(yù)測 NX,為滄基于出的線性投影。定理定理4.2在所有線性預(yù)測當(dāng)中，線性投影預(yù)測具有最小的均方誤差。證明：假設(shè) gX,是任意一個(gè)線性預(yù)測，則對應(yīng)的均方誤差可以分解為：由于刃匕是線性投影，則有：因此均方誤差為：為了使得均方誤差達(dá)到最小，線性預(yù)測滿足：這是一個(gè)線性投影。End我們將線性投影預(yù)測表示為：或者簡化為：顯然線性投影的預(yù)測誤差仍然不小于條件期望預(yù)測，因此有：當(dāng)條件中包含常數(shù)的時(shí)候， 此時(shí)線性投影當(dāng)中就含有常數(shù)

4、， 為此使用個(gè)表示含有常數(shù)項(xiàng)的線性 投影預(yù)測，即：僅供個(gè)人學(xué)習(xí)參考4.1.3線性投影的性質(zhì)根據(jù)線性投影的定義，我們可以求出投影的系數(shù)向量：如果 E（X,X；）是可逆的，則有：命題命題4.1 線性預(yù)測滿足下述性質(zhì)：最優(yōu)線性預(yù)測的均方誤差為：線性投影滿足線性平移性質(zhì)：證明：根據(jù)投影向量的表達(dá)式，可以得到：化簡就可以得到命題表達(dá)式。需要證明aP（Yl+lX,）+b是+b 的線性投影。顯然，它是線性函數(shù)，其次，可以證明它 滿足正交性質(zhì)。End4.1.4線性投影和普通最小二乘回歸線性投影與最小二乘估計(jì)緊密相關(guān)， 這兩種概念之間存在聯(lián)系。 例如， 將 y 屮基于“建立線性 回歸方程，得到：對于給定畑和旺的

5、T個(gè)樣本，樣本殘差平方和定義為：使得殘差平方和達(dá)到最小的系數(shù)最小二乘估計(jì)為：如果過程是協(xié)方差平穩(wěn)過程且關(guān)于二階矩是遍歷的，則有：因此上述 OLS 估計(jì)按概率收斂到線性投影系數(shù)：4.1.5向量預(yù)測上述結(jié)果可以推廣到利用以 1 維向量 X,預(yù)測“維向量；十】，記為： 其中刃為投影系數(shù)的一個(gè)5 階矩陣，滿足正交條件： 上式說明預(yù)測誤差（Yl+l-Yl+ll）的每一個(gè)分量與條件變量 X,的每一個(gè)分量都無關(guān)。命題命題4.2 假設(shè) K/+1|/是 S 的最小均方誤差線性預(yù)測，則對任意滄的線性組合如=hfYl+i,它的 最小均方誤差線性預(yù)測為:J證明：只需證明是線性投影即可，這時(shí)需要驗(yàn)證相應(yīng)的正交性。End

6、類似地，投影矩陣為:與此對應(yīng)的均方誤差矩陣為： 4.2基于無限個(gè)觀測值的預(yù)測無論是條件期望預(yù)測還是正交線性預(yù)測， 都是基于有限個(gè)條件變量的， 下面我們分析基于無限 個(gè)觀測值情形下的預(yù)測。4.2.1基于滯后誤差的預(yù)測考察一個(gè)無限階移動(dòng)平均過程曲 3）:匕=+ 0（厶）, 0（厶） = 0o+旳厶+肖三公+，|7=0假設(shè)巳經(jīng)知道過去所有時(shí)間階段的殘差觀測值佃,】,喬 2,，也知道模型中各種參數(shù)的值?，F(xiàn)在我們要預(yù)測$個(gè)階段以后的 X+$,根據(jù)模型它應(yīng)該是：對此最優(yōu)線性預(yù)測形式為：這個(gè)預(yù)測值的對應(yīng)誤差為：這個(gè)預(yù)測值的均方誤差為：僅供個(gè)人學(xué)習(xí)參考例例4.1 試求伽(q)過程的最優(yōu)線性預(yù)測。解：M4(q)

7、過程為： 乙=“+。(厶)爲(wèi)，&(D = q+q 厶+qz?+qc則它的最優(yōu)線性預(yù)測為：對應(yīng)的均方誤差為：上述預(yù)測具有清楚的含義， 在時(shí)間間隔彳以后， 使用過程的均值進(jìn)行預(yù)測， 而方差是過程的無條件 方差。4.2.2 基于滯后 Y 的預(yù)測一般情況下，我們僅僅可以觀察到 Y 的值，為此假設(shè)移動(dòng)平均過程具有可逆表示:-HX(D = o+i厶+/+ ,“0=1, ZI7； |；=0假設(shè)上述 S7?過程與MA過程之間滯后算子多項(xiàng)式的關(guān)系：1協(xié)方差平穩(wěn)的乂 ()過程為：表示成為算子多項(xiàng)式形式：滿足：爪 L)=處厶)，以厶)=0(乙)2.個(gè) M4(q)過程可以表示成為：也可以表示成為算子多項(xiàng)式形式

8、： 在可逆性假設(shè)條件下，則有： 肖(D = &(D,“(D = &(厶)如果給出了觀測值 厶人, ,可以在模型當(dāng)中構(gòu)造出殘差序列佝占十 ， 例如在朋過程 當(dāng)中：對于給定系數(shù)和也比十,由上式可以計(jì)算出：在可逆的曲過程當(dāng)中，可以得到：最后，可以得到給定冷丫-,條件下的預(yù)測公式為：或者：1砒 J 匕兒,=“+讐命& - “)上述公式也被稱為 Wiener-Kolmogorov 預(yù)測公式。上述公式當(dāng)中的算子是截?cái)嘈问降乃阕颖?達(dá)式，算子表達(dá)式中將滯后算子的負(fù)指數(shù)頊?zhǔn)÷浴?.2.3 預(yù)測一個(gè)如?過程對于一個(gè)平穩(wěn)的如?過程，可以將算子多項(xiàng)式表示成為：利用上述公式，可以得到 S階段后

9、的最優(yōu)線性預(yù)測為：上述預(yù)測公式說明，隨著預(yù)測階段的增加，預(yù)測值將趨于長期均值。對應(yīng)的預(yù)測誤差為: 隨著預(yù)測階段的增加，預(yù)測誤差也趨于無條件方差，/(1-滬)。4.2.4 預(yù)測一個(gè)如?()過程對于一個(gè)平穩(wěn)的脈()過程，可以利用 Wiener-Kolmogorov 預(yù)測公式進(jìn)行預(yù)測。該公式的主 要特點(diǎn)在于：它可以利用過去的過程觀測值和未來的殘差值表示預(yù)測值，然后未來的殘差值利用期 望去掉。其中:僅供個(gè)人學(xué)習(xí)參考僅供個(gè)人學(xué)習(xí)參考其中表示矩陣 Q 中第 i行、第丿列元素，矩陣尸為：這時(shí)$階段的最優(yōu)預(yù)測為：顯然上述預(yù)測是均值基礎(chǔ)上加上觀測值的一個(gè)線性組合，是觀測值的線性函數(shù)。相應(yīng)的預(yù)測誤差為：下面我們給

10、出具體的預(yù)測推導(dǎo)過程：進(jìn)行 1 個(gè)時(shí)期的預(yù)測，它滿足：將時(shí)間開始階段換為/ + 1,得到：根據(jù)多重投影定理斷言， 如果丫出的“1期預(yù)測是 f期信息的投影， 則該預(yù)測也是 f期進(jìn)行的最 優(yōu)線性預(yù)測，則有： 將 1期預(yù)測代入得到：(3)AR(p)過程的前 5 期預(yù)測根據(jù)疊代可以得到：Z+川一“=始(+尸屮 _“)+02(+尸 2“+0p(Z+r，其中：P 叩*, rr4.2.5 預(yù)測一個(gè)伽過程繼續(xù)考寮一個(gè)必過程，可以利用滯后算子表示為： ；-“ =(1 + &厶)習(xí)，|&|q)比較簡單：4.2.7 預(yù)測一個(gè) 1)過程ARMA(1,1)過程可以表示為：假設(shè)該過程是平穩(wěn)的(|訓(xùn) 1 )

11、和可逆的(|創(chuàng)1,預(yù)測值滿足遞推公式：這意味著預(yù)測值按照幾何方式以速度 0 收斂到無條件均值。前 1 期預(yù)測由下式給出: 上式可以等價(jià)地表示為：其中：或者：4.2.8預(yù)測一個(gè)ARMA(p,q)過程綜合上述各種預(yù)測情形，我們可以得到預(yù)測平穩(wěn)過程的方法。過程可以 表示為：僅供個(gè)人學(xué)習(xí)參考最優(yōu)線性預(yù)測方程可以表示為：其中玄可以利用下述遞推表示：前 s期預(yù)測為：其中：|1 =片，T-f 4.2基于無限個(gè)觀測值的預(yù)測下面我們假設(shè)巳知模型的參數(shù)， 但是只獲得了有限樣本億十 _,申 情形下的預(yù)測問題。 4.3.1最優(yōu)預(yù)測的近似基于有限個(gè)觀察值的預(yù)測方法是假設(shè)樣本之前的殘差&都為零，這是因?yàn)橛邢旅娴慕?/p>

12、似公式存在：4.3.2有限樣本情形下的精確預(yù)測利用線性投影可以得到有限樣本情形下的精確預(yù)測： 4.7A/?AM過程之和*下面我們考慮兩個(gè)ARMA過程相加所得到的時(shí)間序列性質(zhì)。4.7.1MA過程與白噪聲之和假設(shè)-個(gè)序列是零均值的過程f 其中山是白噪聲序列，滿足：此時(shí) X,過程自協(xié)方差函數(shù)為：假設(shè)隨機(jī)過程兒是另外一個(gè)白噪聲過程，滿足：假設(shè)兩個(gè)白噪聲序列之間在任何時(shí)點(diǎn)都是不相關(guān)的，也即有：E(U,VS) = 09VS,/這是也有：E(X,叫)=,Ps,t目前的間題是， 如何觀測到一個(gè)序列匕是上述移動(dòng)平均過程和白噪聲過程的和， 那么這個(gè)和過 程的性質(zhì)如何？顯然，上述過程仍然具有零均值，它的自協(xié)方差函數(shù)

13、可以表示為：由此可見，隨機(jī)過程拆也是平穩(wěn)過程，它的自協(xié)方差函數(shù)與曲過程是類似的。此時(shí)，我們 設(shè)想是否有一個(gè) M4過程：其中白噪聲滿足：它具有與和過程一致的自協(xié)方差函數(shù)？如何是這樣，則要求白噪聲的方差滿足：對于給定的參數(shù)：耳死，開，滿足上述要求的&值為：在特殊情形下，如果兀=0,則上式變?yōu)椋簩τ谄渌樾?，可以分析具有相同自協(xié)方差函數(shù)的自回歸系數(shù)的要求。4.7.2兩個(gè)移動(dòng)平均過程之和假設(shè) X,是過程，人是曲（弘）過程，并且兩個(gè)過程的殘差在任何時(shí)點(diǎn)都不相關(guān)，則可以 證明，他們的和過程滿足過程伽（max（,g）。4.7.2兩個(gè)自回歸過程之和僅供個(gè)人學(xué)習(xí)參考假設(shè)隨機(jī)過程 X,和叱是兩個(gè)朋（1）過

14、程，滿足：其中，和兒是兩個(gè)在任何時(shí)點(diǎn)上都不相關(guān)的白噪聲序列。假設(shè)我們可以觀察到 并且想利用&, s幻來對 r,+1進(jìn)行預(yù)測。為此，我們需要分析時(shí)間序列的結(jié)構(gòu)。在特殊情形下，如果一旦自回歸系數(shù)相同，或 則直接得到 X = X, +叱的自回歸表示：如果兀工,則有：可以等價(jià)地表示為：對應(yīng)的要求為：因此可以知道：更為一般地，對于兩個(gè)殘差序列不相關(guān)的自回歸過程而言：它們相加可以得到一個(gè)ARMA（pL+ “2，皿門，宀）過程：0（厶）=兀（Do（D，如肉=。（如 + 兀 S * 4.8Wold 分解和 Box-Jenldns 建模思想平穩(wěn)時(shí)間序列具有類似的性質(zhì)， 那么如果表示平穩(wěn)時(shí)間序列的一般結(jié)構(gòu)

15、呢？ Wold分解定理給 出了-般的結(jié)論。JT24.8.1 Wold 分解定理定理4.3（Wold分解定理）任何零均值協(xié)方差平穩(wěn)過程齊可以表示成為如下形式：其中：肖 0=1,巧是利用（乙_加1）預(yù)測乙時(shí)產(chǎn)生的誤差：對于任意八 心與不相關(guān)，并且匕也可以利用利用（r,_7.,ji）進(jìn)行預(yù)測：心稱為過程齊的線性確定性成分，而匕稱為過程齊的線性非確定性成分。如果心=0,j=0則稱該過程是純線性不確定性的。4.8.2Box-Jenkins 建模思想任何時(shí)間序列數(shù)據(jù)都有自己的生成機(jī)制，但是如何揭示和描述時(shí)間序列的數(shù)據(jù)生成機(jī)制呢？這需要利用時(shí)間序列模型對數(shù)據(jù)生成機(jī)制進(jìn)行逼近或者近似，這就需要尋求建立時(shí)間序列

16、模型的基本過程。（1）建立模型一個(gè)基本出發(fā)點(diǎn)是，所采用的模型越節(jié)儉越好，所要估計(jì)的參數(shù)越多，模型出現(xiàn) 錯(cuò)誤的可能性就越大。（2）即使一個(gè)復(fù)雜的模型描述和模擬歷史數(shù)據(jù)的能力很好，但是有時(shí)進(jìn)行預(yù)測時(shí)的誤差卻很大。 以前大型經(jīng)濟(jì)計(jì)量模型的失敗則說明了這一點(diǎn)。Box-Jenldns 提出并倡導(dǎo)的預(yù)測方法主要步驟為：（1）如果有必要，可以對數(shù)據(jù)進(jìn)行變化，使得數(shù)據(jù)的協(xié)方差平穩(wěn)性變得更為合理。（2）對于描述平穩(wěn)性數(shù)據(jù)的ARMAq）模型的階數(shù)做出一個(gè)初始的數(shù)值比較小的猜測。(3) 估計(jì)自回歸和移動(dòng)平均算子多頊?zhǔn)街械南禂?shù)。(4) 對模型進(jìn)行診斷分析以確定所得到的模型確實(shí)與觀測到的數(shù)據(jù)具有類似的特征。其中數(shù)據(jù)變化主要根據(jù)經(jīng)濟(jì)時(shí)間序列的特征， 對數(shù)序列的差分是非常常用的變換方法。 時(shí)間序 列模型的估計(jì)與診斷是后面討論的主要內(nèi)容。僅供個(gè)人學(xué)習(xí)參考4.8.3樣本自相關(guān)函數(shù)為了確定模型的階數(shù)， 我們首先討論自相關(guān)函數(shù)的估計(jì)問題。 一般情況下可以利用樣本的矩估 計(jì)進(jìn)行：a1T1T九=2(” 一亍)(兒-丿一刃，丿=0 丄 2,T l,y = -Xyt1/=j+i1/=i根據(jù) M4(q)和惑)過程的性質(zhì)，我們可以根據(jù)上述樣