1、第五章 時間序列的預(yù)報,最小方差估計 平穩(wěn)線性最小均方誤差預(yù)報 一類非平穩(wěn)序列的線性最小均方誤差預(yù)報 ARMA序列的新息預(yù)報,第一節(jié) 最小方差估計,一. 最小方差估計準則 對未知隨機變量或未知隨機向量進行估計是時間序列分析中預(yù)測理論的重要內(nèi)容。 令 表示依據(jù)量測Z對X所得的某種估計，稱 為X的估計，它是與X的維數(shù)相同的隨機向量，而且是Z的函數(shù).,記估計的誤差為 ，稱 為估計的均方誤差陣，若存在某種估計，使得估計的均方誤差陣比任何其他的均方誤差陣都小，則稱這個估計是最優(yōu)的。 注：這里所講的估計的均方誤差陣大小，是指矩陣的大小。設(shè)A,B為同階對稱陣，若A-B是非負定陣，則稱A不小于B，記為 ；若A

2、-B是正定陣，則A大于B，記為AB。,二. 條件期望與條件方差 對于兩個二階矩有窮的隨機向量，定義在給定Y=y的條件下，X的條件期望和條件方差分別記為E(X|y)和Var(X|y) 其中p(x|y)是給定Y=y的條件下X的條件密度函數(shù)。,條件期望的性質(zhì)： (1) E(X|Y)是Y的函數(shù)向量并與X的維數(shù)相同， E(X|Y)使隨機向量 (2) E(X|Y)具有線性性，即對k個相同維數(shù)隨機向量 及k個常數(shù) 有， (3) EE(X|Y)=EX,(4) 設(shè)X與Y為相互獨立的隨機向量，則 Ef(X)|Y=f(X) 其中f( )為適當?shù)暮瘮?shù)向量，僅要求f(x)為隨機向量。 (5) Ef(Y)|Y=f(Y),

3、(6),(7) 當X與Y的聯(lián)合分布為正態(tài)分布時，則,三. 最小方差估計 尋找最小方差估計就是尋找一個適當?shù)腪的函數(shù) 為隨機函數(shù)向量，較之其它估計 相應(yīng)估計的均方誤差陣達最小，即 可以證明：,注： （1） 最小方差估計是無偏估計 （2） 最小方差估計的均方誤差陣為,四. 線性最小方差估計 若估計 為量測隨機向量Z的線性函數(shù) 其中 為n維隨機向量，Z為m維隨機向量，a為 與 同維數(shù)的常值向量，A為非隨機矩陣，選擇 a,A是估計的均方誤差陣達最小的估計稱為線性 最小方差估計。,X的線性最小方差估計為 的性質(zhì)： (1) 線性最小方差估計具有無偏性 (2) 線性最小方差估計的估計誤差為 且 與Z正交。,

4、定義1.1 設(shè)X與Z分別是二階矩的n維與m維隨機 向量，如果存在一個與X同維數(shù)隨機向量 ，且 具有下列性質(zhì)： (1) 可由Z的線性表示，即 ,其中a 和A分別為常值向量和常值矩陣 (2) (3) 與Z正交，即 則稱 是X在Z上的投影，記為,注： (1) 線性最小方差估計 是X在Z上的投影 (2) X在Z上的投影只能是線性最小方差估計 ，即投影是唯一的 (3) 當X與Z為聯(lián)合正態(tài)時,X關(guān)于Z的條件期望和X在Z上的投影相等，即,第二節(jié) 平穩(wěn)線性最小均方 誤差預(yù)報,預(yù)報是根據(jù)現(xiàn)在和過去的觀察資料，對未來時 刻的取值進行估計。 設(shè) 為零均值平穩(wěn)序列， 為 的 長度為k的樣本，根據(jù) 對 ( 為正整 數(shù))

5、做出估計 ，取估計的優(yōu)劣標 準為使估計誤差 (2.1) 的方差 達最小，則,(1) (2.2) 稱 為 步最小均方誤差預(yù)報。 (2) 如果函數(shù)f是 的線性函數(shù),那么(2.2) 為正交投影，即 其中 ，稱 為 步線性最小 均方誤差預(yù)報。,注： (1) 當 為正態(tài)序列時，最小均方誤差預(yù)報與線性最小均方誤差預(yù)報是一致的。 (2) 當 為非正態(tài)序列時，最小均方誤差預(yù)報要優(yōu)于線性最小均方誤差預(yù)報。,例2.1: 設(shè) 為相互獨立的隨機變量, ,令 分別求Y關(guān)于X的線性最小均方誤差估計和最小均方誤差 估計。,線性最小均方誤差估計具體的表述：選擇 使得 達最小。由于 因此， 令,則有， 將理論自協(xié)方差函數(shù) 換成

6、樣本自協(xié)方差函數(shù) ， 得到， (1.5),于是 步線性最小均方誤差預(yù)報為 存在的問題： 1. 樣本自協(xié)方差函數(shù) 由 計算出來，k很大，故(1.5)的計算量極大 2. 部分樣本自協(xié)方差函數(shù) 無法計算。,為克服上述困難,不妨假設(shè)已獲得的觀測資料為所有的 歷史資料,即為 ，令 表示由k時刻和它之前的所有歷史數(shù)據(jù)對 所作的 步線性最小均方誤差預(yù)報，即 其中 是使 步預(yù)報誤差 的均方 達到最小，則有,1.1 步預(yù)報和預(yù)報誤差方差 設(shè) 為ARMA(p,q)序列，其傳遞形式和逆轉(zhuǎn)形式分 別為 且 令 可知，,則序列 的 步線性最小均方誤差預(yù)報為： (1.11) 步預(yù)報誤差為： (1.12) 步預(yù)報誤差方差為

7、： (1.13),注： (1) 由(1.11)可得 (1.14) (1.14)表明，在k+1時刻的 步預(yù)報等于k時刻的 步 預(yù)報加上k時刻的一步預(yù)報誤差得加權(quán)修正項。 (2) 由兩部分組成，第一部分 為 步預(yù)報誤差，第二 部分 為 步預(yù)報,(3) 等式(1.13)表明：在線性最小均方誤差預(yù)報意義下， 步預(yù)報誤差方差僅與預(yù)報步數(shù)有關(guān)，而與預(yù)報起點k無關(guān)，并且步數(shù)愈大，預(yù)報誤差也就愈大，即預(yù)報精度愈差。,對于ARMA(p,q)模型參數(shù) 與Green函數(shù) 的關(guān) 系式： 其中 當模型建立后， 由模型參數(shù) 逐步遞推得到，再 由公式(1.12),(1.13),(1.14)計算出 步預(yù)報 和 預(yù)報誤差，誤差

8、方差。,1.2 ARMA(p,q)序列的平穩(wěn)線性最小均方誤差預(yù)報 一. AR(p)序列的預(yù)報 模型： 步預(yù)報為 當 時，有,定理1.1 設(shè) 為AR(p)序列，則觀測到時刻k為止的各步預(yù)報有如下遞推公式: (1.16),注：定理1.1表明，對AR(p)序列，只要知道 這p個數(shù)據(jù)，就可遞推求得AR(p) 序列的任意步的平穩(wěn)線性最小均方誤差預(yù)報，比 k-p+1時刻更早的歷史數(shù)據(jù)對預(yù)報不起作用。,例1.2 試求AR(1)序列的預(yù)報和預(yù)報誤差方差。,注:若 為正態(tài)噪聲，則 的95%的置信區(qū)間的置信 上、下限為,例1.3 試求AR(2)序列的預(yù)報。 步預(yù)報為： (1) 遞推法：由初值 ,可遞推出 任意 步

9、預(yù)報 。 (2) 差分方程法： 滿足二階差分方程 其中推移算子B作用于 ，即,設(shè) 為特征方程 的特征根，當k 固定時，由差分方程理論知： (1) 為不同實根，則 步預(yù)報為 其中 滿足 則，,(2) 當 ，則 步預(yù)報為 其中 滿足 則，,(3) 當 ，記 則 步預(yù)報為,例1.4 設(shè)某地區(qū)年平均降水量 為540毫米，其偏差 序列 為AR(2)序列 其中 ，已知近5年的實測降水量(單位：毫米) 為 求今后3年各年降水量的預(yù)測值。,二. MA(q)序列的預(yù)報 (1) 逆函數(shù)法預(yù)報 MA(q)模型： (2.1) 其逆轉(zhuǎn)形式為 (2.2) 從逆函數(shù)出發(fā)，給出的預(yù)報為逆函數(shù)法預(yù)報。,定理1.2 設(shè) 為MA(

10、q)序列，則觀測到時刻k為止 的各步預(yù)報為 (2.3) 其中 由下式遞推得到， (2.4),注： (1) 公式（2.4）不僅適用于MA(q)序列，也適用于ARMA(p,q)序列。 (2) MA(q)序列和AR(p)序列兩者預(yù)報有一個根本區(qū)別：對MA(q)序列的預(yù)報 依賴于k時刻和k時刻以前的全部歷史數(shù)據(jù)。,在實際應(yīng)用中，我們采取有窮和(取求和項適當?shù)拇?代替(2.3)式中的無窮和，從而近似的線性最小均方誤差預(yù)報為 (2.7) 對于M的選擇，可根據(jù) 收斂于零的速度適當?shù)剡x擇，以保證預(yù)報的精度。,(2). 向量遞推預(yù)報 引理1.1 設(shè) 為ARMA(p,q)序列，則有如下預(yù)報遞推 公式： (2.8)

11、,定理1.3 設(shè) 為MA(q)序列，則線性最小均方誤差預(yù) 報向量 滿足如下遞推公式 (2.9) 其中，,注：遞推公式(2.9)中的初值 可由逆函數(shù)公式 直接得到，當 很小時，也可取 。 例1.4 求MA(2)序列： 的逆函數(shù)法預(yù)報。 解：逆函數(shù)為： 由系數(shù)公式，,故其逆函數(shù)法預(yù)報為： 當 時， 取M=13,其近似預(yù)報為：,例1.5求MA(2)序列： 的向量遞推預(yù)報。,三. ARMA(p,q)序列的預(yù)報 (1) 逆函數(shù)法預(yù)報 預(yù)報公式為： (2.10) 其中 這里，,注：在實際應(yīng)用中，我們采取有窮和(取求和項適當?shù)拇?代替(2.10)式中的無窮和，從而近似的線性最小均方誤差預(yù)報為， (2.11)

12、,(2) 向量遞推預(yù)報 ARMA(p,q)模型： (2.12) 其傳遞形式為： (2.13) 注意到，當 時， (2.14) 其中， ,故當 時， 由(2.14) 遞推求得。,定理1.4 設(shè) 為ARMA(p,q)序列，則線性最小均方誤差 預(yù)報向量 滿足如下遞推公式 (2.15) 其中，,注：遞推公式中的初值 的選取方法與MA(q) 序列選取是一致的。,例1.6 求ARMA(1,2)序列 的逆函數(shù)法預(yù)報和向量遞推預(yù)報。 解：(1) 模型的逆轉(zhuǎn)形式為： 于是，逆函數(shù)為：,逆函數(shù)法預(yù)報為 選取M=30,于是相應(yīng)的近似預(yù)報為,(2) 模型的傳遞形式為： 于是，其Green函數(shù)為： 故，向量遞推預(yù)報為：

13、,第三節(jié) 一類非平穩(wěn)序列的線性 最小均方誤差預(yù)報,一. ARIMA(p,d,q)序列的預(yù)報 設(shè) 為ARIMA(p,d,q)序列, ，令， 則， 可通過 及 表示為 (3.1),當tm=d時，由 這里 為ARMA(p, q)序列，我們有如下定理， 定理1.5 設(shè) 為ARIMA(p,d,q)序列，則 已知條件下關(guān)于 線性最小均方誤差預(yù)報為, 其中，,注：定理1.5表明：通過ARMA(p,q)序列 的線性 最小均方誤差預(yù)報，可給出原序列 的預(yù)報。 例1.7 求 為ARIMA(1,1,0)序列的預(yù)報。 解： 的模型為： 令 ，于是 為AR(1)序列，則,二. 季節(jié)性乘積模型的預(yù)報 設(shè) 為 模型,即：

14、令 ，則 令 這里， 為ARMA(p,q)序列，而 為ARIMA(p,d,q)序 列。,序列，則由 的線性最小均方誤差預(yù)報，得到 的 預(yù)報為， 其中 又因為， 于是，原序列 的 步預(yù)報公式為， 或,例3.1 設(shè) 為 序列： 求 的 步預(yù)報。,三. 非平穩(wěn)序列的疊合模型的預(yù)報 具有確定性的趨勢分量和周期分量的非平穩(wěn)序列為 (3.2) 其中 為趨勢分量， 為周期分量， 為平穩(wěn)ARMA(p,q) 序列。 將(3.2)式中的三部分各自進行 步預(yù)報，之和作為 的 步預(yù)報，即，,具體地， (1) 僅含線性趨勢： ，則 (2) 僅含多項式趨勢： ,則 (3) 僅含指數(shù)趨勢： 實數(shù),則,(4) 僅含周期分量： ,則 (5) 既具有趨勢又有周期分量的非平穩(wěn)序列的預(yù)報為，,例3.1 考慮如下疊合模型： 故 可表為模型的兩部分 步預(yù)報之和，即,例3.2：化學衰減數(shù)據(jù)的建模。采用一個溫度躍變系統(tǒng) 來研究化學反應(yīng)中濃度變化的衰減過程。具體辦法是產(chǎn)生 電火花溫度甚高，使溶