1、第六章第六章 ARMAARMA模型的參數(shù)估計模型的參數(shù)估計n第一節(jié) AR(p)模型的參數(shù)估計n第二節(jié) MA(q)模型的參數(shù)估計n第三節(jié) ARMA(p,q)模型的參數(shù)估計n第四節(jié) 求和模型及季節(jié)模型的參數(shù)估計 第一節(jié)第一節(jié). AR(p). AR(p)模型的參數(shù)估計模型的參數(shù)估計n目的：為觀測數(shù)據(jù)建立AR(p)模型 (1.1) 假定自回歸階數(shù)p已知，考慮回歸系數(shù) 和零均值白噪聲 的方差 的估計。n數(shù)據(jù) 的預(yù)處理：如果樣本均值不為零，需將它們中心化，即將它們都同時減去其樣本均值 再對序列按(1.1)式的擬合方法進行擬合。 tptptttXXXX2211Tp),(1t2nxxx,21nttnxnx1/

2、1 n假定數(shù)據(jù) 適合于以下模型 (1.2)其中，p為給定的非負整數(shù)， 為未知參數(shù)，記 為系數(shù)參數(shù)， 為獨立同分布序列，且 ， 與 獨立，參數(shù)滿足平穩(wěn)性條件。nxxx,21nptXXXXtptpttt, 1,2211p,21Tp),(1t422, 0tttEEEt,tsxs A. AR(p)A. AR(p)模型參數(shù)的模型參數(shù)的Yule-WalkerYule-Walker估計估計n對于AR(p)模型，自回歸系數(shù) 由AR(p)序列的自協(xié)方差函數(shù) 通過Yule-Walker方程 唯一決定，白噪聲方差 由 決定。ppppppaaarrrrrrrrrrrr2102120111021prrr,102jpjj

3、rr102 nAR(p)模型的自回歸系數(shù)和白噪聲方差的矩估計 就由樣本Yule-Walker方程 (1.3) 和 (1.4) 決定。21,),(Tppppppprrrrrrrrrrrr2102120111021jpjjrr102 n令 則(1.3),(1.4)式可寫為ppppppppprrrrrrrrrrrr,2121021201110bpppb n實際應(yīng)用中，對于較大的p,為了加快計算速度可采用如下的Levison遞推方法 遞推最后得到矩估計pkkjaaaaarrarrararjkkkkjkjkkjkjkjjkjjkkkkkkkk,1)()1 (/1,1, 1, 11110111, 12,2

4、122011102022,2,1 ,1,),(),(pTppppTpaaa上式是由求偏相關(guān)函數(shù)的公式：導(dǎo)出。kkkkkkkkkaaa2121211121111 n定理1.1 如果AR(p)模型中的 是獨立同分布的 ，則當(dāng) 時(1) (2) 依分布收斂到p維正態(tài)分 布 。 t42), 0(tEWNn22,pjpjTppn),(11),(12pN0 n注：用 表示 的第 元素時，可知 依分布收斂到 ，于是 的95%的漸近置信區(qū)間是 在實際問題中， 未知，可用 的 元素 代替 ，得到 的近似置信區(qū)間jj,12pjj)(jjn), 0(, jjNj/96. 1,/96. 1,nnjjjjjjjj,12

5、pjjjj,jj,j/96. 1,/96. 1,nnjjjjjj B. AR(p)B. AR(p)模型參數(shù)的最小二乘估計模型參數(shù)的最小二乘估計n如果 是自回歸系數(shù) 的估計，白噪聲 的估計定義為 通常 為殘差。n我們把能使 (1.6) 達到極小值的 稱為 的最小二乘估計。p,21p,21jnjpxxxxpjpjjjj12211),(njpj1,npjptptttxxxxs122211)( n記 則 ，于是 的最小二乘估計為 即 ,21211121pnnnppppnppxxxxxxxxxxxxxyyyxyyxxxTTTTTTs)(yxxxTT1)()(inf)()(1yxxxxyyyssTTTT

6、n相應(yīng)地，白噪聲方差 的最小二乘估計 式中 為 的p個分量。nptptpttTTTTxxxpnpnspn121112)(1)(1)(1yxxxxyyy2p,21 n定理1.2 設(shè)AR(p)模型中的白噪聲 是獨立同分布的， 是自回歸系數(shù) 的最小二乘估計，則當(dāng) 時，依分布收斂到p維正態(tài)分布 n注：對于較大的n，最小二乘估計和矩估計(Yule-Walker)估計的差別不大。t),( ,214ptEp,21n),(2211ppn),(12pN0 .),/1(模型，有則對為最小二乘估計，估計，ker為記).(就稱),1(/如果).1(是依概率有界的，記為就稱,)|(|sup，使得存在正數(shù),0任何是非零常

7、數(shù)列，如果對是時間序列，：設(shè)1.1定義nnOARWalYulecOOcOMPMcpLLnpnpnnpnnnnnn C. AR(P)C. AR(P)模型的極大似然估計模型的極大似然估計n假定模型AR(p)中的 為正態(tài)分布，則觀測向量 的高斯似然函數(shù)為 相應(yīng)的對數(shù)似然函數(shù)為 其中， 為 的協(xié)方差陣， 表示 的行列式，使得對數(shù)似然函數(shù)達到極大值的 和 稱為 和 的極大似然估計。tTnnxxx),(x21 )xx21exp(|)2(),|,(1212212nnTnnnnxxxL nnTnnnnxxxlxx21|21)2log(2),|,(121212 |nnTnxxx),(21n),|,(212nxx

8、xl 22n從另一角度考慮：.)2ln(2,)(21)ln(2)(21)ln(2),(.)(21exp)2(),(,).21exp()2(,22121222121222112221是是常常數(shù)數(shù)其其中中為為相相應(yīng)應(yīng)的的對對數(shù)數(shù)似似然然可可定定義義的的似似然然函函數(shù)數(shù)于于是是可可得得基基于于有有聯(lián)聯(lián)合合密密度度函函數(shù)數(shù)服服從從正正態(tài)態(tài)分分布布，則則由由于于 pNccSpNcxxpNlxxLxxnptpjjtjtnptpjjtjtpnnnpttpnnpt 的的最最小小二二乘乘估估計計。的的最最小小值值點點，從從而而是是的的最最大大值值點點實實際際上上是是容容易易看看出出，是是常常數(shù)數(shù)這這里里，表表達

9、達式式，得得到到將將上上式式代代入入于于是是，得得的的最最大大值值點點，解解方方程程為為求求)(),(.)(21)(ln2),(),().(10)(212),(),(200222242222SlccSSpNllSpnSpnll n注：當(dāng)n充分大時，AR(p)模型參數(shù)的極大似然估計、最小二乘估計和矩估計(Yule-Walker估計)三者都非常接近，即三者漸近相等，它們都可以作為AR(p)模型的參數(shù)估計，這是AR(p)模型的獨有的優(yōu)點。 n例1.1. 由下列AR(1)序列產(chǎn)生長度為n=300的樣本，計算出前5個樣本自協(xié)方差函數(shù)值為求參數(shù)的矩估計和最小二乘估計。(1) 參數(shù) 的矩估計 分別為將樣本自

10、協(xié)方差函數(shù)值代入得) 1 , 0(,5 . 01NXXtttt0123. 0,1773. 0,3886. 0,7771. 0,5419. 143210rrrrr21,21,11021011,/rrrr150. 1,504. 021 (2) 參數(shù) 的最小二乘估計 分別為21,21,074. 1,506. 021 n例1.2 求AR(2)模型 參數(shù) 的估計，這里n=300, (1) AR(2)模型的矩估計為ttttXXX2211221,22110221202120221202011)(rrrrrrrrrrrrr,24. 0, 121) 1, 0(. .Ndi it 計算出的前5個樣本協(xié)方差函數(shù)值為

11、將其值代入上式得：(2) 最小二乘估計2705. 0,8060. 0,4362. 1,2171. 2,7888. 243210rrrrr922433. 0,318064. 0,047842. 1221939530. 0,328336. 0,071838. 1221 n注：一般在求高階AR(p)模型參數(shù)的矩估計時，為了避免求高階逆矩陣，可采用求偏相關(guān)函數(shù)的遞推算法，求出 即為 的矩估計，將它們代入 的表達式可得 。ppppaaa,21p,2122 D. AR(p)D. AR(p)模型的定階模型的定階1. 1. 偏相關(guān)函數(shù)的分析方法偏相關(guān)函數(shù)的分析方法n一個平穩(wěn)序列是AR(p)序列當(dāng)且僅當(dāng)它的偏相

12、關(guān)函數(shù)是p步截尾的。n如果 p步截尾：當(dāng) 時， ； 而 ，就以 作為p的估計。,kkapk0,kka0, ppap n定理1.3 設(shè) 由 定義，如果AR(p)模型中的白噪聲是獨立同分布的， ，則對確定的kp,當(dāng) 時， 依分布收斂到k維正態(tài)分布 。kjaaaaaaarrarrarrajkkkkjkjkkjkjkjjkjjkkkjkjkjjkjjkkkk,2 , 1)1)()(1,1, 1, 1111111110111, 110111kkkkaaa,2,1 ,4tEn),(,2,2,1 ,1 ,kkkkkkkkaaaaaan),(12kN0 n推論：在定理1.3的條件下，對kp, 依分布收斂到標準

13、正態(tài)分布N(0,1)。n根據(jù)推論，對于AR(p)序列和kp，當(dāng)樣本量n比較大時， 以近似于0.95的概率落在區(qū)間 之內(nèi)。于是對于某個固定的k，以 作為p的估計。 kkan,kkan,/96. 1 ,/96. 1nn1,/96. 1|:|sup,kjnajpjj n或者根據(jù)推論有如下的檢驗方法：對于某個正整數(shù)p, 顯著地異于零，而 近似等于零,其滿足 (或 )的個數(shù)占 的比例近似地為68.3%(或95.5%),則近似地認為 在p步截尾， 初步判定為AR(p)。 ppa,00,2,21, 1,ppppppaaanakk/1|,nakk/2|,pp 0,kkatX n例1.3（例1.1續(xù)）使用樣本偏

14、相關(guān)函數(shù)對AR(p)的模型階數(shù)作初步的判定。結(jié)果：取上限 ，樣本自相關(guān)函數(shù) 呈拖尾狀，而從15個偏相關(guān)函數(shù)來看,除 顯著異于零之外，其余14個中絕對值不大于 的有10個，于是結(jié)論：初步判定為AR(1)模型。150pk0577. 0300/1/1n%3 .68%43.7114/101 , 1 a n前15個樣本偏相關(guān)函數(shù)-0.20.02468101214 n例1.4（例1.2續(xù)）使用樣本偏相關(guān)函數(shù)對AR(p)的模型階數(shù)作初步的判定。結(jié)果：取上限 ，樣本自相關(guān)函數(shù) 呈拖尾狀，而從15個偏相關(guān)函數(shù)來看，除 顯著異于零之外，其余14個中絕對值不大于 的有9個,于是結(jié)論：初步判定為AR

15、(2)模型。2,21 , 1,aa150pk0577. 0300/1/1n%3 .68%2 .6913/9 n前15個樣本偏相關(guān)函數(shù)-0.4-0.20.00.81.02468101214 2. 2. AICAIC準則方法準則方法( (A-Information Criterion)A-Information Criterion)n為了使擬合殘差平方和 盡量小，而又不至于引入過多的虛假參數(shù)的估計，Akaike于1973年引入如下的準則函數(shù)，假定已有階數(shù)p的上階 ， AIC(k)的最小值點 (若不唯一，應(yīng)取小的)稱為AR(p)模型的AIC定階，即)(s0P02, 1 , 0,2)

16、(log)(PknkkkAICp )(min)(00kAICpAICPk n具體步驟：1. 取定p=k時，根據(jù)數(shù)據(jù) 使用前一小節(jié)所提的任何一種參數(shù)的估計方法，給出噪聲方差 的估計 ；2. 再找出AIC取極小值時，所對應(yīng)的階數(shù)p.n注：AIC定階并不相合，AIC定階通常會對階數(shù)略有高估。故在應(yīng)用中，當(dāng)樣本量不是很大時，使用AIC定階方法。nxxx,2122 n為了克服AIC定階的不相合性，可使用BIC準則方法。設(shè) 為AR序列，則BIC準則函數(shù)為 將此準則函數(shù)達到最小值的解 作為p的估計，就是BIC準則方法。n注： 1. 理論上已證明BIC準則的定階具有相合性。 2. 當(dāng)n不是很大時，用BIC定階

17、有時會低估階數(shù)p，造成模型的較大失真，故在實際問題中，特別當(dāng)樣本量不是很大時,BIC的定階效果并不如AIC定階準則。tX02, 1 , 0,log)(log)(PknnkkkAICp n例1.5（例1.1續(xù)）n=300個觀測，定階。方法：觀察偏相關(guān)函數(shù)，確定上界是P=10，對p=1,2,10分別解Yule-Walker方程得到 的Yuler-Walker估計，再對p=1,2,10分別計算出AIC和BIC函數(shù)，計算結(jié)果如下： p12345AIC(p)2.98392.99393.00383.00023.0050BIC(p)2.99963.02523.05083.06293.08342 結(jié)果：AIC

18、(1)和BIC(1)分別是AIC和BIC函數(shù)的最小值。 結(jié)論：由AIC和BIC定階可知階數(shù)p=1.p678910AIC(P)3.01103.01733.02663.02833.0308BIC(P)3.10513.12713.15203.16943.1876 nAIC函數(shù)圖 2.982.993.003.013.023.033.0412345678910AICX1 nBIC函數(shù)圖2.953.003.0012345678910BICX1 n例1.6 （例1.2續(xù)） n=300個觀測，定階。方法：觀察偏相關(guān)函數(shù)，確定上界是P=10,對p=1,2,10分別求出 的估計，再對p=1

19、,2,10，計算AIC和BIC函數(shù)，計算結(jié)果如下：p12345AIC(p)2.84702.72772.73682.72812.7377BIC(p)2.86272.75912.78382.79382.81612 結(jié)果：AIC(2)和BIC(2)分別是AIC和BIC函數(shù)的最小值。結(jié)論：由AIC和BIC定階可知階數(shù)p=2。 p678910AIC(p)2.74652.75672.75922.76272.7688BIC(p)2.84062.86652.88462.90382.9256 nAICAIC函數(shù)圖函數(shù)圖 2.722.742.762.782.802.822.842.8612345678910AIC

20、X2 nBIC函數(shù)圖2.752.802.852.902.9512345678910BICX2 n例1.7：獨立重復(fù)1000次實驗，每次產(chǎn)生符合模型AR(4) 的300個觀測，得到AIC和BIC定階情況如下：12345678910AIC定階052256741136129211411BIC定階145559476720000, 2 , 1,18. 011. 037. 016. 14321tXXXXXtttttt n在1000次模擬計算中AIC將階數(shù)定為4的有674次，而BIC階數(shù)定為4的有476次。BIC定階對階數(shù)低估的比率為51.5%n增大樣本量n=1000，獲得如下結(jié)果：12345678910A

21、IC定階0007391244537251218BIC定階041990500000 nAIC定出的平均階數(shù)是Avc(AIC)=4.593，BIC定出的平均階數(shù)是Avc(BIC)=3.996，故對于較大的樣本量有必要綜合考慮AIC定階和BIC定階。 E. E. 擬合模型的檢驗擬合模型的檢驗 現(xiàn)有數(shù)據(jù) ，欲判斷它們是否符合以下模型式中 被假定為獨立序列,且 與 獨立。n原假設(shè) ：數(shù)據(jù) 符合AR(p)。故在 成立時，下列序列 為獨立序列 的一段樣本值序列。nxxx,212, 1,2211pptXXXXtptpttt422, 0tttEEEtt,tsXs0Hnxxx,210HnptXXXXptptttt

22、, 1,2211t n步驟：1. 首先，根據(jù)公式 計算出殘差的樣本自相關(guān)函數(shù)，2. 利用上一章關(guān)于獨立序列的判別方法，判斷 是否為獨立序列的樣本值3. 根據(jù)判斷結(jié)果，如果接受它們?yōu)楠毩⑿蛄械臉颖局?，則接受原假設(shè)，即接受 符合AR(p),否則，應(yīng)當(dāng)考慮采用新的模型擬合原始數(shù)據(jù)序列。2 , 1 , 0),(/)()(2 , 1 , 0,1)(01krrkpnrkkkpntkptptknp,1nxxx,21 n例1.8（例1.5續(xù)） 擬合后，給出殘差頭15個數(shù)據(jù)，有11個落在之間， 故不能否定原假設(shè)，即 符合AR(1)模型。299/1 ,299/1%3 .68%33.7315/11nxxx,21 n

23、殘差的圖形-4-202450100150200250300RESIDX1 n殘差的自相關(guān)函數(shù)-0.15-0.10-0.050.000.050.102468101214 n例1.9（例1.6續(xù)） 擬合后，給出殘差頭15個數(shù)據(jù)，有15個落在 之間，故不能否定原假設(shè)，即 符合AR(2)模型。298/96. 1 ,298/96. 1nxxx,21 n殘差的圖形-3-2-1012350100150200250300RESIDX2 n殘差的自相關(guān)函數(shù)-0.15-0.10-0.050.000.050.100.152468101214 第二節(jié)第二節(jié) 滑動平均模型擬合滑動平均模型擬合n對于已給的時間序列數(shù)據(jù) ，

24、用MA(q)式的滑動平均模型去擬合它們，稱為滑動平均模型擬合。n滑動平均模型擬合主要包括：(1) 判斷滑動平均模型MA的階數(shù)；(2) 估計模型的參數(shù)；(3) 對擬合模型進行檢驗。nxxx,21 一一. . 參數(shù)估計參數(shù)估計n假定數(shù)據(jù)序列 適合以下模型 (2.1)其中 為獨立同分布的序列,且 ,q為給定的非負整數(shù)， 為未知參數(shù)，并滿足可逆性條件。nxxx,21ntXqtqtttt,2 , 1,2211t22, 0ttEE4tETq),(21 1. 1. 參數(shù)的矩估計方法參數(shù)的矩估計方法nMA(q)序列的自協(xié)方差函數(shù)與MA(q)的模型參數(shù)有如下公式： 故， 和 的矩估計 和 ，為 (2.2)kqi

25、kkiikqjjqkrr1201221)()1 (當(dāng)22kqikkiikqjjqkrr1201221)()1 (當(dāng) (1) (1) 解析法解析法n對于階數(shù)較低的MA(q)模型，例如MA(1)和MA(2)，可利用解析法求解。n對于MA(1)模型： , 和 滿足 可得 和 的矩估計分別為11tttX122112210)1 (rr12)411 (2,411221022111r n例4.11 由MA(1)模型產(chǎn)生長度n=300的樣本，計算出前兩個樣本自協(xié)方差函數(shù)值 ,由上述討論) 1, 0(,5 . 01NXtttt487. 0,220. 110rr9776. 0,4979. 021 n對于MA(2)

26、模型： , 其中 滿足 可得 的估計為:當(dāng) 時 221,2211ttttX22221121222120)()1 (rrr221,021)21(214121)21(21412122122222122222 當(dāng) 時，從而可得，021)21(214121)21(21412122122222122222220222121,)1 (r n例4.12 求MA(2)模型的n=950的樣本的參數(shù) 的矩估計。解：已知前三項的樣本自相關(guān)函數(shù)分別為使用上述公式，可得到如下估計值) 1 , 0(,3 . 05 . 021NXttttt221,246. 0,221. 0,308. 1210r040. 1,4025. 0

27、,3094. 0212 (2). (2). 線性迭代算法線性迭代算法n將(2.2) 式表示為 (2.3)在可逆域內(nèi)，給定 的初值,代入(2.3)式右邊，得到一步迭代值 ，再將它們代入(2.3)式右邊，得出(2.3)式左邊的第二不迭代值 ，同法重復(fù)直到某步 ，kqikiiqjjkkqjjqkrrr112012021 ,)1 (1221),(和Tq) 1 () 1 (2和)2()2(2和) 1() 1(2mm和 設(shè)有精度 ,當(dāng)同時成立時，就停止迭代（否則繼續(xù)迭代下去），以 作為 的矩估計。21,2221| )() 1(|, 2 , 1,| )() 1(|mmqjmmjj)()(2mm和2和 (3)

28、 (3) Newton- Newton- RaphsonRaphson 算法算法n優(yōu)點：方法簡便、收斂速度快n缺點：使用該算法得到的解 不能保證滿足屬于可逆域，需要采用調(diào)整方法才可做到。詳見時間序列的分析與應(yīng)用或應(yīng)用時間序列分析。q,21 2. 2. 極大似然估計極大似然估計n若(2.1)中， 為正態(tài)分布，則 服從 分布，其中 是 的協(xié)方差矩陣。于是有似然函數(shù)：其中， 。使似然函數(shù)達到極大值之解的 和 ，即為 和 的極大似然估計。tnxxx,21),(nN0nnxxx,21nnTnnnnxxxlxx12121221|21)2log(2),|,(Tnnxxx),(21x22 n近似極大似然估計方

29、法：假定(2.1)式中的初值 給定，不妨設(shè)為零值。則由(2.1)式和數(shù)據(jù) 可以求出 (2.4) 于是可得到如下近似似然函數(shù)為： (2.5) 記 q110,nxxx,21nkxqkqkkkk,2 , 1,2211nkknnl122222122loglog),(nkkS12)( 由(2.5)式?jīng)Q定的近似極大似然估計 和 滿足以下方程于是 為以下方程的解而,)(,)(,00222222422SlSnnl2, 0)(SnS)(2 3. 3. 自回歸逼近方法自回歸逼近方法n原理：可逆的MA(q)模型有逆轉(zhuǎn)形式 模型，且逆轉(zhuǎn)形式中的無窮階自回歸系數(shù)滿足以指數(shù)衰減到零的趨勢，故一個可逆的MA模型可用適當(dāng)高階

30、的AR模型近似。n用一個高階的AR模型擬合一個較低的MA序列稱為自回歸逼近擬合方法。)(AR n步驟：1. 對原始數(shù)據(jù) 進行自回歸模型擬合?？捎肁IC定階，求參數(shù)的Yule-Walker估計，在進行檢驗；或直接擬合AR(p)模型。其中，當(dāng)n不太大時，取 ；當(dāng)n很大時，取 。將擬合后模型記為 (2.6)nxxx,2110/nP ncPlogtptptttxxxx2211 2. 利用(2.6)式，計算擬合殘差：于是(2.1)式的模型可近似寫為 記 (2.7)nPtxxxxptptttt, 1,2211nqPtXqtqtttt, 1,2211nqPqPqnnnPqPqPPqPqPnqPqPExxx2

31、121211121,x 于是，(2.7)可簡記為故， 和 的最小二乘估計分別為和n優(yōu)點：不涉及非線性代數(shù)方程，易于實際應(yīng)用。xE2xTTEEE)(1nS/)(2 二二. . 階數(shù)的估計階數(shù)的估計1. 1. 自相關(guān)函數(shù)估計方法自相關(guān)函數(shù)估計方法n依據(jù)：一個平穩(wěn)序列為MA(q)序列的充要條件是它的自協(xié)方差函數(shù)q步截尾。對于MA(q)模型，當(dāng)kq，n充分大時， 的分布漸近正態(tài) ，于是當(dāng)kq，n充分大時，下列等式近似成立)21(1,0(12 qjjnN %5.95)212|(|%3.68)211|(|1212qjjkqjjknPnP或k n方法：對于每一個正整數(shù)q,計算樣本自相關(guān)函數(shù)(M一般取為 左右

32、),考察其中滿足 的個數(shù)是否占M的68.3%(或95.5%)左右,如取某 顯著地異于零，而 近似等于零，并滿足上述不等式的個數(shù)達到了68.3%(或95.5%)左右比例，則初步認為 在 步截尾， 初步判定為n)212|(211|1212qjjkqjjknn或0,0qqkMqq00,1k0qtx)(0qMA n例2.3 設(shè) 為MA(1)序列：由它產(chǎn)生長度為n=300樣本值 ，計算出前17個樣本自相關(guān)函數(shù)為 ，計算出：tx) 1, 0(,35. 01NXtttt30021,xxx1710, ,rrr%3 .6875.68165160652. 021300121 2. 2. AICAIC準則定階方法準

33、則定階方法n給出模型階數(shù)q的上界 ，對于 按前述的方法逐個擬合MA(m)模型。并給出白噪聲方差 的估計量 ，定義AIC函數(shù)其中，n是樣本個數(shù)，AIC(m)的最小值點(如不唯一，應(yīng)取小的)稱為MA(q)模型的AIC定階。00Qm 22m0Q02, 1 , 0,2)(log)(QmnmmmAIC n例2.3的定階問題，使用AIC準則，有q123456AIC2.8852.8912.8982.9022.8952.901 三三. . 擬合模型的檢驗擬合模型的檢驗n如果一段時間序列數(shù)據(jù) 符合(2.1)式，則當(dāng)給定初始值 ，由(2.2)式計算出 ，它應(yīng)當(dāng)是獨立序列 的一段樣本值。故檢驗問題就轉(zhuǎn)化為檢驗 是否

34、為獨立序列的一段樣本值的問題n方法： 檢驗和正態(tài)檢驗。nxxx,21q110,n,1tn,212 四四. . 建模例題：建模例題： 產(chǎn)生模型 的n=300個樣本數(shù)據(jù)，建立模型。(1) 求出樣本均值、樣本自協(xié)方差函數(shù)、樣本自相關(guān)函數(shù)),1 , 0(,5 . 01NXtttt00044071. 030011300nttxx n樣本自相關(guān)函數(shù)-0.6-0.4-0.20.00.25101520253035RMX3 (2) 觀察樣本自相關(guān)函數(shù)為1步結(jié)尾，或使用前述的兩種定階方法，初步判定MA(1)(3) 使用第二小節(jié)的矩估計的解析方法可得(4) 檢驗：給出我們使用 檢驗，給出 ，計算出0389. 1)4

35、11 (2,6239. 0411221022111r0,6239. 001tttx2151 m)(300)(222212mm n 取值圖 05101520253012345678910 11 12 13 14 15KATKA2 第三節(jié)第三節(jié) ARMAARMA模型的擬合模型的擬合n根據(jù)數(shù)據(jù)序列 ，擬合以下ARMA(p,q)模型： (3.1)其中， 為獨立同分布的序列，且 對一切st成立，參數(shù)和 滿足平穩(wěn)性和可逆性條件，且 與無公共根。nxxx,21qtqttptptttXXXX112211t22tE, 0tE,4tE),(21p),(1q)(u)(u, 0tsEx 一一. . 模型參數(shù)的估計模型

36、參數(shù)的估計1. 1. 矩估計方法矩估計方法步驟1. 的矩估計 ，滿足如下方程： (3.2)其中， ，由(1.19)可知p元線性方程組。 qppqpqpqpqpqqqpqpqqqrrrrrrrrrrrr22112211211211qpkrrkk, 1 , 0, 記于是(3.2)可簡寫為若 滿秩，則 (3.3)qpqpqpqqqpqqqqppqqqqprrrrrrrrrrrrb,212111,21, ,qpqpbqpqpb,1,)(qp, 步驟2. 和 滿足以下的方程式 (3.4)式中其中， (3.4)式關(guān)于 的非線性代數(shù)方程組。當(dāng)q=1,2可求出 顯示解，當(dāng) ，可用數(shù)值解法。 2qkkyrqkq

37、kkqk1),(0),1 ()(1122212當(dāng)當(dāng)pjijikjikryr0,)(10q,1212,3q 2. 2. 近似極大似然估計方法近似極大似然估計方法n方法:取初始值 對于任意給定的一組參數(shù) ,由(3.1)迭代算出相應(yīng)值，即 (3.5)定義關(guān)于 的函數(shù)則，近似似然函數(shù)為),(n,21ptptttqtqttxxxx221111),(nkkS12),(),(21log22log),(222Snnl, 010pqxxx00pq 使得上式取到極大值的 ，稱它們?yōu)?的近似極大似然估計，也稱最小平方和估計。 當(dāng)q=0，上述極值問題簡化為Yule-Walker估計。 當(dāng)p=0，上述極值問題與第三節(jié)的

38、近似極大似然估計方法一致。(3.1)式中的 的估計為), (),(2nS), (2 3. 3. 自回歸逼近方法自回歸逼近方法n基本思路：(1) 為數(shù)據(jù) 建立AR模型，取自回歸階數(shù)的上界 ，采用AIC定階方法得到AR模型的階數(shù)估計P和自回歸系數(shù) 的估計. 。 (2) 計算殘差 寫出近似的ARMA(p,q)模型 nxxx,210nP ),(21pnPtxxxxptptttt, 1,2211qtqttptptttXXXX112211 (3) 對目標函數(shù) (2.6)極小化,得到最小二乘估計 , 的最小二乘估計由下式定義nqPtPjqjjtjjtjtxxQ1112)(), (),(121qp2),(11

39、212qpQqPn n具體算法定義：pnnnpqPqPqPpqPqPqPqnnnPqPqPPqPqPnqPqPxxxxxxxxxExxx21211121211121,Xx 則目標函數(shù)(2.6)可寫成，可解出最小二乘估計為相應(yīng)地， 的估計為22|),(|)(XxXx,EEQxxXXXXxXXXTTTTTTTTTTEEEEEEEEE),(12) (12,QqPn 二二. . 模型階數(shù)的估計模型階數(shù)的估計1. 相關(guān)分析法用于ARMA模型的定階n方法：(1) 給定初值 (一般取初值為零)將 的估計代入(3.2)遞推得到殘差估計 ,10pqxxxpq,0,n,1 (2) 作假設(shè)檢驗 來自于白噪聲序列長度

40、為n的樣本。 不是白噪聲序列的長度為n的樣本。令檢驗 等價于檢驗 是否來自于N(0,1)總體的k個獨立抽樣問題。nH,:10nH,:11kntkttknr11)(0Hn,1 a. 檢驗 的絕對值是否有68.3%左右小于1.b. 檢驗法：在 成立條件下，當(dāng)n充分大時， 是k個相互獨立N(0,1)隨機變量，則 服從自由度為k的中心 分布，則以顯著水平為 的否定域為kjnj, 2 , 1),(20Hkjnj, 2 , 1),(kjjknQ12)(22,kkQ 2. AIC準則方法n給定ARMA模型階數(shù)的上界 和 。對于每一對(k,j)， ,計算AIC函數(shù)取 ，使 此時稱 為ARMA模型的階的估計，其

41、中 一般取 或 中的整數(shù)。0P0Q000 ,0QjPk,)(2),(log),(2njkjkjkAICqp , ),(min) , (0000qpAICqpAICQqPpqp , 00,QPn5/,10/nn n具有相合性的定階準則BIC,使上式達最小的 為ARMA模型的階。 中的整數(shù)。,log)(),(log),(2nnjkjkjkBICqp , ),(min) , (0000qpBICqpBICQqPp5/,10/,00nnQP 三三. . 擬合模型的檢驗擬合模型的檢驗nARMA模型的檢驗是檢驗其擬合殘差序列是否為獨立序列。n方法：取初值計算 的樣本值，即 檢驗 是否為獨立序列的樣本值。0

42、010qpqxxxtntXxxxqtqtptptttt, 1,112211n,21 四四. . 例子：例子：kejian2kejian2由計算機產(chǎn)生模擬時間序列數(shù)據(jù) 。(1) 計算出樣本均值、自相關(guān)函數(shù)、自協(xié)方差函數(shù)和偏相關(guān)函數(shù)) 1, 0(,6 . 03 . 011NYYttttt30021,yyy017102. 030011300nttyy n樣本自相關(guān)函數(shù)-0.3-0.2-0.10.00.10.25101520253035RMY n樣本偏相關(guān)函數(shù)-0.3-0.2-0.10.00.10.25101520253035PRMY (2) 取定階數(shù) 由AIC準則：p=q=1(3) 估計參數(shù)：(4)

43、 檢驗 結(jié)論：數(shù)據(jù)符合ARMA(1,1)模型。99605. 0,75. 0,34375. 0211%47.7617/13057735. 03001 n -0.10-0.050.000.050.100.15246810121416第四節(jié)第四節(jié) 求和模型與季節(jié)模型求和模型與季節(jié)模型 的處理方法的處理方法一一. . 求和模型求和模型ARIMAARIMA的識別與擬合的識別與擬合1. 求和模型的識別方法n方法一 直接觀察數(shù)據(jù)圖形的方法：根據(jù)數(shù)據(jù) 畫出數(shù)據(jù)曲線圖，通過觀察曲 線的形狀，可初步判別是否需要擬合求和模型。nxxx,21 n例：數(shù)據(jù)1-3-2-1012350100150200250300Y n數(shù)

44、據(jù)2 -1001020309091929394959697989900TEMPX n數(shù)據(jù)3 0100200300400500600700495051525354555657585960X n數(shù)據(jù)40.0E+005.0E+071.0E+081.5E+082.0E+082.5E+082468101214161820X n方法二. 數(shù)據(jù)樣本自相關(guān)函數(shù)分析法：當(dāng)序列含有趨勢項時，序列的樣本自相關(guān)函數(shù) 的尾部不衰減到零值，特別地，所含趨勢項為多項式時， 將近似于常數(shù)為1的序列。)(xk)(xk n例：序列105010015020025030050100 150 200 250 300 350 400 4

45、50 500X) 1 , 0(,5 . 0,2 . 021Nwwwtxtttttt n樣本自相關(guān)函數(shù)：0.700.750.800.850.900.951.005101520253035404550RX n序列20200040006000800010000120001400050100 150 200 250 300 350 400 450 500Z) 1 , 0(,5 . 0,05. 01 . 0212Nwwwttxtttttt n序列2樣本自相關(guān)函數(shù)0.91.05101520253035404550RZ n序列3 -4-20246850100 150 200 250 300

46、 350 400 450 500W) 1 , 0(,5 . 0,105. 0Nwwwexttttttt n序列3的樣本自相關(guān)函數(shù)0.85101520253035404550RW n另外，還可從數(shù)據(jù)的來源判斷使用求和模型的合理性。2. 2. 判斷求和模型判斷求和模型ARIMA(p,d,q)ARIMA(p,d,q)的階數(shù)的階數(shù)d dn對ARIMA(p,d,q)模型的研究焦點是對差分階數(shù)d的判別。nd的判別方法：(1) 用動態(tài)數(shù)據(jù) 的實際背景來確定。若數(shù)據(jù)圍繞著某條曲線變化，而此曲線是近似線性的，則判斷差分階數(shù)d=1,若此曲線可由二次多項式近似，則判斷階數(shù)d=2,

47、一般地，若該曲線可由d次t的多項式逼近，則可對原序列 作d次差分 ，而 可按平穩(wěn)序列建模。nxxx,21txttdyx ty (2) 采用數(shù)據(jù)處理的方法：對原動態(tài)數(shù)據(jù) 分別作j次差分， ，連同原數(shù)據(jù)共有D+1套 動態(tài)數(shù)據(jù)，然后對每套數(shù)據(jù)求出樣本自相關(guān)函數(shù)和樣本 偏相關(guān)函數(shù)為 ,綜合分析它 們的截尾性或拖尾性，最后判定為何種模型，再建立相 應(yīng)的模型。 nxxx,21dj, 2 , 1djajjkkk, 2 , 1, 2. 2. 求和模型的擬合求和模型的擬合n步驟1：判斷p值，對原數(shù)據(jù)進行d次差分運算，即 (4.1) 例：當(dāng)d=2時， 為 的二次差分序列，即，nddtxBwtdt, 2, 1,)1

48、 (twtx2122)1 (tttttxxxxBw n步驟2：根據(jù)差分后的數(shù)據(jù)序列 按照前幾節(jié)的方法，擬合AR、MA、ARMA模型，包括模型參數(shù)的估計以及對階數(shù)p,q的估計，即 (4.2) 結(jié)合(4.1)和(4.2)，得到ARIMA(p,d,q)的擬合模型為， (4.3)n步驟3：對擬合求和模型 的檢驗：即是檢驗 是否符合(4.2)的模型，亦是對擬合后的殘差進行白噪聲檢驗.ndww,1ttBwB)()( ttdBxBB)()( )1 () , (qdpARIMAndww,1 n步驟3：對擬合求和模型 的檢驗：即是檢驗 是否符合(4.2)的模型，亦是 對擬合后的殘差進行白噪聲檢驗。ndww,1)

49、 , (qdpARIMA n例：某國1960年至1993年GNP平減指數(shù)的季度時間序列。要求對序列進行模型識別。(sample12)50100150200250657075808590X n )/log(1tttxxy-0.010.000.010.020.03657075808590Y n第一步：判斷差分階數(shù)d=1,對數(shù)據(jù) 進行一階差分-0.015-0.010-0.0050.0000.0050.0100.0150.020657075808590Zty n第二步：對差分后序列進行ARMA模型擬合。觀察樣本自相關(guān)函數(shù)和偏相關(guān)函數(shù)，初步判斷為AR模型。使用AIC定階準則和最小二乘估計方法。判斷階數(shù)p

50、=2, ,即336226. 0,569612. 021003974. 0,1336226. 01569612. 0121ttttzzz n擬合后的殘差圖-0.02-0.010.000.010.02-0.02-0.010.000.010.02657075808590ResidualActualFitted n第三步：擬合模型的檢驗：采用正態(tài)檢驗， %3 .68%73.7211/8,087039. 0132/1-0.20-0.15-0.10-0.050.000.050.1060:160:361:161:362:162:3 n于是，擬合模型為：003974. 0)/log()336226. 0569

51、612. 0)(1 (121tttttttxxyyyyB 二二. . 季節(jié)模型的識別與擬合季節(jié)模型的識別與擬合n季節(jié)ARMA模型： 其中T是周期， 是某個ARMA(p,q)模型的特征多項式，實際問題中T經(jīng)常的取值是4，7或12。tTtTwBXB)()()(),(uu 星期一二三四五六日一周二周n+1周1x2x7x8x9x14x3x4x5x6x10 x11x12x13xnx71nx72nx73nx74nx75nx76nx77 上述表中的每一列都可以看成一個時間序列，將數(shù)據(jù)(4.5)的第j列零均值化 (4.6) 其中 (4.7)首先，用數(shù)據(jù)(4.6)建立模型： (4.8)其中ttwBYB)()(7

52、7714271771427171)(1)(qqppBBBBBBBBntxyjtjtj, 1 , 0,77nttjjxn07) 1/(1 在相隔T步上為白噪聲序列，而相隔小于T步時是相關(guān)的，即其次， 仍為平穩(wěn)序列，故需對 建立ARMA(p,q)模型， (4.9)其中 對季節(jié)內(nèi)外為白噪聲序列，將(4.9)代入(4.8),得到季節(jié)ARMA 模型， (4.10)twTjkmTjkwEwEwjkt| , 0| , 0, 0twtwttBwB)()(t7),(),(QPqpttBBXBB)()()()(77 n季節(jié)模型(4.10)實際上是一個ARMA(p+7P，q+7Q)模型，只是其中又很多的系數(shù)是零。季

53、節(jié)模型的擬合方法：第一步：設(shè) 是數(shù)據(jù) 的樣本自協(xié)方差函數(shù)，利用 擬合一個 模型： 要求這個模型通過模型檢驗；第二步：利用 擬合一個 模型：要求這個模型通過模型檢驗。于是， kr ty), 2 , 1 , 0(krik),(QPARMAttwBYB)()(771710, ,rrr) , (qpARMAttwBYB)()(77ttBBXBB)()()()( 77 n為了得到更精確的估計，可將模型看作疏系數(shù)的ARMA模型，使用前幾節(jié)的ARMA模型參數(shù)的極大似然估計方法或最小二乘估計法估計模型(4.10)中的參數(shù)。 n 例：北京市1990.1-2000.12氣溫數(shù)據(jù)（sample6）-10010203

54、09091929394959697989900TEMPX n差分運算tempxBtempx)1 (112-6-4-20249091929394959697989900TEMPX1 n觀察序列tempx1的樣本自相關(guān)函數(shù)和偏相關(guān)函數(shù)，建模ls tempx ar(1) ar(2) ma(1) ma(2) sar(12) sma(12) -4-2024-100102030929394959697989900ResidualActualFitted n殘差檢驗183340. 0119/2%,5 .9510/10-0.2-0.10.00.10.290:0190:0390:0590:0790:09 三三.

55、 . 乘積模型的擬合乘積模型的擬合n如果時間序列既具有趨勢項又具有周期項，需采用乘積模型來擬合。在上例中如果每一列的數(shù)據(jù)需要經(jīng)過差分后才能進行季節(jié)ARMA模型的擬合，模型將改寫為， 稱之為乘積模型 .ndDtyBBztDdt, 17,)1 ()1 (7ttDdBBXBBBB)()()1 ()1)()( 777),(),(QDPqdpARMA n實際問題中，d和D的取值一般很小，例如：D=0或1。季節(jié)模型 實際上是一個乘積模型 。n 一種簡單的乘積模型： (4.11) 其中T為某一正整數(shù)，表示周期。 為某一平穩(wěn)可逆的ARMA(p,q)序列。(1)(1)模型的擬合模型的擬合 在T和D已知時，首先對

56、 進行差分變換 (4.12),(),(QPqpARMA), 0 ,(), 0 ,(QPqpARMAttDTdWXBB)1 ()1 (tWtxnTDTDtXBytDTt, 2, 1,)1 (L 其中， 滿足故，只需對 擬合形如(4.1)的求和模型，就可得到模型(4.11)的參數(shù)估計。(2) T2) T和和D D的取值判斷的取值判斷 a. T表示周期，它有較明顯的物理背景，可根據(jù)數(shù)據(jù)的實際背景確定T的大小 b. D的確定，可使用逐步嘗試的方法。即對D=1,2逐一嘗試，并擬合(4.11),若模型檢驗通過，則確定該值為D的取值。tyttdwyB)1 (ty n例：航空客流量數(shù)據(jù)。01002003004

57、00500600700495051525354555657585960X n數(shù)據(jù)的預(yù)處理： (1) xx=log(x) (2) cx=xx-5.542193-1.0-0.50.00.51.0495051525354555657585960CX n模型的建立：對數(shù)據(jù)cx: )12()1 (12cxtcxcxBdcx-0.10.00.4495051525354555657585960DCX n對數(shù)據(jù)dcx進行一次差分運算-0.15-0.10-0.050.000.050.100.15495051525354555657585960DDCX) 1(dcxdcxddcx n對數(shù)據(jù)ddc

58、x建立模型：使用最小二乘估計方法，得到13312211tttttbbbddcx035247. 0,468081. 0,747640. 0,373970. 0321bbbls ddcx ma(1) ma(2) ma(3) n模型的殘差檢驗：-0.20-0.15-0.10-0.050.000.050.100.1549:0149:0349:0549:0749:0949:11%4 .68%73.7211/8 n結(jié)論：客流量的模型為035247. 0468081. 0747640. 0373970. 0)542193. 5)(log(1312112tttttx n另一種方法建模：觀察序列ddcx的樣本自

59、相關(guān)函數(shù)和偏相關(guān)函數(shù)。ls d(log(x),1,12) ar(1) ar(2) ar(3) ma(1) sar(12) sma(12)ls ddcx ar(1) ar(2) ar(3) ma(1) sar(12) sma(12)ls d(log(x),1,12) ar(1) ar(3) ma(1) sar(12) sma(12)ls d(log(x),1,12) ar(3) ma(1) sar(12) sma(12)-0.10-0.050.000.050.100.1549:0149:0349:0549:0749:0949:11ls d(log(x),1,12) ar(3) ma(1) sar

60、(12) sma(12) 1. 設(shè) 為零均值平穩(wěn)序列，由它的長度為N=100的樣本算得樣本自相關(guān)函數(shù) 及樣本偏相關(guān)函數(shù) 的前6個數(shù)值如下又知 ，試求：(1) 為哪種模型，并說明理由。(2) 對模型參數(shù)和白噪聲方差給出矩估計。(3) 判斷所建立的模型是否具有平穩(wěn)性（或可逆性），并給出模型的傳遞形式（或逆轉(zhuǎn)形式）txkkka34. 30tx k123456-0.8000.670-0.1580.390-0.3100.221-0.8000.0850.112-0.046-0.0610.038kkka 2. 全國城鎮(zhèn)居民儲蓄額年數(shù)據(jù)序列 的建模。下表給出1952年至1991年儲蓄額年數(shù)據(jù)(億元)tx8.6