數(shù)據(jù)處理與建模流程_第1頁(yè)
數(shù)據(jù)處理與建模流程_第2頁(yè)
數(shù)據(jù)處理與建模流程_第3頁(yè)
已閱讀5頁(yè),還剩5頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、數(shù)據(jù)處理與建模流程:1數(shù)據(jù)處理1.1替換缺失值:數(shù)據(jù)完整沒有缺失值的情況基本不存在,我們的數(shù)據(jù)中,0點(diǎn)-5點(diǎn)的航班為0的情況很多,所以數(shù)據(jù)缺失比較嚴(yán)重。時(shí)間序列分析要求時(shí)間周期完整,如果將缺失的數(shù)據(jù)只簡(jiǎn)單地用其他所有數(shù)據(jù)的缺失值填充,誤差較大。經(jīng)過反復(fù)嘗試,發(fā)現(xiàn)用臨近兩點(diǎn)均值填充,結(jié) 果最為理想。2時(shí)間序列的預(yù)處理2.1時(shí)間序列平穩(wěn)化首先繪制替換缺失值之后的原始數(shù)據(jù)的自相關(guān)圖與偏自相關(guān)圖。如下圖所示:可以看到自相關(guān)圖并沒有收斂到 置信區(qū)間之內(nèi),趨近0以后又增長(zhǎng),且所有值均在置信 區(qū)間之外。故序列不平穩(wěn)。為了進(jìn)行時(shí)間序列平穩(wěn)化,首先進(jìn)行差分,即前值減后值,消除前后數(shù)據(jù)的依賴性。再 次制作自相關(guān)圖

2、,勾選一次差分。結(jié)果如圖所示:口'VL.IK hRI如圖所示偏ACF圖仍然所有值均在置信區(qū)間之外。序列仍不平穩(wěn)。勾選季節(jié)性差分再 次制作自相關(guān)圖,后一個(gè)周期相同位置的值減去前一個(gè)周期相同位置的值稱為季節(jié)性差分。結(jié)果如圖所示:從圖中可知ACF為截尾,PACF為拖尾。序列已穩(wěn)定。故將原始序列先進(jìn)行差分,后進(jìn)行季節(jié)性差分。22平穩(wěn)序列的檢驗(yàn)為了考察單個(gè)序列是否的確已經(jīng)轉(zhuǎn)換為平穩(wěn)的隨機(jī)序列,制作自相關(guān)圖(ACF)與偏相關(guān)圖(PACF)。此次將延遲拉大,觀察相關(guān)圖是否具有周期性:觀察,發(fā)現(xiàn)其具有周期性,在9NEAN(時(shí)趕 m B: 1*1 It)| L - b1LJI 2 3 415 T B f

3、l ID II IZ13U IS' Tlfl !9Z :< 2II3Z1®2131q+Sq后仍然驟減。PACF拖尾。根據(jù)下圖,符合 MA(q),Seas.MA(Q) 模型。事於.1各種4kMA«3J的目?jī)諝w茶魏和價(jià)國(guó)歸購(gòu)鍛蟲憂趨勢(shì)型* R ( P)- p扁一霹醺MA(f)lair =w EfVlft拖堆AR» TS«. AH' Pi拖珞l嗨- p * M 尸 h;曙 MUA(v),Srafij «A( fl )(ACF與PACF怎么看:第一列數(shù)為lag值,第二列為相關(guān)系數(shù)的估計(jì)值,第三列為標(biāo)準(zhǔn)誤差,其余為 Box-Ljun

4、g檢驗(yàn)結(jié)果。如果相關(guān)系數(shù)是突然收斂到置信區(qū)間之內(nèi),95%的值在置信區(qū)間之內(nèi),為截尾。如果相關(guān)系數(shù)像一條常常的尾巴,95%的值在置信區(qū)間之外,為拖尾。故,自相關(guān)圖為截尾,偏相關(guān)圖為拖尾。符合MA模型)3指數(shù)平滑與ARIMA的比較指數(shù)平滑:用序列過去值的加權(quán)均數(shù)來預(yù)測(cè)將來的值,并給序列中近期的數(shù)據(jù)以較大的權(quán)重,遠(yuǎn)期的數(shù)據(jù)以較小的權(quán)重。理由是隨著時(shí)間的流逝,過去值的影響逐漸減小?;竟剑?二 a匕 + ( 1 一 U t() < a < 1T+1時(shí)刻的Ft是t時(shí)刻的預(yù)測(cè)值,Y是t時(shí)刻的實(shí)際值。指數(shù)平滑沿襲了修正的思想,預(yù)測(cè)值是T時(shí)刻的實(shí)際觀測(cè)值對(duì) T時(shí)刻的預(yù)測(cè)值加以修正后得到的。展開式

5、:=a+ a(1 a) _ j + a( 1 - a )2+ '" + or( 1 a) 3 Yi實(shí)際觀測(cè)值對(duì)預(yù)測(cè)值的影響隨著時(shí)間距離的增大而呈指數(shù)級(jí)數(shù)衰減,這就是指數(shù)平滑的由來。平?jīng)_的由來U只走滅的建度由平滑系數(shù)欣決能,如黑儀-】,說叨r + 1吋刻的預(yù)刎"很由時(shí)劉 的謹(jǐn)刪價(jià)決定,而與卩時(shí)刻之前的任何數(shù)值Jt天;半口權(quán)近1時(shí)時(shí)Ml庁列的衰減逢度非常快+預(yù) 測(cè)當(dāng)只受彊近的兒?,F(xiàn)測(cè)値的比響.哽処處的影響禪少:芳(I搖近。吋-即使迅處的觀測(cè)佰也燈 當(dāng)前的碩測(cè)有相溝的翻響力曲口果n = 0*說明序列非常螳宦嘔T討劇的觀港值的霽咆村由 聽史數(shù)郵貴交,根據(jù)指數(shù)平滑法的公式可以

6、知道: 指數(shù)平滑法適合于影響隨時(shí)間的消失呈下降的數(shù)據(jù)。ARIMA 模型:AR ( p)模型(Auto regression Model )自回歸模型p階自回歸模型:刃=c + 0iXt-i + 2Vt-2 + + 0p7t-p + et式中”為時(shí)間序列第七時(shí)刻的觀察值.即為因變呈或稱被解釋變?cè)];y£_v yT-3.,y»p為時(shí)序片的淆后序列.這甲.作為自變帛戚稱為解釋變苗:內(nèi)是融 機(jī)i吳遼項(xiàng):G 01 r 0“.0&為待估的門冋嘰參數(shù)村.4/ hg)模型:Moving Avemge MudeJ移動(dòng)平均稅型V階移動(dòng)平均模型匕£乂十巧一坊空l _/;-_-一加

7、Y式中,H為時(shí)間序列的平均數(shù),但當(dāng)輛序列在0 I:卜變動(dòng)時(shí)、顯然#=0, 可刪除此項(xiàng);%s “ 為模型在第期第人I期初第 i期的課并,0t釦 z 0為待估的移副T均卷數(shù)“這里的d是對(duì)原時(shí)序進(jìn)行逐期差分的階數(shù),差分的目的是為了讓某些非平穩(wěn)(具有一定趨勢(shì)的)序列變換為平穩(wěn)的,通常來說d的取值一般為0,1,2。對(duì)于具有趨勢(shì)性非平穩(wěn)時(shí)序,不能直接建立 ARMA 模型,只能對(duì)經(jīng)過平穩(wěn)化處理,而后對(duì)新的平穩(wěn)時(shí)序建立ARMA(p,q)模型。這里的平穩(wěn)化處理可以是差分處理,也可以是對(duì)數(shù)變換,也可以是兩者相 結(jié)合,先對(duì)數(shù)變換再進(jìn)行差分處理。朋幽“忒和(疋'模型自回歸積分滑動(dòng)平均模型對(duì)于具有季節(jié)性的非平穩(wěn)

8、時(shí)序(如冰箱的銷售量,羽絨服的銷售量),也同樣需要進(jìn)行季節(jié)差分,從而得到平穩(wěn)時(shí)序。這里的 D即為進(jìn)行季節(jié)差分的階數(shù); PQ分別是季節(jié)性自回 歸階數(shù)和季節(jié)性移動(dòng)平均階數(shù); S為季節(jié)周期的長(zhǎng)度。確定pqd,PQD主要根據(jù)自相關(guān)圖與偏自相關(guān)圖。4.建模只能在序列平穩(wěn)時(shí)使首先了解一下各個(gè)參數(shù)的意義:R方、平穩(wěn)的R方:R方是使用原始序列計(jì)算出的模型決定系數(shù),用。平穩(wěn)的R方則是用模型的平穩(wěn)部分計(jì)算出的決定系數(shù), 當(dāng)序列具有趨勢(shì)或季節(jié)波動(dòng)時(shí), 該指標(biāo)優(yōu)于普通 R房。兩者取值均為小于等于 1的任意數(shù),負(fù)值表示該模型預(yù)測(cè)效果比只 用均數(shù)預(yù)測(cè)還差。RMSE :均方誤差的平方根,表示模型預(yù)測(cè)因變量的精度,其值越小,

9、精度越高。MAE:平均絕對(duì)誤差;MaxAE :最大絕對(duì)誤差;MAPE:平均絕對(duì)誤差百分比;MaxAPE:最大絕對(duì)誤差百分比;正態(tài)化的BIC :是基于均方誤差的分?jǐn)?shù),包括模型中參數(shù)數(shù)量的罰分和序列長(zhǎng)度。罰分去除了具有更多參數(shù)的模型優(yōu)勢(shì),從而可以容易地比較相同序列的不同模型的統(tǒng)計(jì)量。其中百分比用來比較不同的模型,最大絕對(duì)誤差與最大絕對(duì)誤差百分比對(duì)于考慮預(yù)測(cè)最 壞情況很有用。4.1指數(shù)平滑法建模對(duì)于我們的數(shù)根據(jù)前面敘述,知道指數(shù)平滑法適用于影響隨時(shí)間的消失呈下降的數(shù)據(jù)。據(jù)可能不適用。但是保險(xiǎn)起見,仍用指數(shù)平滑法進(jìn)行建模。如圖所示R方為負(fù)值,表示該模型效果太差。故拋棄該方法。.IS卓$E百陽(yáng)tin3n

10、s!5DT5RD<9S-D&l1曲帖13%-Xifl仇JB7 -JCrt1 nZ-EE'ISIB 53QMIR伽1 ftJ5EI5,1E£QZQQ13Irra-m2HD11 CZSE-ilE1B53D3HD I B1 err:m-Dtl1 fl2E*1E1E5S2»blt1亠PQi 泊関i s-Tif-if 1 fl2EE'1-5'13 口2 EQ 1&I a m.917-.0112«j9H1 D-rSS9B519310.1-114 7T3伽!«IQ1 M7W*11 t .DMfc rl 51ilB 5392

11、QD IHI*TT2叮in94711111 Q25E-1E ia53E> 2DQ1H1 amH h|HNIft iNAPF ifziXPEMAE «aE擔(dān)鈿1 32EF*152KLIE1EL4rih>BHiailE0聞骨vP Jifen*OF< 1 AQB«7-<QD1J1B34BrcSQ4.2專家建模法選擇合適模型專家建模法默認(rèn)兩種建模方法均使用,因?yàn)槭謩?dòng)計(jì)算合適參數(shù)較為復(fù)雜,專家建模器會(huì)為用戶選擇合適的模型與參數(shù)。如圖所示,專家建模器選擇的是ARIMA模型,并設(shè)置參數(shù)為ARIMA(0,0,2)(0,0,1),根據(jù)前面分析可知 ”沁4八用八弋;4&

12、quot;;二:詞中 p=0 ,d=0,q=2 ,P=0,D=0,Q=1。結(jié)合數(shù)據(jù)的ACF圖,說明ARIMA相對(duì)于指數(shù)平滑法更適合。倶型菠型桎誹進(jìn) SDIFF(-n' = i.1,24)ARIMA(0.0,2)(03.1)模型參數(shù)如下,圖中R方與平穩(wěn)的R方相等,該模型為非季節(jié)性模型。Ljung-Box Q檢驗(yàn)中白噪聲未超過限定值,通過檢驗(yàn)。植崛-VIfNm«ER-1詢暫隣Lm$ffl?5»D巧 Y!R 1.flFJsn?Ticn?TJ4T1,71m羽n-nH 7C-2Efl 73.cn.90fl?3JT7Ed珥RU5EICi-HZD1G.B:O1VJ94BH3JE3

13、Q1C.BID15.3-3CmjbsoILQJDTCBIBlfli.EXiIWELiOSf-KH1.13GE*I4l.i 3?EH<L lKe-i i1.11JE-I4II.UtE'lln .143£*14LlMfc-K1.1 :-E -14NdUPE2WIG+I7llflflAl?IVIEIFmtvr工畑卄2mi*vUTWIT2»M£-1FMJf11.3(11l.»H34«ii刪11 Jen11J4B1IMI1.»BII Ml1l.»N2nmn>4«汨|黑I14JPO43V別胛13411叭胃1

14、.El - 1-1&05J0冋1C51睞5J513SJWS* V r Itt®Mff!« r>ftLjirrgi-gra Uli #|柿“l(fā)iWtfWH - 1«T31 :嚇-1flnwQ卜圖為該模型預(yù)測(cè)的 9月一天的數(shù)據(jù)。wqEFIN40 0.20 0-0- =?nn- 申jtr -SD0- 244 23顎4244 Mrj44強(qiáng)244也44.2調(diào)整模型參數(shù)但是由前面進(jìn)行的季節(jié)性分解分析可知,我們的數(shù)據(jù)具有周期性。由前面分析的圖中所示,ACF在1階之后驟減,為截尾。進(jìn)一步觀察,發(fā)現(xiàn)其具有周期性,在q+Sq后仍然驟減。PACF拖尾。根據(jù)下圖,符合 MA

15、(q),Seas.MA(Q) 模型。設(shè)置d=1,D=1,q=1 ,Q=1,設(shè)置p跟P均為0,建立模型如下。R方為負(fù)值表示該模型擬合效果很差。需要進(jìn)一步調(diào)整參數(shù)。沖| . 4j11Ehk rirA-i niM5TD25saFSM9£刊3冊(cè)R ,.*t:m尿!吟RdVN-QBIWl廠心目5DM#» an-mRHSEamai«u2*1 It弭叭21SMIZBVI'IwSl.tflfthrKFE1 4iBEhH1 di1 414111 41VE*H1 界EMU4咖屮E:1 D5re+|iBi.wdE-*iia44 0?EE*1C1 OflTE+HC4O9DE+1E

16、ICBE*ENAE10.535qBJVUEivjaan B妙19剛;19 9W-IB 59-1K QBS1B3-B5HiiAEIM.K313J.919i刖曲I13.BSSra.M1E9.139llP.盼1B1 flBbKBMbiritiL/ifecm4.101BJM1viai4 Ml4.101f.nr0.BD1t.iaitioi9.M12p魚廿Miq詡UEVHfill"暉*du rj即=* rt-r.R pOF苛1 24>«V1慎B13'11 4 Si1$故進(jìn)一步調(diào)整模型參數(shù)。 經(jīng)過反復(fù)調(diào)整試驗(yàn),模型參數(shù)設(shè)置為:ARIMA(2,1,1)(1,1,1)的時(shí)候, 模型具有最大的穩(wěn)定 R方值。如下圖所示:模型參數(shù)設(shè)置建模的參數(shù)情況如下:Mt'lilrt9DFFI:1iH J1剁 tiElri tRnffl-8 R '.細(xì).Umm糾ER.IM礎(chǔ)冊(cè)町0RH5F22,m32 Mgj17istni321M席1"22iT3WAFE1 SXEtiJi1 J2DEM4i MM+t41 JKE+141 »0E*14l 32OE+K1 )2DE*U1 92Kt141 WAE4irifrEi-tr3 TgiF3i.?$DE*1lJJMS+t?3S.?50£+iT1

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論