基于差分自回歸移動(dòng)平均模型(ARIMA)、LSTM以及LSTM-Bspline的保潔公司收盤價(jià)分析預(yù)測(cè)研究摘要金融市場(chǎng)是國(guó)家經(jīng)濟(jì)體系中至關(guān)重要組成部分，在某種意義上反應(yīng)著一個(gè)國(guó)家的經(jīng)濟(jì)發(fā)展?fàn)顩r，對(duì)金融時(shí)間序列進(jìn)行預(yù)測(cè)一直是眾多投資者的關(guān)注熱點(diǎn)。然而，由于受國(guó)際市場(chǎng)、政治形勢(shì)以及自然災(zāi)害等多種因素影響，金融時(shí)間序列具有極大的不確定性，呈現(xiàn)出非平穩(wěn)、非線性、高度嘈雜等特征。這給金融時(shí)間序列的預(yù)測(cè)增加了難度。相較于普通時(shí)間序列，金融時(shí)間序列往往在不同時(shí)間區(qū)間內(nèi)呈現(xiàn)出不同的變化特征。因此，對(duì)某個(gè)時(shí)間點(diǎn)的預(yù)測(cè)或?qū)π蛄姓w變化趨勢(shì)的分析往往無(wú)法反映出金融時(shí)間序列真實(shí)的變化規(guī)律。本文提出了時(shí)間序列的分段預(yù)測(cè)概念，并建立了LSTM-Bspline分段預(yù)測(cè)模型。首先將時(shí)間序列劃分為等長(zhǎng)度的局部擬合區(qū)間，然后采用結(jié)構(gòu)特性優(yōu)良的B樣條函數(shù)對(duì)區(qū)間內(nèi)的序列值進(jìn)行擬合。通過(guò)分析時(shí)間序列的性質(zhì)發(fā)現(xiàn)擬合區(qū)間內(nèi)的B樣條參數(shù)與上一區(qū)間內(nèi)的序列值存在函數(shù)關(guān)系。針對(duì)局部擬合區(qū)間內(nèi)B樣條的參數(shù)。本文采用長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)(LSTM)對(duì)其建立模型，根據(jù)與上一區(qū)間的序列值對(duì)當(dāng)前區(qū)間的B樣條參數(shù)作出估計(jì)。通過(guò)對(duì)模型進(jìn)行訓(xùn)練獲取估計(jì)值，進(jìn)而計(jì)算出局部擬合區(qū)間內(nèi)的序列預(yù)測(cè)值。為驗(yàn)證模型的可行性，本文將寶潔公司2009年2月至2020年12月的股票數(shù)據(jù)作為實(shí)證分析對(duì)象，分別使用差分自回歸移動(dòng)平均模型(ARIMA)、LSTM以及LSTM-Bspline對(duì)未來(lái)300個(gè)交易日的收盤價(jià)進(jìn)行分析預(yù)測(cè)，并將預(yù)測(cè)結(jié)果進(jìn)行對(duì)比。選取多種評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)比較模型之間的優(yōu)劣。結(jié)果表明本文構(gòu)建的LSTM-Bspline模型預(yù)測(cè)是有效的。關(guān)鍵詞：金融時(shí)間序列；ARIMA模型；LSTM模型；B樣條函數(shù)目錄TOC\o"1-3"\h\u24212摘要 第一章緒論1.1研究背景和意義時(shí)間序列是一種將同一統(tǒng)計(jì)指標(biāo)的數(shù)值按照其發(fā)生的時(shí)間順序排列而形成的序列。生活中一些常見(jiàn)的數(shù)據(jù)如股票收盤價(jià)、商品日銷量以及每日的氣候等都屬于時(shí)間序列的范疇。由此可見(jiàn)，時(shí)間序列的研究與我們的生活息息相關(guān)。時(shí)間序列分析的原理為，時(shí)間序列數(shù)據(jù)中蘊(yùn)含著某些隨時(shí)間變量不斷變化的潛在信息。通過(guò)對(duì)數(shù)據(jù)處理分析，選取合適的時(shí)間序列模型，可以提取出時(shí)間序列中蘊(yùn)含的內(nèi)在規(guī)律，根據(jù)這些規(guī)律，能夠預(yù)測(cè)出下一時(shí)間段數(shù)據(jù)可能達(dá)到的水平[1]。金融經(jīng)濟(jì)數(shù)據(jù)的預(yù)測(cè)是時(shí)間序列分析的一個(gè)重要研究方向。金融市場(chǎng)是國(guó)家經(jīng)濟(jì)體系中至關(guān)重要的一部分，一個(gè)國(guó)家金融市場(chǎng)的興衰反應(yīng)了國(guó)家經(jīng)濟(jì)發(fā)展的狀況。因此，通過(guò)時(shí)間序列分析，尋找出蘊(yùn)含在金融市場(chǎng)數(shù)據(jù)中潛在的規(guī)律有助于人們正確把握金融市場(chǎng)的變化情況以及發(fā)展趨勢(shì)，從而幫助金融投資者制定出更加合理的投資策略，減小投資風(fēng)險(xiǎn)，增加投資帶來(lái)的收益。同時(shí)可以給國(guó)家經(jīng)濟(jì)政策的調(diào)整提供數(shù)據(jù)基礎(chǔ)和理論依據(jù)。因此金融時(shí)間序列的分析一直受到眾多統(tǒng)計(jì)學(xué)們的關(guān)注。股票價(jià)格是一種典型的金融時(shí)間序列數(shù)據(jù)。我國(guó)第一張股票出現(xiàn)在1986年。我國(guó)股票市場(chǎng)從成立到現(xiàn)在，雖然經(jīng)歷了一段時(shí)間的成長(zhǎng)，但仍處于發(fā)展的初期。其間，我國(guó)股票市場(chǎng)經(jīng)歷過(guò)從地位到高位，從高位到突破，也經(jīng)歷過(guò)從突破到跌破。這些變化反映出了股票的波動(dòng)性特征。正因?yàn)楣善笔袌?chǎng)如此令人難以捉摸，對(duì)股票走勢(shì)進(jìn)行分析顯得尤為重要，因此本文選取股票收盤價(jià)數(shù)據(jù)作為研究對(duì)象，嘗試多種時(shí)間序列模型，預(yù)測(cè)股票收盤價(jià)的變化趨勢(shì)。ARIMA模型是最常用的時(shí)間序列模型之一。該模型在面對(duì)大量不間斷的數(shù)據(jù)時(shí)，有著較高的預(yù)測(cè)準(zhǔn)確度，被廣泛應(yīng)用于金融時(shí)間序列領(lǐng)域。但是ARIMA模型也存在著一些缺點(diǎn)，參數(shù)估計(jì)較為復(fù)雜，并且通過(guò)模型估計(jì)出的參數(shù)無(wú)法移植[2]。20世紀(jì)40年代，神經(jīng)網(wǎng)絡(luò)作為一種新的研究時(shí)間序列的工具被提出。隨著學(xué)者們不斷的研究，神經(jīng)網(wǎng)絡(luò)發(fā)展出多種變體。其中，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是一種專門處理時(shí)間序列的神經(jīng)網(wǎng)絡(luò)[3]。相較于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，RNN在處理時(shí)間序列時(shí)具有諸多優(yōu)勢(shì)。首先，其具有記憶能力，可以讀取歷史序列的信息，更好的挖掘樣本之間的時(shí)序關(guān)聯(lián)[4]，對(duì)未來(lái)時(shí)刻的數(shù)據(jù)水平進(jìn)行預(yù)測(cè)。其次，RNN可以用來(lái)處理任意長(zhǎng)度的序列數(shù)據(jù)[5]，這使得它在金融時(shí)間序列研究領(lǐng)域中得到更為廣泛的應(yīng)用。但是RNN也存在不足之處，其自身的結(jié)構(gòu)十分復(fù)雜，使得在處理大量數(shù)據(jù)時(shí)存在長(zhǎng)期依賴的問(wèn)題。當(dāng)輸入的序列數(shù)據(jù)過(guò)長(zhǎng)時(shí)，距離某時(shí)刻較遠(yuǎn)的序列信息會(huì)被弱化甚至忽略。簡(jiǎn)言之就是循環(huán)神經(jīng)網(wǎng)絡(luò)無(wú)法“記憶”距當(dāng)前時(shí)刻較遠(yuǎn)但對(duì)預(yù)測(cè)結(jié)果起決定作用的信息[6]。為了解決這個(gè)問(wèn)題，2012年，GravesA[7]在RNN的基礎(chǔ)上做出了改進(jìn)，提出了LSTM引入了線性連接和門控機(jī)制，在一定程度上解決了RNN中的長(zhǎng)期依賴問(wèn)題。B樣條曲線是一種用于處理函數(shù)逼近問(wèn)題的非參數(shù)方法[8]。其結(jié)構(gòu)特性優(yōu)良，逼近能力強(qiáng)，并且構(gòu)造簡(jiǎn)單，被廣泛應(yīng)用于各個(gè)研究領(lǐng)域。Davis和Nihan(1991)[9]將非參數(shù)回歸方法用于時(shí)間序列分析，故本文考慮將B樣條曲線擬合應(yīng)用于時(shí)間序列中。本文以LSTM作為基礎(chǔ)，將B樣條函數(shù)和LSTM結(jié)合，構(gòu)建了LSTM-Bspline分段預(yù)測(cè)模型。分別使用ARIMA和LSTM模型以及LSTM-Bspline模型對(duì)同一組股票數(shù)據(jù)進(jìn)行分析預(yù)測(cè)。通過(guò)將預(yù)測(cè)結(jié)果可視化，選取多種評(píng)價(jià)指標(biāo)，對(duì)結(jié)果進(jìn)行分析對(duì)比。從不同角度比較評(píng)價(jià)這三種方法的特點(diǎn)和預(yù)測(cè)效果的優(yōu)劣性，進(jìn)而證明LSTM-Bspline模型的有效性。1.2國(guó)內(nèi)外研究現(xiàn)狀金融時(shí)間序列預(yù)測(cè)的模型大致可分為兩類，一類是以概率論和統(tǒng)計(jì)學(xué)作為理論基礎(chǔ)來(lái)構(gòu)建的傳統(tǒng)時(shí)間序列模型；另一類是機(jī)器學(xué)習(xí)領(lǐng)域的人工神經(jīng)網(wǎng)絡(luò)模型。本節(jié)從這兩個(gè)方面出發(fā)，分別展開介紹傳統(tǒng)時(shí)間序列模型研究現(xiàn)狀和人工神經(jīng)網(wǎng)絡(luò)的研究現(xiàn)狀。1.2.1傳統(tǒng)時(shí)間序列模型研究現(xiàn)狀傳統(tǒng)時(shí)間序列模型可分為確定性模型和隨機(jī)性模型。確定性模型認(rèn)為時(shí)間序列是多種變化因素（如趨勢(shì)變化、季節(jié)變化、周期性變化和循環(huán)波動(dòng)等）共同作用的結(jié)果［10］。針對(duì)上述各種變化因素，ClevelandRB和ClevelandWS(1990)[11]提出了STL(SeasonalandTrenddecompositionusingLoess)分解法。該方法結(jié)合了傳統(tǒng)線性回歸的簡(jiǎn)潔性和非線性回歸的靈活性[12]，但是其缺點(diǎn)在于對(duì)異常點(diǎn)具有健壯性，僅能處理加法模式的分解。針對(duì)時(shí)間序列中的周期變動(dòng)和隨機(jī)變動(dòng)問(wèn)題，HamiltonJD(1994)[13]提出了移動(dòng)平均法(MA)。該方法可以緩和時(shí)間序列中存在的周期變動(dòng)和隨機(jī)波動(dòng)等干擾因素，使序列的變化趨勢(shì)更為顯著[14]。但是，移動(dòng)平均法也存在局限性。該方法有時(shí)會(huì)出現(xiàn)預(yù)測(cè)值停留在過(guò)去的水平的情況，無(wú)法預(yù)測(cè)未來(lái)出現(xiàn)的不同水平的波動(dòng)。而且，MA依賴于大量的歷史數(shù)據(jù)，在應(yīng)用會(huì)產(chǎn)生由于樣本不足而導(dǎo)致預(yù)測(cè)結(jié)果欠佳的問(wèn)題。在移動(dòng)平均法的基礎(chǔ)上，DCMontgomery，JSGardiner和LAJohnson(1990)[15]提出了指數(shù)平滑法。該方法含參量低，易于實(shí)現(xiàn)，并且可以適應(yīng)性數(shù)據(jù)的變化模式并進(jìn)行調(diào)整。但該方法仍有不足，它對(duì)數(shù)據(jù)的轉(zhuǎn)折點(diǎn)的識(shí)別能力較差，并且對(duì)于長(zhǎng)期數(shù)據(jù)的預(yù)測(cè)結(jié)果不佳，多用于短期數(shù)據(jù)。在隨機(jī)性模型中，統(tǒng)計(jì)學(xué)家們利用隨機(jī)理論研究時(shí)間序列，探究由隨機(jī)因素引起的變化中潛在的規(guī)律。20世紀(jì)70年代，BoxG和JenkinsGM(1976)[16]提出了自回歸滑動(dòng)平均模型(ARMA)。ARMA是自回歸模型（AR）與MA的結(jié)合體，適用于很大一類實(shí)際問(wèn)題。其缺點(diǎn)是其參數(shù)估算比較繁瑣。隨后，在ARMA模型的基礎(chǔ)上，BoxG和JenkinsGM又提出了更為完善的ARIMA模型。ARIMA模型是對(duì)ARMA模型的改進(jìn)，是ARMA模型與差分法相結(jié)合的產(chǎn)物。EngleRF(1982)[17]提出了自回歸條件異方差模型(ARCH)，該方法可以描述出時(shí)間序列中隨時(shí)間變化的條件方差，[18]。在ARCH模型的基礎(chǔ)之上BollerslevT(1986)[19]提出了廣義ARCH模型，也稱為GARCH模型。GARCH模型是為了研究金融時(shí)間序列數(shù)據(jù)提出的模型，尤其對(duì)波動(dòng)性的分析預(yù)測(cè)表現(xiàn)出色。1.2.2人工神經(jīng)網(wǎng)絡(luò)模型研究現(xiàn)狀人工神經(jīng)網(wǎng)絡(luò)模型具有優(yōu)秀的學(xué)習(xí)能力和抗干擾能力，擬合能力強(qiáng)，十分適用于預(yù)測(cè)金融時(shí)間序列［20］。McCullochWS和PittsW(1943)[21]根據(jù)生物學(xué)中神經(jīng)元的結(jié)構(gòu)原理，構(gòu)建了第一個(gè)神經(jīng)元模型(MP)。RosenblattF(1958)[22]提出了具有最簡(jiǎn)單結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)模型——感知器模型，其結(jié)構(gòu)簡(jiǎn)單能夠解決相當(dāng)復(fù)雜的問(wèn)題。但是，它不能處理線性不可分問(wèn)題。WerbosPJ(1974)[23]提出了著名的反向傳播(BP)算法，BP算法的計(jì)算分為兩個(gè)過(guò)程，分別為信號(hào)的正向傳播和誤差的反向傳播[24]，適用于多層神經(jīng)元網(wǎng)絡(luò)。BP算法具有強(qiáng)大的信息處理能力，在處理函數(shù)復(fù)現(xiàn)問(wèn)題時(shí)表現(xiàn)十分出色[25]。由于BP算法以梯度下降法基礎(chǔ)，因此在訓(xùn)練具有多個(gè)隱藏層的深度網(wǎng)絡(luò)時(shí)，BP算法易陷入局部最小值。HopfieldJJ(1982)[26]首次提出了RNN，RNN是一種遞歸神經(jīng)網(wǎng)絡(luò)，該模型將序列數(shù)據(jù)作為輸入，在序列的演進(jìn)方向進(jìn)行遞歸并將所有循環(huán)單元按照鏈?zhǔn)竭B接[27]。RNN擅長(zhǎng)對(duì)序列的非線性特征進(jìn)行學(xué)習(xí)，被廣泛應(yīng)用于自然語(yǔ)言處理（NLP）和各類時(shí)間序列的預(yù)測(cè)等領(lǐng)域。但是RNN也有缺點(diǎn)，當(dāng)輸入序列的長(zhǎng)度過(guò)大，RNN會(huì)產(chǎn)生長(zhǎng)期依賴的問(wèn)題[28]。針對(duì)這個(gè)問(wèn)題，HochreiterS和SchmidhuberJ(1997)[29]在RNN的基礎(chǔ)上進(jìn)行改進(jìn)并提出了LSTM。LSTM是一種特殊的RNN，它通過(guò)設(shè)置門控結(jié)構(gòu)，將短期記憶與長(zhǎng)期記憶結(jié)合，通過(guò)控制記憶單元緩解了RNN的長(zhǎng)期依賴的問(wèn)題，在一定程度上防止了梯度的消失與爆炸。Chung(2015)[30]對(duì)LSTM模型進(jìn)行了簡(jiǎn)化，提出了門控循環(huán)單元(GRU)。相較于LSTM，GRU具有參數(shù)少，收斂快的優(yōu)點(diǎn)。但缺點(diǎn)也很明顯——面對(duì)較大的數(shù)據(jù)集時(shí)，其預(yù)測(cè)表現(xiàn)遠(yuǎn)遜色于LSTM。1.3研究?jī)?nèi)容與框架1.3.1研究?jī)?nèi)容本文的選題是時(shí)間序列預(yù)測(cè)方向，研究對(duì)象為金融時(shí)間序列。主要研究?jī)?nèi)容分為以下三個(gè)方面：對(duì)金融時(shí)間序列研究背景和意義進(jìn)行描述，敘述金融時(shí)間序列預(yù)測(cè)的必要性，分析研究難點(diǎn)。對(duì)現(xiàn)有常用的時(shí)間序列模型——ARIMA、LSTM展開描述，介紹不同模型的理論依據(jù)、建模步驟、模型的優(yōu)缺點(diǎn)以及在金融時(shí)間序列中的應(yīng)用情況。分析金融時(shí)間序列在不同時(shí)間段內(nèi)變化規(guī)律不同的特點(diǎn)，提出時(shí)間序列的分段擬合概念。將時(shí)間序列劃分成不同區(qū)間，采用B樣條方法對(duì)區(qū)間內(nèi)時(shí)間序列數(shù)據(jù)進(jìn)行擬合。然后采用LSTM，提取上一區(qū)間內(nèi)的時(shí)序信息，來(lái)獲取當(dāng)前區(qū)間內(nèi)B樣條基函數(shù)系數(shù)的估計(jì)值，進(jìn)而求出區(qū)間內(nèi)序列的預(yù)測(cè)值。選取寶潔公司2009年2月至2020年12月的股票數(shù)據(jù)作為研究對(duì)象，將收盤價(jià)作為預(yù)測(cè)指標(biāo)，分別使用ARIMA、LSTM、LSTM-Bspline模型進(jìn)行實(shí)證分析。使用多種評(píng)價(jià)指標(biāo)，在多種不同的角度對(duì)模型預(yù)測(cè)性能進(jìn)行比較，分析不同模型之間的優(yōu)劣以及特點(diǎn)，證明LSTM-Bspline模型的可行性。1.3.2研究框架本文總體結(jié)構(gòu)框架由五個(gè)章節(jié)構(gòu)成。第一章為緒論。1.1節(jié)介紹了本文的研究背景與研究意義，闡明了金融時(shí)間序列的研究的必要性。1.2節(jié)對(duì)國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行介紹，敘述國(guó)內(nèi)外研究者針對(duì)時(shí)間序列問(wèn)題提出的模型以及目前模型存在的局限性。1.3節(jié)對(duì)論文的研究?jī)?nèi)容進(jìn)行總體敘述，并給出論文的整體框架。第二章為金融時(shí)間序列預(yù)測(cè)的基本理論。2.1節(jié)介紹了金融時(shí)間序列特性，分析其與普通時(shí)間序列的不同。2.2節(jié)介紹了常用的金融時(shí)間序列預(yù)處理方法,并敘述不同數(shù)據(jù)預(yù)處理方法對(duì)預(yù)測(cè)模型的影響。2.3節(jié)對(duì)常用的傳統(tǒng)時(shí)間序列模型ARIMA進(jìn)行展開介紹，敘述ARIMA模型的原理以及建模過(guò)程。2.4節(jié)對(duì)常用的神經(jīng)網(wǎng)絡(luò)模型LSTM展開介紹，敘述模型的內(nèi)部結(jié)構(gòu)以及計(jì)算過(guò)程，并且介紹模型構(gòu)建的基本流程。第三章為基于LSTM-Bspline的時(shí)間序列分段預(yù)測(cè)模型。3.1節(jié)提出時(shí)間序列的分段預(yù)測(cè)問(wèn)題，分析分段預(yù)測(cè)的必要性。3.2節(jié)初步建立時(shí)間序列的分段擬合模型。3.3節(jié)介紹B樣條函數(shù)的定義、構(gòu)造方法以及優(yōu)點(diǎn)。3.4節(jié)建立基于B樣條函數(shù)的時(shí)間序列分段擬合模型，并通過(guò)LSTM提取序列時(shí)序信息來(lái)獲取B樣條模型參數(shù)。第四章實(shí)證分析。本章選取寶潔公司的股票數(shù)據(jù)作為研究對(duì)象，將股票收盤價(jià)作為預(yù)測(cè)指標(biāo)，4.1節(jié)對(duì)數(shù)據(jù)進(jìn)行整體描述，并將數(shù)據(jù)可視化。4.2節(jié)至4.4節(jié)分別使用ARIMA模型、LSTM模型和LSTM-Bspline模型對(duì)收盤價(jià)進(jìn)行預(yù)測(cè)，并分析結(jié)果。4.5節(jié)將不同模型的預(yù)測(cè)結(jié)果進(jìn)行比較，證明LSTM-Bspline的有效性。第五章全文總結(jié)與展望。本章對(duì)全文的總體研究和工作進(jìn)行全面的概括總結(jié)，補(bǔ)充說(shuō)明目前論文研究中存在的有待改進(jìn)的地方，提出未來(lái)在進(jìn)一步的研究中需要努力和改進(jìn)的方向。第二章金融時(shí)間序列預(yù)測(cè)的基本理論本章從四個(gè)部分展開介紹金融時(shí)間序列預(yù)測(cè)的基本理論：第一部分介紹金融時(shí)間序列的特征；第二部分介紹金融時(shí)間序列分析中常用的數(shù)據(jù)預(yù)處理方法；第三部分介紹ARIMA模型的基本理論以及模型構(gòu)建過(guò)程；第四部分介紹LSTM的結(jié)構(gòu)原理以及建模必要過(guò)程。2.1金融時(shí)間序列的特征時(shí)間序列是指按照一定的時(shí)間間隔(如每時(shí)，每日，每周，每月，每年等)收集的一系列數(shù)據(jù)。根據(jù)時(shí)間的變化，將隨機(jī)變量的變化或隨機(jī)事件的產(chǎn)生用數(shù)據(jù)的形式記錄下來(lái)，形成的具有時(shí)間先后順序的一系列數(shù)據(jù)就是時(shí)間序列。而使用相關(guān)的方法和理論對(duì)時(shí)間序列進(jìn)行數(shù)據(jù)采集、處理、分析、以及預(yù)測(cè)序列未來(lái)變化趨勢(shì)的技術(shù)被稱為時(shí)間序列分析。根據(jù)收集數(shù)據(jù)的背景的不同，時(shí)間序列可以被分為很多種，金融時(shí)間序列就是其中之一。金融時(shí)間序列數(shù)據(jù)與普通時(shí)間序列的不同之處在于，它反映了金融市場(chǎng)在時(shí)間維度上的變化情況。在獨(dú)特的金融理論背景下，金融時(shí)間序列具有高復(fù)雜度、高噪聲、高混亂度、動(dòng)態(tài)性、非線性相關(guān)性以及非參數(shù)性等特點(diǎn)[28]。并且金融時(shí)間序列數(shù)據(jù)存在著多種不同的性質(zhì)（如趨勢(shì)性、季節(jié)性等），多為非平穩(wěn)序列。因此，在對(duì)金融數(shù)據(jù)進(jìn)行分析之前，需要預(yù)先消除數(shù)據(jù)中存在的的趨勢(shì)性和季節(jié)性等因素，使之轉(zhuǎn)變?yōu)槠椒€(wěn)序列。另外，金融數(shù)據(jù)還具有強(qiáng)烈的波動(dòng)性，在外界因素的作用下序列會(huì)隨著時(shí)間的前向推移不斷上下浮動(dòng)。隨機(jī)波動(dòng)會(huì)導(dǎo)致金融時(shí)間序列數(shù)據(jù)的趨勢(shì)在穩(wěn)步上升后突然下降或在逐漸下降后突然上升，想要對(duì)其準(zhǔn)確預(yù)測(cè)十分困難。2.2金融時(shí)間序列的數(shù)據(jù)預(yù)處理在采集到研究樣本后，時(shí)間序列分析的首要工作是對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。首先分析數(shù)據(jù)的特征，然后根據(jù)數(shù)據(jù)特征以及研究需要對(duì)樣本采取恰當(dāng)?shù)念A(yù)處理機(jī)制。否則會(huì)受到數(shù)據(jù)中多種因素的干擾而難以挖掘到有效信息，預(yù)測(cè)結(jié)果欠佳。常見(jiàn)的用于預(yù)處理方法有：數(shù)據(jù)的差分處理、數(shù)據(jù)的歸一化和滑動(dòng)窗口技術(shù)等。2.2.1數(shù)據(jù)的差分處理金融時(shí)間序列大多具有非平穩(wěn)性的特點(diǎn)，而傳統(tǒng)的時(shí)間序列模型只能針對(duì)平穩(wěn)時(shí)間序列建立模型。因此，需要對(duì)具有非平穩(wěn)性的樣本采取合適的算法進(jìn)行轉(zhuǎn)化，將其處理為平穩(wěn)性數(shù)據(jù)。目前應(yīng)用最廣的數(shù)據(jù)平穩(wěn)化方法是差分法。設(shè)一組序列為則對(duì)該序列進(jìn)行差分處理后得到的序列為：2-(1)經(jīng)過(guò)一次差分變換的得到的時(shí)間序列稱為一階差分序列，重復(fù)2-(1)的變換過(guò)程可以得到更高階數(shù)的差分序列。2.2.2數(shù)據(jù)的歸一化在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)研究領(lǐng)域里，對(duì)于使用梯度下降算法優(yōu)化的模型，特征的尺度將對(duì)其優(yōu)化效率產(chǎn)生很大的影響。如果不對(duì)樣本數(shù)據(jù)實(shí)行歸一化處理，當(dāng)數(shù)據(jù)相差較大不在同一尺度時(shí)，會(huì)出現(xiàn)梯度迭代方向偏離最小值的情況。這將使得模型優(yōu)化效率降低，訓(xùn)練時(shí)間變長(zhǎng)。如圖2.1所示。圖2.SEQ圖\*ARABIC\s11尺度相差過(guò)大的梯度更新軌跡而對(duì)數(shù)據(jù)進(jìn)行歸一化處理，可以使得梯度更新的方向更接近最小值方向，大大提高訓(xùn)練速度，如圖2.2所示。圖2.SEQ圖\*ARABIC\s12歸一化處理后的梯度更新軌跡歸一化的第一步是提取數(shù)據(jù)集的最大值與最小值，然后對(duì)數(shù)據(jù)集所含全部序列值用如下公式進(jìn)行變換。2-(2)2.2.3滑動(dòng)窗口技術(shù)金融時(shí)間序列與普通時(shí)間序列相比，具有快速、大規(guī)模和持續(xù)的特點(diǎn)，最新的數(shù)據(jù)往往對(duì)預(yù)測(cè)起著至關(guān)重要的作用。因此，序列中的最新信息是往往是金融市場(chǎng)參與者們的關(guān)注焦點(diǎn)，它們是預(yù)測(cè)金融數(shù)據(jù)的關(guān)鍵。在面對(duì)龐大的數(shù)據(jù)時(shí)，采用滑動(dòng)窗口技術(shù)可以始終保持以最新時(shí)段的數(shù)據(jù)作為模型的實(shí)時(shí)輸入。因此，滑動(dòng)窗口技術(shù)在金融時(shí)間序列預(yù)測(cè)領(lǐng)域得到廣泛應(yīng)用?；瑒?dòng)窗口技術(shù)對(duì)數(shù)據(jù)的處理原理如圖2.3所示。圖2.SEQ圖\*ARABIC\s13滑動(dòng)窗口技術(shù)其中表示模型的輸入，表示時(shí)間序列值，進(jìn)入(或離開)窗口的時(shí)間點(diǎn)表示為。為窗口的寬度，其中前個(gè)點(diǎn)為訓(xùn)練模型的歷史數(shù)據(jù)，第點(diǎn)為時(shí)間序列的預(yù)測(cè)值。2.3ARIMA模型的基本理論2.3.1.ARIMA模型的原理ARIMA模型是目前最為常用的傳統(tǒng)時(shí)間序列模型，其原理與ARMA相似。而ARMA的原理如下所示：且：其中，代表模型的自回歸階數(shù)，代表模型的移動(dòng)平均階數(shù)，經(jīng)過(guò)上述過(guò)程建立的ARMA模型可表示為。ARIMA模型在ARMA的基礎(chǔ)上添加一步差分過(guò)程，解決了ARMA不能處理非平穩(wěn)數(shù)據(jù)的問(wèn)題。首先對(duì)非平穩(wěn)數(shù)據(jù)進(jìn)行次差分處理，將其轉(zhuǎn)化為平穩(wěn)時(shí)間序列，隨后對(duì)轉(zhuǎn)化后的數(shù)據(jù)應(yīng)用模型建模，形成最終的。2.3.2ARIMA模型的構(gòu)建ARIMA模型的構(gòu)建過(guò)程大致分為平穩(wěn)性檢驗(yàn)、非白噪聲檢驗(yàn)、模型定階和模型檢驗(yàn)，下面將對(duì)這幾個(gè)流程分別展開描述。1.平穩(wěn)性檢驗(yàn)ARIMA模型是平穩(wěn)時(shí)間序列的過(guò)去誤差和過(guò)去序列值的線性組合，檢驗(yàn)研究樣本是否平穩(wěn)是建模的前提。確定樣本的平穩(wěn)性后才能對(duì)模型參數(shù)進(jìn)行選擇。平穩(wěn)性分為嚴(yán)平穩(wěn)和寬平穩(wěn)[31]，ARIMA模型中的平穩(wěn)性條件是寬平穩(wěn)。當(dāng)時(shí)間序列的主要性質(zhì)近似穩(wěn)定（二階矩平穩(wěn)），即時(shí)間序列滿足：a.，；b.，為常數(shù)；c.，且，。其中表示常數(shù)，則稱具有寬平穩(wěn)性。常用的檢驗(yàn)方法為圖檢法與ADF檢驗(yàn)法結(jié)合。首先繪制樣本折線圖，觀察圖像走勢(shì)，如果圖像未呈現(xiàn)明顯趨勢(shì)，可以初步判定為平穩(wěn)時(shí)間序列。隨后對(duì)序列進(jìn)行ADF檢驗(yàn)，如果值大于提前設(shè)置的顯著性水平，則樣本非平穩(wěn)。針對(duì)非平穩(wěn)樣本，采用差分法對(duì)其變換，直至將其轉(zhuǎn)化成平穩(wěn)序列。2.非白噪聲檢驗(yàn)得到平穩(wěn)序列后，需要檢驗(yàn)其是否為白噪聲，白噪聲中含有的可提取信息極低，因此，如果數(shù)據(jù)為白噪聲，則失去了研究意義，需更換數(shù)據(jù)。常用的白噪聲檢驗(yàn)方法為L(zhǎng)jung-Box()檢驗(yàn)，該方法的原假設(shè)和備擇假設(shè)為：檢驗(yàn)統(tǒng)計(jì)量為：其中，表示檢驗(yàn)樣本的長(zhǎng)度，表示樣本階自相關(guān)系數(shù)，為滯后階數(shù)。如果值小于提前設(shè)置的顯著性水平，拒絕原假設(shè)，則說(shuō)明樣本序列之間存在自相關(guān)性，不為白噪聲序列。3.模型定階完成平穩(wěn)性檢驗(yàn)并證明序列不為白噪聲后，需要對(duì)模型定階，即選取合適的值和值。常用的方法是通過(guò)觀察自相關(guān)函數(shù)()圖和偏自相關(guān)函數(shù)()圖的拖尾性或截尾性特征來(lái)定階。定階規(guī)則如表2.1：表2.1ARIMA模型定階規(guī)則當(dāng)圖和圖的截尾或拖尾特征不好判斷時(shí)，采用信息準(zhǔn)則法定階。常用的準(zhǔn)則和準(zhǔn)則。準(zhǔn)則計(jì)算公式為：2-(3)準(zhǔn)則計(jì)算公式為：2-(4)其中表示模型參數(shù)的數(shù)量，表示模型的極大似然函數(shù)。選擇或值最小的一組。4.殘差檢驗(yàn)選擇好模型階數(shù)后，即可對(duì)模型進(jìn)行訓(xùn)練，訓(xùn)練完成后可以得到殘差序列。殘差序列是樣本與模型估計(jì)值之差，如果殘差序列不為白噪聲，說(shuō)明殘差中還殘留著部分信息，模型對(duì)樣本信息的提取不夠充分。在進(jìn)行殘差檢驗(yàn)時(shí)可以采取多種方法共同觀測(cè)，如檢驗(yàn)，自相關(guān)性檢驗(yàn)，QQ圖檢驗(yàn)，多種方法共同分析，可以使結(jié)果更全面準(zhǔn)確。2.2LSTM的基本理論LSTM是一類用于捕獲時(shí)間序列中蘊(yùn)含的長(zhǎng)期和短期依賴關(guān)系的特殊RNN模型。其在RNN的基礎(chǔ)上加入了門控結(jié)構(gòu)，在一定程度上解決了RNN存在的長(zhǎng)期依賴問(wèn)題。近年來(lái)，在深度學(xué)習(xí)領(lǐng)域得到廣泛應(yīng)用。2.2.1LSTM內(nèi)部結(jié)構(gòu)LSTM是一個(gè)高度復(fù)合的非線性參數(shù)函數(shù)，它將一列向量通過(guò)隱含層映射到另一組向量。其內(nèi)部結(jié)構(gòu)如圖2.4所示。圖2.SEQ圖\*ARABIC\s14LSTM內(nèi)部結(jié)構(gòu)2.2.2LSTM的前向傳播過(guò)程LSTM通過(guò)門控結(jié)構(gòu)來(lái)決定信息傳遞至神經(jīng)元的程度。LSTM擁有三種門控結(jié)構(gòu)，分別為遺忘門、輸入門、輸出門[33]。下面對(duì)這三種門控結(jié)構(gòu)展開描述。（1）遺忘門：遺忘門的作用是確定從神經(jīng)元中舍棄什么樣的信息，是LSTM前向傳播過(guò)程的第一步。設(shè)前一時(shí)間點(diǎn)的輸出值為，當(dāng)前時(shí)間點(diǎn)的輸入值為，門的偏置項(xiàng)設(shè)為，則遺忘門的輸出值表示為：其中表示遺忘門的權(quán)值向量，表示值域?yàn)閇0,1]的的函數(shù)，其作用是決定信息傳輸?shù)谋戎?。?）輸入門：輸入門的作用是確定何種信息被放在神經(jīng)元中，由兩個(gè)部分組成，第一部分為輸入門層，其輸出值的表達(dá)式為：用來(lái)決定候選神經(jīng)元的輸入程度。第二部分通過(guò)層創(chuàng)建一個(gè)當(dāng)前時(shí)刻的候選細(xì)胞狀態(tài)，表達(dá)式為其中為輸入門的權(quán)值矩陣和為偏置值，為神經(jīng)元經(jīng)過(guò)更新后的權(quán)值矩陣，為神經(jīng)元經(jīng)過(guò)更新后的偏置值。簡(jiǎn)單來(lái)說(shuō)，輸入門通過(guò)函數(shù)創(chuàng)建新的輸入值，通過(guò)函數(shù)決定輸入比重。（3）神經(jīng)元的記憶更新在進(jìn)行上述過(guò)程后，獲得了時(shí)刻的控制信號(hào)、和候選細(xì)胞狀態(tài)，可對(duì)時(shí)刻的細(xì)胞狀態(tài)進(jìn)行更新，得到時(shí)刻的細(xì)胞狀態(tài)：（4）輸出門輸出門的作用是生成時(shí)刻LSTM結(jié)構(gòu)的輸出值，分兩步。第一步運(yùn)行一個(gè)層來(lái)產(chǎn)生一個(gè)值域?yàn)閇0,1]的控制信號(hào)。第二步運(yùn)用函數(shù)對(duì)細(xì)胞狀態(tài)進(jìn)行轉(zhuǎn)換，并通過(guò)計(jì)算它和層的輸出值的乘積，得到LSTM的輸出值。其中，和為輸出門的權(quán)值向量和偏置值。2.2.3LSTM的損失函數(shù)損失函數(shù)的提出是為了衡量預(yù)測(cè)值與實(shí)際樣本值的不一致程度。選擇合適的損失函數(shù)可以計(jì)算出LSTM每次迭代的輸出值與真實(shí)值的誤差，指導(dǎo)LSTM下一次迭代向著正確的方向進(jìn)行。LSTM中常用的損失函數(shù)有以下幾種：均方誤差（MSE）損失函數(shù)MSE表示樣本真實(shí)值與估計(jì)值之間歐式距離。設(shè)時(shí)刻的樣本值為，估計(jì)值為，MSE的函數(shù)表達(dá)式為：2-（3）交叉熵?fù)p失函數(shù)交叉熵是信息熵概念的延申，廣泛應(yīng)用于分類問(wèn)題。其作用是度量?jī)蓚€(gè)概率分布間的差異性信息，衡量模型訓(xùn)練得到的概率分布與真實(shí)分布的差異情況。設(shè)時(shí)刻數(shù)據(jù)的真實(shí)概率為，模型訓(xùn)練得到的概率為，交叉熵?fù)p失函數(shù)的函數(shù)表達(dá)式為：2.2.4LSTM的優(yōu)化器神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程的本質(zhì)是損失函數(shù)的最小化問(wèn)題，求解這個(gè)問(wèn)題的方法被稱為優(yōu)化器。常用的優(yōu)化器有以下幾類：1.隨機(jī)梯度下降法（SGD）其思路是沿著梯度方向前進(jìn)一定距離，該算法的更新規(guī)則如下：其中表示要更新的參數(shù)，表示參數(shù)的目標(biāo)函數(shù)。SGD算法簡(jiǎn)單易實(shí)現(xiàn)，但是也有一些不足，如選擇恰當(dāng)?shù)某跏紝W(xué)習(xí)率困難，且不同參數(shù)以同一學(xué)習(xí)率迭代等。2.自適應(yīng)梯度法（AdaGrad）AdaGrad的核心思想是在更新步長(zhǎng)時(shí)，額外增加分母——梯度平方累積和的平方根。更新規(guī)則如下：其中為待更新的參數(shù)，為第時(shí)間步的梯度，表示第時(shí)間步的梯度平方，為學(xué)習(xí)率。該算法能夠針對(duì)不同的參數(shù)選擇不同的更新速度。對(duì)于更新頻繁的梯度，隨著累積的分母項(xiàng)的逐漸增大，其更新步長(zhǎng)減小。而稀疏的梯度其分母項(xiàng)的累計(jì)速度較慢，因此更新步長(zhǎng)相對(duì)較大[34]。在數(shù)據(jù)分布稀疏的情境下，AdaGrad算法能實(shí)現(xiàn)更高效的收斂。但是隨著時(shí)間步的增加，AdaGrad的分母項(xiàng)的梯度平方不斷累積，分母項(xiàng)不斷增大，會(huì)使得學(xué)習(xí)率過(guò)小，參數(shù)更新速度過(guò)慢。3.RMSProp算法RMSProp算法在更新學(xué)習(xí)率時(shí)，結(jié)合了梯度平方的指數(shù)移動(dòng)平均數(shù)[35]。這種做法克服了AdaGrad的梯度急劇減小的問(wèn)題[35]。該算法的原理如下：a.計(jì)算時(shí)間步的梯度：b.計(jì)算梯度平方的指數(shù)移動(dòng)平均數(shù)：其中表示指數(shù)衰減率。c.更新參數(shù)：其中，作用是避免除數(shù)為0。為學(xué)習(xí)率。4.Adam算法Kingma和Ba(2014)[36]提出了Adam優(yōu)化器。該算法的進(jìn)步之處在于，計(jì)算更新步長(zhǎng)時(shí)綜合考慮了梯度的一階矩和二階矩。具體計(jì)算步驟如下：a.計(jì)算時(shí)間步的梯度：b.分別計(jì)算梯度的指數(shù)及指數(shù)平方的移動(dòng)平均值：上式中的初始值和的初始值統(tǒng)一設(shè)置為0。參數(shù)和分別表示和衰減率。c.對(duì)和進(jìn)行修正。由于中和的初始值均為0，在訓(xùn)練過(guò)程的初期會(huì)使得和更新方向偏向0。因此要對(duì)和進(jìn)行如下修正：d.更新參數(shù)。得到修正后的和后可對(duì)進(jìn)行更新：與AdaGrad算法和RMSProp算法相比，Adam具有諸多優(yōu)勢(shì)。算法簡(jiǎn)單易實(shí)現(xiàn)，能自動(dòng)調(diào)整學(xué)習(xí)率，適用于梯度稀疏或梯度存在大量噪聲的情況。2.2.5LSTM的超參數(shù)選擇超參數(shù)是構(gòu)建模型過(guò)程中涉及的無(wú)法通過(guò)訓(xùn)練得到的參數(shù)。在構(gòu)建LSTM的過(guò)程中，隱藏層神經(jīng)元的數(shù)量、優(yōu)化器的初始學(xué)習(xí)率、滑動(dòng)窗口的長(zhǎng)度等均為超參數(shù)，無(wú)法通過(guò)訓(xùn)練獲得。超參數(shù)的選擇會(huì)影響模型的預(yù)測(cè)結(jié)果，因此需要采取正確的算法進(jìn)行選擇。常用選擇算法有網(wǎng)格搜索和隨機(jī)搜索。網(wǎng)格搜索適合處理模型超參數(shù)較少（一般不大于三個(gè)）的問(wèn)題情境。其原理是對(duì)每個(gè)超參數(shù)預(yù)先給出搜索范圍，在所有超參數(shù)搜索空間的笛卡爾積中遍歷，找到使驗(yàn)證集誤差最小的超參數(shù)組合，如圖2.5所示。圖2.SEQ圖\*ARABIC\s15網(wǎng)格搜索隨機(jī)搜索是一種遍歷式的搜索方法，更易找到使誤差最低的超參數(shù)組合，但當(dāng)超參數(shù)數(shù)量過(guò)多時(shí)，搜索效率過(guò)低。此時(shí)可以采用速度更快的隨機(jī)搜索法。隨機(jī)搜索規(guī)則為：預(yù)先給每個(gè)超參數(shù)定義一個(gè)邊緣分布，使用隨機(jī)采樣法得到不同的參數(shù)組合，并選取使驗(yàn)證集誤差最小的超參數(shù)組合，如圖2.6所示。圖2.SEQ圖\*ARABIC\s16隨機(jī)搜索隨機(jī)搜索法犧牲了部分準(zhǔn)確性，但大幅縮短搜索時(shí)間，適用于模型超參數(shù)較多的情況。2.3模型效果的評(píng)估僅依靠圖像，無(wú)法得出模型確切的預(yù)測(cè)性能，因此需要選取合適的指標(biāo)，對(duì)模型預(yù)測(cè)效果進(jìn)行評(píng)估，常用的指標(biāo)如下：絕對(duì)誤差(AE):絕對(duì)百分比誤差(APE):均方誤差（MSE）:決定系數(shù)（R2）:

第三章基于LSTM-Bspline的時(shí)間序列分段預(yù)測(cè)模型3.1.金融時(shí)間序列的分段預(yù)測(cè)問(wèn)題許多金融時(shí)間序列（如股票），由于受到某段時(shí)期的政策或氣候影響，其變化規(guī)律呈現(xiàn)出階段性。即在不同時(shí)間段內(nèi)，序列往往呈現(xiàn)出截然不同的變化規(guī)律。對(duì)于金融投資者來(lái)說(shuō)，其關(guān)注的重點(diǎn)多為時(shí)間序列在某段時(shí)期內(nèi)的變化規(guī)律，而非序列的整體水平或在某個(gè)點(diǎn)的水平。比如相較于股票收盤價(jià)的整體均值或在某個(gè)時(shí)間點(diǎn)的值，股票投資者會(huì)更為關(guān)注股票的十日均線（股票收盤價(jià)每十天的均值）及其變化情況。目前常用的預(yù)測(cè)模型多為逐點(diǎn)預(yù)測(cè)，根據(jù)每個(gè)時(shí)間點(diǎn)前一段序列來(lái)預(yù)測(cè)當(dāng)前時(shí)間點(diǎn)的值，即：然而，金融時(shí)間序列的變化呈現(xiàn)階段性，如果中的序列點(diǎn)橫跨不同的時(shí)間階段，其所蘊(yùn)含的規(guī)律會(huì)截然不同，因此在對(duì)其分析時(shí)難以提取出正確的規(guī)律。針對(duì)逐點(diǎn)預(yù)測(cè)中的問(wèn)題，本文建立LSTM-Bspline模型對(duì)時(shí)間序列進(jìn)行分段預(yù)測(cè)。首先將金融時(shí)間序列分割成時(shí)間跨度相同的局部擬合區(qū)間，對(duì)區(qū)間內(nèi)的數(shù)據(jù)建立B樣條模型進(jìn)行擬合。而B樣條模型的參數(shù)則通過(guò)LSTM進(jìn)行獲取。3.2.時(shí)間序列的分段擬合模型3.2.1時(shí)間序列時(shí)間段的劃分金融時(shí)間序列往往在不同時(shí)間區(qū)間內(nèi)有著不同的變化規(guī)律，為研究不同時(shí)間區(qū)間內(nèi)的序列值變化情況，需要首先根據(jù)研究需要對(duì)序列進(jìn)行劃分。設(shè)一組金融時(shí)間序列數(shù)據(jù)為，假設(shè)將每個(gè)時(shí)間點(diǎn)設(shè)置為一個(gè)局部擬合區(qū)間，則序列被分成個(gè)周期，，如3-1圖：圖3-SEQ圖\*ARABIC\s11時(shí)間序列分段示意圖3.2.2時(shí)間序列的分段擬合將第個(gè)局部擬合區(qū)間內(nèi)的第個(gè)時(shí)間點(diǎn)的序列值表示為。在第個(gè)局部擬合區(qū)間中，序列值會(huì)隨其序列索引值的變化而變化，且對(duì)于每一個(gè)索引值，都存在唯一的序列值與其對(duì)應(yīng)，符合函數(shù)關(guān)系的定義。因此可以判斷序列值與其序列索引值之間存在函數(shù)關(guān)系。函數(shù)表達(dá)式如公式3-（1）所示。3-（1）由于金融時(shí)間序列與時(shí)間變量之間呈現(xiàn)一種高度復(fù)雜的非線性關(guān)系，且時(shí)間序列的序列值與序列索引值之間的函數(shù)關(guān)系缺少相應(yīng)的先驗(yàn)知識(shí)。因此，常用的參數(shù)模型難以對(duì)上式中的關(guān)系進(jìn)行建模。B樣條曲線擬合是一種非參數(shù)回歸方法，適用于對(duì)不確定、非線性的函數(shù)關(guān)系進(jìn)行建模。在對(duì)數(shù)據(jù)進(jìn)行分析時(shí)，不需要大量的先驗(yàn)知識(shí)，只需要足夠多的歷史數(shù)據(jù)作為支持，這與金融時(shí)間序列數(shù)據(jù)的特點(diǎn)相契合。因此，本章采用B樣條曲線來(lái)對(duì)局部擬合區(qū)間內(nèi)的序列值與其在區(qū)間內(nèi)的索引值之間的函數(shù)關(guān)系建立回歸模型。3.3B樣條擬合的介紹B樣條是一種用于處理函數(shù)逼近問(wèn)題的工具。其結(jié)構(gòu)特性優(yōu)良，逼近能力強(qiáng)，并且構(gòu)造簡(jiǎn)單，被廣泛應(yīng)用于各個(gè)研究領(lǐng)域。B樣條曲線是在貝塞爾曲線的基礎(chǔ)上提出的，Bezier（1962）提出了貝塞爾曲線，用于汽車主體的設(shè)計(jì)。貝塞爾曲線擁有平移不變形和幾何結(jié)構(gòu)不變性的優(yōu)點(diǎn)，然而在實(shí)際應(yīng)用中，研究者們發(fā)現(xiàn)貝塞爾曲線存在一些局限性。其中最為顯著的問(wèn)題在于，貝塞爾曲線在應(yīng)用中無(wú)法進(jìn)行局部修改，某個(gè)控制點(diǎn)位置的改動(dòng)會(huì)引起曲線整體的變化。Gordon、Riesenfeld（1972）等人提出了B樣條曲線[36]。其解決了貝塞爾曲線無(wú)法進(jìn)行局部修改的問(wèn)題。B樣條曲線在改變某個(gè)控制點(diǎn)的位置時(shí)僅改變曲線控制點(diǎn)附近的部分，這使得B樣條曲線的調(diào)節(jié)更為靈活。3.3.1B樣條基函數(shù)的定義B樣條函數(shù)存在幾種不同的定義方法，不同定義方法雖然思路不同但是本質(zhì)相同。本章使用由Cox和deBoor[37]通過(guò)遞推方法定義的B樣條函數(shù)，下面對(duì)其展開介紹。首先明確B樣條基函數(shù)的定義。設(shè)B樣條函數(shù)的定義區(qū)間為，則區(qū)間上的一組節(jié)點(diǎn)可以表示為：3-(2)在3-(2)中，表示B樣條基函數(shù)第個(gè)節(jié)點(diǎn)，。代表區(qū)間上內(nèi)節(jié)點(diǎn)的數(shù)量，表示B樣條基函數(shù)的次數(shù)，其中和的取值范圍為正整數(shù)。由全部節(jié)點(diǎn)組成的向量被稱為節(jié)點(diǎn)向量（knotvector）,半開區(qū)間被稱為第個(gè)節(jié)點(diǎn)區(qū)間（knotspan）。在區(qū)間上定義的內(nèi)節(jié)點(diǎn)數(shù)為次數(shù)為的全部B樣條基函數(shù)組成的集合可以表示為：根據(jù)Cox-deBoor遞推公式，得到第個(gè)次B樣條基函數(shù)的遞推表達(dá)式：第個(gè)次B樣條基函數(shù)的形成過(guò)程如圖3.2所示。圖3-SEQ圖\*ARABIC\s12B樣條基函數(shù)的形成過(guò)程3.3.2B樣條基函數(shù)的特點(diǎn)1.非負(fù)性。通過(guò)觀察公式可以發(fā)現(xiàn)，對(duì)所有的,和,取值保持非負(fù)的。2.局部支撐性。在區(qū)間上非零，并且對(duì)于任意相鄰的節(jié)點(diǎn)，除了基函數(shù)外，其余基函數(shù)在區(qū)間都為零。3.單位分解性。上的非零的次B樣條基函數(shù)之和恒等于1。3.3.3B樣條函數(shù)回歸模型設(shè)是B樣條基函數(shù)在上張成的線性空間。假設(shè)可以被中的元素近似，即： 其中，表示B樣條基函數(shù)的系數(shù)，是需要估計(jì)的參數(shù)。最常用的參數(shù)的估計(jì)方法為最小二乘估計(jì)，即求解使下式子達(dá)到最小的一組參數(shù)。其中表示系數(shù)向量，表示矩陣,表示響應(yīng)變量。3.3.4B樣條節(jié)點(diǎn)的選取B樣條的節(jié)點(diǎn)決定了B樣條基函數(shù)的值，節(jié)點(diǎn)的選取會(huì)直接影響模型的擬合效果，因此確定合理的節(jié)點(diǎn)尤為重要。根據(jù)節(jié)點(diǎn)的間距特點(diǎn)，可以分為均勻節(jié)點(diǎn)和非均勻節(jié)點(diǎn)，當(dāng)每個(gè)節(jié)點(diǎn)的間距相等，則稱為均勻節(jié)點(diǎn)，反之為非均勻節(jié)點(diǎn)。對(duì)于非均勻節(jié)點(diǎn)，其選取方法較為復(fù)雜，本文不再贅述。均勻節(jié)點(diǎn)的選取較為簡(jiǎn)單，易于實(shí)現(xiàn)，因此本文采用均勻節(jié)點(diǎn)的B樣條函數(shù)。對(duì)于均勻節(jié)點(diǎn)的B樣條，其節(jié)點(diǎn)的位置完全由內(nèi)節(jié)點(diǎn)的數(shù)量所決定，因此，只需要對(duì)進(jìn)行參數(shù)選擇，即可完成節(jié)點(diǎn)的選擇。參數(shù)的選取方法可以采用公式2-（3）介紹的AIC準(zhǔn)則，和公式2-（4）介紹的BIC準(zhǔn)則進(jìn)行選擇。3.4基于B樣條的時(shí)間序列分段擬合上一節(jié)介紹了B樣條的原理及優(yōu)點(diǎn)，本節(jié)使用B樣條方法來(lái)對(duì)公式3-(1)的關(guān)系建立模型。3.4.1區(qū)間內(nèi)序列值的B樣條擬合：對(duì)第個(gè)局部擬合區(qū)間內(nèi)的時(shí)間序列建立B樣條擬合模型，變量設(shè)置為第個(gè)周期中的序列索引值，。B樣條基函數(shù)的次數(shù)設(shè)為，區(qū)間設(shè)為,內(nèi)節(jié)點(diǎn)數(shù)為則得到如下方程：3-(3)其中，為第個(gè)局部擬合區(qū)間的B樣條系數(shù)，僅隨著周期的索引值變化。預(yù)測(cè)的關(guān)鍵是求參數(shù)。3.4.2基于LSTM的B樣條參數(shù)求解由于為時(shí)間序列，因此第個(gè)局部擬合區(qū)間內(nèi)的序列值與第個(gè)區(qū)間內(nèi)序列值之間存在函數(shù)關(guān)系。在公式3-(3)中，第個(gè)局部擬合區(qū)間內(nèi)的序列值又由參數(shù)決定，因此可認(rèn)為參數(shù)與第個(gè)局部擬合區(qū)間內(nèi)的序列值存在函數(shù)關(guān)系，即3-(4)LSTM在處理多種時(shí)間序列問(wèn)題有多種優(yōu)勢(shì)，在上一章已經(jīng)介紹，因此本節(jié)采用LSTM對(duì)3-(4)函數(shù)關(guān)系建模。首先依據(jù)第個(gè)局部擬合區(qū)間內(nèi)的時(shí)間序列值構(gòu)造變量序列。參照WeizhongZhang,LinMa等人（2010）[38]的構(gòu)造方法，提取與周期內(nèi)個(gè)樣本的第一階，二階，三階，四階中心矩有關(guān)的信息。構(gòu)造如下長(zhǎng)度為的變量序列：我們將作為第個(gè)局部擬合區(qū)間LSTM模型的輸入，將作為L(zhǎng)STM模型的輸出，可建立如下關(guān)系：其中表示LSTM參數(shù)，代表最后的隱藏狀態(tài)，代表輸出層參數(shù)。上述一系列參數(shù)可以通過(guò)最小二乘法獲得，即：經(jīng)過(guò)對(duì)模型的訓(xùn)練，可以得到第個(gè)局部擬合區(qū)間的B樣條基函數(shù)系數(shù)的預(yù)測(cè)值，將其代入公式3-（3），即可計(jì)算出第個(gè)局部擬合區(qū)間內(nèi)序列的預(yù)測(cè)值3.4.3模型的超參數(shù)選取本章將B樣條與LSTM結(jié)合構(gòu)建模型，在建模過(guò)程中涉及的超參數(shù)有三個(gè)。1.局部擬合區(qū)間包含的序列點(diǎn)個(gè)數(shù)。2.B樣條均勻節(jié)點(diǎn)數(shù)量。3.LSTM神經(jīng)網(wǎng)絡(luò)隱藏層的包含的神經(jīng)元數(shù)量。模型超參數(shù)不大于三，因此依然采取第二章介紹的網(wǎng)格搜索完成參數(shù)選擇。其中對(duì)于超參數(shù)，在實(shí)際應(yīng)用中也可以根據(jù)研究需要人為設(shè)定?；谏鲜瞿Ｐ徒⒌牟襟E以及模型涉及的超參數(shù)，本文將新提出的模型表達(dá)式表示為。

4實(shí)證分析為驗(yàn)證本文提出的LSTM-Bspline模型的可行性，本文選取股票數(shù)據(jù)作為研究對(duì)象。股票數(shù)據(jù)是一種典型的金融時(shí)間序列，由于其受到氣候、政策等因素的影響，呈現(xiàn)出階段性變化的特點(diǎn)。本章將本文提出的方法與傳統(tǒng)的ARIMA以及LSTM模型比較，證明LSTM-Bspline模型在預(yù)測(cè)此類階段性變化數(shù)據(jù)時(shí)的優(yōu)越性。4.1實(shí)證數(shù)據(jù)4.1.1數(shù)據(jù)選取本文選取的數(shù)據(jù)是寶潔公司2009年2月至2020年12月的股價(jià)數(shù)據(jù)作為研究對(duì)象，數(shù)據(jù)來(lái)源于英為財(cái)情網(wǎng)站，部分?jǐn)?shù)據(jù)如表4.1所示。表4.SEQ表\*ARABIC1寶潔公司股票數(shù)據(jù)日期收盤開盤高低交易量漲跌幅2009/2/353.9153.4954.0952.5414.90M1.62%2009/2/452.5254.3354.4552.2114.76M-2.58%2009/2/553.3252.2953.652.1317.73M1.52%2009/2/65453.4254.4653.0615.34M1.28%2009/2/952.9453.8953.9852.6713.42M-1.96%2009/2/1051.4552.7453.4650.9722.52M-2.81%2009/2/1151.1651.851.9150.8616.40M-0.56%2009/2/1251.2850.9351.449.9518.02M0.23%寶潔(PG)公司建立于1837年，是日用消費(fèi)品行業(yè)的巨頭。因此其股票的走勢(shì)也在一定程度上反映了人們當(dāng)前的消費(fèi)水平以及世界經(jīng)濟(jì)狀況，因此，對(duì)其股票進(jìn)行分析研究對(duì)我們了解當(dāng)前以及未來(lái)的經(jīng)濟(jì)形勢(shì)有著重要意義。所選取的數(shù)據(jù)中包括股票當(dāng)日最高價(jià)、最低價(jià)、收盤價(jià)、開盤價(jià)。其中，收盤價(jià)是多數(shù)市場(chǎng)參與者認(rèn)可的研究指標(biāo)，具有重要的研究意義。因此，本文選擇收盤價(jià)作為研究指標(biāo)。4.1.2數(shù)據(jù)的描述所選時(shí)間段內(nèi)寶潔公司股票收盤價(jià)走勢(shì)如圖4.1所示。圖4.SEQ圖\*ARABIC\s11寶潔公司股票收盤價(jià)從圖中看，該時(shí)間段內(nèi)寶潔公司股票日收盤價(jià)數(shù)據(jù)總體呈現(xiàn)上漲趨勢(shì)，并伴隨著頻繁的波動(dòng)。其間也經(jīng)歷過(guò)三次較大幅度的下降，分別是在2015年三四季度、2018年二三季度和2020年一二季度。數(shù)據(jù)的分布圖如圖4.2所示。圖4.SEQ圖\*ARABIC\s12寶潔公司股票收盤價(jià)分布圖通過(guò)觀察發(fā)現(xiàn)，數(shù)據(jù)分布圖并非為單峰對(duì)稱的正態(tài)分布，而是總體呈現(xiàn)為非對(duì)稱分布偏態(tài)分布。其箱型圖如圖4.3所示。圖4.SEQ圖\*ARABIC\s13寶潔公司股票收盤價(jià)箱型圖在箱型圖中可以大致看出數(shù)據(jù)的中位數(shù)、最大值、最小值等信息。通過(guò)對(duì)數(shù)據(jù)進(jìn)行分析，得到數(shù)據(jù)統(tǒng)計(jì)特征如表4.2所示。表4.SEQ表\*ARABIC2數(shù)據(jù)統(tǒng)計(jì)特征MeanStdMaxMin25%50%75%81.9520.61144.4944.1864.9080.0989.01觀察表格發(fā)現(xiàn)，所選樣本數(shù)據(jù)的標(biāo)準(zhǔn)差和極差都較大，數(shù)據(jù)具有較強(qiáng)的波動(dòng)性。4.2ARIMA模型的實(shí)證分析4.2.1數(shù)據(jù)預(yù)處理首先需要對(duì)數(shù)據(jù)集進(jìn)行劃分，由于需要評(píng)價(jià)模型的預(yù)測(cè)性能，因此需要將原始樣本劃分為訓(xùn)練集和測(cè)試集。首先在訓(xùn)練集上訓(xùn)練獲取模型參數(shù)，然后對(duì)測(cè)試集上的數(shù)據(jù)進(jìn)行預(yù)測(cè)，通過(guò)比較預(yù)測(cè)結(jié)果與測(cè)試集的誤差來(lái)評(píng)價(jià)模型的預(yù)測(cè)效果。本節(jié)將樣本劃分為訓(xùn)練集和測(cè)試集。劃分比例為9:１。將寶潔公司2009年2月3日至2019年10月23日之間所有交易日的股票收盤價(jià)作為訓(xùn)練集，共計(jì)2700個(gè)交易日的數(shù)據(jù)；將寶潔公司2019年10月24日至2020年12月31日之間交易日的股票收盤價(jià)作為測(cè)試集，共計(jì)300個(gè)交易日的數(shù)據(jù)。訓(xùn)練集和測(cè)試集數(shù)據(jù)分別如圖4.4和圖4.5所示。圖4.SEQ圖\*ARABIC\s14ARIMA模型訓(xùn)練集數(shù)據(jù)圖4.SEQ圖\*ARABIC\s15ARIMA模型測(cè)試集數(shù)據(jù)4.2.2平穩(wěn)性檢驗(yàn)首先觀察圖4.1，發(fā)現(xiàn)數(shù)據(jù)呈現(xiàn)出明顯的整體上升趨勢(shì)，故初步判斷其為非平穩(wěn)序列。將顯著性水平設(shè)置為0.05，對(duì)序列進(jìn)行ADF檢驗(yàn)，發(fā)現(xiàn)值為0.98，遠(yuǎn)大于0.05。因此可以確定該樣本具有非平穩(wěn)性。因此需要對(duì)樣本進(jìn)行差分變換。由于隨著差分次數(shù)的增加，會(huì)導(dǎo)致信息損失，因此，本文從一階差分開始處理，即對(duì)原始研究樣本進(jìn)行公式2-(1)的處理。差分變換后的序列如圖4.6所示。圖4.SEQ圖\*ARABIC\s16差分處理后的序列觀察圖像可以發(fā)現(xiàn)，樣本經(jīng)過(guò)差分變換后，不再同原始序列一樣呈現(xiàn)出較為明顯的上升趨勢(shì)，并且無(wú)明顯周期性變化，數(shù)據(jù)的值圍繞0軸上下波動(dòng)，基本消除了趨勢(shì)，數(shù)據(jù)有穩(wěn)定的均值，因此，初步判定一階差分后的樣本序列為平穩(wěn)時(shí)間序列。為保證判斷的嚴(yán)謹(jǐn)性，繼續(xù)對(duì)差分后的數(shù)據(jù)進(jìn)行ADF檢驗(yàn)，值為，遠(yuǎn)小于0.05，印證了經(jīng)過(guò)一階差分后的樣本具有平穩(wěn)性。4.2.3非白噪聲檢驗(yàn)采用檢驗(yàn)法驗(yàn)證經(jīng)過(guò)一階差分變換后的樣本是否為非白噪聲，將顯著性水平設(shè)置為0.05。通過(guò)計(jì)算得到值為遠(yuǎn)小于顯著性水平。因此可以判斷，一階差分后的樣本不為白噪聲，有可供提取的信息。4.2.4模型定階繪制一階差分后序列的圖（圖4.7）和圖（圖4.8）。圖4.SEQ圖\*ARABIC\s17差分序列的ACF圖圖4.SEQ圖\*ARABIC\s18差分序列的PACF圖觀察序列的圖和圖，發(fā)現(xiàn)圖像的的截尾現(xiàn)象或截尾現(xiàn)象并不明顯，不好據(jù)此作出判斷，無(wú)法依據(jù)此方法進(jìn)行定階。因此使用信息準(zhǔn)則作為模型定階的標(biāo)準(zhǔn)。根據(jù)經(jīng)驗(yàn)，將ARIMA模型階數(shù)和的取值范圍設(shè)為之間的整數(shù)。確定參數(shù)取值范圍之后，對(duì)不同參數(shù)組合進(jìn)行嘗試，計(jì)算每組參數(shù)的AIC得分，選擇AIC得分較小的模型為最優(yōu)模型。比較發(fā)現(xiàn)取時(shí)AIC取值最小，故最終得到模型。4.2.5殘差檢驗(yàn)完成模型定階并進(jìn)行訓(xùn)練后，得到殘差序列。通過(guò)多種方法檢驗(yàn)殘差序列中是否存在殘留信息。如果殘差內(nèi)仍有較多信息殘留，需要重新選擇模型。（1）白噪聲檢驗(yàn)繪制殘差項(xiàng)的圖（圖4.9）和圖（圖4.10），觀察判斷其是否為白噪聲，圖像如下所示圖4.SEQ圖\*ARABIC\s19殘差序列ACF圖圖4.SEQ圖\*ARABIC\s110殘差序列PACF圖觀察殘差的和圖發(fā)現(xiàn)，圖中的豎線全部位于藍(lán)色區(qū)域內(nèi)，因此可以初步判斷殘差序列為白噪聲。對(duì)其進(jìn)行檢驗(yàn)進(jìn)行驗(yàn)證，發(fā)現(xiàn)值為0.97，遠(yuǎn)大于0.05，因此判斷序列殘差為白噪聲。（2）自相關(guān)性檢驗(yàn)對(duì)殘差序列進(jìn)行自相關(guān)性檢驗(yàn)，如果序列不存在自相關(guān)性，則說(shuō)明其殘差中的信息被充分。本節(jié)采用德賓-沃森（DW）檢驗(yàn)，當(dāng)DW值顯著的接近于0或４時(shí)，說(shuō)明被檢測(cè)的序列存在自相關(guān)性，當(dāng)DW值接近于２時(shí)，則不存在自相關(guān)性[39]。經(jīng)過(guò)檢驗(yàn)得到DW值為2.02，十分接近2，因此判斷殘差序列不存在相關(guān)性，信息提取較為充分。（3）正態(tài)性檢驗(yàn)理想的殘差序列服從正態(tài)分布，本文采用最直觀的QQ圖對(duì)殘差進(jìn)行檢驗(yàn)如圖4.11所示。圖4.SEQ圖\*ARABIC\s111殘差序列QQ圖觀察圖像可以發(fā)現(xiàn)圖像點(diǎn)基本沿著分界線，故可以判斷，殘差序列基本服從正態(tài)分布。4.2.5模型預(yù)測(cè)利用最后得到的模型進(jìn)行滾動(dòng)預(yù)測(cè)，即首先用訓(xùn)練集所有數(shù)據(jù)預(yù)測(cè)測(cè)試集第一項(xiàng)數(shù)據(jù)；然后將訓(xùn)練集的第一項(xiàng)剔除，并添加測(cè)試集第一項(xiàng)數(shù)據(jù)，利用這新的一組數(shù)據(jù)對(duì)測(cè)試集第二項(xiàng)數(shù)據(jù)進(jìn)行預(yù)測(cè)。依次類推，不斷用測(cè)試集中的數(shù)據(jù)更新訓(xùn)練集，并始終保持用來(lái)預(yù)測(cè)的數(shù)據(jù)量與原訓(xùn)練集數(shù)據(jù)量相同。預(yù)測(cè)結(jié)果如圖4.12所示。圖4.SEQ圖\*ARABIC\s112ARIMA模型預(yù)測(cè)結(jié)果4.2.6模型效果的評(píng)估本部分采用3.3節(jié)介紹的四種評(píng)價(jià)指標(biāo)得到的模型預(yù)測(cè)效果如圖4.3所示。表4.SEQ表\*ARABIC3ARIMA模型預(yù)測(cè)效果評(píng)估m(xù)eanstdminmaxAE6.034.270.0524.93APE4.79%3.43%0.04%21.09%MSE54.56R20.46觀察表4.3發(fā)現(xiàn)，ARIMA模型對(duì)收盤價(jià)預(yù)測(cè)的AE最小值為0.05，最大值為24.93。說(shuō)明ARIMA對(duì)有的點(diǎn)預(yù)測(cè)準(zhǔn)確，有的預(yù)測(cè)結(jié)果不理想，預(yù)測(cè)效果具有較大的起伏。平均AE為6.03，平均APE為4.79%，MSE為54.56說(shuō)明模型預(yù)測(cè)的整體誤差不大，在可接受的范圍內(nèi)；R2為0.46，低于0.5，不太理想，說(shuō)明ARIMA模型對(duì)預(yù)測(cè)變量的解釋程度一般。綜合圖像和表格可以發(fā)現(xiàn)，ARIMA模型可以大致預(yù)測(cè)出股票收盤價(jià)的發(fā)展趨勢(shì)，在個(gè)別點(diǎn)上預(yù)測(cè)準(zhǔn)確，但是預(yù)測(cè)效果起伏較大，預(yù)測(cè)效果不穩(wěn)定。4.3LSTM模型的實(shí)證分析在上一部分ARIMA建模的過(guò)程中，通過(guò)平穩(wěn)性檢驗(yàn)得到了收盤價(jià)數(shù)據(jù)不平穩(wěn)的結(jié)論，雖然進(jìn)行差分處理后，ARIMA模型預(yù)測(cè)結(jié)果大致反映出數(shù)據(jù)的變化趨勢(shì)。但經(jīng)過(guò)差分后的序列會(huì)損失部分信息。在本節(jié)中，采用對(duì)時(shí)間序列平穩(wěn)性無(wú)要求的LSTM進(jìn)行建模。4.3.1數(shù)據(jù)處理1.數(shù)據(jù)集劃分LSTM中存在超參數(shù)，需要額外劃分出一個(gè)驗(yàn)證集，其作用是對(duì)超參數(shù)進(jìn)行調(diào)優(yōu)。將上一節(jié)劃分出的訓(xùn)練集按照8：1分成新的訓(xùn)練集和驗(yàn)證集。全部數(shù)據(jù)被按照8：1：1分成了訓(xùn)練集（圖4.13）、驗(yàn)證集（圖4.14）和測(cè)試集（圖4.15）三部分。圖4.SEQ圖\*ARABIC\s113LSTM模型訓(xùn)練集數(shù)據(jù)圖4.SEQ圖\*ARABIC\s114LSTM模型驗(yàn)證集數(shù)據(jù)圖4.SEQ圖\*ARABIC\s115LSTM模型測(cè)試集數(shù)據(jù)2.數(shù)據(jù)的歸一化為提升模型的訓(xùn)練效率，對(duì)數(shù)據(jù)進(jìn)行歸一化處理。采用公式2-(2)，將原始股票收盤價(jià)數(shù)據(jù)的值域縮小到。3.數(shù)據(jù)維度轉(zhuǎn)化在進(jìn)行完數(shù)據(jù)集劃分的工作后，使用滑動(dòng)窗口技術(shù)對(duì)數(shù)據(jù)進(jìn)行處理，將數(shù)據(jù)轉(zhuǎn)化成適合作為L(zhǎng)STM模型輸入的形式。設(shè)時(shí)間序列長(zhǎng)度為，時(shí)間窗口長(zhǎng)度為。原始序列從一維轉(zhuǎn)化為二維，維度由從轉(zhuǎn)化為。4.3.2模型的構(gòu)建1.損失函數(shù)的選取本節(jié)研究的是回歸問(wèn)題，因此，選擇均方誤差作為損失函數(shù)，即公式2-(3)。2.優(yōu)化器的選取在上一章中介紹了四種優(yōu)化器，相比于其他優(yōu)化器，Adam優(yōu)化器具有多種優(yōu)勢(shì)，也是目前被認(rèn)為綜合效果最佳的優(yōu)化器，因此，本節(jié)選取Adam作為優(yōu)化器。3.超參數(shù)的選擇本部分建立LSTM模型中需要選擇的超參數(shù)主要有以下三個(gè)：（1）LSTM隱藏層神經(jīng)元的個(gè)數(shù)，設(shè)為。（2）滑動(dòng)窗口長(zhǎng)度，設(shè)為。（3）每次進(jìn)行優(yōu)化算法所輸入的樣本數(shù)量，設(shè)為。除以上三個(gè)，模型中其余超參數(shù)（如Adam算法的學(xué)習(xí)率參數(shù)），采用程序內(nèi)默認(rèn)設(shè)置。對(duì)于上述三個(gè)超參數(shù)，本節(jié)簡(jiǎn)化了參數(shù)選擇過(guò)程，依據(jù)以往經(jīng)驗(yàn)，預(yù)先對(duì)超參數(shù)作出合理假設(shè)。假設(shè)為訓(xùn)練集樣本數(shù)的十分之一，即進(jìn)行十次迭代即可完成一次完整的訓(xùn)練。經(jīng)測(cè)試，在這個(gè)假設(shè)下，訓(xùn)練過(guò)程中所得的梯度較為穩(wěn)定。在上述假設(shè)下，模型中需要選擇的參數(shù)為和，超參數(shù)數(shù)量較少，因此采用準(zhǔn)確度更高的網(wǎng)格搜索法進(jìn)行選擇。針對(duì)本文所建立的模型，在經(jīng)過(guò)大量實(shí)驗(yàn)以及閱讀相關(guān)文獻(xiàn)［40］后，分別將和的搜索范圍設(shè)置為{6，12，24}和{5，10，15}。在遍歷了這9個(gè)模型之后，結(jié)果顯示，神經(jīng)元個(gè)數(shù)為24，窗口長(zhǎng)度為20的模型其驗(yàn)證誤差最低。4.3.3模型預(yù)測(cè)模型訓(xùn)練完成后，進(jìn)行預(yù)測(cè)，由于數(shù)據(jù)經(jīng)過(guò)歸一化處理，因此需要將模型輸出結(jié)果進(jìn)行反歸一化處理，得到真實(shí)預(yù)測(cè)結(jié)果，即對(duì)預(yù)測(cè)序列進(jìn)行如下計(jì)算：4-（1）其中表示原始序列，為最終預(yù)測(cè)結(jié)果。預(yù)測(cè)結(jié)果如圖4.16所示。圖4.SEQ圖\*ARABIC\s116LSTM模型預(yù)測(cè)結(jié)果4.3.4模型效果的評(píng)估依然采用評(píng)價(jià)指標(biāo)AE,APE,MSE,R2來(lái)對(duì)模型的預(yù)測(cè)效果進(jìn)行評(píng)估。表4.SEQ表\*ARABIC4LSTM模型預(yù)測(cè)效果評(píng)估m(xù)eanstdminmaxAE5.284.250.0322.96APE4.22%3.47%0.02%18.41%MSE45.97R20.54觀察表4.3發(fā)現(xiàn)，LSTM模型對(duì)收盤價(jià)預(yù)測(cè)的AE最小值為0.03，最大值為22.96。雖然這兩項(xiàng)指標(biāo)均低于ARIMA模型，但相差仍較大，說(shuō)明LSTM模型仍存在預(yù)測(cè)效果起伏較大的問(wèn)題。AE的標(biāo)準(zhǔn)差略低于ARIMA模型，說(shuō)明LSTM模型的穩(wěn)定性比ARIMA較強(qiáng)。平均AE為5.28，平均APE為4.22%，MSE為45.97，均低于ARIMA，說(shuō)明LSTM預(yù)測(cè)的整體誤差比ARIMA小。R2為0.54，高于0.5，說(shuō)明預(yù)測(cè)變量中大部分的信息得到解釋。綜合圖像和表格可以發(fā)現(xiàn)，LSTM模型的整體預(yù)測(cè)性能略高于ARIMA模型，但預(yù)測(cè)的穩(wěn)定性仍令人難以滿意。4.4LSTM-Bspline模型的實(shí)證分析股票數(shù)據(jù)在不同時(shí)間段內(nèi)會(huì)呈現(xiàn)不同的變化規(guī)律，LSTM-Bspline模型結(jié)合了LSTM與B樣條擬合的優(yōu)點(diǎn)，可以對(duì)時(shí)間序列進(jìn)行分段預(yù)測(cè)。但模型的實(shí)際預(yù)測(cè)效果還未經(jīng)過(guò)驗(yàn)證。在本節(jié)中，使用LSTM-Bspline模型來(lái)上述股票收盤價(jià)數(shù)據(jù)建立模型，并將模型預(yù)測(cè)效果與ARIMA以及LSTM的結(jié)果相對(duì)比。檢驗(yàn)LSTM-Bspline是否有效。4.4.1數(shù)據(jù)處理1.局部擬合區(qū)間的劃分由于的LSTM-Bspline模型是一種分段預(yù)測(cè)模型，因此需要對(duì)數(shù)據(jù)集劃分局部擬合區(qū)間，即選取每個(gè)局部擬合區(qū)間內(nèi)包含的序列值。在股票市場(chǎng)中，十日均線是股票投資者們重點(diǎn)參考的一項(xiàng)指標(biāo)，這說(shuō)明每十天股票的變化情況具有較大的研究?jī)r(jià)值。因此，本節(jié)選取來(lái)進(jìn)行局部擬合區(qū)間的劃分。每十天為一個(gè)局部擬合區(qū)間，3000個(gè)股票收盤價(jià)數(shù)據(jù)被等分成300個(gè)集合。2.樣本數(shù)據(jù)集的劃分本文建立的LSTM-Bspline模型以LSTM為基礎(chǔ)，訓(xùn)練方法與LSTM模型相同。因此樣本數(shù)據(jù)集的劃分與上一節(jié)保持相同，即：按照8：1：1將數(shù)據(jù)分為訓(xùn)練集，驗(yàn)證集，測(cè)試集。訓(xùn)練集包含2400個(gè)序列值，240個(gè)局部擬合區(qū)間。驗(yàn)證集和測(cè)試集都包括300個(gè)序列值，30個(gè)局部擬合區(qū)間。數(shù)據(jù)的歸一化LSTM-Bspline模型與LSTM訓(xùn)練過(guò)程相同，因此為提升訓(xùn)練效率，仍對(duì)數(shù)據(jù)進(jìn)行歸一化處理。模型輸入的轉(zhuǎn)化LSTM-Bspline模型第個(gè)局部擬合區(qū)間的輸入值為第個(gè)局部擬合區(qū)間內(nèi)的個(gè)樣本序列值的1、2、3、4階中心矩。因此采用公式3-（1）對(duì)原始序列進(jìn)行處理。4.4.2模型的優(yōu)化器與超參數(shù)設(shè)置鑒于Adam算法的種種優(yōu)點(diǎn)，且為了使結(jié)果比較更為直觀，本節(jié)仍然選取與上節(jié)LSTM模型相同的Adam算法。LSTM-Bspline模型超參數(shù)共有三個(gè)，其中超參數(shù)已經(jīng)提前選定設(shè)置為10。只剩下B樣條等距內(nèi)節(jié)點(diǎn)數(shù)和LSTM隱藏層神經(jīng)元個(gè)數(shù)需要調(diào)整。超參數(shù)個(gè)數(shù)較少，采用網(wǎng)格搜索法對(duì)其進(jìn)行選擇，其中的搜索范圍依然沿用上一部分的設(shè)定。參數(shù)的搜索范圍設(shè)為，對(duì)一共9個(gè)參數(shù)組合進(jìn)行遍歷，選取使驗(yàn)證集誤差最小的值。最終選取的超參數(shù)，。4.4.3模型預(yù)測(cè)在對(duì)模型進(jìn)行訓(xùn)練后，對(duì)輸出結(jié)果進(jìn)行公式4-（1）的反歸一化變換，得到預(yù)測(cè)結(jié)果如圖4.17。通過(guò)觀察可以發(fā)現(xiàn)，LSTM-Spline模型對(duì)數(shù)據(jù)變化趨勢(shì)的擬合較為準(zhǔn)確的，只是數(shù)值存在偏差。圖4.SEQ圖\*ARABIC\s117LSTM-Bspline模型預(yù)測(cè)結(jié)果4.4.4模型效果評(píng)估表4.SEQ表\*ARABIC5LSTM-Bspline模型預(yù)測(cè)效果評(píng)估m(xù)eanstdminmaxAE5.012.200.0111.59APE3.99%1.84%0.01%10.39%MSE30.05R20.70觀察表4.5發(fā)現(xiàn)，LSTM-Bspline模型對(duì)收盤價(jià)預(yù)測(cè)的AE最小值為0.01，最大值為11.59。均為三個(gè)模型中最低，并且差距不大。AE的標(biāo)準(zhǔn)差僅為2.20，明顯低于ARIMA和LSTM模型，說(shuō)明LSTM-Bspline的預(yù)測(cè)結(jié)果在三個(gè)模型中最為穩(wěn)定。平均AE為5.01，平均APE為3.99%，MSE為30.05，均為三個(gè)模型最低，說(shuō)明LSTM-Bspline預(yù)測(cè)的整體準(zhǔn)確度最高。R2為0.70，說(shuō)明預(yù)測(cè)變量中的絕大部分的信息得到解釋。綜合圖像和表格可以發(fā)現(xiàn)，LSTM-Bspline模型結(jié)果與實(shí)際值仍然有誤差，但是對(duì)序列變化趨勢(shì)的擬合較為準(zhǔn)確，預(yù)測(cè)準(zhǔn)確度和穩(wěn)定性都為三個(gè)模型中最佳。因此，總體而言LSTM-Bspline模型的預(yù)測(cè)性能在三個(gè)模型中最優(yōu)。4.4.5模型比較分析為了比較更為直觀，將三種預(yù)測(cè)方式的平均AE(MAE)、平均APE(MAPE)、MSE和R2放在同一表格進(jìn)行直接對(duì)比,如表4.6所示。表4.SEQ表\*ARABIC6模型預(yù)測(cè)效果比較MPEMAPEMSER2ARIMA6.030.047954.560.46LSTM5.280.042245.970.54LSTM-BSpline5.010.039930.050.70觀察表格發(fā)現(xiàn)，三個(gè)模型按照MPE、MAPE、MSE三項(xiàng)指標(biāo)的從小到大排序均為L(zhǎng)STM-BSpline最小，LSTM次之、ARIMA最大；這說(shuō)明，相較于ARIMA和LSTM模型，LSTM-BSpline的整體預(yù)測(cè)準(zhǔn)確度更高，總體誤差最小。三個(gè)模型按照R2從小到大排序?yàn)椋篈RIMA最小，LSTM次之，LSTM-BSpline模型最大，這說(shuō)明，相較于ARIMA和LSTM模型，LSTM-BSpline在預(yù)測(cè)時(shí)，原數(shù)據(jù)的變化被解釋的比例更大，模型擬合優(yōu)度更好。寶潔公司股票收盤價(jià)數(shù)據(jù)為非平穩(wěn)時(shí)間序列，ARIMA模型在進(jìn)行差分處理時(shí)損失了部分?jǐn)?shù)據(jù)信息，因此其結(jié)果遜色于LSTM模型。股票數(shù)據(jù)往往在不同時(shí)間段內(nèi)呈現(xiàn)不同的變化趨勢(shì)，LSTM-Bspline模型可以時(shí)間序列進(jìn)行分段預(yù)測(cè)，對(duì)不同時(shí)間段內(nèi)的數(shù)據(jù)選擇不同的參數(shù)進(jìn)行擬合，因此其預(yù)測(cè)效果優(yōu)于LSTM模型。第六章總結(jié)與展望6.1總結(jié)隨著國(guó)際形式日趨緊張，金融市場(chǎng)的變化牽動(dòng)著每個(gè)公民的心，對(duì)金融時(shí)間序列進(jìn)行合理的分析判斷愈加重要。然而復(fù)雜的國(guó)際形勢(shì)導(dǎo)致金融市場(chǎng)更加動(dòng)蕩，金融數(shù)據(jù)的非線性、非平穩(wěn)性、不確定性等特點(diǎn)進(jìn)一步加劇。這使得對(duì)金融市場(chǎng)進(jìn)行正確判斷更為困難。針對(duì)這個(gè)問(wèn)題，本文提出時(shí)間序列的分段預(yù)測(cè)概念，構(gòu)建LSTM-Bspline模型對(duì)時(shí)間序列進(jìn)行分段預(yù)測(cè)，可以挖掘出金融時(shí)間序列數(shù)據(jù)在不同時(shí)間段內(nèi)蘊(yùn)含的不同變化規(guī)律。并現(xiàn)將本文主要工作總結(jié)如下：（1）介紹金融時(shí)間序列的研究意義，分析了金融時(shí)間序列的特點(diǎn)。對(duì)現(xiàn)有的較為流行的兩大預(yù)測(cè)模型——ARIMA模型、LSTM模型進(jìn)行展開敘述，介紹兩模型的原理、結(jié)構(gòu)，比較不同模型之間的優(yōu)劣性，并介紹建模步驟。（2）分析金融時(shí)間序列在不同時(shí)間段內(nèi)變化規(guī)律不同的現(xiàn)象，提出時(shí)間序列的分段預(yù)測(cè)概念并將B樣條函數(shù)與LSTM模型結(jié)合，建立時(shí)間序列的分段擬合模型。首先將時(shí)間序列劃分為等數(shù)量的局部擬合區(qū)間，然后對(duì)區(qū)間內(nèi)的序列使用B樣條函數(shù)進(jìn)行擬合。而當(dāng)前區(qū)間的B樣條基函數(shù)的系數(shù)與前一區(qū)間內(nèi)的序列值存在函數(shù)關(guān)系。因此采用LSTM模型對(duì)這種函數(shù)關(guān)系進(jìn)行建模，通過(guò)訓(xùn)練獲取當(dāng)前區(qū)間的B樣條基函數(shù)的系數(shù)，進(jìn)而可以計(jì)算出當(dāng)前區(qū)間內(nèi)的序列值。（3）為驗(yàn)證LSTM-Bspline模型的預(yù)測(cè)效果，本文選擇股票作為研究對(duì)象，選取寶潔公司2006年2月到2019年1月共3000個(gè)交易日的股票收盤價(jià)作為研究樣本，將后300個(gè)數(shù)據(jù)作為測(cè)試集，分別采用ARIMA、LSTM和本文提出的LSTM-Bspline模型對(duì)未來(lái)300個(gè)交易日的收盤價(jià)進(jìn)行預(yù)測(cè)，并將結(jié)果進(jìn)行分析。通過(guò)比較預(yù)測(cè)結(jié)果的MAE、MAPE、MSE、R2發(fā)現(xiàn)，LSTM-Bspline模型的整體預(yù)測(cè)結(jié)果優(yōu)于LSTM優(yōu)于ARIMA,證明本文構(gòu)建的模型有效。6.2展望本文提出金融時(shí)間序列的分段預(yù)測(cè)概念，將LSTM與B樣條曲線結(jié)合，構(gòu)建了分段預(yù)測(cè)模型LSTM-Bspline。雖然取得了不錯(cuò)的預(yù)測(cè)效果，但是還存在著優(yōu)化空間，主要體現(xiàn)在以下幾個(gè)方面：1.模型的輸入變量本文依照前人的經(jīng)驗(yàn)將其設(shè)置為過(guò)去時(shí)間段內(nèi)的一階、二階、三階、四階距，缺乏理論依據(jù)。因此，在后期可以嘗試對(duì)序列進(jìn)行不同的處理作為輸入變量，比較預(yù)測(cè)效果，并尋找更為堅(jiān)實(shí)理論支撐。2.模型的損失函數(shù)本文選取為泛用性強(qiáng)的均方誤差，未來(lái)可以考慮嘗試不同的損失函數(shù)，通過(guò)比較結(jié)果來(lái)確定最符合模型的損失函數(shù)。3.為了簡(jiǎn)化建模過(guò)程，本文默認(rèn)選擇了均勻節(jié)點(diǎn)的B樣條函數(shù)進(jìn)行擬合，并且在實(shí)證分析部分，預(yù)先設(shè)置了局部擬合區(qū)間的長(zhǎng)度。在未來(lái)，為了進(jìn)一步提升模型的預(yù)測(cè)性能，可以嘗試選取非等距B樣條曲線，并嘗試更多的模型超參數(shù)組合。這無(wú)疑會(huì)增加模型訓(xùn)練的工作量，但可以作為本文未來(lái)的努力方向。

參考文獻(xiàn)

張美英,何杰.時(shí)間序列預(yù)測(cè)模型研究綜述[J].數(shù)學(xué)的實(shí)踐與認(rèn)識(shí),2011,41(18):189-195.劉靜,關(guān)偉.交通流預(yù)測(cè)方法綜述[J].公路交通科技,2004(03):82-85.張淑軍,張群,李輝.基于深度學(xué)習(xí)的手語(yǔ)識(shí)別綜述[J].電子與信息學(xué)報(bào),2020,42(4).MatsubaI.Applicationofneuralsequentialassociatortolong-termstockpriceprediction[C]//[Proceedings]1991IEEEInternationalJointConferenceonNeuralNetworks.IEEE,1991:1196-1201.陳觀欽.基于深度學(xué)習(xí)的理解式中文短文本摘要生成方法研究[D].廣東工業(yè)大學(xué).鞠春雷,聶方超,劉文崗,郭金山,張江石.基于長(zhǎng)短期記憶網(wǎng)絡(luò)的礦工不安全行為研究[J].煤礦安全,2020,51(09):260-264.

GravesA.Supervisedsequencelabelling[M]//Supervisedsequencelabellingwithrecurrentneuralnetworks.Springer,Berlin,Heidelberg,2012:5-13.龔小龍.基于結(jié)構(gòu)參數(shù)優(yōu)化的B樣條網(wǎng)絡(luò)時(shí)間序列預(yù)測(cè)模型及工業(yè)應(yīng)用[D].湖南工業(yè)大學(xué).DavisGA,NihanNL.Nonparametricregressionandshort-termfreewaytrafficforecasting[J].JournalofTransportationEngineering,1991,117(2):178-188.郝博乾.基于時(shí)間序列分析的股票預(yù)測(cè)模型研究[D].電子科技大學(xué),2011.ClevelandRB,ClevelandWS.STL:Aseasonal-trenddecompositionprocedurebasedonLoess[J].Journalofofficialstatistics,1990,6(1):3-73..周魯天,梁睿,彭楠,等.基于ARIMA的礦山電網(wǎng)故障暫態(tài)行波波頭辨識(shí)及故障測(cè)距[J].電力自動(dòng)化設(shè)備,2020,v.40;No.314(06):245-256.HamiltonJD.Timeseriesa