證券研究報告

金融工程專題報告“逐鹿”Alpha專題報告（十七）：基于TiDE及其改進的因子融合模型發(fā)布日期：2023年10月24日核心觀點隨著transformer結(jié)構(gòu)近年來在自然語言處理（NLP）和計算機視覺領(lǐng)域大放異彩，在時間序列預測的問題上，各類基于transformer的模型也層出不窮，如Informer，TemporalFusionTransformer,PatchTST等，均取得了較好的結(jié)果。在2022年的論文“AreTransformersEffectiveforTimeSeriesForecasting?”中，作者提出了一種簡單的MLP結(jié)構(gòu)LTSF-Linear，結(jié)果表明，Linear模型在許多數(shù)據(jù)集上均能超越現(xiàn)有的transformer模型。隨后，基于MLP的時序模型不斷提出，包括哈工大/

的MTS-Mixers以及谷歌的TSMixer，TiDE等。本文我們嘗試將TiDE模型應用于選股，結(jié)果表明，原始的TiDE模型并不適合股票收益率的預測，通過在原始的TiDE模型中加入GRUencoder結(jié)構(gòu)，我們提出了TiDGE模型，能夠提高模型表現(xiàn)。提綱TiDE模型介紹行業(yè)Embedding討論0203Transformer自從GOOGLE在2017年的經(jīng)典論文Attentionis

All

You

Need中提出Transformer架構(gòu)以來，在各類NLP任務中，Transformer取得了巨大的成功。不僅如此，在計算機視覺領(lǐng)域，Transformer也逐漸占據(jù)主流。Transformer的模型結(jié)構(gòu)如右圖所示，整個Transformer結(jié)果可以分為左邊的encoder部分以及右邊的decoder部分，兩者均是基于N個multi-head

attention模塊構(gòu)建而成，區(qū)別在于在encoder部分，所有輸入均為已知，因此采用并行計算，而在decoder部分，信息是按順序推理得到，因此采用的是所謂masked

multi-headattention，是一種順序串聯(lián)的結(jié)果。Attention具有排序不變性的特點，即改變輸入的順利并不會改變最終的計算結(jié)果，為了加入輸入的位置信息，在原始Transformer中需要單獨進行位置編碼（positional

encoding）的操作。資料：Attention

IsAllYouNeed，中信建投Transformer在時間序列問題中，基于Transformer的模型也不斷被提出。包括Informer，Temporal

Fusion

Transformer,PatchTST等，也取得了較好的結(jié)果。在逐鹿系列報告中，我們也曾將Temporal

Fusion

Transformer應用于選股領(lǐng)域。TFT模型最大的特點在于Encoder部分采用了LSTM結(jié)構(gòu)，能夠更好的處理因子的時序信息。資料：TemporalFusion

Transformers

forinterpretable

multi-horizon

timeseries

forecasting，中信建投LTSF-Linear在2022年的論文“Are

TransformersEffectivefor

TimeSeries

Forecasting?”中，作者提出了一種簡單的MLP結(jié)構(gòu)LTSF-Linear。通過在不同數(shù)據(jù)集上的對比表明，Linear模型在大多數(shù)問題上均能取得SOTA的結(jié)果?；诖?，后續(xù)出現(xiàn)了許多MLP結(jié)構(gòu)的時序模型，其中具有代表性的模型為

的MTS-Mixers以及google的TSMixer,TiDE等。資料：AreTransformers

Effective

for

TimeSeries

Forecasting，中信建投資料：AreTransformers

Effective

for

TimeSeries

Forecasting，中信建投TiDE在2023年google的論文Long-term

Forecastingwith

TiDE:

Time-seriesDenseEncoder中提出了基于MLP的TiDE模型。與google之前的模型Temporal

FusionTransformer相類似，在TiDE中，作者也將三種不同類型的變量作為輸入，分別為靜態(tài)變量，過去已知變量，未來已知協(xié)變量。三種變量經(jīng)過拼接之后進入線性的Encoder和Decoder結(jié)構(gòu)，最終與已知變量的殘差求和得到最終的預測結(jié)果。整體結(jié)構(gòu)比較簡潔，具有很高的時間和空間效率。資料：Long-term

Forecasting

with

TiDE:

Time-series

Dense

Encoder，中信建投TiDE與其他模型相比，TiDE在大多數(shù)數(shù)據(jù)集上能夠取得最好的結(jié)果。資料：Long-term

Forecasting

with

TiDE:

Time-series

Dense

Encoder，中信建投特征選擇靜態(tài)變量：

Graph

Embedding行業(yè)因子（10維）過去已知變量：

Alpha158

+MAlpha65

+市值因子未來已知協(xié)變量：

DayOfWeek,

DayOfMonth,

DayOfYear,

WeekOfYear,

MonthOfYear為了減小特征維度，提高訓練效率，利用XGBOOST篩選重要性較高的過去已知因子。最終分別保留25個Alpha158因子以及25個Malpha因子。對過去已知變量進行截面歸一化處理。樣本介紹股票池：

全A訓練集：2016年-2020年（54個月訓練，6個月驗證）測試集：2021年-滾動頻率：

42天時間序列長度L：

10天預測周期H：

1天預測目標T：

未來T天收益率滾動訓練樣本：滾動訓練：LHTy(?)x(?)?a(?)1:?+??:closet+T/closet資料：中信建投TiDE資料：中信建投在考慮交易費用后，原始的TiDE模型并沒有明顯的超額收益。TiDGEAttention與MLP結(jié)構(gòu)均具有排序不變性，在Transformer和TiDE中，為了保留時序信息，分別采用了位置編碼和時間變量的方式加入時序信息，但是這些方法均不能很好的處理時序信息。(?)?+1:?+?yResidual+GRUTemporalDecoderUnflatten在之前的TFT模型中，作者采用了LSTM作為Encoder，能夠很好的提高模型的時序信息處理能力，借鑒TFT的思路，我們在TiDE中同樣加入LSTM/GRU單元，增加模型的時序信息處理能力。g

?(?)?+1:?+?d?(?)??+1:?+?DecoderStack×

n?e

?由于我們的標簽為未來T天的收益率，在將y作為輸入特征時，需截取L-T的時間長度。其中L為時間序列長度，T為預測周期長度。Encoder×

n?ConcatFlatten(?)1:???(?)1:???(?)?yxa1:?+?FeatureProjection(?)???

??1:?+?資料：中信建投TiDGE模型參數(shù)(?)?+1:?+?yResidual+GRUEncoder

layers：

2TemporalDecoderUnflattenEncoder

outputsize：

64Decoder

layers：

2g

?(?)?+1:?+?d?(?)??+1:?+?DecoderStack×

n?e

?Decoder

output

size:8GRUEncoder

size：

32GRUEncoder

layers：

2Lossfunction：

MSEOptimizer：

adamEncoder×

n?ConcatFlatten(?)1:???(?)1:?a

??(?)?yx1:?+?FeatureProjection(?)???

??1:?+?資料：中信建投TiDGE回測參數(shù)：TopK：

400annualized_return0.140.120.1Ndrop：

N頻率：

T日頻0.080.060.040.020回測區(qū)間：2021年-2023年2月股票范圍：

全A基準：

中證全指成交價格：

第二日收盤價top40top80top120top160top200top240top280top320top360top400資料：WIND,中信建投Top400Drop40-3日頻率年化收益年化波動率最大回撤11.69%0.236.19%13.92%13.00%1.22alpha超額最大回撤超額信息比率換手率8.68資料：WIND,中信建投Top400Drop40-5日頻率年化收益年化波動率最大回撤15.99%0.2135.48%18.21%12.91%1.47alpha超額最大回撤超額信息比率換手率5.18資料：WIND,中信建投討論本文將靜態(tài)行業(yè)變量，過去已知變量，未來已知協(xié)變量用于股票收益率預測。原始的TiDE模型直接用于選股時效果一般，通過加入GRU單元，能夠提升模型表現(xiàn)。風險提示?

本報告中所有數(shù)據(jù)結(jié)果是基于歷史統(tǒng)計結(jié)果的展示，未來有可能發(fā)生風格切換導致因子失效的風險。模型運行存在一定的隨機性，初始化隨機數(shù)種子會對結(jié)果產(chǎn)生影響，單次運行結(jié)果可能會有一定偏差。歷史數(shù)據(jù)的區(qū)間選擇會對結(jié)果產(chǎn)生一定的影響。模型參數(shù)的不同會影響最終結(jié)果。模型對計算資源要求較高，運算量不足會導致結(jié)果存在一定的欠擬合風險。本文所有模型結(jié)果均來自歷史數(shù)據(jù)，模型存在統(tǒng)計誤差，不保證模型未來的有效性，對投資不構(gòu)成任何建議。資料：中信建投y?aTiDGE模型參數(shù)(?)?+1:?+?yResidual+Encoder

layers：

2GRUTemporalDecoderUnflattenEncoder

outputsize：

64Decoder

layers：

2g

?(?)?+1:?+?d?(?)??+1:?+?DecoderStack×

n?Decoder

output

size:8GRUEncoder

size：

32GRUEncoder

layers：

2Lossfunction：

MSEOptimizer：

adame

?Encoder×

n?ConcatFlatten(?)1:???(?)1:???(?)?1:?+?FeatureProjectionGRU(?)1:?(?)??1:?+?資料：中信建投分析師介紹丁魯明：同濟大學金融數(shù)學碩士，中國準精算師，現(xiàn)任中信建投證券研究發(fā)展部執(zhí)行總經(jīng)理，金融工程團隊、大類資產(chǎn)配置與基金研究團隊首席分析師，中信建投證券基金投顧業(yè)務決策委員會成員，上海證券交易所定期專家交流組成員。13年證券從業(yè)，創(chuàng)立國內(nèi)“量化基本面”投研體系，繼承并深入研究經(jīng)濟經(jīng)典長波體系中的康波周期理論并積極應用于實務，多次對資本市場重大趨勢及拐點給出精準預判，對資產(chǎn)配置與經(jīng)濟周期運行具備深刻理解與認知。多次榮獲團隊榮譽：新財富最佳分析師2009第4、2012第4、2013第1、2014第3等；水晶球最佳分析師2009第1、2013第1等；Wind金牌分析師2018年第2、2019年第2等、2020年第4等。王

超：南京大學粒子物理博士，曾擔任基金公司研究員，券商研究員，有豐富的研究和投資經(jīng)驗，2021年加入中信建投，主要負責量化多因子選股。評級說明投資評級標準評級說明買入相對漲幅15％以上相對漲幅5%—15％相對漲幅-5%—5％之間相對跌幅5%—15％相對跌幅15％以上相對漲幅10%以上相對漲幅-10-10%之間相對跌幅10%以上報告中投資建議涉及的評級標準為報告發(fā)布日后6個月內(nèi)的相對市場表現(xiàn)，也即報告發(fā)布日后的6個月內(nèi)公司股價（或行業(yè)指數(shù)）相對同期相關(guān)證券市場代表性指數(shù)的漲跌幅作為基準。A股市場以滬深300指數(shù)作為基準；新三板市場以三板成指為基準；香港市場以恒生指數(shù)作為基準；美國市場以標普

500

指數(shù)為基準。增持股票評級行業(yè)評級中性減持賣出強于大市中性弱于大市分析師聲明本報告署名分析師在此聲明：（i）以勤勉的職業(yè)態(tài)度、專業(yè)審慎的研究方法，使用合法合規(guī)的信息，獨立、客觀地出具本報告,結(jié)論不受任何第三方的授意或影響。（ii）本人不曾因，不因，也將不會因本報告中的具體推薦意見或觀點而直接或間接收到任何形式的補償。法律主體說明本報告由中信建投證券股份有限公司及/或其附屬機構(gòu)（以下合稱“中信建投”）制作，由中信建投證券股份有限公司在中華人民共和國（僅為本報告目的，不包括香港、澳門、臺灣）提供。中信建投證券股份有限公司具有中國證監(jiān)會許可的投資咨詢業(yè)務資格，本報告署名分析師所持中國證券業(yè)協(xié)會授予的證券投資咨詢執(zhí)業(yè)資格證書編號已披露在報告首頁。在遵守適用的法律法規(guī)情況下，本報告亦可能由中信建投（國際）證券有限公司在香港提供。本報告作者所持香港證監(jiān)會牌照的中央編號已披露在報告首頁。一般性聲明本報告由中信建投制作。發(fā)送本報告不構(gòu)成任何合同或承諾的基礎(chǔ)，不因接收者收到本報告而視其為中信建投客戶。本報告的信息均于中信建投認為可靠的公開資料，但中信建投對這些信息的準確性及完整性不作任何保證。本報告所載觀點、評估和預測僅反映本報告出具日該分析師的判斷，該等觀點、評估和預測可能在不發(fā)出通知的情況下有所變更，亦有可能因使用不同假設和標準或者采用不同分析方法而與中信建投其他部門、人員口頭或書面表達的意見不同或相反。本報告所引證券或其他金融工具的過往業(yè)績不代表其未來表現(xiàn)。報告中所含任何具有預測性質(zhì)的內(nèi)容皆基于相應的假設條件，而任何假設條件都可能隨時發(fā)生變化并影響實際投資收益。中信建投不承諾、不保證本報告所含具有預測性質(zhì)的內(nèi)容必然得以實現(xiàn)。本報告內(nèi)容的全部或部分均不構(gòu)成投資建議。本報告所包含的觀點、建議并未考慮報告接收人在財務狀況、投資目的、風險偏好等方面的具體情況，報告接收者應當獨立評估本報告所含信息，基于自身投資目標、需求、市場機會、風險及其他因素自主做出決策并自行承擔投資風險。中信建投建議所有投資者應就任何潛在投資向其