<白皮書>實時數(shù)據(jù)服務(wù)平臺—金融行業(yè)實時HTAP場景實踐HTAP的定義和應(yīng)用場景06TiDB實時數(shù)據(jù)服務(wù)平臺TiDBHTAP架構(gòu)設(shè)計08金融行業(yè)金融行業(yè)HTAP場景實踐場景方案場景方案用戶中心場景方案場景方案UseCase6:某金融企業(yè)數(shù)據(jù)服務(wù)中臺29導(dǎo)讀數(shù)字化進入場景大爆發(fā)時代，開源技術(shù)體系和云原生基礎(chǔ)設(shè)施為數(shù)字化場景提供融合支撐，數(shù)據(jù)服務(wù)事務(wù)和分析處理)架構(gòu)的一棧式數(shù)據(jù)服務(wù)平臺脫穎為一棧式數(shù)據(jù)服務(wù)平臺在金融行業(yè)實時風控、反欺詐、用戶中心以及實時數(shù)據(jù)中臺(實時數(shù)倉)等場景趨勢洞察趨勢一：數(shù)字化場景爆發(fā)需要開源技術(shù)體系和云原生基礎(chǔ)設(shè)施的融合支撐在未來十年的發(fā)展過程中，最重要的一個變化就是數(shù)字化加速。分析機構(gòu)預(yù)測到2025年全球的創(chuàng)新數(shù)字化場景應(yīng)用數(shù)量會是過去40年的總和，數(shù)字化進入場景大爆發(fā)時代，因此會對IT底層的通用技術(shù)產(chǎn)生巨大的需求。數(shù)字化創(chuàng)新三角指的是在未來數(shù)字化場景中，數(shù)字化、開源技術(shù)體系和云基礎(chǔ)設(shè)施成為最重要的三大支撐。數(shù)字化數(shù)字化開源技術(shù)體系云基礎(chǔ)設(shè)施數(shù)字化創(chuàng)新三角在數(shù)字化創(chuàng)新三角中，開源成為新技術(shù)的創(chuàng)新引擎，通過源頭創(chuàng)新的方式不斷地把通用技術(shù)以全球社區(qū)的協(xié)作方式生產(chǎn)出來，避免閉門造車、重復(fù)造輪子的現(xiàn)象；對于企業(yè)級用戶來說需要一個相對穩(wěn)定云原生基礎(chǔ)設(shè)施，包括云原生技術(shù)、多云等，為上層應(yīng)用的多維組合、交付集成、運維和即時服務(wù)提供支撐。開源和云原生的組合成為滿足數(shù)字化場景大爆發(fā)的王牌組合。如何通過開源和云原生基礎(chǔ)設(shè)施，包括多云的模式去服務(wù)于未來數(shù)字化?不少科技公司交出了完美的答卷，開源數(shù)據(jù)庫MongoDB以及大數(shù)據(jù)獨角獸Databricks充分證明了“云計算+開源”取得了全球范圍的商業(yè)成功，下一代的數(shù)據(jù)分析和處理一定發(fā)生在云端，并且以開源的模式不斷進行迭代和演進，這樣才能夠滿足數(shù)字化場景大爆發(fā)的需求。開源和云基礎(chǔ)設(shè)施的結(jié)合可以更好地服務(wù)企業(yè)數(shù)字化，云、數(shù)、端自下而上構(gòu)建形成了企業(yè)數(shù)字化的三層架構(gòu)。實時交易、實時風控、個性化的營銷都在端上完成，是場景，是體驗，也是一種服務(wù)。數(shù)字化時代強調(diào)數(shù)據(jù)驅(qū)動和數(shù)據(jù)治理，所有實時性的數(shù)字化需求與信息化時代的最大差異是需要統(tǒng)一的數(shù)據(jù)服務(wù)架構(gòu)，業(yè)界流行的很多名詞，比如HTAP(HybridTransactionandAnalyticalProcessing,混合事務(wù)和分析處理),它實現(xiàn)了業(yè)務(wù)的在線交易和在線分析一體化，包括“湖倉一體”、“流批一體”等這些都代表用戶追求“簡化、融合”的技術(shù)棧方面的需求。云計算作為底層的基礎(chǔ)設(shè)施提供多樣化的算力，實現(xiàn)了資源的全面彈性，越來越多的企業(yè)采用云原生技術(shù)和跨云戰(zhàn)略奠定數(shù)字化的基石。二十DevOps計算存儲端數(shù)云數(shù)字化三層架構(gòu)云計算、大數(shù)據(jù)、人工智能等技術(shù)的應(yīng)用推動著傳統(tǒng)金融行業(yè)的業(yè)務(wù)變革，金融科技對傳統(tǒng)金融進行著全業(yè)務(wù)流程的重塑，為用戶帶來全新的業(yè)務(wù)體驗。以銀行為例，以往用戶辦理各項業(yè)務(wù)都需要去銀行網(wǎng)點，各類服務(wù)之間有著清晰的邊界。隨著數(shù)字化轉(zhuǎn)型的推進，越來越多的業(yè)務(wù)轉(zhuǎn)為線上化辦理，銀行逐步將金融服務(wù)嵌入到衣、食、住、行等生活場景，在多個領(lǐng)域滿足客戶多元化場景的需求。電商基于對相關(guān)業(yè)務(wù)數(shù)據(jù)的分析，金融機構(gòu)會進一步?jīng)Q策后續(xù)為客戶提供哪些服務(wù)支持。如果把開放銀行多元化的場景比作放風箏，金融服務(wù)滲透到生活場景的方方面面，就相當于同時起飛了多個場景風箏，“數(shù)據(jù)因子”就是風箏的引線，實時的數(shù)據(jù)服務(wù)就成為了多個風箏協(xié)同管控的必備平臺。電商教育旅游線”的數(shù)據(jù)需求變得更加迫切，企業(yè)中的任意人(AnyOne)在任意時間(AnyTime)、任意地點(AnyWhere)對任意形式 金融企業(yè)全場景的數(shù)字化呈現(xiàn)出數(shù)據(jù)服務(wù)變革的兩大方向，一是從需求側(cè)的數(shù)據(jù)服務(wù)消費化，數(shù)據(jù)服務(wù)要能夠支持任何地點的任何人，二是供給側(cè)的統(tǒng)一實時數(shù)據(jù)平臺，可以在任意時間，以任意形式提供數(shù)據(jù)服務(wù)。數(shù)據(jù)服務(wù)消費化的趨勢就是要為增強型消費者和企業(yè)內(nèi)部每一個員工提供一個訪問數(shù)據(jù)的“任意門”,讓他們可以實時獲得個性化的數(shù)據(jù)服務(wù)。數(shù)字化時代的剛需將催生統(tǒng)一的實時數(shù)據(jù)平臺，以完成“實時匯聚，實時反饋，實時數(shù)據(jù)服務(wù)平臺—金融行業(yè)實時HTAP場景實踐 方向一：數(shù)據(jù)服務(wù)消費化分析機構(gòu)Gartner在《DataandAnalyticsTrends2021》報告中指出：數(shù)據(jù)和分析已經(jīng)成為企業(yè)的一項核心業(yè)務(wù)資產(chǎn)。數(shù)據(jù)分析的增強型消費者開始興起，企業(yè)的業(yè)務(wù)決策從業(yè)務(wù)分析師向數(shù)據(jù)消費者聚焦，把先進的分析能力轉(zhuǎn)移給企業(yè)中更多的信息消費者。預(yù)定義儀表盤將逐漸被自動化、對話式、移動式和動態(tài)生成的洞見所取代，而且這些洞見均根據(jù)用戶需求定制并可以實時交付至用戶需要消費這些數(shù)據(jù)的時候。例如，一個快消品的調(diào)研員，會通過手持終端設(shè)備隨時隨地了解產(chǎn)品銷售情況和預(yù)測銷售趨勢，進而根據(jù)數(shù)據(jù)做出相應(yīng)決策；一個基金經(jīng)理往往需要隨時根據(jù)客戶資產(chǎn)凈值、交易頻次變化、金融產(chǎn)品銷售情況等一系列數(shù)據(jù)服務(wù)，來有針對性進行營銷決策，而這些決定常常需要幾分鐘甚至幾秒鐘內(nèi)完成。8Source:Gartner,TopTrendsin數(shù)據(jù)服務(wù)消費化的趨勢就是要為增強型消費者和企業(yè)內(nèi)部每一個員工提供一個訪問數(shù)據(jù)的“任意門”,讓他們可以實時獲得個性化的數(shù)據(jù)服務(wù)，這個數(shù)字化時代的剛需將催生統(tǒng)一實時數(shù)據(jù)平臺。 隨著金融企業(yè)的場景和業(yè)務(wù)創(chuàng)新，越來越多B端和C端上層的應(yīng)用對數(shù)據(jù)服務(wù)提出新要求。在海量數(shù)據(jù)規(guī)模下，如何提升數(shù)據(jù)的服務(wù)效率，從而不斷提升用戶體驗，成為金融企業(yè)在數(shù)字化轉(zhuǎn)型新階段面臨的關(guān)鍵任務(wù)，金融企業(yè)的數(shù)據(jù)服務(wù)形態(tài)正在向統(tǒng)一實時數(shù)據(jù)平臺聚焦。金融企業(yè)借助統(tǒng)一實時數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)打通(包括場景信息、業(yè)務(wù)信息、數(shù)據(jù)信息等),使產(chǎn)品服務(wù)更智能、場景結(jié)合更緊密、數(shù)據(jù)價值變現(xiàn)更快，不斷催生新產(chǎn)品、新業(yè)態(tài)、新模式，為產(chǎn)業(yè)發(fā)展注入創(chuàng)新活力。此外，統(tǒng)一實時數(shù)據(jù)平臺簡化了金融企業(yè)的數(shù)據(jù)棧，大幅降低IT投資、人力和運維成本。統(tǒng)一實時數(shù)據(jù)平臺憑借海量、實時、敏捷的能力承擔企業(yè)級數(shù)據(jù)中樞的角色。一方面，統(tǒng)一實時數(shù)據(jù)平臺可以整合多個數(shù)據(jù)棧，實現(xiàn)多源數(shù)據(jù)的實時匯聚，為上層各類業(yè)務(wù)應(yīng)用提供數(shù)據(jù)源和實時反饋，便于進行業(yè)務(wù)的實時決策；另一方面，統(tǒng)一實時數(shù)據(jù)平臺可以提取、處理和分析上層的應(yīng)用數(shù)據(jù)，獲取實時洞察。全新架構(gòu)理)最早由Gartner提出，被視為是未來數(shù)據(jù)技術(shù)發(fā)展的重要趨勢之一。HTAP數(shù)據(jù)庫能夠同時兼具處理交易以及分析兩種作業(yè)的能力，這使得交易數(shù)據(jù)能夠被實時分HTAP作為一種新興技術(shù)架構(gòu)與能力，不僅可以帶來某單一系統(tǒng)的功能與性能提升，更重要的是會驅(qū)動企業(yè)IT架構(gòu)面向現(xiàn)代業(yè)務(wù)目標的整體轉(zhuǎn)型升級。Gartner在(HTAP)將在未來2-5年內(nèi)發(fā)展到技術(shù)成熟期，迎來主流市場的大規(guī)模應(yīng)用。HTAP既然成為一種新的標準與規(guī)范，需有盡量明確技術(shù)上必須有不同于傳統(tǒng)經(jīng)典數(shù)據(jù)庫的能力(不應(yīng)該只是分布式),而且必須對數(shù)字化進程帶來創(chuàng)新與升級，包括業(yè)務(wù)架構(gòu)、應(yīng)用架構(gòu)、數(shù)據(jù)架構(gòu)HTAP在技術(shù)架構(gòu)與設(shè)計目標上不應(yīng)該等同于經(jīng)典Oracle與MySQL或分布式后的類Oracle與MySQL,這類經(jīng)典的數(shù)據(jù)庫本質(zhì)上無法同時承載交易與分析SQL?，F(xiàn)代HTAP數(shù)據(jù)庫應(yīng)該是基于分布式架構(gòu)的設(shè)計，面向海量數(shù)據(jù)的水平擴展成為其必須的基礎(chǔ)能力。HTAP數(shù)據(jù)庫的在線交易與分析任務(wù)的執(zhí)行要能做到對用戶透明，且彼此之間互不影響，不應(yīng)該是OLAP多了大幅影響OLTP,OLTP多了大幅影響OLAP,這是真正的Real-TimeHTAP所必備的重要特點。HTAP不應(yīng)該僅僅面向數(shù)倉類純OLAP的需求，HTAP支持的實時數(shù)據(jù)平臺既可以應(yīng)對OLTP/OLAP的混合負載，也能夠成為實時與Flink等技術(shù)的融合完成流批一體的架構(gòu)支持。HTAP不是簡單的OLTP+OLAP,數(shù)據(jù)服務(wù)平臺。 終上所述，HTAP不僅僅局限于對原有數(shù)據(jù)庫的替換或者是交易和分析處理性能的提升，HTAP應(yīng)該是一個開放的HTAP的應(yīng)用場景主要集中在兩個方面：數(shù)據(jù)密集型應(yīng)用有了HTAP能力，未來的數(shù)據(jù)密集型應(yīng)用，都力，并且不影響交易的性能與數(shù)據(jù)的一致性。如風控、營銷或者其它原來需要在后臺數(shù)據(jù)平臺端通過數(shù)據(jù)遷移與同步才能完成的能力，相當一部分可以遷移到應(yīng)用側(cè)實時完成，成為應(yīng)用內(nèi)生的功能，使其本身就能完成實時的業(yè)務(wù)閉環(huán)，這必然是技術(shù)驅(qū)動全場景數(shù)字化能力發(fā)展的重要方向。未來的業(yè)務(wù)應(yīng)用都逐漸朝著這個方向來設(shè)計，這對現(xiàn)代交易系統(tǒng)的業(yè)務(wù)能力改造與升級具備重大的意義。的紅利。絕大多數(shù)的企業(yè)在花大量精力建立了數(shù)據(jù)倉庫體系后，業(yè)務(wù)系統(tǒng)人員大多只這種應(yīng)用與數(shù)據(jù)分割的現(xiàn)象是大多數(shù)企業(yè)在過去很長一段時間到今天都非常關(guān)注的痛點?；膶崟r數(shù)據(jù)服務(wù)平臺(也稱為實時數(shù)據(jù)中臺),已經(jīng)成為企業(yè)規(guī)劃與實施的重點創(chuàng)種增強型消費者能將數(shù)據(jù)(準確講是面向業(yè)務(wù)整理后的數(shù)據(jù)資產(chǎn))當作超市的商品一面向數(shù)據(jù)消費的實時數(shù)據(jù)服務(wù)平臺，即要承載來自全企業(yè)的大量、高并發(fā)的服務(wù)型查詢需求(QPS的OLTP型),也要承載大量探索型的統(tǒng)計分析需求(OLAP型),這種要求顯然不是純OLAP數(shù)據(jù)庫，也不是純OLTP數(shù)據(jù)庫能滿足的，顯然又必須是彈性分布式的，因此HTAP數(shù)據(jù)庫就是這個場景的最佳選擇。實時數(shù)據(jù)服務(wù)平臺—金融行業(yè)實時HTAP場景實踐TiDB實時數(shù)據(jù)服務(wù)平臺構(gòu)設(shè)計與實現(xiàn)，是業(yè)界首篇Real-TimeHTAP分布式數(shù)據(jù)庫工業(yè)實現(xiàn)的論文，被全球數(shù)據(jù)庫領(lǐng)域頂尖的三大學術(shù)會議之一)。TiDB作為一款領(lǐng)先的HTAP數(shù)據(jù)庫應(yīng)用于全球1500+頭部企業(yè)的生產(chǎn)環(huán)境，在數(shù)字時代賦能行業(yè)用戶的業(yè)務(wù)轉(zhuǎn)型和升級。TiDB有兩種存儲節(jié)點，分別是TiKV和TiFlash。TiKV采用了行式存儲，所謂行式存用列式存儲，列式存儲的含義就是不同行當中同一列數(shù)據(jù)會相鄰存儲在一起，行和列分別會應(yīng)對不同的業(yè)務(wù)需求，列存傾向于響應(yīng)OLAP類業(yè)務(wù)。Colunmn-basedstorageforOLAP雖然TiDB有OLTP和OLAP兩種引擎，但是用戶看到的是同一套引擎、同一個入口，提供統(tǒng)一的權(quán)限和使用體驗。TiFlash通過Raft協(xié)議同步數(shù)據(jù)，對TiDB集群的OLTP交易幾乎沒有影響，提供和TiDB保持強一致的數(shù)據(jù)讀取，是真正的內(nèi)核級HTAP分布式混合負載數(shù)據(jù)處理平臺。2021年4月，TiDBv5.0版本引入了MPP模式，使得整個TiFlash從單純的存儲節(jié)點升級成為一個全功能的分析引擎，保留單一的入口，使用用同樣的權(quán)限控制，OLTP和OLAP仍然是由優(yōu)化器提供自動的選擇。MPP模式下，TiDB可以將一個查詢的計算下推到TiFlashMPP集群，從而借助分布式并行計算加速整個執(zhí)行過程，大幅度縮短分析查詢的執(zhí)行時間。TiDBMPP模式使用TPC-H基準測試來評估同等硬件資源和數(shù)據(jù)量的情況下執(zhí)行不同Query所需要的時間，測試結(jié)果顯示：對比Greenplum6.15.0和ApacheSpark3.1.1,TiDB5.0MPP展示了更好的性能加速，總體獲得2-3倍的性能優(yōu)勢，個別查詢可達8倍性能提升。個別查詢可達8倍實時數(shù)據(jù)服務(wù)平臺—金融行業(yè)實時HTAP場景實踐利用TiDBHTAP的架構(gòu)優(yōu)勢，面對NewSaaS、實時營銷、實時風控等新一代云原生應(yīng)用對數(shù)據(jù)感知能力的要求，TiDB一棧式數(shù)據(jù)服務(wù)平臺提供彈性擴展、隨時可用的分析能力，同時具備實時的多源匯聚能力，支持多元化分析與查詢需求，支持常態(tài)化的運營級分析?；赥iDBHTAP構(gòu)建的未來數(shù)據(jù)架構(gòu)已經(jīng)成為金融企業(yè)應(yīng)對數(shù)字化場景大爆發(fā)的數(shù)據(jù)服務(wù)新形態(tài)。新SaaS用戶體驗實時決策售貨點統(tǒng)一視圖監(jiān)控跟蹤即席查詢用戶行為人工智能現(xiàn)有業(yè)務(wù)應(yīng)用數(shù)據(jù)湖/數(shù)倉HhadoopsparkOn-PremisesContainersSe 一切技術(shù)來源于不同的需求場景，例如不同類型的金融業(yè)務(wù)有著不同的數(shù)據(jù)需求，與之相對應(yīng)的數(shù)據(jù)庫不僅需要有海量數(shù)據(jù)存儲能力和高并發(fā)交易支撐能力，還需要針對不同業(yè)務(wù)有多樣化的功能，如實時分析、實時匯聚等，于是企業(yè)內(nèi)部逐漸形成了多種數(shù)據(jù)技術(shù)棧并存的局面，如下圖所示，每種技術(shù)棧具備各自擅長的能力區(qū)間?；旌县撦d率混合負載率數(shù)據(jù)量時容主流數(shù)據(jù)技術(shù)棧能力象限從延時容忍度、數(shù)據(jù)量和混合負載率這三個維度分析，內(nèi)存和單機數(shù)據(jù)庫適用于對延時要求高、混合負載率低且數(shù)據(jù)量小的業(yè)務(wù)；分庫分表、MPP數(shù)據(jù)庫適合對延時要求沒那么高、混合負載率低，數(shù)據(jù)處理規(guī)模中等的業(yè)務(wù)；HTAP數(shù)據(jù)庫更擅長承載混合負載率高、數(shù)據(jù)量大、且對延時要求中等的業(yè)務(wù)；數(shù)據(jù)量超過PB級別且可以容忍較大延遲的業(yè)務(wù)，更適合用大數(shù)據(jù)技術(shù)棧來承載。內(nèi)存數(shù)據(jù)庫單機限制低OLAP為主高維保成本高昂(Oracle/MySQL為代表)單機限制低OLTP為主低高分庫分表，中等規(guī)模且低中低應(yīng)用拆分，MPP數(shù)據(jù)庫中低場景局限，網(wǎng)絡(luò)交互成本高(HBase為代表)高(TiDB為代表)中一套架構(gòu)服務(wù)多個場景，主流數(shù)據(jù)技術(shù)棧表能力對比實時數(shù)據(jù)服務(wù)平臺—金融行業(yè)實時HTAP場景實踐——◆—0TiDBHTAP差異化優(yōu)勢：四性合一與業(yè)界主流的數(shù)據(jù)庫和大數(shù)據(jù)技術(shù)棧對比，TiDBHTAP適用于數(shù)據(jù)規(guī)模幾T到幾百TiDBHTAP提供金融級數(shù)據(jù)強一致性和可用性，數(shù)據(jù)副本通過致性且少數(shù)副本發(fā)生故障時不影響數(shù)據(jù)的可用性。對于用戶來說，實時性對等性TiDB直接針對最新數(shù)據(jù)進行分析，提供實時的決策支持。實時更新列存TiFlash解決了傳統(tǒng)列存系統(tǒng)無法進行實時更新的問題，無論分析引擎負載TiDBHTAP提供的OLTP與OLAP能力在架構(gòu)設(shè)計與發(fā)展?jié)摿ι鲜峭耆珜Φ鹊模髯远伎梢愿鶕?jù)業(yè)務(wù)的規(guī)模實現(xiàn)靈活的擴展。在實時性與一致性前提下OLTP側(cè)和OLAP側(cè)的業(yè)務(wù)是完全隔離TiDB擁有高度開放的技術(shù)生態(tài)體系：TiDB高度兼容MySQL協(xié)議數(shù)據(jù)庫的打通；TiDB實現(xiàn)了與Hadoop、Spark、Flink、Kafka、Pulsar等大數(shù)據(jù)技術(shù)棧的廣泛融合；TiDB擁抱云計算和云原生技VMware等廠商建立了廣泛的合作關(guān)系。GoogleCloud 用戶價值TiDB深度融合數(shù)據(jù)庫與大數(shù)據(jù)應(yīng)用，一個數(shù)據(jù)平臺實現(xiàn)在線事務(wù)處理和實時分析的完整閉環(huán)，賦能數(shù)據(jù)的實時匯聚、實時反饋、實時洞察和實時變現(xiàn)，帶來極致的用戶體驗，大幅提升企業(yè)運營效率的同時實現(xiàn)TCO的降低。TiDB基于云原生分布式架構(gòu)設(shè)計，無需考慮分庫分表以及分布式事務(wù)的實現(xiàn)；支持敏態(tài)開發(fā)和在線業(yè)務(wù)變更，降低開發(fā)人員的開發(fā)與學習等隱性成本，加速場景迭代和業(yè)務(wù)創(chuàng)新。面向運維TiDB簡化企業(yè)各類數(shù)據(jù)技術(shù)棧，顯著降低技術(shù)復(fù)雜度和運維成本；自服務(wù)程度高，提供交互式運維界面，使得運維人員通過SQL進行實時分析和實時運營成為可能。TiDB作為新一代行列混合存儲引擎(HTAP)分布式數(shù)據(jù)庫，不但可以執(zhí)行實時的數(shù)據(jù)交易和分析類業(yè)務(wù)，還可以與傳統(tǒng)大數(shù)據(jù)生態(tài)技術(shù)棧例如Flink、Kafka等相結(jié)合提供一棧式數(shù)據(jù)服務(wù)。不論作為單獨的實時數(shù)據(jù)分析處理引擎，還是棧結(jié)合，都可以顯著提升數(shù)據(jù)價值的獲取和快速變現(xiàn)能力，幫助金融分析上移，讓業(yè)務(wù)系統(tǒng)更智能分析上移(AnalyticalOperation)是指賦予數(shù)據(jù)密集型應(yīng)用即時分析的能力，分析位實現(xiàn)按需伸縮，實質(zhì)上是對“業(yè)務(wù)數(shù)據(jù)化”和“數(shù)據(jù)消費化”的本質(zhì)詮釋與驅(qū)動。TiDBHTAP在金融企業(yè)分析上移方向的應(yīng)用場景主要有信貸和支付類實時風控、內(nèi)信貸和支付類實時風控現(xiàn)有實時風控(信貸類和支付類)體系解決方案主要通過關(guān)系型數(shù)據(jù)庫+NoSQL數(shù)據(jù)?數(shù)據(jù)分散在不同的數(shù)據(jù)庫當中，復(fù)雜的各類數(shù)據(jù)獲取與加工流程，使風控喪失實時價值，同時利用傳統(tǒng)大數(shù)據(jù)技術(shù)體系，難以實現(xiàn)統(tǒng)一風控業(yè)務(wù)視圖等核心功能。失靈活性和擴展性；應(yīng)用需要實現(xiàn)復(fù)雜的數(shù)據(jù)傳輸邏?MySQL等關(guān)系型數(shù)據(jù)庫缺乏水平擴展能力，NoSQL無法實現(xiàn)金融級別的一致性處理，難以保證金融風控業(yè)務(wù)的在線擴容和準確性。?傳統(tǒng)大數(shù)據(jù)和NoSQL數(shù)據(jù)庫廠商的核心代碼都是在國外進行開發(fā)維護，金融機構(gòu)在系統(tǒng)出現(xiàn)故障時，復(fù)雜的技術(shù)處理難以在短時間內(nèi)定位及解決問題。利用TiDB數(shù)據(jù)庫CDC處理技術(shù)，結(jié)合Kafka和Flink等大數(shù)據(jù)技術(shù)棧，實現(xiàn)將各業(yè)務(wù)系統(tǒng)最新產(chǎn)生的業(yè)務(wù)數(shù)據(jù)、外部監(jiān)察類數(shù)據(jù)、本行及三方風控數(shù)據(jù)實時匯聚到統(tǒng)一的TiDB分布式數(shù)據(jù)庫集群存儲管理，提升數(shù)據(jù)實時獲取能力?；赥iDB高可用和彈性處理能力，可進一步對實時匯聚的風控相關(guān)數(shù)據(jù)進行聚合、匯總、分類，變量加工等處理，根據(jù)業(yè)務(wù)的訴求，提供實時風控或?qū)崟r大屏展現(xiàn)的能力?！氨ｕr”“提效”“實時”“統(tǒng)一”“實時”“彈性”實時數(shù)據(jù)服務(wù)平臺—金融行業(yè)實時HTAP場景實踐利用TiDB數(shù)據(jù)庫海量數(shù)據(jù)存儲能力，可以實現(xiàn)將風控系統(tǒng)智能信審模塊、基礎(chǔ)數(shù)據(jù)服務(wù)模塊沉淀的風控業(yè)務(wù)、征信、反欺詐、聯(lián)網(wǎng)核查、反欺詐等風控數(shù)據(jù)進行統(tǒng)一存儲?；赥iDBHTAP架構(gòu)行存及列存混合處理引擎能力，可進一步對業(yè)務(wù)沉淀和實時匯聚的風控相關(guān)數(shù)據(jù)加工分析處理，形成可用于風控場景消費的價值數(shù)據(jù)?；赥iDB的高并發(fā)能力，服務(wù)層將業(yè)務(wù)邏輯封裝成標準的統(tǒng)一風控服務(wù)API,并提供統(tǒng)一的訪問入口，打造實時風控彈性架構(gòu)。統(tǒng)統(tǒng)一風控服務(wù)智能信審基礎(chǔ)服務(wù)數(shù)據(jù)服務(wù)基于TiDB的實時風控彈性架構(gòu)在信貸、支付類實時風控場景下，TiDBHTAP架構(gòu)的優(yōu)勢主要體現(xiàn)在幾個方面：滿足大數(shù)據(jù)場景下風控數(shù)據(jù)存儲O滿足大數(shù)據(jù)場景下風控數(shù)據(jù)存儲提供統(tǒng)一數(shù)據(jù)實時服務(wù)降低技術(shù)架構(gòu)實現(xiàn)的復(fù)雜性通過流式數(shù)據(jù)接入可以實時匯總征信、三方、客戶交易、監(jiān)管黑名單、聯(lián)網(wǎng)核查、反欺詐等數(shù)據(jù)，對數(shù)據(jù)進行聚合分析，形成風險數(shù)據(jù)集市；支持將價值數(shù)據(jù)以統(tǒng)一數(shù)據(jù)服務(wù)API形式開放，提供高并發(fā)訪問查詢能力。CaseCase|某證券公司實時風控場景實踐某證券公司是一家領(lǐng)先的科技驅(qū)動型綜合金融服務(wù)商，業(yè)務(wù)范圍涵蓋證券、基金、期貨、產(chǎn)業(yè)基金和大宗商品等多個領(lǐng)域，多年獲評A級券商。融資融券業(yè)務(wù)收入是證券公司營業(yè)收入的重要來源，但由于其杠桿效應(yīng)，其相比普通交易也蘊藏著更大的風險：隨著股價的波動，客戶持有的擔保物可能無法沖抵融資融券的價值，導(dǎo)致證券公司無法收回成本所帶來的損失?！熬S持擔保比”是將風險有效量化的指標，證券公司需在交易所開市期間對該指標進行監(jiān)控和預(yù)警。該證券公司的實時風控系統(tǒng)需要對“維持擔保該證券公司的實時風控系統(tǒng)需要對“維持擔保比”這項指標進行跑批計算和實時復(fù)雜查詢，并對“維持擔保比”指標的計算結(jié)果進行排序，通知平倉高危風險的客戶(通常維持擔保比小于130%)追加擔保物。傳統(tǒng)Oracle數(shù)據(jù)庫的橫向擴展能力不足，大表之間關(guān)聯(lián)分析通常需要花費1-2個小時，性能表現(xiàn)達不到近實時分析的業(yè)務(wù)要求。該證券公司選擇TiDB構(gòu)建實時風控系統(tǒng)，從上游融資融券交易系統(tǒng)數(shù)據(jù)庫中獲取原始數(shù)據(jù)，通過CDC工具采集數(shù)據(jù)至Kafka,再寫入至TiDB。風控系統(tǒng)跑批并將結(jié)果寫入TiDB并提供實時的復(fù)雜查詢服務(wù)。食①①某證券實時風控邏輯架構(gòu)圖某證券實時風控邏輯架構(gòu)圖該證券公司使用TiDB主要獲得以下幾方面的收益：實現(xiàn)了海量風控數(shù)據(jù)的存儲和實時分析，可根據(jù)業(yè)務(wù)數(shù)據(jù)量自動水平伸縮。式的進化，便于業(yè)務(wù)作出實時的決策，降低交易風險。實現(xiàn)了數(shù)據(jù)架構(gòu)層的精簡，大幅提升開發(fā)、維護和運營效率。內(nèi)外部監(jiān)管批量(反洗錢)擔信息收集和前端控制任務(wù)。反洗錢系統(tǒng)需要匯總金融機構(gòu)中各業(yè)客戶級別的交易數(shù)據(jù)屬于明細級數(shù)據(jù)，且需要分析的數(shù)據(jù)時間周期最長存在超過一監(jiān)測規(guī)則靈活可配反洗錢系統(tǒng)通常使用規(guī)則引擎來配置靈活的指標監(jiān)測模型，對反洗錢數(shù)據(jù)進行篩選、隨著金融機構(gòu)業(yè)務(wù)的不斷發(fā)展，基于傳統(tǒng)數(shù)據(jù)庫的反洗錢系統(tǒng)已無法滿足日益增長的數(shù)據(jù)處理壓力，主要存在以下幾方面的局限性：數(shù)據(jù)庫擴容困難反洗錢系統(tǒng)需要匯聚更容量擴展方面存在一定批處理性能瓶頸顯著單機數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入以及批處理性能瓶頸突長對反洗錢數(shù)據(jù)報送時效產(chǎn)生了較大影響。查詢分析延遲嚴重來數(shù)據(jù)庫訪問性能下降，系統(tǒng)前端交互查詢分析數(shù)據(jù)庫性能提升手段匱乏單機數(shù)據(jù)庫最主要的性能提升手段為升級硬件，容易達到性能天花板。業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，打破傳統(tǒng)數(shù)據(jù)庫單節(jié)點的算力瓶頸，向上為任務(wù)計算、規(guī)則模型以及工作流程等環(huán)節(jié)的數(shù)據(jù)計算、分析和流轉(zhuǎn)提供統(tǒng)一和實時的數(shù)據(jù)服務(wù)。 信息上報層信息管理層數(shù)據(jù)處理層關(guān)注模型層數(shù)據(jù)采集層數(shù)據(jù)源層基于TiDB的反洗錢系統(tǒng)架構(gòu)相較于傳統(tǒng)的Oracle數(shù)據(jù)庫，TiDB方案體現(xiàn)出的?分布式計算引擎，更強的并行導(dǎo)入和并行計算能力，支持大批量數(shù)據(jù)的復(fù)雜計算。?在線橫向擴展，存儲、計算能力近線性提升，有效提升數(shù)據(jù)庫處理能力。?無單點故障設(shè)計，提供數(shù)據(jù)庫持續(xù)服務(wù)能力。行計算能力，加速數(shù)據(jù)批處理。成本低。?支持實時寫入，提供數(shù)據(jù)批量計算能力的同時，支持應(yīng)用系統(tǒng)操作型數(shù)據(jù)記錄。?支持事務(wù)，保障數(shù)據(jù)一致性。?架構(gòu)簡單，無需學習、維護大數(shù)據(jù)平臺各技術(shù)組件，節(jié)省人力、運維成本。實時數(shù)據(jù)服務(wù)平臺—金融行業(yè)實時HTAP場景實踐一翼支付是中國電信旗下的運營支付和互聯(lián)網(wǎng)金融的業(yè)務(wù)品牌，是中國人民銀行核準的第三方支付案。2019年翼支付月活用戶5000萬，每月2.3億筆交易，年交易金額超1.75萬億。翼支付反洗錢系統(tǒng)需要保存全國范圍內(nèi)的全量客戶、賬戶、日常交易信息數(shù)據(jù)。系統(tǒng)每日從上游數(shù)倉中接入增量數(shù)反洗錢系統(tǒng)數(shù)據(jù)處理層原先使用的是Oracle數(shù)據(jù)庫，數(shù)據(jù)規(guī)模在30T左右。庫中存量的交易數(shù)據(jù)已超百億，日均增量數(shù)據(jù)約1000-2000萬，客戶賬戶表等存量數(shù)據(jù)達到10+億級別。在單節(jié)點架構(gòu)下，Oracle數(shù)據(jù)庫無法滿足數(shù)據(jù)集錢規(guī)則和更多樣的業(yè)務(wù)需求不斷出現(xiàn)，前臺的查詢分析頁面的延遲已經(jīng)相當嚴重。在使用TiDB替換原有Oracle數(shù)得益于TiDB的高并發(fā)、高吞吐能力，在20個規(guī)則和指標并行計算的壓力下，TiDB并未出現(xiàn)讀寫延遲或組件故障。顯著提升批處理的計算效率多種計算下推使Spark能夠高效的讀取TiKV中的數(shù)據(jù)，可大幅提升批處理業(yè)務(wù)的性能并保證更新事務(wù)的原子性。有效解決了單臺Oracle容量屢屢告警的批處理時效性得到5倍左右提升系統(tǒng)每日批處理耗時逐步從18小時縮短至3.5-5小時左右，處理時效性提升了5金融企業(yè)在觸客、獲客、活客的過程中，始終需要以客戶信息作為支撐。隨著業(yè)務(wù)創(chuàng)新的加快，企業(yè)中出現(xiàn)了越來越多的業(yè)務(wù)系統(tǒng)，每種業(yè)務(wù)都積累了大量客戶，這些客戶的相關(guān)資料分散在各個業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)缺乏整合、統(tǒng)一和一致性管理，給用戶管理、服務(wù)、營銷和快速創(chuàng)新帶來了極大的限制。很多金融企業(yè)希望能夠通過整合、沉淀、復(fù)用的方式，打造能夠在企業(yè)范圍內(nèi)共享的用戶中心系統(tǒng)來解決這些問題。用戶中心系統(tǒng)屬于中臺系統(tǒng)，在聯(lián)機部分，提供開戶、維護、查詢、信息同步等基本服務(wù)以及合約管理、客戶登記維護等增值服務(wù)，以聯(lián)機API接口方式提供實時的交易處理；在批量部分，為本地業(yè)務(wù)系統(tǒng)提供準實時或批量的客戶信息同步，基于ETL或文件交換的方式為離線數(shù)倉提供數(shù)據(jù)交換服務(wù)，用于企業(yè)CRM、風險管理等領(lǐng)域。當前，用戶中心系統(tǒng)在數(shù)據(jù)處理上面臨諸多挑戰(zhàn)：用戶中心所承載的數(shù)據(jù)規(guī)模呈指數(shù)級增長，傳統(tǒng)單體數(shù)據(jù)庫或分庫分表模式無法做到在線水平擴展且對系統(tǒng)高并發(fā)服務(wù)能力造成制約。數(shù)據(jù)拆分直接導(dǎo)致匯總查詢、多維分析等跨分片場景無所適從，還需引入額外的匯總庫，進一步加大了架構(gòu)復(fù)雜度和管理成本，阻礙業(yè)務(wù)的持續(xù)創(chuàng)新。分庫分表架構(gòu)增加了系統(tǒng)的復(fù)雜度和維護成本，應(yīng)用團隊需要在業(yè)務(wù)功能迭代創(chuàng)新、系統(tǒng)穩(wěn)定易用等方面不斷平衡?；赥iDB的HTAP能力重構(gòu)用戶中心系統(tǒng)的數(shù)據(jù)層，承載對私、對公的客戶信息和系統(tǒng)公共信息，為接入層提供實時/準實時和批量數(shù)據(jù)服務(wù)。應(yīng)用層通過數(shù)據(jù)訪問組件基于負載均衡訪問TiDB中的各類數(shù)據(jù)進行聯(lián)機和批量操作，無需考慮分片鍵和反向索引設(shè)計，可基于標準索引進行多維度高效數(shù)據(jù)操作及實時匯聚查詢。批量操作可基于調(diào)度框架按業(yè)務(wù)維度分批次并行處理，支持傳統(tǒng)ETL離線入倉和TiCDC實時增量同步到下游，數(shù)據(jù)下發(fā)方式更加靈活，可基于TiDB構(gòu)建跨中心級的高可用架構(gòu)。接入層接入層應(yīng)用層數(shù)據(jù)層聯(lián)機交易服務(wù)聯(lián)機交易服務(wù)校驗簽約管理聯(lián)管理批量數(shù)據(jù)服務(wù)批量數(shù)據(jù)服務(wù)(對私/對公客戶+公共信息)用戶中心系統(tǒng)架構(gòu)圖TiDB方案的主要優(yōu)勢體現(xiàn)在線水平彈性擴展能力突破傳統(tǒng)單體數(shù)據(jù)的性能和容量強一致性的水平彈性擴展，無論多大的數(shù)據(jù)量，只需輕松增加節(jié)點即可解決。交易和實時在線分析，無需再引入額外的數(shù)據(jù)技術(shù)棧來處理匯總查詢、多維查詢等場景，大幅簡化數(shù)據(jù)管理的復(fù)雜度。應(yīng)用如同使用單體數(shù)據(jù)庫一考慮底層數(shù)據(jù)管理細節(jié)。應(yīng)用務(wù)本身功能的迭代，以提供更加敏捷和創(chuàng)新的服務(wù)。務(wù)的全流程服務(wù)。該金融科技企業(yè)所在集團是國際領(lǐng)先的科技型個人金融生活服務(wù)集團，為2億+個人客戶以及5億+互聯(lián)網(wǎng)用戶提供金融生活產(chǎn)品及服務(wù)。銀行壽險產(chǎn)險B中心銀行壽險產(chǎn)險A中心P用戶中心系統(tǒng)高可用架構(gòu)應(yīng)用TiDB的收益主要體現(xiàn)在以下幾個方面：響應(yīng)時間為99線60毫秒，解決了傳統(tǒng)數(shù)據(jù)庫單點的性能與容量瓶頸問題。雙數(shù)據(jù)中心架構(gòu)提供金融級高可用保在異地數(shù)據(jù)中心構(gòu)建高效率容災(zāi)集實時數(shù)據(jù)服務(wù)平臺—金融行業(yè)實時HTAP場景實踐數(shù)據(jù)普惠，讓數(shù)據(jù)服務(wù)更實時的需求賦予業(yè)務(wù)分析系統(tǒng)實時的數(shù)據(jù)服務(wù)能力，位于企業(yè)IT體系的下游分析域，并數(shù)據(jù)普惠方向的應(yīng)用場景主要包括實時數(shù)據(jù)中臺/實時數(shù)倉。實時數(shù)據(jù)中臺/實時數(shù)倉在金融機構(gòu)數(shù)字化轉(zhuǎn)型的過程中，各類業(yè)務(wù)對“實時、在線”的數(shù)據(jù)需求變得愈發(fā)迫切，個性化推薦、實時營銷、實時決策成為數(shù)字化場景的關(guān)鍵能力，敏銳用戶需求，提升用戶體驗將為金融企業(yè)帶來持續(xù)的競爭優(yōu)勢。實時數(shù)倉技術(shù)和數(shù)據(jù)中臺的出現(xiàn)，為實時數(shù)據(jù)處理提供了解決方案。傳統(tǒng)實時大數(shù)據(jù)處理方案以Lamada架構(gòu)為代表，同時承擔批量與實時數(shù)據(jù)處理。在批處理層，Lamada架構(gòu)通常使用Hadoop大數(shù)據(jù)平臺作為數(shù)據(jù)存儲計算載體，完成T+1離線數(shù)據(jù)加工。存儲，需要使用多種技術(shù)組件，系統(tǒng)架構(gòu)復(fù)雜且運維成本高。其次服務(wù)層響應(yīng)用戶的查詢請求時，應(yīng)用端需要同時支持兩套數(shù)據(jù)訪問接口，無法支撐敏捷的商業(yè)決策。近幾年，金融企業(yè)開始建設(shè)數(shù)據(jù)中臺，數(shù)據(jù)中臺的建設(shè)目標旨在通過數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)，實現(xiàn)可彈性伸縮擴展的分布式基礎(chǔ)架構(gòu)，消除數(shù)據(jù)孤島，最終形成統(tǒng)一的數(shù)據(jù)資產(chǎn)和提供統(tǒng)一的數(shù)據(jù)服務(wù)，快速響應(yīng)各類創(chuàng)新業(yè)務(wù)發(fā)展。傳統(tǒng)數(shù)據(jù)中臺多選用Hadoop大數(shù)據(jù)平臺提供數(shù)據(jù)服務(wù)，在多個方面顯現(xiàn)出短板：架構(gòu)復(fù)雜：單一的數(shù)據(jù)架構(gòu)無法滿足歷史離線數(shù)據(jù)和在線準實時數(shù)據(jù)的加工、存儲與分析需求，無法同時承擔數(shù)據(jù)計算與數(shù)據(jù)服務(wù)的要求。服務(wù)能力受限：在數(shù)據(jù)服務(wù)層通常采用HBase數(shù)據(jù)庫或關(guān)系型數(shù)據(jù)庫，服務(wù)能力通常限于簡單的數(shù)據(jù)查詢，無法敏捷地應(yīng)對復(fù)雜的、實時分析查詢服務(wù)。開發(fā)運維成本高：較多的技術(shù)棧在應(yīng)用迭代過程中，帶來較高的開發(fā)成本，同時對系統(tǒng)擴容、系統(tǒng)運維等方面帶來挑戰(zhàn)?！氨ｕr”“提效”“實時”寫入TTiDB“統(tǒng)—”“實時”“彈性”基于TiDB的實時數(shù)據(jù)中臺/實時數(shù)倉架構(gòu)TiDB作為一款HTAP數(shù)據(jù)庫，可以在一份數(shù)據(jù)源上同時支撐在線事務(wù)處理(OLTP)和在線分析處理(OLAP)場景，不但能良好地支持實時數(shù)據(jù)落地存儲，也可以提供一體化的分析能力。結(jié)合Flink出色的流處理能力，可以構(gòu)建實時數(shù)倉解決方案，滿足用戶實時業(yè)務(wù)分析需求。同時，由于TiDB擁有高度開放的生態(tài)，具備完整的數(shù)據(jù)離線、實時同步工具，也可以集成大數(shù)據(jù)工具，與Spark、BI等大數(shù)據(jù)生態(tài)構(gòu)建離線+實時的數(shù)倉體系。實時數(shù)據(jù)服務(wù)平臺—金融行業(yè)實時HTAP場景實踐TiDB支持多種數(shù)據(jù)采集方式，包括CDC、消息中間件+流式計算框架的實時方式，及時、高效獲得“新鮮數(shù)據(jù)”;基于行、列混存的HTAP架構(gòu)，提供實時數(shù)據(jù)服務(wù)，具備數(shù)字化轉(zhuǎn)型中數(shù)據(jù)價值的實時變現(xiàn)能力。米TiDB與Flink企業(yè)版(VervericaPlatform)合作，推出實時數(shù)倉商業(yè)方案。TiDB和Flink都可以通過水平擴展節(jié)點來增加算力，數(shù)據(jù)處理速度有保障。用戶可以單獨使用TiDB構(gòu)建實時分析業(yè)務(wù)，也可以與Flink生態(tài)一起構(gòu)建實時數(shù)倉體系?；赥iDB構(gòu)建實時數(shù)據(jù)中臺/實時數(shù)倉的核心優(yōu)勢體現(xiàn)：彈性水平擴展彈性水平擴展計算與服務(wù)融合開放生態(tài)簡化大數(shù)據(jù)棧解決集中式數(shù)據(jù)庫與大一套架構(gòu)既能支持低并適配Binlog、CDC等數(shù)數(shù)據(jù)平臺架構(gòu)之間的矛發(fā)的批量數(shù)據(jù)計算，又盾，原生分布式架構(gòu)支能提供高并發(fā)的數(shù)據(jù)服Flink等實時數(shù)據(jù)處理持線性水平擴展，能夠務(wù)，實現(xiàn)批量和實時視引擎及Spark批處理引給業(yè)務(wù)系統(tǒng)帶來線性的圖的統(tǒng)一，提供綜合查擎，開放的生態(tài)降低大能力提升。詢視圖。數(shù)據(jù)技術(shù)棧復(fù)雜度。隨著數(shù)字化轉(zhuǎn)型的深入，金融銀行機構(gòu)致力于全面提升數(shù)字化建設(shè)與應(yīng)用水平。某國有大行引入HTAP數(shù)據(jù)庫解決當前的業(yè)務(wù)痛點，提升業(yè)務(wù)運營效率和用戶服務(wù)體驗。對于銀行核心交易領(lǐng)域服務(wù)屬性最強、服務(wù)類型最綜合的多維度交易信息查詢、實時收支分析類業(yè)務(wù)來講，原先的豎井式架構(gòu)極大地制約了業(yè)務(wù)發(fā)展，暴露出查詢周期和跨度偏短、數(shù)據(jù)完整度/準確度不足、統(tǒng)計口徑不一、數(shù)據(jù)時效性不高等短板。經(jīng)過對比選型和驗證，該行選擇了TiDB構(gòu)建一棧式綜合數(shù)據(jù)服務(wù)系統(tǒng)。系統(tǒng)采用典型的實時數(shù)倉架構(gòu)，通過兩地三中心高可用架構(gòu)確保了高等級應(yīng)用系統(tǒng)的業(yè)務(wù)連續(xù)性，同時支持應(yīng)用雙活。新系統(tǒng)架構(gòu)包括數(shù)據(jù)匯聚、數(shù)據(jù)加工、數(shù)據(jù)服務(wù)和存儲四大模塊。新系統(tǒng)共對接了近百個上下游業(yè)務(wù)系統(tǒng)，數(shù)新系統(tǒng)共對接了近百個上下游業(yè)務(wù)系統(tǒng)，數(shù)據(jù)覆蓋全行近230個業(yè)務(wù)產(chǎn)品、超3,000個交易場景；統(tǒng)集群資源約2,700個應(yīng)用虛擬節(jié)點、300個數(shù)據(jù)庫物理節(jié)點；遷移了原有多個系統(tǒng)近500TB的單副本存量數(shù)據(jù)，新系統(tǒng)多副本數(shù)據(jù)規(guī)模近PB級，最大數(shù)據(jù)表達上千億行記錄；日均加載上千個批量文本，最大離線分析規(guī)模為基于40億行原始明細產(chǎn)生約4億行指標結(jié)果數(shù)據(jù)，并為多個下游系統(tǒng)提供數(shù)據(jù)下傳和推送服務(wù)。數(shù)據(jù)應(yīng)用客戶信息數(shù)據(jù)湖ODS(N)→CDM→ADS(1)支付結(jié)算存款核心外圍系統(tǒng)消息中間件文件交換實時匯聚離線加載數(shù)據(jù)匯聚數(shù)據(jù)管道規(guī)?；钠髽I(yè)級數(shù)據(jù)應(yīng)用能力高效集約的企業(yè)級運營能力實時數(shù)據(jù)服務(wù)提升客戶體驗更為精細化的降本增效依托分布式和HTAP實現(xiàn)整體架構(gòu)躍遷實現(xiàn)上百個業(yè)務(wù)系統(tǒng)數(shù)百TB數(shù)據(jù)的整合與供給，支撐靈活多變的數(shù)據(jù)消費場景，提升內(nèi)部、外部、生態(tài)伙伴的多元化數(shù)據(jù)服務(wù)效率。支持運營需求共享，建立線上化、自動化、智能化的高效率、集中管控風險等方面實現(xiàn)飛躍。通過各類服務(wù)和訪問入口的整合高效地支持定制化、差異化服務(wù)和精準營銷，支撐基于同城雙活架構(gòu)，雙機房同時具備讀寫能力，在吞吐能力、彈度、資源使用率方面提升顯著,實現(xiàn)靈活高效的資源調(diào)配和精細化的降本增效。一套創(chuàng)新的HTAP數(shù)據(jù)庫替換了Oracle、MongoDB、Hive三套數(shù)據(jù)庫體系，驗證了MongoDB替換方案的可行性，實現(xiàn)了整體架構(gòu)的躍遷。實時數(shù)據(jù)服務(wù)平臺—金融行業(yè)實時HTAP場景實踐浙商銀行股份有限公司(簡稱“浙商銀行”)是12家全國性股份制商業(yè)銀行之一，致力于打造平臺化服務(wù)銀行，為客戶提供開放、高效、靈活、共享、極致的綜合金融服務(wù)。2020年，浙商銀行在英國《銀行家》雜志全球銀行1000強榜單中排名第97位。隨著浙商銀行業(yè)務(wù)的發(fā)展和數(shù)據(jù)量的激增，國外商業(yè)數(shù)據(jù)庫的數(shù)據(jù)處理和存儲能力短板逐漸暴露，原有的數(shù)據(jù)架構(gòu)體系不能滿足新業(yè)務(wù)場景的需求。浙商銀行在數(shù)據(jù)庫的選型上主要有幾方面的考慮：數(shù)據(jù)庫集群規(guī)模和單表容量無限制，大數(shù)據(jù)量規(guī)模下性能比較優(yōu)異，兼顧交易和實時分析場景，具備金融同業(yè)的應(yīng)用案例，同時擁有活躍的開源生態(tài)、豐富的工具及文檔。基于上述考量，浙商銀行選用TiDB來構(gòu)建分布式ODS(OptionalDataStore)平臺。等)的業(yè)務(wù)數(shù)據(jù)全部同步到TiDB.TiDB分布式架構(gòu)滿足各類上游異構(gòu)交易數(shù)據(jù)庫的持續(xù)接入，沒有容量限制。浙商銀行采