易鯨捷國產(chǎn)數(shù)據(jù)庫在銀行核心系統(tǒng)中的應(yīng)用實(shí)戰(zhàn)技術(shù)創(chuàng)新，變革未來數(shù)據(jù)庫技術(shù)發(fā)展趨勢(shì)分析12易鯨捷數(shù)據(jù)庫架構(gòu)簡述目錄CONTENTS3銀行核心業(yè)務(wù)應(yīng)用實(shí)戰(zhàn)國內(nèi)廠商大舉進(jìn)軍數(shù)據(jù)庫市場(chǎng)產(chǎn)+學(xué)+研開源技術(shù)、成熟社區(qū)企業(yè)+高校+政府投資由無到有基礎(chǔ)信息安全核心電子器件、高端通用芯片及基礎(chǔ)軟件產(chǎn)品傳統(tǒng)廠

商①互 聯(lián) 網(wǎng)②科技公

司③初創(chuàng)公

司④應(yīng)用廠

商⑤以技術(shù)創(chuàng)新推動(dòng)產(chǎn)業(yè)發(fā)展大量應(yīng)用系統(tǒng)廠商開始布局?jǐn)?shù)據(jù)庫產(chǎn)品研發(fā)informixDB2PostgreSQLNonStop

SQLSQL

ServerGreenplumverticaHadoop，HbaseMongoDB，RedisElasticsearch、SolrNeo4j，JanusGraphTeradataMysqlGE-IDSIBM-IMSIngresIBMSystem

R1961 1968 1973 1974Oracle1977 1981 1983 1986 1987 1988 1992 19952003200620072015易鯨捷孕育、誕生發(fā)展、成熟多架構(gòu)演進(jìn)InfluxDB、OpenTSDB201020131976年，JimGray發(fā)表了《Granularityof

Locksand

Degreesof

Consistencyinashared

database》1970年，Edgar

F.

Codd發(fā)表了《

大型共享數(shù)據(jù)庫數(shù)據(jù)的關(guān)系模型》互聯(lián)網(wǎng)

崛起大 數(shù) 據(jù)爆 發(fā)分布式No

SQL數(shù)據(jù)庫KV存儲(chǔ)格式非結(jié)構(gòu)化數(shù)據(jù)Scale-Out海量數(shù)據(jù)開源弱事務(wù)性傳統(tǒng)集中式關(guān)系型數(shù)據(jù)庫以“表”為單位結(jié)構(gòu)化數(shù)據(jù)Scale-Up數(shù)據(jù)規(guī)范化事務(wù)性ACID分布式關(guān)系型數(shù)據(jù)庫大數(shù)據(jù)場(chǎng)景關(guān)系型標(biāo)準(zhǔn)Scale-Out高性能SQL引擎ACID國產(chǎn)廠商進(jìn)軍數(shù)據(jù)庫華為中興阿里騰訊數(shù)據(jù)庫歷史與發(fā)展趨勢(shì)2019數(shù)據(jù)庫歷史與發(fā)展趨勢(shì)2014年Gartner的一份報(bào)告中使用混合事務(wù)分析處理(HTAP)一詞描述新型的應(yīng)用程序框架，以打破OLTP和OLAP之間的隔閡，既可以應(yīng)用于事務(wù)型數(shù)據(jù)庫場(chǎng)景，亦可以應(yīng)用于分析型數(shù)據(jù)庫場(chǎng)景。支持實(shí)時(shí)業(yè)務(wù)決策。這種架構(gòu)具有顯而易見的優(yōu)勢(shì)：不但避免了繁瑣且昂貴的ETL操作，而且可以更快地對(duì)最新數(shù)據(jù)進(jìn)行分析。這種快速分析數(shù)據(jù)的能力將成為未來企業(yè)的核心競爭力之一。HTAPHybrid

Transaction

and

AnalyticalProcess，混合事務(wù)和分析處理OLTP HTAP OLAP海量存儲(chǔ)大數(shù)據(jù)分析OLTP核心交易處理OLAP高性能分析非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)、查詢HTAP新一代 融合型分布式數(shù)據(jù)庫技術(shù)技術(shù)創(chuàng)新

“換道超車”，以分布式架構(gòu)實(shí)現(xiàn)對(duì)金融核心交易系統(tǒng)提供支撐能力。金融核心交易能力僅需對(duì)接一個(gè)數(shù)據(jù)庫廠商，維護(hù)一個(gè)數(shù)據(jù)庫專家團(tuán)隊(duì)，使用統(tǒng)一的開發(fā)框架，降低項(xiàng)目開發(fā)周期與綜合成本。綜合成本降低四合一的數(shù)據(jù)處理能力，去除傳統(tǒng)IT架構(gòu)中，數(shù)據(jù)庫軟件能力邊界狹窄，對(duì)業(yè)務(wù)功能產(chǎn)生的限制。突破服務(wù)“同質(zhì)化”支持高并發(fā)的數(shù)據(jù)采集，同時(shí)海量數(shù)據(jù)分析能力，突破傳統(tǒng)IT架構(gòu)數(shù)據(jù)遷移成本，實(shí)時(shí)數(shù)據(jù)分析。實(shí)時(shí)分析易鯨捷以分布式融合技術(shù)，開創(chuàng)數(shù)據(jù)庫發(fā)展新紀(jì)元數(shù)據(jù)庫技術(shù)發(fā)展趨勢(shì)分析12易鯨捷數(shù)據(jù)庫架構(gòu)簡述3銀行核心業(yè)務(wù)應(yīng)用實(shí)戰(zhàn)目錄CONTENTS易鯨捷信息技術(shù)有限公司數(shù)據(jù)庫核心研發(fā)經(jīng)驗(yàn)核心研發(fā)人員是來自HP的整建制大數(shù)據(jù)研發(fā)團(tuán)隊(duì)，曾創(chuàng)建、參與研發(fā)了NonStop

SQL、Neoview、SeaQuest等先進(jìn)的數(shù)據(jù)庫產(chǎn)品。30年23%政府投資占比易鯨捷是貴州大數(shù)據(jù)綜合試驗(yàn)區(qū)致力于數(shù)據(jù)庫研發(fā)的重點(diǎn)企業(yè)，貴州各級(jí)政府投資占股約23%，是不折不扣的混合所有制企業(yè)易鯨捷信息技術(shù)有限公司成立于2015年，總部設(shè)在貴州，并成立北京分公司和上海分公司，在貴陽、北京、上海三地均設(shè)有研發(fā)中心，各地具備完整的技術(shù)支持服務(wù)團(tuán)隊(duì)。易鯨捷是一家服務(wù)于全球市場(chǎng)的數(shù)據(jù)庫軟件研發(fā)公司，已經(jīng)成功進(jìn)入金融、電信、能源、互聯(lián)網(wǎng)等重要行業(yè)，提供數(shù)據(jù)庫技術(shù)支撐服務(wù)；貴陽北京上海三地研發(fā)中心與完整技術(shù)服務(wù)團(tuán)隊(duì)易鯨捷產(chǎn)品架構(gòu)——

Apache

基金會(huì)開源版頂級(jí)項(xiàng)目，供技術(shù)學(xué)習(xí)與探索2018年1月，由易鯨捷公司貢獻(xiàn)的開源數(shù)據(jù)庫Trafodion，在Apache社區(qū)成功畢業(yè)成為頂級(jí)項(xiàng)目，是一款具備高并發(fā)事務(wù)處理能力的分布式數(shù)據(jù)庫，證明易鯨捷的研發(fā)能力已經(jīng)得到世界權(quán)威技術(shù)機(jī)構(gòu)的認(rèn)可。Migration數(shù)據(jù)遷移工具KafkaCDC數(shù)據(jù)同步工具Designer數(shù)據(jù)開發(fā)工具DBmanager數(shù)據(jù)庫管理工具產(chǎn)品名稱定義增強(qiáng)功能面向業(yè)務(wù)場(chǎng)景QianBase金融高級(jí)版事務(wù)能力增強(qiáng)Oracle語法兼容99%金融核心交易系統(tǒng)金融級(jí)事務(wù)需求的其他業(yè)務(wù)場(chǎng)景EsgynDB企業(yè)基礎(chǔ)版分布式融合能力OLTP+OLAP+海量存儲(chǔ)+非結(jié)構(gòu)化數(shù)據(jù)海量數(shù)據(jù)分析、查詢，非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)高并發(fā)數(shù)據(jù)采集與實(shí)時(shí)分析的HTAP融合型業(yè)務(wù)智能融合計(jì)算引擎數(shù)據(jù)庫

主執(zhí)行器智能編譯優(yōu)化器事務(wù)管理器子執(zhí)行器行存儲(chǔ)表列存儲(chǔ)表列存儲(chǔ)表易鯨捷數(shù)據(jù)庫技術(shù)架構(gòu)分 布 式 文 件 系 統(tǒng)OLAP

并發(fā)執(zhí)行子執(zhí)行器子執(zhí)行器子執(zhí)行器OLTP操作OLAP

并發(fā)執(zhí)行多租戶資源管理器無論是高并發(fā)的交易處理，還是海量數(shù)據(jù)分析業(yè)務(wù)，用戶都可以通過一種數(shù)據(jù)庫架構(gòu)提供支撐。數(shù)據(jù)庫內(nèi)部會(huì)通過“智能優(yōu)化器”自動(dòng)識(shí)別不同類型的SQL，分配合適的執(zhí)行策略，保證任何業(yè)務(wù)都能快速、高效的進(jìn)行響應(yīng)。同時(shí)通過事務(wù)管理器與資源管理器配合，保證事務(wù)的一致性，不同用戶之間的計(jì)算任務(wù)資源隔離。高并發(fā)事務(wù)處理業(yè)務(wù) 海量數(shù)據(jù)分析業(yè)務(wù) 混合實(shí)時(shí)分析業(yè)務(wù)ODBCJDBC驅(qū)動(dòng)程序/數(shù)據(jù)庫連接服務(wù)原生分布式并行計(jì)算設(shè)計(jì)應(yīng)用系統(tǒng)Node

1Node

2Node

3Node

4MXOSRVR主執(zhí)行器DTM事務(wù)管理器存儲(chǔ)

層TRX事務(wù)日志CMP編譯器ES

PES

PES

PES

P計(jì)算

層MXOSRVR主執(zhí)行器DTM事務(wù)管理器存儲(chǔ)

層TRX事務(wù)日志CMP編譯器ES

PES

PES

PES

P計(jì)算

層MXOSRVR主執(zhí)行器DTM事務(wù)管理器存儲(chǔ)

層TRX事務(wù)日志CMP編譯器ES

PES

PES

PES

P計(jì)算

層MXOSRVR主執(zhí)行器DTM事務(wù)管理器存儲(chǔ)

層TRX事務(wù)日志CMP編譯器ES

PES

PES

PES

P計(jì)算

層虛擬IP

原生分布式：完全扁平化架構(gòu)負(fù)載均衡：數(shù)據(jù)庫內(nèi)部實(shí)現(xiàn)高可用：涉及所有功能組件Dcs-master 連接

層Dcs-serverDcs-masterDcs-server連接

層Dcs-master 連接

層Dcs-serverDcs-server連接

層完全透明的數(shù)據(jù)分片大表進(jìn)行分片存儲(chǔ)表A 表

BSalt

keySalting

/

分區(qū)

(隨機(jī),

范圍分區(qū),

…)GDCEFGEF按主鍵排序分散到集群小表不分片BAC含有多個(gè)列的集群主鍵自動(dòng)數(shù)據(jù)分布，無需分庫分表對(duì)業(yè)務(wù)完全透明、無侵入易鯨捷數(shù)據(jù)庫數(shù)據(jù)分片結(jié)構(gòu)Datanode

02Datanode

03Datanode

0416543Datanode

012164531264325第一副本第二副本第三副本RegionServerRegionMemStoreStoreFileHfileStoreLogHfileStore

MemStoreStoreFile……DFSclient12345

6Data

BlockRegionServerRegionMemStoreStoreFileHfileStoreHfileStore

MemStoreStoreFile……DFSclientData

Block…存儲(chǔ)引擎分布式文件系統(tǒng)性能保障：Memstore

+

Hlog

即為寫成功;數(shù)據(jù)均衡：以“數(shù)據(jù)塊”為單位，均勻的分布存儲(chǔ)到集群中，對(duì)應(yīng)用ogL 完全透明;數(shù)據(jù)安全：多副本跨節(jié)點(diǎn)、跨機(jī)柜分布，保證數(shù)據(jù)安全，硬件故障容災(zāi),保證業(yè)務(wù)連續(xù)性;易鯨捷數(shù)據(jù)庫技術(shù)特性兼容Oracle語法支持標(biāo)準(zhǔn)SQL92/99、2003

OLAP分析函數(shù)，兼容90%以上的Oracle操作語法。

易用 可視化工具提供一鍵遷移工具，可視化運(yùn)維管理工具。扁平化架構(gòu)，無主設(shè)計(jì)無需配置單獨(dú)的管理節(jié)點(diǎn)、事務(wù)節(jié)點(diǎn)，支持無限擴(kuò)展，不存在性能瓶頸，內(nèi)部負(fù)載均衡，無需LVS/F5等

原生 完全自主研發(fā)計(jì)算引擎不依賴Mysql、PostgreSQL等任何開源技術(shù)。數(shù)據(jù)分區(qū)自維護(hù)以分布式架構(gòu)實(shí)現(xiàn)技術(shù)創(chuàng)新、思維創(chuàng)新，無需維護(hù)復(fù)雜的分區(qū)表，降低開發(fā)、運(yùn)維工作量。

透明 數(shù)據(jù)分布透明無需用戶設(shè)置復(fù)雜的數(shù)據(jù)分布策略，減少人為操作造成的性能影響。打破業(yè)務(wù)“同質(zhì)化”困局去除傳統(tǒng)IT架構(gòu)中，數(shù)據(jù)庫軟件能力對(duì)業(yè)務(wù)功能的限制。

融合 HTAP四合一融合能力應(yīng)用僅需連接一個(gè)計(jì)算引擎。即獲得核心交易、分析查詢、大數(shù)據(jù)，以及影像數(shù)據(jù)存儲(chǔ)能力。同城雙活兩中心雙寫雙讀，RPO為0，支持異步復(fù)制、兩地三中心災(zāi)備。

安全

多副本，高可用支持跨機(jī)柜故障容錯(cuò)，并行備份，基于時(shí)間點(diǎn)的恢復(fù)，數(shù)據(jù)全局一致性。易鯨捷數(shù)據(jù)庫生態(tài)認(rèn)證數(shù)據(jù)庫技術(shù)發(fā)展趨勢(shì)分析12易鯨捷數(shù)據(jù)庫架構(gòu)簡述3銀行核心業(yè)務(wù)應(yīng)用實(shí)戰(zhàn)目錄CONTENTS貴陽銀行核心交易系統(tǒng)‘沙箱’

項(xiàng)目-國產(chǎn)數(shù)據(jù)庫銀行核心交易應(yīng)用驗(yàn)證以QianBase為支撐，構(gòu)建新核心“沙箱”系統(tǒng)，開發(fā)報(bào)文轉(zhuǎn)換器，將核心系統(tǒng)報(bào)文同步到新核心，100%并行執(zhí)行現(xiàn)有銀行核心業(yè)務(wù)；驗(yàn)證易鯨捷分布式數(shù)據(jù)庫在銀行核心交易系統(tǒng)穩(wěn)定性、準(zhǔn)確性、性能是否達(dá)標(biāo)。構(gòu)建沙箱1Qianbase與Oracle并行支撐，通過報(bào)文轉(zhuǎn)換平臺(tái)能夠秒級(jí)切換；初期以O(shè)racle為主庫，Qianbase為備庫運(yùn)行；穩(wěn)定運(yùn)行后，進(jìn)行切換，Qianbase為主庫，Oracle為備庫；在運(yùn)行一段時(shí)間之后，進(jìn)行Oracle下線，實(shí)現(xiàn)易鯨捷數(shù)據(jù)庫替換。雙庫運(yùn)行2實(shí)現(xiàn)全行業(yè)務(wù)系統(tǒng)基于易鯨捷分布式數(shù)據(jù)庫的落地支撐。全面支撐3核心系統(tǒng)-“沙箱”系統(tǒng)并行解決方案切換雙庫并行-對(duì)原核心業(yè)務(wù)系統(tǒng)“零”影響的“沙箱”驗(yàn)證方案現(xiàn)核心業(yè)務(wù)系

統(tǒng)ADR報(bào)文表新核心應(yīng)用系統(tǒng)新核心應(yīng)用系統(tǒng)新核心應(yīng)用系統(tǒng)新核心應(yīng)用系統(tǒng)硬件負(fù)載均衡-F5QianBase易鯨捷分布式數(shù)

據(jù)庫報(bào)文轉(zhuǎn)換平臺(tái)新核心

“沙箱”系統(tǒng)原核心系統(tǒng)新核心應(yīng)用系統(tǒng)新核心應(yīng)用系統(tǒng)新核心應(yīng)用系統(tǒng)新核心應(yīng)用系統(tǒng)硬件負(fù)載均衡-F5QianBase易鯨捷分布式數(shù)

據(jù)庫新核心

“同城災(zāi)備中心”同

城

雙

活

前置系統(tǒng)

圖

形

前

端

Json報(bào)文Xml報(bào)文原核心系統(tǒng)數(shù)據(jù)庫采發(fā)追核補(bǔ)控支持varchar*varchar，字符串類型的數(shù)值計(jì)算；支持systimestamp(n)；支持listagg()

within

group

()over()語法；支持order

by

..nullsfirst/last語法；支持oracle

to_char(xxx,‘99999999999999.99’)及相關(guān)語法；支持to_date('17-07-2018

09:44:57.196000',

'dd-mm-yyyy

hh24:mi:ss.ff’)及相關(guān)語法；支持to_char(,‘hh24miss’)

，to_char(,‘hh24missffn’)，to_char(,‘ff‘)等語法項(xiàng)目實(shí)施358天； 研發(fā)投入50

人； 功能兼容超過460次；從數(shù)據(jù)庫層面對(duì)應(yīng)用兼容，完成99%

Oracle操作語法兼容對(duì)象兼容：存儲(chǔ)過程、觸發(fā)器、函數(shù)、外鍵、序列…函數(shù)兼容:

to_date/listagg/sys_guid/正則表達(dá)式…語法兼容：Connect

By層次查詢、For

update…關(guān)鍵字兼容：rownum、rowed…事務(wù)隔離級(jí)別兼容：Read

committed、Repeatable

Read鎖支持：分布式鎖、悲觀鎖、表鎖、region鎖、行鎖項(xiàng)目實(shí)施過程項(xiàng)目實(shí)施成果2

0

20

年

4

月

1

日，

貴

陽

銀

行核

心

交

易

系

統(tǒng)

“

沙箱

”

項(xiàng)

目

正

式上

線

運(yùn)

行沙箱系統(tǒng)將交易平均耗時(shí)從500毫秒降低到200多毫秒，聯(lián)機(jī)實(shí)時(shí)交易處理效率比行方現(xiàn)有核心高3倍以上，批量業(yè)務(wù)處理效率比行方現(xiàn)核心高2倍以上，充分驗(yàn)證了易鯨捷數(shù)據(jù)庫在核心系統(tǒng)的技術(shù)能力。運(yùn)行情況穩(wěn)定運(yùn)行超過200天自2020年4月1日，項(xiàng)目正式上線，穩(wěn)定運(yùn)行至今，未出現(xiàn)任何故障。200天交易成功率達(dá)到99.999%自選項(xiàng)上線后，系統(tǒng)保持穩(wěn)定，交易成功率滿足實(shí)際業(yè)務(wù)需求.99.999%交易準(zhǔn)確率達(dá)到100%新核心QianBase數(shù)據(jù)庫，所有數(shù)據(jù)處理與原核心系統(tǒng)保證完全一致。100%核心系統(tǒng)賬戶數(shù)近2000萬貴陽銀行總資產(chǎn)規(guī)模達(dá)到5600億，在2019年末全國城商行中排名第八。2000萬新核心系統(tǒng)非功能性指標(biāo)（性能、穩(wěn)定性）交易名稱交易配比平均響應(yīng)時(shí)間(秒)平均TPS(筆/秒)成功率1賬戶信息查詢30.00%0.209399.313100%2通用記賬21.00%0.64989.111100%3交易明細(xì)查詢13.00%0.313117.537100%4交易成功性查詢6.00%0.044376.657100%5內(nèi)部賬戶信息查詢12.00%0.058552.851100%6個(gè)人現(xiàn)金取款4.00%0.53220.892100%7個(gè)人現(xiàn)金存款4.00%0.47223.241100%8卡憑證信息查詢5.00%0.24157.808100%9子賬戶序號(hào)查詢5.00%0.148100.428100%故障測(cè)試持續(xù)施壓300并發(fā)25002000150010005000450040003500300051020108120234139線性擴(kuò)展5000

TPSSQL平均響應(yīng)時(shí)間

<

2ms1000并發(fā)條件下，響應(yīng)時(shí)間小于500ms性能100%線性擴(kuò)展隨著集群規(guī)模增加，TPS線性增加模擬賬戶數(shù)10億進(jìn)行賬務(wù)類交易，平均超過200條SQL語句/次交易，20%寫操作TPS業(yè)務(wù)辦理ES

B電子渠道自助終端其它系統(tǒng)OracleQianBaseADDAL主核心業(yè)務(wù)系統(tǒng)綜合柜面OracleQianBaseADDAL統(tǒng)一支付支付外聯(lián)報(bào)文轉(zhuǎn)換平臺(tái)備（新）核心業(yè)務(wù)系統(tǒng)配置庫OracleQianBase報(bào)文采集代理MQ/ES

B中間件支付前置核心交易系統(tǒng)統(tǒng)一支付平臺(tái)圖形前端第一階段：該階段采用Oracle和易鯨捷數(shù)據(jù)庫雙庫并行，支持雙庫相互切換，該階段賬務(wù)數(shù)據(jù)以O(shè)racle為主，易鯨捷為輔。備庫1第二階段：該階段采用Oracle和易鯨捷數(shù)據(jù)庫雙庫并行，支持雙庫相互切換，該階段賬務(wù)數(shù)據(jù)以易鯨捷為主，Oracle為