1、2018TiDB 新一代分布式關(guān)系數(shù)據(jù)庫(kù) 金融行業(yè)創(chuàng)新實(shí)踐2015 年成立于北京100+ 員工核心產(chǎn)品研發(fā)均來(lái)自國(guó)內(nèi)外互聯(lián)網(wǎng)及數(shù)據(jù)庫(kù)研發(fā)領(lǐng)域一線PingCAP 是國(guó)內(nèi)第一家開(kāi)源的新型分布式 NewSQL 數(shù)據(jù)庫(kù)公司，秉承開(kāi)源是基礎(chǔ)軟件的未來(lái) 這一理念， PingCAP 持續(xù)擴(kuò)大社區(qū)影響力，致力于前沿技術(shù)領(lǐng)域的創(chuàng)新實(shí)現(xiàn)。其獨(dú)立研發(fā)項(xiàng)目 TiDB 靈感來(lái)自于 Google Spanner/F1，具備分布式強(qiáng)一致性事務(wù)、在線彈性水平擴(kuò)展、故 障自恢復(fù)的高可用、跨數(shù)據(jù)中心多活等核心 NewSQL 特性，是大數(shù)據(jù)時(shí)代理想的數(shù)據(jù)庫(kù)集群 和云數(shù)據(jù)庫(kù)解決方案。DB industry timelineinspi

2、red by Googles papersTiDB -快速崛起的開(kāi)源數(shù)據(jù)庫(kù)項(xiàng)目CNCF 基金會(huì)In the cloud, be the cloud高度活躍的開(kāi)發(fā)社區(qū)各個(gè)行業(yè)的用戶群TiDB architecture (OLTP workload)TiDB architecture (HTAP workload)tidb-server : overview無(wú)狀態(tài)的分布式 SQL 層MySQL 協(xié)議兼容針對(duì)分布式場(chǎng)景的執(zhí)行計(jì) 劃，優(yōu)化器計(jì)算下推 / MPPOnline DDL業(yè)務(wù)不中斷，進(jìn)行表結(jié) 構(gòu)變更復(fù)雜計(jì)算 JOINHash / Sort Merge/ Index Lookup JOIN并行執(zhí)

3、行引擎tidb-server : perf. booststikv-server : overviewtikv-server : distributed data modelingCrossing multiple datacentertispark : overviewComplex Calculation PushdownKey Range pruningIndex supportClustering index / Secondary indexCovering Index SupportCost Based OptimizationHistogramPick up right Acce

4、ss PathOn Spark DriverTranslate metadata from TiDB into Spark meta infoTransform Spark SQL logical plan, pick up elements to be leverage by storage (TiKV) and rewrite the planLocate Data based on Region info from Placement Driver and split partitions;On Spark ExecutorEncode Spark SQL plan into TiKVs

5、 coprocessor requestDecode TiKV / Coprocessor result and transform result into Spark SQL RowsTiDB 生態(tài)工具M(jìn)ySQL 兼容性TiDB 是 MySQL 兼容的，MySQL 社區(qū)所有的周邊工具都可以使用（驅(qū)動(dòng)、管理工具、應(yīng)用框架），比如 myloader /mydumper / MySQL JDBC Driver / Navicat / Workbench / WordPress / 主流 ORM 框架 等。數(shù)據(jù)遷移MydumperTiDB Loader(邏輯加載)全量導(dǎo)出：建議使用 Mydumper

6、 進(jìn)行 MySQL 數(shù)據(jù)庫(kù)的導(dǎo)出（多線程導(dǎo)出）全量導(dǎo)入：建議使用 PingCAP 提供的 Loader 進(jìn)行數(shù)據(jù)導(dǎo)入（支持?jǐn)帱c(diǎn)續(xù)傳、錯(cuò)誤重試） 導(dǎo)入速度：約 29GB/Hour數(shù)據(jù)遷移TiDB Lightning(物理加 載)高性能數(shù)據(jù)加載：將外部格式化數(shù)據(jù)文件，直接轉(zhuǎn)化成存儲(chǔ)引擎物理格式，流方式加載。 導(dǎo)入速度：1TB 約 3 Hour數(shù)據(jù)實(shí)時(shí)同步TiDB SyncerTiDB Syncer 可以實(shí)時(shí)讀取 MySQL 的 binlog 作為 MySQL 的 Slave，便于用戶同步對(duì)比 TiDB 的各種性能，利于用戶 的同步測(cè)試、驗(yàn)證、平滑上線。TiDB Syncer 同時(shí)支持正則表達(dá)式，可

7、以把已經(jīng)分庫(kù)分表后的 MySQL 合并同步到一個(gè) TiDB 集群。數(shù)據(jù)實(shí)時(shí)備份TiDB binlogTiDB binlog 具備開(kāi)放接口（protobuf），可以同時(shí)輸出到 MySQL、TiDB 或者其他數(shù)據(jù)存儲(chǔ)，安全備份的同時(shí)，給用 戶最大的自由度，避免 Vendor-Lockin實(shí)時(shí)復(fù)雜分析和查詢TiSparkTiSpark 是 PingCAP 推出的為了解決用戶復(fù)雜 OLAP 需求的產(chǎn)品。借助 Spark 平臺(tái)本身的優(yōu)勢(shì)，同時(shí)融合 TiKV 分布式集群的優(yōu)勢(shì)，和 TiDB 一起為用戶一站解決 HTAP （Hybrid Transactional / Analytical Processi

8、ng）需求。云數(shù)據(jù)庫(kù)接口TiDB-OperatorTiDB-Operator 把 TiDB 和 Kubernetes 連接在一起。借助 TiDB-Operator，使得 K8S 可以調(diào)度有狀態(tài)的服務(wù)，能方便 快捷的同公有云 / 私有云 進(jìn)行整合，提供 DBaaS 服務(wù)。文檔類型存儲(chǔ)JSONTiDB 支持 JSON 類型的字段，同時(shí)以生成列（generated column）的方式為 JSON 文檔內(nèi)部的字段建立索引。用戶可 以很靈活地處理那些 schema 不確定的業(yè)務(wù)，同時(shí)不必受限于傳統(tǒng)文檔數(shù)據(jù)庫(kù)糟糕的讀性能及匱乏的事務(wù)支持。TiDB 典型應(yīng)用場(chǎng)景海量數(shù)據(jù)高并發(fā) OLTP 系統(tǒng)不再分庫(kù)分表，

9、不再使用妥協(xié)的數(shù)據(jù)庫(kù)中間件，業(yè)務(wù)不再受制于基礎(chǔ)架構(gòu)海量數(shù)據(jù)高性能實(shí)時(shí)分析兼容 MySQL，大數(shù)據(jù)量下比 MySQL 快 12 個(gè)數(shù)量級(jí)的融合 OLTP 和 OLAP 的 HTAP數(shù)據(jù)庫(kù)多源高吞吐匯總與實(shí)時(shí)計(jì)算多源（數(shù)十至數(shù)百異構(gòu)數(shù)據(jù)源）高吞吐（數(shù)十萬(wàn) QPS）匯聚寫入 AD-Hoc 準(zhǔn)實(shí)時(shí)查詢實(shí)時(shí)數(shù)倉(cāng)通過(guò) TiSpark 無(wú)縫連接 Spark，無(wú)需 ETL，提供實(shí)時(shí)的大規(guī)模復(fù)雜 OLAP 分析查詢能力。金融級(jí)別多數(shù)據(jù)中心多活故障自動(dòng)恢復(fù)、無(wú)需人工介入的真正意義上的高可用云數(shù)據(jù)庫(kù)（DBaaS）同 Kubernetes、Docker 等容器技術(shù)完美整合，自動(dòng)調(diào)度有狀態(tài)的服務(wù)TiDB 獲得金融行業(yè)高度關(guān)注的主要原因金融行業(yè)典型應(yīng)用場(chǎng)景營(yíng)銷平臺(tái)在線交易支付交易量化交易數(shù)據(jù)中臺(tái)在線信貸賬戶賬務(wù)財(cái)務(wù)分析實(shí)時(shí)風(fēng)控金融征信交易稽核清結(jié)算區(qū)塊鏈金融數(shù)據(jù)云主集群5