分布式數(shù)據(jù)庫OceanBase

架構(gòu)演進與業(yè)務(wù)場景實踐架構(gòu)升級以及背后的故事核心特性以及原理解讀OceanBase在企業(yè)場景落地實踐進一步開源開放的OceanBase生態(tài)目錄架構(gòu)升級以及背后的故事OceanBase發(fā)展歷程及構(gòu)架演進V1.0分布式事務(wù)，多租戶，一體化V0.1合V2.0~V3.0高兼容（+oracle）高性能（TPCC、TPCH）混合負(fù)載V4.0單機分布式一體化ZoneOBServerOBServerZoneOBServerOBServerZoneOBServerOBServer分布式，三副本高可用，松耦SQL

SQL

SQLChunkServerUpdateServerUpdateServerUpdateServerOBServerOBServerOBServerOBServer2016201020182022ZoneOB-MySQLOB-OracleZoneOB-MySQLOB-OracleZoneOB-MySQLOB-Oracle分布式架構(gòu)多副本：一般部署為三/五個Zone，每個Zone由多個服務(wù)器節(jié)點（OBServer）組成對等節(jié)點：每個節(jié)點均有自己的SQL引擎和存儲引擎，自主管理各自承載的數(shù)據(jù)分區(qū)，TCP/IP互通，協(xié)同服務(wù)無需存儲設(shè)備共享：數(shù)據(jù)分布在各個節(jié)點上，不基于任何設(shè)備級共享存儲技術(shù)，不需要SAN網(wǎng)絡(luò)分區(qū)級可用性：分區(qū)是可靠性與擴展性的基本單元，自動實現(xiàn)訪問路由、策略驅(qū)動負(fù)載均衡、自主故障恢復(fù)高可用+強一致：多副本+Paxos分布式協(xié)議的高效高可靠工程實現(xiàn)，確保數(shù)據(jù)（日志）持久化在多數(shù)派節(jié)點成功無共享架構(gòu)+Paxos協(xié)議+分區(qū)級高可用P1P2P4OBServerZONE_1P5P6P8OBServerP7P1P3P4OBServerZONE_2P5P6P8OBServerP7P1P3P2OBServerZONE_3P5P6P8OBServerP7OBProxyOBProxyOBProxyAPPAPPAPPP3P2P4Paxos

GroupOceanBase

三副本架構(gòu)核心特性以及原理解讀什么是單機分布式一體化數(shù)據(jù)庫？單機、主備、分布式架構(gòu)動態(tài)轉(zhuǎn)換P5P5P7P5P7基于Paxos復(fù)制的日志流，RPO=0，RTO<8sP2P4P1P0P1P0P1P0P2P4P2P4弱一致性讀寫操作讀操作ZONE_1OBServerSQLZONE_2OBServerSQLZONE_3OBServerSQLOBServerSQLOBServerSQLOBServerSQLP6P8P6P8P7P6P8SQL路由驅(qū)動/OBProxy小業(yè)務(wù)初創(chuàng)企業(yè)大規(guī)模業(yè)務(wù)大型企業(yè)OBServerSQLStorageOBServerSQLStorage更大規(guī)格的單機主備庫中等規(guī)模業(yè)務(wù)ZONE_1OBServerSQLStorageZONE_2OBServerSQLStorageZONE_3OBServerSQLStorageStorageStorage主庫OBServerSQL備庫OBServerSQL三副本垂直擴展無損容災(zāi)讀寫分離中等規(guī)模企業(yè)不為你不需要的特性買單：你為什么需要分布式數(shù)據(jù)庫？架構(gòu)升級-主備模式像使用MySQL一樣使用OceanBase（租戶主備）典型場景介紹單副本高可用架構(gòu)高網(wǎng)絡(luò)延遲架構(gòu)方案價值不再需要中間介質(zhì)來實現(xiàn)租戶級別主備RTO秒級、RPO秒級主備獨立，互不感知3.X架構(gòu)局限性-paxos選舉開銷極端場景測試3.x架構(gòu)下，選舉就會消耗不少的CPU

資源，小規(guī)格資源無法承擔(dān)業(yè)務(wù)測試場景一測試場景二“從大到小”，不僅僅是架構(gòu)變小，更要解決在小規(guī)格配置時流暢的使用OceanBase分布式事務(wù)現(xiàn)象：參與者的數(shù)量變多的時候，到4個時，性能大概會減半；當(dāng)參與者到100個的時候，性能會再減半；結(jié)論：參與者的數(shù)量越多，事務(wù)的性能就會越差。4.X如何解決合并日志流降低選舉開銷Paxos

group、分區(qū)降低分布式事務(wù)開銷單機多分區(qū)、跨機核心：日志流數(shù)量太多目標(biāo)：單機單日志流就像MySQL

一樣架構(gòu)升級-單日志流3.X

分區(qū)與日志流高度耦合4.X

分區(qū)與日志流解耦場景1、數(shù)據(jù)量大造成分區(qū)數(shù)量巨大（建議5-8w）2、頻繁創(chuàng)建、刪除和truncate表和分區(qū)等問題1、系統(tǒng)開銷（狀態(tài)機）：網(wǎng)絡(luò)、CPU、內(nèi)存等2、性能損失：多分區(qū)兩階段提交單個日志流可服務(wù)多個分區(qū)優(yōu)化后1、開銷?。ㄈ罩玖鲾?shù)量非常?。?、日志流內(nèi)一階段提交單機分區(qū)達(dá)到百萬級別性能、資源、穩(wěn)定性進一步提升更多優(yōu)化存儲層元數(shù)據(jù)按需加載大數(shù)據(jù)結(jié)構(gòu)內(nèi)存按需擴張優(yōu)化內(nèi)存減少不必要的后臺線程數(shù)量按需降低后臺線程掃描頻率優(yōu)化CPU增強自動改寫，生成更好計劃優(yōu)化執(zhí)行引擎，提升執(zhí)行效率優(yōu)化SQL資源占用更小，執(zhí)行更快性能表現(xiàn)與對比小規(guī)格下性能表現(xiàn)優(yōu)于MySQL結(jié)論：Insert、update性能是MySQL的2倍，其他項與MySQL相當(dāng)甚至更好存儲收益結(jié)論：OB

4.0存儲成本只有MySQL/Cockroach

DB

1/4左右；另外一個是rocksDB，OB的成本也只有它的一半左右。功能特性完全自主研發(fā)的數(shù)據(jù)庫，才能做到核心替代的真正落地自研一體化架構(gòu)兼容經(jīng)典模式，實現(xiàn)單機和分布式、TP和AP的融合★原生分布式全量數(shù)據(jù)校驗真正實現(xiàn)數(shù)據(jù)強一致，數(shù)據(jù)不丟失，高可用，平滑擴展★單機分布式一體化自研一體化架構(gòu)突破高性能和高可用，實現(xiàn)應(yīng)用無限擴展和服務(wù)永遠(yuǎn)在線★

HTAP一份數(shù)據(jù)既能做事務(wù)處理又能實時分析，通過HTAP助力拓展更多可能★MySQL平滑遷移業(yè)務(wù)少量修改甚至不改即可遷移到OB，自動評估和遷移工具★低成本基于LSM-Tree的高壓縮引擎平衡了“性能”和“壓縮”的瓶頸，有效降低存儲成本70%-90%★多租戶資源隔離按需使用，靈活管理，適合微服務(wù)架構(gòu)和SaaS

行業(yè)應(yīng)用—原生多租戶架構(gòu)—Oracle兼容MySQL兼容—HTAP引擎（

TP+AP)—SQL優(yōu)化引擎—集中式/分布式一體化架構(gòu)—并行執(zhí)行引擎存儲過程分布式存儲分布式事務(wù)分布式調(diào)度單機房三副本—基于Paxos+數(shù)據(jù)同步的靈活的容災(zāi)架構(gòu)—同城三機房

雙機房主備

兩地三中心三地五中心—靈活的部署模式—物理部署專有云/混合云公有云/多云OceanBase在企業(yè)場景落地實踐六大典型場景解決方案歷史庫低成本|生命周期自動管理|超大容量通過OceanBase智能化的歷史庫遷移平臺，幫助用戶快速、安全的完成冷數(shù)據(jù)歸檔，一次配置即可自動管…過OceanBase的分布式多租戶架構(gòu)，實現(xiàn)基于面向服務(wù)（SOA）的多數(shù)據(jù)庫資源整合。多租戶資源池化|降低成本7x24不停機高可異用地多活|單元化丨極致彈性O(shè)ceanBase通過強大的異地部署能力和靈活的副本變換以及負(fù)載均衡能力，幫助企業(yè)在關(guān)鍵核心場景中構(gòu)建…高并發(fā)分庫分表聚合庫|極速擴展|彈性擴所容基于OceanBase的在線擴縮容能力和高并發(fā)低延遲特性，快速應(yīng)對業(yè)務(wù)負(fù)載變化，支撐業(yè)務(wù)高速發(fā)展實時數(shù)倉極低延遲|極簡架構(gòu)|海量存儲集數(shù)據(jù)加工處理以及數(shù)據(jù)即時查詢于一體的OceanBase原生分布式HTAP據(jù)庫解決方案，為業(yè)務(wù)提供實時數(shù)倉支撐OBKV低成本|平滑替代|更高性能平滑替代HBase業(yè)務(wù),大幅提升性能,節(jié)省大量HBase相關(guān)組件,統(tǒng)一技術(shù)棧,降低運維成本.典型場景一:歷史庫（高級壓縮技術(shù)）數(shù)據(jù)壓縮是降低海量數(shù)據(jù)存儲空間占用的關(guān)鍵手段。OceanBase高壓縮比的分布式存儲引擎，摒棄了傳統(tǒng)數(shù)據(jù)庫的定長數(shù)據(jù)塊存儲，采用基于LSM-Tree的存儲架構(gòu)和自適應(yīng)壓縮技術(shù)，創(chuàng)造性的解決了傳統(tǒng)數(shù)據(jù)庫無法平衡“性能”和“壓縮比”的難題，并基于數(shù)據(jù)日志分離方法的分布式存儲技術(shù)，進一步降低存儲成本，實現(xiàn)了高性能和低存儲成本?；贚SM-Tree的存儲引擎，利用編碼壓縮大大降低存儲成本?；跀?shù)據(jù)變長-定長的存儲壓縮技術(shù)通過使用壓縮率較高且解壓縮較快的壓縮算法對數(shù)據(jù)進行壓縮，提高數(shù)據(jù)壓縮倍率，減少數(shù)據(jù)的存儲成本。同時由于LSM-Tree的結(jié)構(gòu)特性，采用讀寫分離設(shè)計和行級細(xì)粒度記錄更新，變更數(shù)據(jù)保存在內(nèi)存中，并批量寫入到磁盤上。因此能達(dá)到內(nèi)存數(shù)據(jù)庫級寫入性能和磁盤數(shù)據(jù)庫的存儲成本，并消除了傳統(tǒng)B+Tree的磁盤隨機寫瓶頸和存儲空間碎片化問題，使得數(shù)據(jù)寫入性能比傳統(tǒng)的實時更新數(shù)據(jù)塊的方式更高?；跀?shù)據(jù)編碼的存儲壓縮技術(shù)采用行列混合存儲格式，磁盤數(shù)據(jù)塊按列組織，自研一套對數(shù)據(jù)庫進行行列混存編碼的壓縮方法（encoding），使用行列的字典、差值、前綴等編碼算法，在通用壓縮算法之前對數(shù)據(jù)做了編碼壓縮，從而帶來更大的壓縮率。基于數(shù)據(jù)日志分離的低成本存儲技術(shù)傳統(tǒng)的Paxos協(xié)議中，系統(tǒng)需要三個副本（五副本），OceanBase數(shù)據(jù)庫將用戶數(shù)據(jù)和日志數(shù)據(jù)分離，比如日志數(shù)據(jù)基于Paxos協(xié)議使用三副本（五副本）存儲，而用戶數(shù)據(jù)本身可以使用兩副本（三副本/四副本）進行存儲。在保障相同可用性的前提下，數(shù)據(jù)日志分離可節(jié)省20%-40%的用戶數(shù)據(jù)存儲成本。同一業(yè)務(wù)的數(shù)據(jù)存儲量OceanBase僅為MySQL數(shù)據(jù)庫的1/8-1/10顯著提升業(yè)務(wù)系統(tǒng)穩(wěn)定性、安全性有效降低存儲成本70%-90%多級轉(zhuǎn)儲提升寫性能熱點緩存基線數(shù)據(jù)CLog落盤

Paxos同步OLTP應(yīng)用讀數(shù)據(jù)合并時統(tǒng)一壓縮轉(zhuǎn)儲數(shù)據(jù)OLTP應(yīng)用寫數(shù)據(jù)MemTable顯著降低存儲成本支撐OLTP業(yè)務(wù)在線高壓縮比LSM-Tree架構(gòu)、動態(tài)修改寫內(nèi)存、靜態(tài)數(shù)據(jù)無修改；批量寫高壓縮支持、強數(shù)據(jù)校驗、對SSD友好無隨機寫。內(nèi)存

硬盤典型場景一:歷史庫

300+

套MySQL平滑遷移

200

運維更便捷75%存儲成本降低業(yè)務(wù)挑戰(zhàn)擴展性不足：隨著訂單業(yè)務(wù)量的增加，業(yè)務(wù)數(shù)據(jù)迅猛增長，傳統(tǒng)數(shù)據(jù)庫的存儲瓶頸以及性能不佳問題越來越明顯；數(shù)據(jù)量大：業(yè)務(wù)數(shù)據(jù)量在OceanBase單集群達(dá)到百T級別，同時單表大小達(dá)到10

T級別以上，同時存在大量數(shù)據(jù)進行聚合，有復(fù)雜的AP請求業(yè)務(wù)特征極端：數(shù)據(jù)量百T級別，讀寫請求峰值QPS百萬級別穩(wěn)定性要求高：業(yè)務(wù)要求返回延遲為ms級，如無法在規(guī)定時間 內(nèi)完成，影響核對結(jié)果，同時系統(tǒng)出現(xiàn)故障或者請求異常抖動時， 會產(chǎn)生資損，與錢掛鉤解決方案 OceanBase同城三機房部署架構(gòu)，實現(xiàn)RPO=0，RTO<30秒的容災(zāi)能力；同時又可以在異地增加一個只讀Zone提供本地的讀服務(wù)，提升查詢效率。同城容災(zāi)以及本地讀等功能為業(yè)務(wù)提供穩(wěn)定性和性能雙重保障。 OceanBase具備靈活的資源擴展能力，根據(jù)業(yè)務(wù)實際發(fā)展情況可以動態(tài)的進行計算和存儲能力的線性擴展，支撐海量數(shù)據(jù)的存儲和計算，同時很好地應(yīng)對未來的業(yè)務(wù)增長要求。 相比傳統(tǒng)的集中式數(shù)據(jù)庫MySQL，OceanBase在存儲層面極致的壓縮能力，有效降低企業(yè)使用數(shù)據(jù)庫的硬件成本。運維更加高效與便捷：單集群替換300+套MySQL環(huán)境，運維管理成本大大降低，同時管理更加方便。低成本：支撐上百TB數(shù)據(jù)存儲場景且性能和穩(wěn)定性有保證，同時相比較之前的方案，OceanBase方案的存儲成本降低75%，降本效果明顯。架構(gòu)收益明顯：使用OceanBase替換掉ES+MySQL方案之后，替換掉ES服務(wù)，同時MySQL機器成本縮減一半，整體節(jié)省50臺機器一套OCP管理OceanBase集群8套，OBServer節(jié)點數(shù)超過200個收益insertquery···OceanBaseMySQLMySQLMySQL典型場景二：多租戶（對碎片化資源進行整合）???大集群：將長尾應(yīng)用的多實例MySQL、多業(yè)務(wù)統(tǒng)一進行管理，有效提高資源密度，消除存儲碎片。多租戶：實現(xiàn)數(shù)據(jù)庫內(nèi)核級虛擬化（CPU、IO、內(nèi)存），滿足數(shù)據(jù)安全隔離的同時，提供基于業(yè)務(wù)畫像的可伸縮計算資源，同時通過Leader打散實現(xiàn)混部。通過提升資源密度的方式，實現(xiàn)滿足相同業(yè)務(wù)需求的情況下，降低資源成本大集群&

多租戶典型場景二：Saas服務(wù)每個應(yīng)用租戶擁有專屬的資源池8c32g4c16gCPU內(nèi)存存儲2c8gCPU內(nèi)存存儲資源隔離、數(shù)據(jù)隔離、彈性調(diào)整OceanBase

集群資源隔離、靈活管理原生多租戶架構(gòu)，一個集群中同時運行多個數(shù)據(jù)庫租戶，每個租戶可以視為一個獨立的數(shù)據(jù)庫服務(wù)。租戶間數(shù)據(jù)和資源互相隔離，并且在集群內(nèi)統(tǒng)一調(diào)度。支持在創(chuàng)建租戶時選擇不同的兼容模式，每個租戶可單獨配置數(shù)據(jù)副本數(shù)量、副本類型、存儲位置及計算資源等。適合微服務(wù)架構(gòu)隨著企業(yè)內(nèi)業(yè)務(wù)系統(tǒng)越來越復(fù)雜，原來的單體服務(wù)在工程和管理上變的越來越不堪重負(fù)。使用微服務(wù)架構(gòu)，新增和調(diào)整功能只需要增加新的微服務(wù)節(jié)點。但是每個微服務(wù)需要使用不同的數(shù)據(jù)庫，數(shù)據(jù)庫的數(shù)量大大增加，可靠性和運維管理都帶來了挑戰(zhàn)。使用OceanBase多租戶特性，管理員只需要運維少量集群，既能保證租戶之間數(shù)據(jù)和資源互相隔離，又提升了數(shù)據(jù)庫的穩(wěn)定性。適合多租戶SaaS服務(wù)云上的SaaS服務(wù)商，往往提供的是多租戶的服務(wù)。多個業(yè)務(wù)租戶的數(shù)據(jù)庫如果在一個單機數(shù)據(jù)庫中做邏輯名字空間隔離，大小租戶之間互相影響。如果每個業(yè)務(wù)租戶使用一個獨立的數(shù)據(jù)庫，成本高，幾十到上百套分散數(shù)據(jù)庫環(huán)境，運維工作復(fù)雜，同時擴展性受限。使用OceanBase數(shù)據(jù)庫內(nèi)原生多租戶，能更好地平衡隔離性和成本，而且大小租戶可以獨立擴縮容。零售Saas

場景CPU內(nèi)存存儲大型一套應(yīng)用需要支撐上百不同規(guī)模商家中型小型典型場景二：錯峰超賣3個1C，8G租戶考勤系統(tǒng)

6:30~6:45制造系統(tǒng)

7:00~12:0013:00~19:00食堂系統(tǒng)

12:00~13:00從硬件方面考慮，OceanBase的優(yōu)勢降本在于超賣，各系統(tǒng)錯峰使用超分資源。不同租戶之間的彈性可以分時復(fù)用，提升資源利用率適合多租戶錯峰服務(wù)假設(shè)對應(yīng)以上三個系統(tǒng)，高峰期使用的資源都需要4C，8G，如果使用MySQL，需要為三個業(yè)務(wù)系統(tǒng)都分配3個4C

8G規(guī)格的資源；如果使用OceanBase，只需要分配三個1C，8G的租戶，余3個CPU資源可以共享；另外，如果開啟OceanBase的讀寫分離特性，CPU資源還能進一步充分利用。典型場景3:極致高可用-基于paxos的多副本架構(gòu)Raft：順序同步，不允許出現(xiàn)空洞，實現(xiàn)簡單DB1DB2DB3Paxos：亂序同步，允許出現(xiàn)空洞，實現(xiàn)復(fù)雜DB1DB2DB3多數(shù)派投票協(xié)議，包含leader、follower等角色每個事務(wù)成功寫入需要滿足超過大多數(shù)節(jié)點RPO=0；RTO<8s強主模式，leader讀/寫，可開啟弱一致性讀Paxos

or

Raft

?是否允許日志空洞？應(yīng)對復(fù)雜網(wǎng)絡(luò)環(huán)境，更為魯棒并發(fā)寫入性能更佳！Paxos典型場景3:極致高可用-數(shù)據(jù)校驗（物理&邏輯）保證底層數(shù)據(jù)正確讀取最小單位是微塊,寫最小單位是宏塊；讀取時,會校驗微塊校驗和遷移/備份時,會校驗宏塊校驗和；后臺周期性巡檢宏塊校驗和SSTable累計行校驗和SSTable列校驗和合并時:索引列列校驗和和主表列的列校驗和進行比較副本之間的行校驗和和列校驗和進行比較內(nèi)置多種強校驗機制，能夠自動發(fā)現(xiàn)多副本數(shù)據(jù)的不一致、網(wǎng)絡(luò)數(shù)據(jù)錯誤、磁盤靜默錯誤、索引與主表的不一致錯誤等，保證數(shù)據(jù)可靠。典型場景3:極致高可用-基于架構(gòu)的高可用解決方案兩地三中心混合云三地五中心主備庫雙主

大幅降低

硬件成本

75%

服務(wù)器資源利用率

5

級容災(zāi)

金融行業(yè)容災(zāi)標(biāo)準(zhǔn)業(yè)務(wù)挑戰(zhàn)容災(zāi)標(biāo)準(zhǔn)高：理財業(yè)務(wù)支撐著企業(yè)客戶萬億級別的資產(chǎn)， 需要滿足7x24小時持續(xù)服務(wù)，高可用容災(zāi)要求達(dá)到5級。建設(shè)成本高：原有業(yè)務(wù)系統(tǒng)基于傳統(tǒng)大機和DB2數(shù)據(jù)庫的 封閉模式運行架構(gòu)，業(yè)務(wù)容災(zāi)系統(tǒng)建設(shè)成本高昂。備機房資源浪費：近年來隨著業(yè)務(wù)并發(fā)量的不斷增加，數(shù) 據(jù)庫系統(tǒng)處理能力不足的問題凸顯。冷備機房隨時待命但 不提供數(shù)據(jù)服務(wù)，資源利用率低。解決方案OceanBase支持?jǐn)?shù)據(jù)多副本，節(jié)點間通過Paxos協(xié)議同步，實現(xiàn)集群高可用和多地災(zāi)備。結(jié)合中國工商銀行實際情況，搭建跨“兩地三中心”的分布式集群，以“五副本+主備”模式進行部署。集群統(tǒng)一管理調(diào)度所有服務(wù)器資源，實時動態(tài)計算，將業(yè) 務(wù)負(fù)載調(diào)度到最空閑合理的服務(wù)器上運行。故障管理服務(wù) 自動排查故障機器，調(diào)度事務(wù)到健康機器上執(zhí)行，保證全 局事務(wù)強一致性，無需人工干預(yù)。數(shù)據(jù)庫服務(wù)器資源利用率達(dá)到75%，在系統(tǒng)處理能力遭遇瓶頸時，可進行便捷的水平擴展，增加集群計算資源來提升處理能力。實現(xiàn)數(shù)據(jù)庫同城雙活、異地RPO=0。機房級容災(zāi)達(dá)到RPO=0，RTO<30s，即故障發(fā)生后，從IT系統(tǒng)宕機導(dǎo)致業(yè)務(wù)停頓到系統(tǒng)恢復(fù)至可以支持各部門的運作時間，少于30秒。達(dá)到工商銀行5級容災(zāi)要求，滿足7x24小時服務(wù)要求。提升高可用水平，為業(yè)務(wù)提供強連續(xù)性保障，支撐萬億級資金交易，并且在保證系統(tǒng)性能和穩(wěn)定性的前提下，有效降低了成本。系統(tǒng)從大型主機下移到國產(chǎn)化ARM服務(wù)器，降低整個系統(tǒng)的投入成本。國產(chǎn)服務(wù)器+國產(chǎn)操作系統(tǒng)+完全自研的分布式數(shù)據(jù)庫，實現(xiàn)核心系統(tǒng)的分布式改造。收益典型場景3:極致高可用極致高可用支撐7x24無停機典型場景四：高并發(fā)訪問-原生分布式OceanBase使用普通服務(wù)器和數(shù)據(jù)中心網(wǎng)絡(luò)組成的Shared-nothing集群部署，無需基于專用網(wǎng)絡(luò)環(huán)境的SAN存儲設(shè)備。集群原生自動管理計算資源和存儲資源的分配和動態(tài)資源均衡。支持彈性水平或垂直擴縮容，讀寫性能可線性擴展。所有服務(wù)節(jié)點都支持SQL計算和數(shù)據(jù)存儲，每個節(jié)點自主管理所服務(wù)的分區(qū)數(shù)據(jù)。整個集群只有一種數(shù)據(jù)庫服務(wù)進程，無外部服務(wù)依賴，運維管理簡單。對外提供統(tǒng)一的數(shù)據(jù)庫服務(wù)，支持ACID事務(wù)和全局索引，對應(yīng)用開發(fā)來說與單機無異。容災(zāi)能力是關(guān)鍵業(yè)務(wù)系統(tǒng)的重要衡量指標(biāo)，原生分布式在設(shè)計之初就假定硬件是不可靠的，每個模塊的設(shè)計和實現(xiàn)都在細(xì)節(jié)處考慮容災(zāi)和主動防御。支持多個數(shù)據(jù)副本分散存儲在不同地域，實現(xiàn)跨地域的容災(zāi)部署。在強一致事務(wù)的保護下，數(shù)據(jù)修改在多個地域保證成功提交，因此當(dāng)災(zāi)難發(fā)生時，數(shù)據(jù)不會丟失，達(dá)到國家標(biāo)準(zhǔn)定義的最高級別容災(zāi)標(biāo)準(zhǔn)。高可用性是系統(tǒng)某些組件故障時持續(xù)提供服務(wù)的能力。OceanBase分布式選舉協(xié)議在故障發(fā)生時進行自主選舉。少數(shù)派節(jié)點發(fā)生宕機時，支持快速無損自動切換，達(dá)到RTO<8秒的自動故障恢復(fù)指標(biāo)。基于Paxos協(xié)議和多類型副本能力，OceanBase支持多種適應(yīng)于不同場景的故障容災(zāi)方案。彈性擴縮容數(shù)據(jù)一致性、平滑擴展、高可用數(shù)據(jù)高可靠服務(wù)高可用超越6級國標(biāo)災(zāi)難恢復(fù)能力，同一中心數(shù)據(jù)庫異常、跨數(shù)據(jù)中心中斷時數(shù)據(jù)不丟失，業(yè)務(wù)不停機平滑擴展應(yīng)用透明的水平擴展，自動負(fù)載均衡，集群規(guī)?？蛇_(dá)數(shù)千節(jié)點City

2Zone

7Zone

4Zone

5T2T2Zone

8Zone

6T3T4T4T3T3T4Zone

1Zone

2City

1Zone

3T1T2T3T4T1T1T2T2T3T4T3T4網(wǎng)絡(luò)注冊中心/消息/事務(wù)交易賬務(wù)交易賬務(wù)運營商網(wǎng)絡(luò)/CDN網(wǎng)絡(luò)注冊中心/消息/事務(wù)交

賬易

務(wù)交

賬易

務(wù)網(wǎng)絡(luò)注冊中心/消息/事務(wù)交

賬易

務(wù)機房1號負(fù)載均衡機房2號負(fù)載均衡機房3號負(fù)載均衡機房4號負(fù)載均衡機房5號負(fù)載均衡......00

01

02

03......00

01

02

03......02

03............04

05

02

03......06

07

02

03典型場景四：高并發(fā)訪問-性能表現(xiàn)典型場景四：高并發(fā)訪問-性能線性擴展典型場景四：高并發(fā)訪問排號&點單系統(tǒng)30%業(yè)務(wù)支撐能力提升35%數(shù)據(jù)庫總擁有成本下降7x24h穩(wěn)定運行MySQL00~24MySQL25~49MySQL50~74MySQL75~99OMS多表匯聚同步交易核心在線交易實時數(shù)倉查詢OceanBase支付網(wǎng)關(guān)查詢原系統(tǒng):流量洪峰時，會員、排隊取號等系統(tǒng)面臨非常大的壓力，曾發(fā)生高峰期數(shù)據(jù)庫故障導(dǎo)致業(yè)務(wù)受到嚴(yán)重影響的事件；支付網(wǎng)關(guān)查詢

商家收益查詢

客服收益查詢OceanBase排號&點單系統(tǒng)支付網(wǎng)關(guān)典型場景五：實時數(shù)倉-HTAP混合事務(wù)與實時分析處理一套系統(tǒng)完成OLTP與OLAP業(yè)務(wù)企業(yè)級應(yīng)用的業(yè)務(wù)場景通?？梢苑譃閮蓚€類別：聯(lián)機交易和實時分析，我們通常稱為OLTP和OLAP的業(yè)務(wù)應(yīng)用。大型企業(yè)往往會選擇多款數(shù)據(jù)庫產(chǎn)品分別支持OLTP和OLAP類的應(yīng)用場景。這種組合式的解決方案需要數(shù)據(jù)在不同系統(tǒng)間進行流轉(zhuǎn)，數(shù)據(jù)同步過程帶來時間延遲和數(shù)據(jù)不一致的風(fēng)險，多個不同的系統(tǒng)產(chǎn)生冗余數(shù)據(jù)，推高成本開銷，往往會限制企業(yè)在激烈的市場競爭中快速調(diào)整業(yè)務(wù)。數(shù)據(jù)存儲計算資源在線交易系統(tǒng)數(shù)據(jù)分析系統(tǒng)一套系統(tǒng)支撐海量交易、海量分析HTAP混合事務(wù)與實時分析處理是行業(yè)強訴求，OceanBase基于分布式架構(gòu)做好交易處理場景的同時，能夠完成分析、跑批等分析性場景，一套引擎支持OLAP+OLTP工作負(fù)載，同時實現(xiàn)兩套系統(tǒng)功能，成本將大幅降低。OceanBase認(rèn)為，真正的HTAP要求先有高性能的OLTP，然后在OLTP的基礎(chǔ)上支持實時分析。OceanBase通過原生分布式技術(shù)提供高性能的OLTP能力，真正通過“一個系統(tǒng)”提供同時處理交易及實時分析，“一份數(shù)據(jù)”用于不同的工作負(fù)載，從根本上保持?jǐn)?shù)據(jù)的一致性并最大程度降低數(shù)據(jù)冗余，幫助企業(yè)大幅降低總成本。HTAP引擎：混合負(fù)載一站完成OceanBase集群OLTP請求+OLAP請求傳統(tǒng)方式：高處理負(fù)載Step

1

OLTP請求異步傳輸Step

2

OLAP請求混合負(fù)載下的資源隔離針對混合負(fù)載場景中不同的資源隔離需求，提供多種資源隔離方式。包括使用多個Zone進行物理隔離，使用CPU資源組隔離不同數(shù)據(jù)庫連接。系統(tǒng)還會自動識別和隔離慢查詢，避免它影響整體的交易響應(yīng)時延。典型場景五：實時數(shù)倉-OLTP與OLAP隔離高優(yōu)先級短查詢低優(yōu)先級大查詢不同等級嵌套請求ThreadPoolThreadPoolThreadPool30%資源還提供fast

fail

機制一套SQL引擎，滿足OLTP和OLAP引入向量化查詢執(zhí)行引擎OLTP與OLAP負(fù)載資源隔離Leader讀寫->follower只讀Primary

zone弱一致性讀查詢優(yōu)化/并行執(zhí)行框架多副本類型還提供fast

fail

機制典型場景五：實時數(shù)倉-SQL自動設(shè)定并行度（AUTO

DOP）OceanBase

Auto

DOP能有效降低并行執(zhí)行使用門檻。詳見社區(qū)博客《OceanBase

v4.2

Auto

DOP功能說明》/blog/7439298336典型場景介紹大數(shù)據(jù)量AP分析場景復(fù)雜SQL，多表，大小不一方案價值極大降低AP使用門檻，無需用戶根據(jù)CPU數(shù)量來推算并行度以最小化SQL執(zhí)行時間為目標(biāo)，CPU資源利用效率進一步提升AUTO

DOP分配效果示意圖掃描+預(yù)聚合最終d聚合結(jié)果收集SET

parallel_degree_policy

=

AUTO;select

sum(c1)

from

t1

group

by

c2;32個線程4個線程1個線程典型場景五：實時數(shù)倉MySQL1Canaltopic1

topic2

……

topicNKafkaDSPHive/HDFSMySQL2MySQLnSpark/Presto運單寬表(2H)運單寬表(天)PrestoBI分析table1

table2

……

tableN……MySQL1Canaltopic1

topic2

……

topicNKafkaApache

FlinkOceanBaseMySQL2MySQLnBI分析……優(yōu)化前:數(shù)據(jù)時效差：2

小時分析性能差：1-10s數(shù)據(jù)時效：<2s優(yōu)化后：分析性能：<3s成本降低：50%運單中心AP能力對比典型場景六：多模形態(tài)-多模架構(gòu)OBKV典型場景六：多模形態(tài)實時字典服務(wù)查詢性能:提升4.3

倍批量寫:提升4.6

倍批處理:提升2.7

倍Kafka實時ETLOLAP

引擎FlinkKeyKey：Value字典服務(wù)API字典注冊

字典生成存儲服務(wù)OceanBase開源開放的OceanBase生態(tài)旁路導(dǎo)入OceanBase提供旁路導(dǎo)入方案，解決過去導(dǎo)入性能不足、穩(wěn)定性差的難題。數(shù)據(jù)導(dǎo)入性能提升3~10倍，導(dǎo)入穩(wěn)定性極大提升。典型場景介紹批量數(shù)據(jù)導(dǎo)入（如PoC等）內(nèi)存不足時可能被寫入限流，導(dǎo)致導(dǎo)入時間變長Memtable轉(zhuǎn)儲不夠快時，可能報Out

Of

Memory，導(dǎo)入失敗方案價值繞開Memtable直接寫存儲，減少不必要開銷，提升寫入性能繞開Memtable，租戶內(nèi)存大小與數(shù)據(jù)導(dǎo)入量解耦數(shù)據(jù)寫入效率大幅提升Update增量MemTable(WOS)MemoryDiskGETSmall-QueryScanBig-QueryRow-

Level

In-MemoryRedo/MVCC

In-MemoryHASHIn-MemoryHASH轉(zhuǎn)儲SSTableRow

CacheBlock

Cache多個轉(zhuǎn)儲版本基線SSTable(ROS)合并前合并后ReplicasLogs混合部署獨立部署私有云公有云/混合云性能表現(xiàn)51601967737251

4920

1952140245901000200040003000500060004xlarge(16c32G)

12xlarge(48c96G)堆表

普通插入 堆表

旁路導(dǎo)入 索引組織表

普通導(dǎo)入 索引組織表

旁路導(dǎo)入結(jié)論：無主鍵表的導(dǎo)入性能可以提升10倍左右，有主鍵表的導(dǎo)入性能可以提升3到5倍。MySQL

DBLink跨租戶數(shù)據(jù)訪問OceanBase

DBLink可以用來降低業(yè)務(wù)開發(fā)難度典型場景介紹跨服務(wù)查詢跨租戶多表連接方案價值支持多個OceanBase

MySQL租戶之間跨租戶讀數(shù)據(jù)降低業(yè)務(wù)開發(fā)難度方案限制暫不支持OceanBase

MySQL讀取原生MySQL數(shù)據(jù)DBLink訪問示意圖select

*

from

number_t@ob_dblink;拼接訪問遠(yuǎn)端數(shù)據(jù)的SQL返回結(jié)果遠(yuǎn)端租戶本地租戶MySQLBinlog

ServiceMySQL兼容模式下，提供Binlog

Service，可以將OceanBase的日志轉(zhuǎn)換成MySQL

Binlog格式，且提供了全面兼容Binlog協(xié)議的能力，更方便接入下游數(shù)據(jù)生態(tài)。典型場景介紹MySQL生態(tài)源組件通過消費MySQL

Binlog，提供更豐富的數(shù)據(jù)服務(wù)歷史庫、近實時緩存、消息隊列（MQ）分析和審計方案價值低成本復(fù)用MySQL生態(tài)工具，避免重復(fù)造輪子Binlog

Service架構(gòu)示意圖Debezium租戶1租戶2OB

集群Binlog文件Binlog文件OBProxybinlog

dump

響應(yīng)binlog

服務(wù)clog日志Canalbinlog訂閱FlinkCDCbinlog訂閱binlog訂閱診斷工具OceanBase

Diagnostic

Tool診斷工具OceanBase

Diagnostic

Tool開發(fā)者工具ODC產(chǎn)品架構(gòu)產(chǎn)品特性對象管理：支持完整的數(shù)據(jù)對象和數(shù)據(jù)類型，引導(dǎo)式流程創(chuàng)建數(shù)據(jù)庫對象，可視化對象修改，支持回收站機制。Web控制臺：通過WebSQL幫助開發(fā)人員使用OceanBase的各種特性和功能，支持MySQL和Oracle語法高亮、格式化、智能提示、友好的snippets等特性，提供類似Excel的可視化數(shù)據(jù)編輯能力。導(dǎo)入導(dǎo)出：為OceanBase量身打造的高效數(shù)據(jù)導(dǎo)入導(dǎo)出工具，具備動態(tài)負(fù)載均衡和斷點恢復(fù)等能力。安全審計：支持14類審計事件，確保安全合規(guī)，重要事件可追蹤，審計報告可下載。流程管控：根據(jù)任務(wù)類型限制用戶發(fā)起的變更內(nèi)容、定制不同的審批流程，達(dá)到數(shù)據(jù)庫變更安全的作用。對象管理

SQ

L執(zhí)行監(jiān)控診斷執(zhí)行設(shè)置模擬數(shù)據(jù)數(shù)據(jù)庫管理

PL執(zhí)行導(dǎo)入導(dǎo)出腳本管理

ER建模OceanBase開發(fā)者工具SQL解析權(quán)限框架數(shù)據(jù)源適配任務(wù)框架對象管理

SDK審計框架連接管理配置框架基礎(chǔ)框架管理員開發(fā)者DBA桌面版開發(fā)者工具Web版用戶角色資源管理變更流程操作審計生產(chǎn)變更權(quán)限管理風(fēng)險規(guī)則流水線

數(shù)據(jù)脫敏開發(fā)集成云平臺管控協(xié)同OceanBase輕松上手ODC整體風(fēng)格簡潔明了，通過逐步引導(dǎo)，可快速進行表、視圖、函數(shù)、存儲過程、程序包、序列、觸發(fā)器、類型和同義詞等對象的開發(fā)與管理工作。豐富的工具集能力ODC內(nèi)置了一系列工具來輔助開發(fā)，如代碼片段、執(zhí)行計劃分析、模擬數(shù)據(jù)、會話管理、回收站管理、導(dǎo)入與導(dǎo)出等。多形態(tài)跨平臺ODC支持客戶端版和Web版，其中客戶端版可在Windows和Mac平臺上安裝。Web版支持在Linux平臺上部署，支持X86和ARM架構(gòu)。產(chǎn)品優(yōu)勢量身定制ODC是為OceanBase量身定制的開發(fā)平臺，其提供的表、視圖、函數(shù)、存儲過程、程序包、觸發(fā)器、類型和同義詞等對象可視化管理的能力是完全根據(jù)OceanBase的內(nèi)核能力定制，適配性好，體驗更佳。數(shù)據(jù)遷移工具OMS產(chǎn)品架構(gòu)OracleMySQL/MariaDBDB2LUWTiDBPostgreSQLOceanBaseKafkaRocketMQDataHubAnalyticDBMySQLOracle…對象評估對象轉(zhuǎn)換數(shù)據(jù)遷移數(shù)據(jù)匯聚

數(shù)據(jù)校驗修復(fù)建議回流保護持續(xù)校驗數(shù)據(jù)轉(zhuǎn)換抽取過濾數(shù)據(jù)同步消息訂閱容災(zāi)雙活灰度切流DDL同步DML過濾產(chǎn)品功能在線數(shù)據(jù)遷移：支持將Oracle、DB2

LUW等多種異構(gòu)數(shù)據(jù)庫在線遷移至OceanBase數(shù)據(jù)庫，完成切換后支持將OceanBase數(shù)據(jù)庫上所有的變更數(shù)據(jù)反向同步至源端數(shù)據(jù)庫。實時數(shù)據(jù)同步：支持OceanBase與自建Kafka、RocketMQ之間的實時數(shù)據(jù)同步，支持?jǐn)?shù)據(jù)過濾，提供完備的同步管理能力，廣泛應(yīng)用于實時數(shù)據(jù)倉庫搭建、報表分流等業(yè)務(wù)場景。一站式交互：提供數(shù)據(jù)遷移過程的全生命周期管理，在管控界面上完成數(shù)據(jù)遷移和數(shù)據(jù)同步任務(wù)的創(chuàng)建、配置、監(jiān)控和管理，交互簡單方便。多重數(shù)據(jù)校檢：多種方式的數(shù)據(jù)校檢和保護，全面高效的保證數(shù)據(jù)正確性，展示差異數(shù)據(jù)，提供快速修復(fù)能力。簡潔高效提供可視化，所見即所得Web管控平臺，輕松完成數(shù)據(jù)傳輸項目的創(chuàng)建、任務(wù)配置和傳輸組件的監(jiān)控運維，以及鏈路維護和故障診斷等便捷的操作，并提供多種保護級別支持定制化配置，提供實時的監(jiān)控報警。靈活化基于實際業(yè)務(wù)場景，客戶可以靈活選擇合適的遷移、同步類型和功能，支持組合成不同的解決方案。同時提供多樣性的部署模式及靈活的橫向和縱向擴展、收縮能力，保障滿足延遲敏感客戶的業(yè)務(wù)需求。高性能OMS使用多并發(fā)、并行復(fù)制和壓縮加密傳輸?shù)燃夹g(shù)來保證遷移或同步項目都能擁有優(yōu)異的傳輸性能。數(shù)據(jù)全量遷移可達(dá)38萬RPS（Rows

PerSecond，每秒增量同步至目標(biāo)表的數(shù)據(jù)行數(shù)），增量數(shù)據(jù)同步可高達(dá)10萬RPS及數(shù)據(jù)校驗可達(dá)66萬RPS，從而提供穩(wěn)定的秒級傳輸服務(wù)。產(chǎn)品優(yōu)勢一站式服務(wù)提供數(shù)據(jù)傳輸?shù)娜芷诠芾?，支持語法轉(zhuǎn)換，數(shù)據(jù)轉(zhuǎn)換，任務(wù)管理等功能，提供遷移評估、數(shù)據(jù)遷移、數(shù)據(jù)訂閱、數(shù)據(jù)校驗等產(chǎn)品形態(tài)，從而方便客戶輕松上“OceanBase”,并滿足企業(yè)客戶的多樣化需求。運維管理平臺OCP“監(jiān)控-告警-診斷”一體化診斷自治服務(wù)自感知｜

自擴容｜

自優(yōu)化｜

自安全數(shù)據(jù)庫監(jiān)控性能報告OBAR運維管控部署、升級、擴縮容、備份恢復(fù)、配置變更等全生命周期管理的全自動化運維?！ふw概要總·結(jié)

系統(tǒng)活動情·況S

Q

L運行狀·況

緩存與隊列等待信·息

參數(shù)配·置

總計超過

400+

項監(jiān)控指標(biāo)客戶自研…第三方運維平臺開源工具

商業(yè)工具開放API提供外部系統(tǒng)的接入OceanBase集群ODP集群ODP

1ODP

2ODP

3多集群統(tǒng)一管控OCP

Web管控臺集中化運維管理平臺診斷監(jiān)控告警應(yīng)急O(jiān)CP管理服務(wù)基礎(chǔ)數(shù)據(jù)｜

運行數(shù)據(jù)日志采集｜

統(tǒng)一存放產(chǎn)品架構(gòu)產(chǎn)品