移動云x

StarRocks：構(gòu)建下一代云原生數(shù)倉01020304移動云分析型數(shù)據(jù)庫發(fā)展歷程海山數(shù)倉的架構(gòu)和理念海山數(shù)倉的核心技術(shù)及演進(jìn)趨勢移動云的實(shí)踐與未來展望01移動云分析型數(shù)據(jù)庫發(fā)展歷程移動云數(shù)據(jù)庫的發(fā)展歷程移動云數(shù)據(jù)庫團(tuán)隊十年前正式誕生，以實(shí)現(xiàn)數(shù)據(jù)庫核心技術(shù)自主可控為目標(biāo)，目前已構(gòu)建完整產(chǎn)品和市場體系，并實(shí)現(xiàn)大規(guī)模商用。2014基于開源啟動商業(yè)版產(chǎn)品打造集團(tuán)內(nèi)部推廣和應(yīng)用蘇州研發(fā)中心2020啟動云改，轉(zhuǎn)型云計算服務(wù)商海山數(shù)據(jù)庫1.0發(fā)布云能力中心2024云原生進(jìn)階，發(fā)布海山數(shù)據(jù)庫2.0啟動算力網(wǎng)絡(luò)數(shù)據(jù)庫探索和研究規(guī)模200+人內(nèi)核研發(fā)70+人研發(fā)團(tuán)隊15+31全國資源覆蓋30萬vcore資源規(guī)模10+中移專業(yè)公司9大重點(diǎn)行業(yè)突破市場推廣由云向算，云原生數(shù)據(jù)庫四級進(jìn)化Aurora

Serverless2018開源托管AuroraLog

is

Database20092014無資源預(yù)占、全球分布、任務(wù)式服務(wù)資源預(yù)占、計算存儲分別擴(kuò)展資源預(yù)占、計算存儲—體擴(kuò)展云原生數(shù)據(jù)庫的進(jìn)化方向：更深層次的解耦、更靈活的感知調(diào)度無資源預(yù)占、水平和垂直擴(kuò)展從云計算到算力網(wǎng)絡(luò)我們認(rèn)為數(shù)據(jù)庫的下一階段:L3

ServerlessL2存算分離L1容器化部署移動云數(shù)據(jù)庫布局移動云一站式云原生數(shù)據(jù)庫服務(wù)數(shù)據(jù)庫生態(tài)工具數(shù)據(jù)庫傳輸

數(shù)據(jù)庫管理

數(shù)據(jù)庫自治事務(wù)型數(shù)據(jù)庫海山數(shù)據(jù)庫MySQL海山數(shù)據(jù)庫PGRDSMySQL分析檢索OLAP海山數(shù)倉

L2搜索數(shù)據(jù)庫

L1向量數(shù)據(jù)庫

L1NoSQL緩存數(shù)據(jù)庫

L1L3L2海山數(shù)據(jù)庫分布式

L1L1文檔數(shù)據(jù)庫

L1多模數(shù)據(jù)庫

L1算力網(wǎng)絡(luò)數(shù)據(jù)庫L4數(shù)據(jù)庫統(tǒng)一云平臺底座移動云基于K8s構(gòu)建云原生數(shù)據(jù)庫底座，全線產(chǎn)品達(dá)云原生L1級自研海山數(shù)據(jù)庫系列，采用存算分離架構(gòu)，并全面向

Serverless演進(jìn)在中國移動算力網(wǎng)絡(luò)戰(zhàn)略下，大力探索算力網(wǎng)絡(luò)數(shù)據(jù)庫，

積極推進(jìn)相關(guān)技術(shù)以及行業(yè)標(biāo)準(zhǔn)制定24年9月發(fā)布《中國移動算力網(wǎng)絡(luò)數(shù)據(jù)庫白皮書》分析型數(shù)據(jù)庫：從湖到倉第二代:傳統(tǒng)MPP數(shù)據(jù)庫第三代：新架構(gòu)實(shí)時數(shù)倉第一代：單機(jī)分析型數(shù)據(jù)庫上世紀(jì)90年代以

Oracle、DB2為代表的單機(jī)分析型數(shù)據(jù)庫第四代：云原生數(shù)倉近五年來以SnowFlake為代表的云原生數(shù)倉，強(qiáng)調(diào)與云的基礎(chǔ)設(shè)施融合，云原生、一體化、湖倉融合是主要的發(fā)展趨勢。2000年代以Teradata、Greenplum、Vertica為代表的

MPP架構(gòu)數(shù)倉，具備支撐TB級別數(shù)據(jù)分析能力近十年來以Clickhouse、Doris為代表的新架構(gòu)實(shí)時數(shù)倉，吸收開源大數(shù)據(jù)技術(shù)架構(gòu)和能力，在分析實(shí)時性、支撐數(shù)據(jù)規(guī)模上有了顯著提升BC-HadoopBC-RDB-Hybrid BC-HugeTableLakehouseEMR海山數(shù)倉移動云產(chǎn)品演進(jìn)Oracle2000年Teradata2005年Vertica數(shù)倉2016年ClickHouse2017年ApacheDoris2021年DataBend2021年Starrocks、DatabricksDB2

GreenplumNetezzaFoxLake湖倉融合2014年Snowflake2008年Hadoop2020年湖倉一體2012年P(guān)resto、Impala、Hawq、Druid2017年Hudi2018年Iceberg2019年DeltaLake分析型數(shù)據(jù)庫技術(shù)的發(fā)展的四個階段2003年02海山數(shù)倉的架構(gòu)和理念海山數(shù)倉的設(shè)計理念高性能實(shí)時數(shù)倉引擎云原生極致性價比極簡化數(shù)據(jù)集成生態(tài)物化視圖、向量化引擎、行列混存、CBO優(yōu)化器存算分離、multi-warehouseZero-ETL、湖倉融合海山數(shù)倉的架構(gòu)設(shè)計對象存儲FECN本地高速緩存計算層數(shù)倉實(shí)例服務(wù)層接入層JDBCODBCMySQLClient計算存儲FEFECN本地高速緩存海山云平臺監(jiān)控管理日志管理運(yùn)維平臺傳輸遷移管控APIK8s管理容器網(wǎng)絡(luò)多云管理數(shù)據(jù)面管控面高性能數(shù)倉引擎基于Starrocks內(nèi)核構(gòu)建高性能計算引擎。支持向

量化引擎、CBO優(yōu)化、物化視圖、智能緩存等能力。存算分離架構(gòu)基于Starrocks實(shí)現(xiàn)存算分離能力，計算存儲獨(dú)立的擴(kuò)展，支持無狀態(tài)計算節(jié)點(diǎn)，持久化存儲基于對象存儲，通過本地緩存加速；實(shí)現(xiàn)多個計算實(shí)例共享數(shù)據(jù)存儲，降低存儲冗余和同步開銷。統(tǒng)一管控云平臺對各類數(shù)據(jù)庫進(jìn)行統(tǒng)—抽象和封裝，形成算網(wǎng)數(shù)據(jù)庫管控底座；提供適配算力網(wǎng)絡(luò)模式的新型數(shù)據(jù)庫資源供給能力。高兼容性支持MySQL協(xié)議,兼容SQL

99/2003,支持多種外部數(shù)據(jù)源、聯(lián)邦查詢能力,兼容Iceberg、Hudi等開放數(shù)據(jù)湖格式。03海山數(shù)倉的核心技術(shù)與演進(jìn)趨勢云原生架構(gòu)存算一體和存算分離的支持Multi-Warehouse支持多個Warehouse共享一份數(shù)據(jù)，避免集群間數(shù)據(jù)復(fù)制成本不同Warehouse應(yīng)用在不同的業(yè)務(wù)負(fù)載。計算資源可以進(jìn)行物理隔離具備完備的多租戶權(quán)限控制（Role

BasedAccess

Control）FEBELocalStorageFEBELocalStorageFEBELocalStorage移動云對象存儲EOSFECNFECNFECN私有云：存算一體架構(gòu)

公有云：存算分離架構(gòu)公有云場景支持存算分離架構(gòu)，具備更好資源彈性；私有云場景支持存算一體架構(gòu)，具備更健壯架構(gòu)持久化存儲基于對象存儲，降低約80%存儲成本，容量可彈性擴(kuò)展至PB級本地SSD提供緩存加速能力，大部分緩存命中查詢性能與存算一體持平計算/存儲資源獨(dú)立擴(kuò)展，有效提升資源利用率共享存儲FEFECN

CNWarehouse1FEFECN

CNWarehouse2FECNWarehouse3ETL任務(wù)即席查詢月度報表數(shù)據(jù)庫云平臺-新一代云原生數(shù)據(jù)庫管理架構(gòu)通過對多數(shù)據(jù)庫的拓?fù)浣Y(jié)構(gòu)、高可用性、數(shù)據(jù)一致性保護(hù)和運(yùn)維操作進(jìn)行領(lǐng)域模型建模，數(shù)據(jù)庫云平臺可以從中抽象出數(shù)據(jù)庫容器化管理標(biāo)準(zhǔn)，可以讓數(shù)據(jù)庫開發(fā)者以聲明式和配置式的方式接入和高效管理多種數(shù)據(jù)庫類型數(shù)據(jù)庫容器化，將數(shù)據(jù)面和管理面功能分離后，不僅將數(shù)據(jù)庫生命周期管理標(biāo)準(zhǔn)化，也將運(yùn)維和管理能力進(jìn)行標(biāo)準(zhǔn)化在管理面將運(yùn)維操作和經(jīng)驗自動化和平臺化，提供豐富的數(shù)據(jù)庫Day-2運(yùn)維功能；實(shí)現(xiàn)標(biāo)準(zhǔn)化監(jiān)控系統(tǒng)的接口和數(shù)據(jù)格式，通過插件機(jī)制可擴(kuò)展支持將可觀測性數(shù)據(jù)寫入到監(jiān)控系統(tǒng)、日志系統(tǒng)及消息中間件等，并提供豐富的可視化面板在數(shù)據(jù)面將數(shù)據(jù)庫映射到位于四個層次的對象上：Cluster、Component、InstanceSet和Instance，形成了分層的架構(gòu)，通過這些API定義組件的拓?fù)潢P(guān)系、啟動的依賴順序及引用關(guān)系等Zero-ETL提升數(shù)據(jù)集成能力ETL的痛點(diǎn)在數(shù)據(jù)分析的場景中，通常分析型數(shù)據(jù)庫本身不生產(chǎn)數(shù)據(jù)，數(shù)據(jù)來源于業(yè)務(wù)系統(tǒng)的輸入。在傳統(tǒng)數(shù)據(jù)分析應(yīng)用中，ETL相關(guān)的工作量占比達(dá)到70%旨在實(shí)現(xiàn)事務(wù)處理和數(shù)據(jù)分析—體化，交易型數(shù)據(jù)庫數(shù)據(jù)能夠—鍵同步到分析型數(shù)據(jù)庫，實(shí)現(xiàn)建倉成本的降低和入倉效率的提升Zero-ETL服務(wù)功能完備卓越性價比?海山數(shù)倉服務(wù)Serverless化，根據(jù)負(fù)載動態(tài)分配資源及并行度全量同步20w條/s,增量同步5w條/s，對比業(yè)界競品3w條/s同步延時低于15s，對比業(yè)界競品延時5min支持MySQL整庫全、增量—體同步支持動態(tài)Schema變更:增加列、刪除列、新增表支持多源合并能力AI+數(shù)據(jù)庫內(nèi)核能力增強(qiáng)性能困境：一次索引查需多次讀對象存儲和多次二分查詢；成本困境：多次對象存儲交互導(dǎo)致用戶成本提升。學(xué)習(xí)數(shù)據(jù)分布特性，機(jī)器學(xué)習(xí)算法替代二分查詢算法；啟發(fā)于聚簇索引，存儲單元存儲字典和位圖；充分利用對象存儲的吞吐能力性能表現(xiàn)：1.64x到2.03x。分組模型一：數(shù)據(jù)范圍分組，支持字符串的學(xué)習(xí)型位圖索引；分組模型二：數(shù)據(jù)特征分組，降低內(nèi)存占用，提高查詢效率。自適應(yīng)分組的學(xué)習(xí)型位圖索引云原生學(xué)習(xí)型位圖索引云原生下位圖索引的困境學(xué)習(xí)型索引：通過機(jī)器學(xué)習(xí)模型來替代傳統(tǒng)數(shù)據(jù)庫索引結(jié)構(gòu)，學(xué)習(xí)型索引通過使用機(jī)器學(xué)習(xí)模型來預(yù)測鍵的位置，從而減少索引的大小和訪問次數(shù)，提高查詢效率。在云原生分析型數(shù)據(jù)庫場景，學(xué)習(xí)型所以可以降低對對象存儲的訪問開銷，從而顯著提升查詢效率。04移動云的實(shí)踐與未來展望實(shí)踐案例：移動中間號業(yè)務(wù)項目背景移動云中間號業(yè)務(wù)深耕垂直行業(yè)語音市場，該業(yè)務(wù)將號碼(A)與號碼(B)通過中間號(X)靈活綁定，雙向隱私通話，雙方來電顯示均為中間號,為滴滴、美團(tuán)、阿里、騰訊、京東等超500家頭部企業(yè)提供服務(wù)。中間號平臺通過廣州、呼和浩特兩個資源池承載全國的務(wù)間號業(yè)務(wù)，采用云MySQL承載話單數(shù)據(jù)，每天基于話單數(shù)據(jù)進(jìn)行運(yùn)營分析查詢。存量數(shù)據(jù)量約7TB，日增數(shù)據(jù)量約1億條。業(yè)務(wù)痛點(diǎn)：從離線數(shù)倉到實(shí)時數(shù)倉：自建數(shù)倉僅能做到T+1非實(shí)時分析，無法滿足業(yè)務(wù)實(shí)時分析需求實(shí)時數(shù)據(jù)分析場景通過Zero-ETL將南北方MySQL數(shù)據(jù)實(shí)時同步至移動云海山數(shù)倉產(chǎn)品，以實(shí)現(xiàn)近實(shí)時分析MySQL中的業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)同步時延從MySQL數(shù)據(jù)同步到數(shù)倉中查詢可用約10s。查詢性能使用異步物化視圖優(yōu)化技術(shù),單表1億條數(shù)據(jù)查詢,時間最快可達(dá)到200ms(原Clickhouse查詢時長1-2秒)解決方案實(shí)踐案例：設(shè)計院融基平臺項目背景中國移動設(shè)計院融基平臺聚焦解決質(zhì)量、成本、效率和安全四大核心需求，致力于構(gòu)建一站式云原生運(yùn)維管理平臺。其中，數(shù)據(jù)計算服務(wù)支撐數(shù)據(jù)倉庫建設(shè)、數(shù)據(jù)分析和匯總分析等需求，承載調(diào)度云、門戶云、用戶云和設(shè)計院云的MySQL、PG的數(shù)據(jù)共享和貫通查詢需求。Clickhouse替換需求，存量數(shù)據(jù)量約7億條，存儲約3TB，日增數(shù)據(jù)量約1000萬條。業(yè)務(wù)痛點(diǎn)：離線數(shù)倉和實(shí)時數(shù)倉共存，技術(shù)棧繁雜，維護(hù)成本不斷提升；自建數(shù)倉無法滿足PostgreSQL庫數(shù)據(jù)源實(shí)時同步需求實(shí)時同步通過Zero-ETL實(shí)現(xiàn)整庫全增量一體同步（270+表），以實(shí)現(xiàn)近實(shí)時分析MySQL中的調(diào)度表數(shù)據(jù)離線/在線分析基于Multi-warehouse使用兩個海山數(shù)倉實(shí)例將查詢和分析庫的分析需求隔離，減少峰值期的資源搶占。數(shù)據(jù)源擴(kuò)展海山數(shù)倉支持PostgresSQL/MySQL數(shù)據(jù)源，并實(shí)現(xiàn)近實(shí)時分析能力。建設(shè)方案實(shí)踐案例：蘇州銀行OceanBaseFlink過濾行為分析客戶

留存

趨勢

轉(zhuǎn)化

屬性分群

分析

分析

分析

分析客戶分群電子表格透視分析組合分析離線：Data

LakeHouse外表實(shí)時訪問K

a

f

k

a固定報表分析GaussDBOracleMySQLDIMDIMDIMDIMODSDWDDWSADSODSDWDDWSADSODSDWDDWSADS指標(biāo)圈選績效。。。

實(shí)時數(shù)倉，端到端延時低于1分鐘

基于主鍵模型大幅提升實(shí)時數(shù)據(jù)查詢性能2.x倍

基于物化視圖實(shí)現(xiàn)多層面邏輯視圖嵌套，降低數(shù)倉各層級之間數(shù)據(jù)處理延時

湖倉一體架構(gòu)降低離線數(shù)據(jù)遷移和存儲成本DTS清洗聚合物化視圖物化視圖物化視圖蘇州銀行實(shí)時場景承載各業(yè)務(wù)分析場景需求，業(yè)務(wù)總數(shù)據(jù)量約2PB，每日