PolarDB-PG：數(shù)據(jù)庫(kù)“0”改造，提升企業(yè)級(jí)應(yīng)用能力4、PolarDBforPostgreSQLhttps://apsaradb.github.io/PolarDB-for-PostgreSQL/zh/PolarDB-PG計(jì)算節(jié)點(diǎn)PolarDB-PolarDB-PG計(jì)算節(jié)點(diǎn)PolarDB-PG計(jì)算節(jié)點(diǎn)PolarDB-PG計(jì)算節(jié)點(diǎn)共享存儲(chǔ)（ESSD云盤(pán)/Ceph/CurveBS/NBD）https://apsaradb.github.io/PolarDB-for-PostgreSQL/zh/本地盤(pán)/云盤(pán)本地盤(pán)/云盤(pán)異步:>1s同步:=0,性能備份本地盤(pán)30s~5min傳統(tǒng)數(shù)據(jù)庫(kù)的問(wèn)題?擴(kuò)展性差：加節(jié)點(diǎn)小時(shí)級(jí)?存儲(chǔ)成本隨節(jié)點(diǎn)數(shù)線(xiàn)性增加管控管控Standby本地盤(pán)本地盤(pán)/云盤(pán)+擴(kuò)節(jié)點(diǎn)拉數(shù)據(jù)Standby本地盤(pán)本地盤(pán)/云盤(pán)?擴(kuò)展性：存儲(chǔ)計(jì)算分離，按需擴(kuò)縮容?成本：多個(gè)計(jì)算節(jié)點(diǎn)共享一份數(shù)據(jù)，降低存儲(chǔ)成本?可靠性：三副本、秒級(jí)備份?可用性：毫秒級(jí)主備延遲，秒級(jí)恢復(fù)SharedSharedStorage傳統(tǒng)的方案計(jì)算-存儲(chǔ)分離事務(wù)層LogIndexLogIndex事務(wù)層LogIndexLogIndex緩存層數(shù)據(jù)預(yù)擴(kuò)展數(shù)據(jù)預(yù)擴(kuò)展存儲(chǔ)層本頁(yè)面數(shù)據(jù)預(yù)讀 部署形態(tài)1：為數(shù)據(jù)庫(kù)定制的高性SharedShared-StorageChunkSvrChunkSvrChunkSvr盤(pán)（根據(jù)業(yè)務(wù)需要自倚天ARMECSAESSDESSD存儲(chǔ)（PL1/PL2/PL3...）CephCeph/Curve/云盤(pán)AP業(yè)務(wù)TP業(yè)務(wù)Sharding2Sharding1Sharding3數(shù)據(jù)同步組件（邏輯復(fù)制）publisher全量AP業(yè)務(wù)TP業(yè)務(wù)Sharding2Sharding1Sharding3數(shù)據(jù)同步組件（邏輯復(fù)制）publisher全量增量OnCommit傳統(tǒng)ETL方案：表結(jié)構(gòu)+全量+增量?獨(dú)立的AP系統(tǒng)：存儲(chǔ)、計(jì)算增加?TP數(shù)據(jù)導(dǎo)入AP系統(tǒng)：數(shù)據(jù)延遲，時(shí)效性不高?運(yùn)維難度增大計(jì)算層存儲(chǔ)層SharedStorage存儲(chǔ)層PolarDB-PG數(shù)據(jù)校驗(yàn)基于分片存儲(chǔ)的MPP系統(tǒng)提高計(jì)算節(jié)點(diǎn)利用率?發(fā)揮所有RO提高計(jì)算節(jié)點(diǎn)利用率?發(fā)揮所有RO節(jié)點(diǎn)的計(jì)算資源毫秒級(jí)數(shù)據(jù)新鮮度（物理流復(fù)制）?TP/AP共享一份數(shù)據(jù)，兩套計(jì)算引擎，減少存儲(chǔ)和運(yùn)維成本CHUNKCHUNKCHUNK據(jù)TPTP業(yè)務(wù)TP型業(yè)務(wù)TP/AP物理隔離（避免CPU/MEM互相影響）單機(jī)執(zhí)行：部分節(jié)點(diǎn)，處理高并發(fā)的TP查詢(xún)?分布式MPP執(zhí)行：部分節(jié)點(diǎn)，復(fù)雜AP查詢(xún)彈性擴(kuò)展任何節(jié)點(diǎn)均可做為MPP的master節(jié)點(diǎn)?集群計(jì)算能力隨時(shí)擴(kuò)展，即時(shí)生效，數(shù)據(jù)無(wú)需重分布BAgeeeeeeeeennne等價(jià)于單機(jī)算子Shuffle算子分片掃描算子eBAgeeeeeeeeennne等價(jià)于單機(jī)算子Shuffle算子分片掃描算子e?MPP：Shuffle算子屏蔽數(shù)據(jù)分布AggSharedShared-StorageVirtualPartition-1表AVirtualPartition-2VirtualPartition-1表BVirtualPartition-2優(yōu)化器執(zhí)行器事務(wù)層存儲(chǔ)層優(yōu)化器執(zhí)行器事務(wù)層存儲(chǔ)層分布式執(zhí)行引擎分布式執(zhí)行器?分布式優(yōu)化器Parser/Analyze/RewriTransformationsPolarDB-CostModelTransformationsAware單機(jī)單機(jī)ExecutorAggHash/NestLoop/MergeJoinPxDynamicScanPxDynamicScan一致性GlobalSnapshot一致性GlobalSnapshotBroadCast(B)BroadCast(B)GatherNestLoopJoin1.沒(méi)有復(fù)用TP型索引2.物化算子導(dǎo)致流水中斷?右側(cè)需要有全量屬性傳統(tǒng)LeftOuterJoin的計(jì)劃基于共享索引樹(shù)的LeftOuterJoin?右側(cè)：掃描共享存儲(chǔ)的索引?左側(cè)：并行化分片索引掃描GatherNestLoopIndexJoin?最多使用6個(gè)CPUCore，受限于單機(jī)?其他節(jié)點(diǎn)CPU和MEM沒(méi)有利用起來(lái)?存儲(chǔ)集群多盤(pán)的大IO帶寬沒(méi)有利用起來(lái)SELECTCOUNT(*)FROMt1,t2WHEREt1.c1=t2.c1TP業(yè)務(wù)ChunkSvrCHUNKCHUNKCHUNK?altersystemsetpolar_enable_px=1;/*+PX(6)*/SELECTCOUNT(*)FROMt1,t2WHEREt1.c1=/*+PX(6)*/ AP業(yè)務(wù)利用共享存儲(chǔ)特性的計(jì)劃：CHUNKCHUNKCHUNK/*+PX(30)*//*+PX(30)*/SELECTCOUNT(*)FROMt1,t2WHEREt1.c1=t2.c1?30個(gè)CPUCore和內(nèi)存，可繼續(xù)秒級(jí)彈性擴(kuò)展更多計(jì)算節(jié)點(diǎn)?充分發(fā)揮存儲(chǔ)集群多盤(pán)的大IO帶寬能力AP業(yè)務(wù)CHUNKCHUNKCHUNK?感知共享存儲(chǔ)的ShareIndexScan?效果(時(shí)空業(yè)務(wù))?隨CPU數(shù)目線(xiàn)性提升?80CPU，提升71倍共享存儲(chǔ)RTree1.相同并行度時(shí)(dop=1)并行度2*16=32彈性擴(kuò)展CPU，數(shù)據(jù)無(wú)需重分布并行度2*16=32并行度4*16=64并行度8*16=128并行度16*16=2562.PolarDB-PG彈性擴(kuò)展到dop=8時(shí)?性能提升7.3倍PolarDB-PG：Shar