1、CynosDB for PostgreSQL 一主多讀架構(gòu)內(nèi)容CynosDB for PostgreSQL架構(gòu)CynosDB for PostgreSQL關(guān)鍵設(shè)計CynosDB for PostgreSQL一主多讀架構(gòu)為什么需要CynosDB傳統(tǒng)數(shù)據(jù)庫在云上面臨的問題資源利用率低擴展能力不足資源規(guī)劃難備份難CynosDB解決思路計算存儲分離：計算資源彈性調(diào)度能力日志下沉以及異步回放：減少網(wǎng)絡(luò)IO共享分布式存儲：資源彈性擴展后臺持續(xù)日志備份CynosDB for PostgreSQL架構(gòu)Storage NodeStorage NodeStorage NodeCynosStore集群管理服務(wù)對象存

2、儲寫日志PostgreSQL主實例 CynosStore Client讀頁面PostgreSQL讀實例 CynosStore Client讀頁面CynosDB - 云原生數(shù)據(jù)庫核心架構(gòu)設(shè)計日志下沉日志異步回放多版本讀（同步）CynosDB for PostgreSQL架構(gòu) - 關(guān)鍵設(shè)計日志buffer日志發(fā)送Replica日志并行插入日志異步寫入日志寫入buffer日志鏈日志合并數(shù)據(jù)原子修改（MTR）MTR（Minimal Transaction Record）CynosStore ProcessbackendCynosStore ClientbackendCynosStore Clientb

3、ackendCynosStore ClientPostgreSQL日志下沉、異步回放日志CynosStoreVDL（Volume Durable LSN）CPL（Consistency Point LSN）日志回收最小讀點（Minimal Read Point LSN）CynosDB for PostgreSQL架構(gòu) - 關(guān)鍵設(shè)計多版本讀（同步）RPL（Read Point LSN）任何一個VDL都可以是一個RPL202530405030頁面ARead(A,30)50Read(A,50)MRPL=30日志回收一主多讀提升數(shù)據(jù)庫的可用性多讀（Replica）優(yōu)勢橫向擴展讀能力傳統(tǒng)主備模式的問題創(chuàng)

4、建新備需要拷貝數(shù)據(jù)： 額外存儲資源PostgreSQL masterPostgreSQL standbyXLOG傳統(tǒng)PostgreSQL主備模式仍有缺點備機切換和啟動需要恢復(fù)大量日志：慢收到日志需要寫磁盤：慢解決BufferPinLock沖突一主多讀 - 架構(gòu)DBCynosStore ProcessCynosStore ProcessBlock Journal ListJournal Bufferjournal 、運行信息、FSMMinXid、MRPLDBData BufferJournal ApplyPostgreSQL(RW)PostgreSQL(RO)Replica本地不存儲數(shù)據(jù)Repi

5、ca并行恢復(fù)日志，不落盤COSFSM備份FSM到COS，備份配置文件到CynosStore核心架構(gòu)設(shè)計CynosStore擴展系統(tǒng)讀能力、快速主備切換Repica多版本數(shù)據(jù)Buffer本地存儲本地存儲Journal SenderJournal SenderJournal Sender日志buffer持久化的日志Journal Receiver日志buffer合并的日志接收到的日志運行信息運行時內(nèi)存：事 務(wù)列表，鎖等數(shù)據(jù)BufferJournal Apply1.nPostgreSQL(RO)DB EngineCynosStore ProcessCynosStore ProcessDB Engin

6、ePostgreSQL(RW)Block - Journal HTAB頁面不在內(nèi)存，跳 過日志合并PostgreSQL(RO)PostgreSQL(RO)journal多個讀節(jié)點、并行日志恢復(fù)一主多讀 - 架構(gòu)一主多讀 - 架構(gòu)DB EngineCynosStore ProcessBlock - Journal HashTable日志Buffer日志接收線程日志合并線程提供多版本讀獲取RPL獲取某版本Buffer Page更新運行信息、Buffer鎖相關(guān)分配BufferCynosStore Process實現(xiàn)連接管理、日志管理DB與CynosStore接口簡單DB無需關(guān)心日志管理、合并數(shù)據(jù)Bu

7、ffer Pool傳統(tǒng)PostgreSQL恢復(fù)數(shù)據(jù)Buffer過程一主多讀 - 架構(gòu)walreceiver收到XLOG寫入XLOG FileStartup進程從XLOG文件中讀取日志跳過日志journal receiver收到日志 寫入journal buffer日志追加線程將日志插入到Block- journal Hash Table日志Apply線程遍歷hash表讀 取小于RPL的日志CynosDB for PG頁面是否 在bufferpool中Y恢復(fù)XLOG頁面是否在buffer pool中（調(diào)用DB回 調(diào)）Y合并日志從數(shù)據(jù)文件中 N讀取PageN一主多讀 - 讀頁面多版本數(shù)據(jù)Buffe

8、r：事務(wù)訪問舊版本頁面，日志回放與讀事務(wù)互相不阻塞backendPage A101520100backendDB EngineCynosStore ClientA.Apply以較新版本為基礎(chǔ)合并日志，快速返回請求頁面B10152030CynosStore一主多讀 - 讀頁面BAPPABA原子性：Repilca按照MTR粒度進行訪問頁面，保證對象結(jié)構(gòu)完整以索引頁面分裂為例MTR一主多讀 - 切換傳統(tǒng)PostgreSQL切換過程：PostgreSQL StandbyXLogStartup ProcessWalReceiver Process收到切換信號Startup Process退出處理寫事務(wù)1

9、2 關(guān)閉WalReceiver Process3 恢復(fù)完當前收到的日志、寫checkpoint45一主多讀 - 切換CynosDB主實例CynosDB備實例CynosDB備實例CynosDB讀實例CynosDB讀實例CynosDB讀實例CynosDB讀實例讀實例僅僅參與讀事務(wù)請求HA組RO組HA組中的備實例參與主備切換備機切換不需要恢復(fù)大量日志CynosDB秒級切換恢復(fù)點：LSN=1000100100ReplayXLog數(shù)據(jù)文件數(shù)據(jù)Buffer傳統(tǒng)PostgreSQL備機的啟動傳統(tǒng)備機啟動需要恢復(fù)到MinRecoveryPoint才能到一致狀態(tài)CynosDB Replica啟動需要一個持久化的RPL即可5050MinRecoveryPoint=50MinRecoveryPoint=1000Flush Buffer一主多讀 - 啟動一主多讀 - 防止多寫舊主100新主