1、技術(shù)創(chuàng)新，變革未來騰訊Cmongo數(shù)據(jù)庫架構(gòu)與優(yōu)化實踐01CMongo簡介02整體架構(gòu)03功能特性&最佳實踐04未來規(guī)劃MongoDBNoSQL領(lǐng)頭羊，增長勢頭持續(xù)、強勁靈活高效的文檔模型靈活性靈活的表結(jié)構(gòu)：Schema-free 豐富的索引類型Binary-json友好的交互方式易擴展優(yōu)秀的 橫向+縱向 擴縮容能力分片之間自動負(fù)載均衡，對用戶使用透明靈活可配的遷移策略，將性能影響降到最低企業(yè)級功能審計：優(yōu)于官方企業(yè)版的審計能力 存儲加密全鏈路限流中文全文索引高性能專業(yè)內(nèi)核團隊：貼近業(yè)務(wù)定制內(nèi)核特性 多種插件式引擎：WiredTiger/RocksDB/InMemory/Mmap優(yōu)秀的讀寫性能

2、：具體參考騰訊云 官方測試報告CMongo簡介整體架構(gòu)OSS+內(nèi)核+運營系統(tǒng)Master管控核心模塊集群生命周期管理 對外RPC接口資源管理Supervisor集群撥測、告警巡檢、健康狀態(tài)報告 自動化運維Worker宿主機agent 進程管理機器資源管理管控架構(gòu)計算存儲分離架構(gòu)（coming）內(nèi)核架構(gòu)原生架構(gòu)功能特性管控內(nèi)核集群創(chuàng)建、刪除、擴縮容備份、回檔故障處理監(jiān)控、告警智能診斷資源隔離容量、連接數(shù)控制跨地域容災(zāi)資源管理3.2開始支持從庫snapshot讀（官方4.0版本才支持該特性）geoNear優(yōu)化（相比原生性能提升10倍）MongoRocks優(yōu)化基于checkpoint的不停服物理備份

3、大量短連接下隨機數(shù)生成算法優(yōu)化白名單免密動態(tài)resize oplog（代碼已被官方接受）TTL索引優(yōu)化審計、加密內(nèi)核全鏈路過載保護（業(yè)界獨家）skip + limit優(yōu)化hdfs/cos管控-企業(yè)級數(shù)據(jù)安全備份/回檔高效備份回檔，有“備”無患，兜底數(shù)據(jù)安全多副本數(shù)據(jù)多副本，高效HA只讀/災(zāi)備實時同步，鏡像集群審計、加密請求可追蹤，整鏈路數(shù)據(jù)加密多種類型secondary、hidden、delay、arbiter等支持50個從節(jié)點自動HA容災(zāi)節(jié)點狀態(tài)定期巡檢多副本挑戰(zhàn)：資源利用最大化？多副本高效容災(zāi)節(jié)點角色持久化解決方案：機房、機架、機器多維度容災(zāi)降序最佳適應(yīng)算法(BFD)，避免碎片，提升資源利

4、用率節(jié)點遷移、變更帶狀態(tài)整實例回檔 VS. 庫表回檔可回檔到7天任意時刻snapshotrestore nowReplay oplog備份回檔邏輯備份 VS. 物理備份全量備份 VS. 增量備份（oplog）動態(tài)調(diào)整備份間隔，保證備 份連續(xù)覆蓋7天時間分片回檔分片集群回檔數(shù)據(jù)+路由分片集群回檔時間全局有效性 回檔“臟數(shù)據(jù)”過濾同城多AZ+異地災(zāi)備 解決方案跨地域容災(zāi)跨地域容災(zāi)挑戰(zhàn)：同步速度數(shù)據(jù)一致性如何保證?異常處理斷點續(xù)傳狀態(tài)監(jiān)控&故障恢復(fù)oplog由串行改并行回放， 速度提升N（并發(fā)數(shù)）倍DDL串行處理源和目標(biāo)定期比對、校驗rollback的優(yōu)雅處理災(zāi)備集群只讀權(quán)限控制增量階段oplog

5、ts持久化同步狀態(tài)實時上報審計審計范圍DDLCRUD可選開啟審計規(guī)則支持動態(tài)增刪改查 靈活性高(細(xì)粒度)亮點審計實時監(jiān)控支持同步/異步兩種模式 性能損耗5%以內(nèi)秒級監(jiān)控異常告警定期巡檢過載保護彈性伸縮自動化運維管控-核心PaaS服務(wù)能力秒級監(jiān)控秒級監(jiān)控整體架構(gòu)新版監(jiān)控：秒級監(jiān)控系統(tǒng)關(guān)鍵指標(biāo)上報集中式改為分布式架構(gòu)舊版監(jiān)控：監(jiān)控粒度粗缺乏關(guān)鍵指標(biāo)集中式上報，可用性低擴展性差Scale up：擴節(jié)點資源擴從節(jié)點，上限50Scale out：擴分片數(shù)，上限128彈性伸縮彈性伸縮-加節(jié)點方案一：基于原生加節(jié)點邏輯邏輯同步建索引耗時太久影響源節(jié)點initial-sync方 案 二 ： hotbackup

6、直接拷 貝文件新建節(jié)點影響源節(jié)點，尤其高 峰期可能導(dǎo)致業(yè)務(wù)雪 崩hotbackup最終方案 方案三：基于遠(yuǎn)端熱備文件加節(jié)點對源節(jié)點無影響充分利用冷備文件盡可能加快恢復(fù)速度低峰期熱備COS文件下載&加節(jié)點全量文件 導(dǎo)入增量回放Standalone模式啟動Apply Oplog，做增量回放主動寫自己的Oplog表加入原副本集，成為從節(jié)點巡檢目標(biāo)：集群健康體檢，提前發(fā)現(xiàn)集群潛在風(fēng)險自動化運維自動處理確定性故障，快速修復(fù)問題，保證集群可用性健康檢查故障匯聚處理決策自動化運 維操作通知supervisorETCDRuntimemongodmongos確定性故障卡主recover且 oplog追不 上假死

7、內(nèi)部連接 池滿節(jié)點類故障機器類故障磁盤只讀磁盤壞塊掉盤內(nèi)存故障周期+窗口頻率控制白名單可用區(qū)維度 集群維度適用性能特別敏感的客戶，低峰 期再補充節(jié)點全鏈路內(nèi)核流控內(nèi)核-深度優(yōu)化定制Skip+limit優(yōu)化K歌和Q音的評論、作品“大翻頁“：幾十甚至上百頁的翻頁跳轉(zhuǎn)cursor只能順序讀，需使用skip+limitskip+limit優(yōu)化問題：性能差，QPS上不去mongos入流量是出流量上百倍mongos cpu接近打滿skip+limit優(yōu)化優(yōu)化思路：命中單個shard，skip下推到mongod版本對比請求總數(shù)并發(fā)數(shù)耗時網(wǎng)卡流量mongos-CPUmongod-CPU原生版本20056.3s

8、120MB/s30%13%優(yōu)化版本20050.6s1MB/s1.7%14%網(wǎng)卡流量下降 2 個數(shù)量級CPU利用率（peak）降低 1 個數(shù)量級性能提升 1 個數(shù)量級（備注：測試場景為查詢數(shù)據(jù)落在單分片）skip+limit優(yōu)化性能對比全鏈路流控線上問題：原生集群缺少流控短時大量請求打垮集群流控方案：嵌入式設(shè)計，無需額外模塊自適應(yīng)平滑限流全內(nèi)核邏輯全鏈路流控限流因子：資源 cpu/mem/io/net鎖 ar/aw、qr/qw等QPS tcp Vegas效果：更加平滑穩(wěn)定的QPS業(yè)務(wù)請求突發(fā)，系統(tǒng)不雪崩限流因子閾值動態(tài)可配動態(tài)開關(guān)業(yè)務(wù) 場 景管控 平 臺內(nèi)核生 態(tài) 融 合 MongoDB托管服務(wù) 管控操作運維系統(tǒng)作業(yè)調(diào)度監(jiān)控告警資源管理運維web定時任務(wù)讀寫撥測實例管理工具系統(tǒng)備份回檔故障檢測作業(yè)調(diào)度健康巡檢生命周期管理采集上報性能鑒權(quán)優(yōu)化