蓋國強@云和恩墨-數(shù)據(jù)庫技術(shù)和生態(tài)的發(fā)展演進YUNHEENMO(BEIJING)TECHNOLOGYCO.,LTD云和恩墨成就所托WhoamIo蓋國強o蓋國強云和恩墨信息技術(shù)有限公司o國內(nèi)第一個OracleACE及ACE總監(jiān)；o致力于技術(shù)分享與傳播o技術(shù)論壇ITPUB的主要倡導(dǎo)者之一;o已經(jīng)出版了14本技術(shù)書籍；o和張樂奕共創(chuàng)Oracle用戶組-ACOUG,開展持續(xù)的公益活動；o云和恩墨數(shù)據(jù)資產(chǎn)端到端解決方案服務(wù)商?數(shù)據(jù)庫發(fā)展的三個時代，成就了三種商業(yè)形態(tài)–商業(yè)數(shù)據(jù)庫時代：成就了商業(yè)軟件行業(yè)；–開源數(shù)據(jù)庫時代：成就了互聯(lián)網(wǎng)；–云數(shù)據(jù)庫時代：也是商業(yè)和開源的混合時代，成就了云企業(yè)和輕型數(shù)字化企業(yè)；NoSQLPiccoloDocumentNoSQLNewSQLKeyValueDBaaSBigtaNoSQLPiccoloDocumentNoSQLNewSQLKeyValueDBaaSBigtablesGraphNonNon-RelationalPPOperational由現(xiàn)代的托管數(shù)據(jù)庫服務(wù)來處理。--Jeff22013年5月17日2019年10月2日發(fā)布：OceanBase數(shù)據(jù)庫服務(wù)器使用的是204+3臺型號ecs.i2.16xlarge阿里云ECS服務(wù)器，其中204臺作為DataNode，還“SQL”Durability,consistency,recoverabilityCARDBMSConsistencyCPMongoDBHBasePartitionAvailabilityCloudD“SQL”Durability,consistency,recoverabilityCARDBMSConsistencyCPMongoDBHBasePartitionAvailabilityCloudDBMStoleranceAPCouchDBCassandraDynamoDB?云數(shù)據(jù)庫發(fā)展演進的四大趨勢多模(Multi-model)?數(shù)據(jù)庫智能化+自動化管控平臺?新硬件:軟硬件一體化設(shè)計?高可用TrTraditionalRDBMSNewSQLNewSQL“Elasticity”Scalingsimplicity,continuousavailability?toB市場的認同成為數(shù)據(jù)庫成敗的關(guān)鍵，云上和云下的融合是大勢所趨;?toC注重極致的用戶體驗，toB則注重企業(yè)和組織的績效和效率提升；?長期的行業(yè)趨勢不是將所有數(shù)據(jù)轉(zhuǎn)移到公共云，而是將云體驗轉(zhuǎn)移到數(shù)據(jù)上來;Gartner發(fā)現(xiàn)DBPaaSGartner發(fā)現(xiàn)DBPaaS是PaaS領(lǐng)域增長最快的部分，預(yù)計到2021年它將達到100億美元。以1860美元超出公有云IaaS&iPaaS1760億GartnerSource:Wikibon,Gartner企業(yè)的經(jīng)歷：?企業(yè)的經(jīng)歷：?數(shù)據(jù)累積性能衰減?業(yè)務(wù)發(fā)展并發(fā)增高?拆分數(shù)據(jù)表?分割數(shù)據(jù)庫?分布式數(shù)據(jù)庫?異構(gòu)與遷移?業(yè)務(wù)驅(qū)動數(shù)據(jù)庫分拆企業(yè)的目標：?提升性能?提高穩(wěn)定性?保障數(shù)據(jù)安全?降低TCO?內(nèi)存分區(qū)，分塊?數(shù)據(jù)表分區(qū)?讀寫分離?Sharding?集群?分布式?多租戶?機器學習?自治智能ApplicationDDLMMMMM1/N1/N1/N1/N1/N1/NMS…SSSSS主數(shù)據(jù)庫ApplicationDDLMMMMM1/N1/N1/N1/N1/N1/NMS…SSSSS主數(shù)據(jù)庫?從以IOE架構(gòu)支撐，到混合架構(gòu)，再到徹底的開源和分布式架構(gòu)ApplicationApplicationMMSS頸，垂直擴展架構(gòu)遭遇挑戰(zhàn)。最初IOE 系統(tǒng)的壓力，提升系統(tǒng)吞吐量。頸，垂直擴展架構(gòu)遭遇挑戰(zhàn)。最初IOE?從POLARDB到BOX一體機POLARDBPOLARDB組成模塊網(wǎng)關(guān)層網(wǎng)關(guān)GETEWAYkeepalivedFlashback閃回功能組成模塊網(wǎng)關(guān)層網(wǎng)關(guān)GETEWAYkeepalivedFlashback閃回功能?以MySQL為核心，打造電信級核心數(shù)據(jù)庫平臺IPKEEPER態(tài) keepalivedZookeeper集群態(tài) keepalivedZookeeper集群Gateway(主)Gateway(主) 上報geteway狀態(tài)信息切換命令下發(fā)從庫強同步主庫從庫強同步主庫Agent2選1Agent從庫Agent DB層上報DBDB層切換命令下發(fā) ?TELEDB引入增強的半同步機制，應(yīng)用事務(wù)提交時，事務(wù)日志至少在主備兩個數(shù)據(jù)庫上都完成寫入?使用線程池技術(shù)來解決最大連接數(shù)限制問題，以及過多線程帶來的系統(tǒng)開銷?通常采用一主兩從的部署架構(gòu)，引入TDSQL提供的“赤兔”和“扁鵲”系統(tǒng)為數(shù)據(jù)庫實現(xiàn)自動化運維提供了豐富的工具，“赤TDSQL提供的“赤兔”和“扁鵲”系統(tǒng)為數(shù)據(jù)庫實現(xiàn)自動化運維提供了豐富的工具，“赤兔”平臺能提供上百項監(jiān)控指標的展示，結(jié)合靈活豐富的告警策略提供風；“扁鵲”作為一套智能檢測系統(tǒng)，能輕松應(yīng)對鎖沖突、索引缺失、故障切換等數(shù)據(jù)庫異常，大幅縮短日常定位排查問題的時間。?張家港農(nóng)商行是國內(nèi)銀行首次在傳統(tǒng)核心業(yè)務(wù)系統(tǒng)采用國產(chǎn)分布式數(shù)據(jù)庫?核心系統(tǒng)主要分為兩大部分，一個為交易子系統(tǒng)，覆蓋銀行卡、資金管理資金的交易分離、清算總賬?遷移的核心系統(tǒng)的數(shù)據(jù)量在TB級，志等數(shù)據(jù)，原系統(tǒng)為Sybase?數(shù)據(jù)庫分片“一主三備”的模式，保證主節(jié)點故障時可以在40s以內(nèi)自動切換到備節(jié)點并恢復(fù)業(yè)務(wù)；TDSQL的核心思想：復(fù)制和分片，replica解決可用性問題；Sharding解決容量伸縮問題；?硬件投入成本下降75%以上。從長遠來看，每年能節(jié)省20%的IT投入。提供數(shù)據(jù)查詢和數(shù)ionManagerDM(DatabaseManager):CM(ClusterManager)：物理資源運行情況，定運行；DT(DeveloperTools):從標準化、自動化到智能化，數(shù)據(jù)庫基礎(chǔ)運維正在走向AIOps的未來，?標準化，由運維經(jīng)驗豐富的DBA結(jié)合以往案例和經(jīng)驗，提取數(shù)據(jù)庫運維常用的原子操作，形成標準操作流程；?自動化，以標準化規(guī)范為基礎(chǔ)，進行運維工具的開發(fā)和測試，形成自動化基本操作流程，原子化服務(wù)化支持自動編排；?智能化，與運維平臺對接，形成系統(tǒng)直觀可操作的圖形化流程。逐步引入機器學習與智能化算法應(yīng)用，走向自治。AutoMLShardingAutoMLShardingeedActiveyectoryectoryBlockchaindataingestionADGDMLRedirectAutomaticMultitenant,Multitenant,In-MemoryandRelocateandRelocateAutonomousVectorJoinsVectorJoinsedSnapshotALESIndexingbridALESIndexingbridNewIn-MemoryT1T2T3T4nntoreJSONJSONImprovementsPersistentMemoryPersistentMemoryStorecryptionTemporaryTablesc1320.1.01320.1.0樣本：據(jù)Bethune平臺6127套數(shù)據(jù)庫架構(gòu)復(fù)雜化基礎(chǔ)架構(gòu)復(fù)雜化架構(gòu)復(fù)雜化基礎(chǔ)架構(gòu)復(fù)雜化業(yè)務(wù)架構(gòu)復(fù)雜化應(yīng)用數(shù)據(jù)架構(gòu)復(fù)雜化在變革過程中，企業(yè)面臨的痛點包括：如何甄別可持續(xù)性技術(shù)方向；如何平穩(wěn)過度到新技術(shù)方向；如何在新技術(shù)方向上重構(gòu)企業(yè)服務(wù)體系；如何規(guī)避新技術(shù)體系的風險；如何獲得必須的服務(wù)支撐。分布式智能優(yōu)化、智能運維融合智能統(tǒng)一管理、功能內(nèi)置分布式智能優(yōu)化、智能運維融合智能統(tǒng)一管理、功能內(nèi)置平臺化極速性能、快速上線自彈性伸縮彈性伸縮、故障自愈云化架構(gòu)云化架構(gòu)、公私融合軟軟硬一體//ValueScale?戰(zhàn)略性工作-TasksSpecifictotheBusiness–Architecture,planning,datamodeling–Datasecurityanddatalifecyclemanagement–Application-relatedtuning–End-to-Endservicelevelmanagement?戰(zhàn)術(shù)性工作-TacticalOperations–Configurationandtuningofsystems,network,storage–Databaseprovisioning,patching–Databasebackups,H/A,disasterrecovery–DatabaseoptimizationValueValu?戰(zhàn)略性工作-TasksSpecifictotheBusiness–Architecture,planning,datamodeling–Datasecurityanddatalifecyclemanagement–Application-relatedtuning–End-to-Endservicelevelmanagement?戰(zhàn)術(shù)性工作-TacticalOperations–Configurationandtuningofsystems,network,storage–Databaseprovisioning,patching–Databasebackups,H/A,disasterrecovery–Databaseoptimization一項研究表明，制造業(yè)工人失業(yè)后進行再就業(yè)培訓，成功率只有0%~15％…未來的三十年，自動化和人工智能將占據(jù)美國一半的就業(yè)崗位。那些沒有技能的勞工，很難在市場上找20置。--楊安澤(AndrewYang)Oracle通過長期積累，形成了完善的知識庫和根因分析體系，直接對接客戶環(huán)境。墨天輪致力于在新時代下打造更具創(chuàng)新性的學習形態(tài)、構(gòu)建完整的數(shù)據(jù)知識體系、承載技術(shù)人的持續(xù)成長，共同建設(shè)一個有溫度的技術(shù)社區(qū)和全新的數(shù)據(jù)社群聚合體，以樂知樂享之志，成?包含20+國產(chǎn)數(shù)據(jù)庫學習數(shù)據(jù)庫生態(tài)助力公有云和私有云技術(shù)架構(gòu)走向融合，以云模式構(gòu)建統(tǒng)一的數(shù)據(jù)庫管理能力，通過融合多數(shù)據(jù)庫于一體，簡化企業(yè)數(shù)據(jù)庫管理的復(fù)雜度：能夠完成專業(yè)的工作任務(wù)，能夠快速準確的處置和解決常見問題；云化演進，基礎(chǔ)設(shè)施平臺以云模式構(gòu)建統(tǒng)一的數(shù)據(jù)庫管理能力，通過融合多數(shù)據(jù)庫于一體，構(gòu)建數(shù)據(jù)自由轉(zhuǎn)換能力期發(fā)展的現(xiàn)實，構(gòu)建互聯(lián)互通的數(shù)據(jù)集群生態(tài)，避免新興的數(shù)據(jù)孤島；數(shù)據(jù)能夠?qū)崿F(xiàn)跨庫的最佳兼容性，以實現(xiàn)數(shù)據(jù)的自由遷徙和流轉(zhuǎn)；數(shù)據(jù)庫皇冠上的明珠是SQL，通過開發(fā)審核，提升SQL質(zhì)量，降低線上運行性能瓶頸，是數(shù)據(jù)庫技術(shù)發(fā)展的重要挑戰(zhàn)和課題。DevOps最佳實踐；，機器學習索引；的SQL優(yōu)化加