來2年nalysisue庫服務(wù)庫服務(wù)數(shù)據(jù)倉庫務(wù)數(shù)據(jù)安全與管理：備份、災(zāi)備、審計(jì)、加密數(shù)據(jù)服務(wù)據(jù)處理涵蓋范圍——以數(shù)據(jù)處理技術(shù)為核心，持續(xù)為互聯(lián)網(wǎng)轉(zhuǎn)型企業(yè)打造高端服務(wù)PaaS平臺(tái)APP企業(yè)應(yīng)用DevOps開發(fā)者應(yīng)用服務(wù)HiveOnSparkSQL 公有云本地集成混合部署——以組件、平臺(tái)、服務(wù)多種方式輸出數(shù)據(jù)處理技術(shù)，促進(jìn)傳統(tǒng)企業(yè)互聯(lián)網(wǎng)轉(zhuǎn)型B2DB2D基礎(chǔ)組件讀寫分離自動(dòng)化組件高可用組件數(shù)據(jù)庫中間層組件制與監(jiān)控組件DRDS群平臺(tái)DevOps務(wù)云平臺(tái)ThinkBig臺(tái)臺(tái)咨詢服務(wù)數(shù)據(jù)庫設(shè)計(jì)最佳實(shí)踐多維度數(shù)據(jù)匯聚算法合方法論理與安全簡單，易用，十分鐘數(shù)據(jù)庫67存在存在的問題：?在應(yīng)用程序中包含–讀JDBC/ODBC–寫JDBC/ODBC?應(yīng)用程序邏輯決定哪些SQL數(shù)據(jù)源，哪些調(diào)用寫源?已有應(yīng)用需做大量修改才可?數(shù)據(jù)復(fù)制的效率得不到有效制延遲影響業(yè)務(wù)的DBProxyDBProxy8Q?配置和運(yùn)維復(fù)雜；Q?配置和運(yùn)維復(fù)雜；針對MySQL特點(diǎn)需要人工開發(fā)額外腳本不可避免腦裂的問題?在業(yè)務(wù)高峰期出現(xiàn)問題不敢切換；據(jù)文件存在于存儲(chǔ)設(shè)備，是個(gè)單獨(dú)故冷備，備機(jī)不提供服務(wù)，浪費(fèi)一半資源不支持故障節(jié)點(diǎn)自動(dòng)修復(fù)PActionHA存儲(chǔ)存儲(chǔ)設(shè)備901負(fù)載均衡負(fù)載均衡pHAProxy1xyhaproxygroup1管理門戶mcinst1mcinst1mcinst2mcgroup1讀寫分離oxyoxybproxygroupdbproxy1oxyygroupdbproxy1數(shù)據(jù)庫高可用集群bibinmysqlinstmysqlinstnmysqlinstmysqlinst1mysqlinstmysqlinst2 ActionHAMySQL ActionHAmysqlinstmysqlinstnmysqlinst1mysqlinst2pbin ActionHApgsqlinstpgsqlinst1pgsqlinst2pgsqlinstnSQLGroupActionHA物理集群bbotbbotbbotrverbotbotmgrbotbotbabotbotbalmServerrver務(wù)積累-十年數(shù)據(jù)服務(wù)經(jīng)驗(yàn)-完善的數(shù)據(jù)生態(tài)系統(tǒng)投產(chǎn)無需更改應(yīng)用由-事務(wù)可強(qiáng)制讀主庫-業(yè)務(wù)維度的延遲檢測和y之大成-部署簡單，運(yùn)維方便-極端情況不丟任何數(shù)據(jù)-多套靈活高可用分組化-貼近MySQL設(shè)計(jì)，自動(dòng)處理上百種水平擴(kuò)展-降低主節(jié)點(diǎn)的負(fù)載壓力-提高資源利用效率-在線添加MySQL從機(jī)，不影響業(yè)務(wù)-根據(jù)業(yè)務(wù)SQL統(tǒng)計(jì)調(diào)整主從比例-高性能，中間層的性能損耗低于10%31MySQL理 件SQL轉(zhuǎn)換和分發(fā)SQL轉(zhuǎn)換和分發(fā)MySQLMySQL庫集群用1l析片數(shù)據(jù)源MySQL主MySQL從MySQL主MySQL從MySQL主MySQL從Processor(n)Processor(1)果集果集用1l析片數(shù)據(jù)源MySQL主MySQL從MySQL主MySQL從MySQL主MySQL從Processor(n)Processor(1)果集果集理理分布式集群軟件架構(gòu)用2MySQLMySQL主MySQL從數(shù)據(jù)庫DB1片4片1片2片3數(shù)據(jù)庫4數(shù)據(jù)庫2數(shù)據(jù)庫3數(shù)據(jù)庫1數(shù)據(jù)庫DB1片4片1片2片3數(shù)據(jù)庫4數(shù)據(jù)庫2數(shù)據(jù)庫3數(shù)據(jù)庫1分布式數(shù)據(jù)庫分庫分表模型物理主機(jī)1物理主機(jī)2物理主機(jī)1物理主機(jī)2●邏輯庫(schema)-●邏輯表(table)-T1●分片節(jié)點(diǎn)(datanode)-分片1●實(shí)例(database)-數(shù)據(jù)庫1●節(jié)點(diǎn)主機(jī)(datahost)-物理主機(jī)1應(yīng)用程序應(yīng)用程序應(yīng)用程序sqoop復(fù)制HiveOnHiveOnSpark群中間件MySQL數(shù)據(jù)庫集群rMySQL數(shù)據(jù)庫集群81某銀行面向私有云的云數(shù)據(jù)庫平臺(tái)，打造DevOps模式應(yīng)用●項(xiàng)目背景：該銀行的數(shù)據(jù)中心擁有規(guī)模龐大的IT基礎(chǔ)設(shè)施和種類繁多的線上和開發(fā)測試項(xiàng)目。需構(gòu)建完整統(tǒng)一的私有云中的數(shù)據(jù)庫即服務(wù)平臺(tái)，并與IaaS整合?！窠鉀Q方案：?我們提供了基于MySQL的云數(shù)據(jù)庫即服務(wù)平臺(tái)。?實(shí)現(xiàn)了面向多租戶開發(fā)測試環(huán)境和生產(chǎn)環(huán)境的數(shù)據(jù)庫自服務(wù)、隨需創(chuàng)建擴(kuò)縮、便捷自動(dòng)管理和運(yùn)維的統(tǒng)一的數(shù)據(jù)庫云平臺(tái)?！穹桨竷r(jià)值：目前DBaaS平臺(tái)已投產(chǎn)系統(tǒng)60多套，開發(fā)環(huán)境幾個(gè)百個(gè)數(shù)據(jù)庫實(shí)例，測試環(huán)境100多個(gè)實(shí)例。物理服務(wù)器共計(jì)30多臺(tái)左右，虛擬機(jī)幾百個(gè)左右。?提升了快速的MySQL服務(wù)交付能力?形成了標(biāo)準(zhǔn)的MySQL運(yùn)維管理規(guī)范?實(shí)現(xiàn)了全面的MySQL運(yùn)維自動(dòng)化能力已經(jīng)支持了30余個(gè)業(yè)務(wù)上線，加快了開發(fā)、單元測試、功能測試、集成測試和生產(chǎn)部署的處理流程，從基礎(chǔ)設(shè)施層面滿足業(yè)務(wù)敏捷性需求。界面展示---實(shí)例管理示---備份策略界面展示---實(shí)例性能擴(kuò)容容界面展示---實(shí)例存儲(chǔ)擴(kuò)容界面展示---實(shí)例HA擴(kuò)容統(tǒng)A型實(shí)例內(nèi)存資源的段統(tǒng)A型實(shí)例內(nèi)存資源的段例運(yùn)行時(shí)在各自器中運(yùn)行，互相見，不影響?CGroups是Linux內(nèi)一種資源隔資源調(diào)度損性能高linux內(nèi)核中的物理機(jī)資源ControlGroups資源用戶互聯(lián)網(wǎng)金融數(shù)據(jù)云愛可生數(shù)據(jù)支撐平臺(tái)，并由愛可生公司提供業(yè)務(wù)架構(gòu)咨詢，和全線技術(shù)支持服務(wù)27數(shù)據(jù)緩存負(fù)載均衡pHAProxy數(shù)據(jù)緩存負(fù)載均衡pHAProxy1HAProxy2haproxygroup1oxydbproxy1dbproxy1dbproxy2讀寫分離應(yīng)用管理門戶bbixbalmmcbalmmc高ysqlmysqlysqlmysql2Mysql3mysqlmysql4ysqlysqlmysqlmysql2mysql2mysql2ysql短消息mysql2mysql2ysqlmysqlmysql2ysqlmysqlmysql2ysqlmysql2ysqlmysql2mysqlmysql2ysqlmysql2mysqlmysql2ysqlmysql2物理集群bbotbbotbotbotbalmbalmbotmgrbotbotmgrbot存儲(chǔ)設(shè)備(支持SCSI-3PR)存儲(chǔ)設(shè)備存儲(chǔ)設(shè)備(支持SCSI-3PR)28?30臺(tái)服務(wù)器構(gòu)成數(shù)據(jù)庫支撐平臺(tái)(可隨需擴(kuò)展)MkRAID用存儲(chǔ)3TB/臺(tái)?存儲(chǔ)設(shè)備–支持SCSI3-PR協(xié)議–60T*2臺(tái)–存儲(chǔ)實(shí)時(shí)binlog–數(shù)據(jù)備份?軟件–CentOS6.5–愛可生高可用集群管理程序balm–愛可生高可用節(jié)點(diǎn)控制程序bot?快捷部署–Balm(FirstBot)手工Steb-By-Step參數(shù)化部署–集群成員由BalmWebGUI自動(dòng)化納管29MySQL高可用集群層部署20余套業(yè)務(wù)數(shù)據(jù)庫，通過愛可生高可用讀寫分離集群進(jìn)行管理–支付庫，一主一從，記錄支付詳情，并外聯(lián)exadata完成支付,RW5:1WW0業(yè)務(wù)系統(tǒng)數(shù)據(jù)規(guī)模性能指標(biāo)●紅包數(shù)量按照100萬/秒容量設(shè)計(jì)系統(tǒng)特業(yè)務(wù)系統(tǒng)數(shù)據(jù)規(guī)模性能指標(biāo)●紅包數(shù)量按照100萬/秒容量設(shè)計(jì)系統(tǒng)特性運(yùn)行級(jí)別愛可生分布式數(shù)據(jù)庫集群軟件愛可生分布式數(shù)據(jù)庫集群軟件——支撐100萬/秒的紅包設(shè)計(jì)容量，：紅包數(shù)據(jù)。。，：紅包數(shù)據(jù)。。4組分片節(jié)點(diǎn)。所在節(jié)點(diǎn)是1主3從，其它節(jié)點(diǎn)時(shí)1：產(chǎn)品、賬號(hào)、好友相關(guān)2，可以無縫擴(kuò)展更多“讀”節(jié)點(diǎn)