1、Amazon Aurora關(guān)系型數(shù)據(jù)庫(kù)詳解為云計(jì)算而生的關(guān)系型數(shù)據(jù)庫(kù)議程Aurora特性Aurora技術(shù)架構(gòu)遷移至AuroraAurora客戶案例議程Aurora特性Aurora技術(shù)架構(gòu)遷移至AuroraAurora客戶案例A m a zo nA u ro r a 的與眾不同高性能和高可擴(kuò)展性高可用性和高耐用性高度安全完全托管5 倍于標(biāo)準(zhǔn) MySQL 的吞吐量3 倍于PostgreSQL 的吞吐量性能相當(dāng)而成本僅為商用DB的1/10 可以跨3個(gè)AZ,最多 15 個(gè)可讀副本 存儲(chǔ)自增長(zhǎng)，單實(shí)例可達(dá) 64TB可用性高于 99.99%具有容錯(cuò)及自我修復(fù)能力跨3個(gè)AZ復(fù)制6個(gè)數(shù)據(jù)副本數(shù)據(jù)持續(xù)備份到 S

2、3實(shí)例故障轉(zhuǎn)移小于3 秒通過(guò)VPC 進(jìn)行網(wǎng)絡(luò)級(jí) 隔離，支持靜態(tài)存儲(chǔ) 及傳輸時(shí)加密，集群 中的備份、快照和副 本自動(dòng)加密無(wú)需擔(dān)心硬件、軟件補(bǔ)丁、 設(shè)置、配置或備份等數(shù)據(jù) 庫(kù)管理任務(wù)。會(huì)自動(dòng)持續(xù) 監(jiān)控并將其備份到 S3，可 以實(shí)現(xiàn)精細(xì)的時(shí)間點(diǎn)恢復(fù)。兼容 MySQL 和 PostgreSQL 的關(guān)系數(shù)據(jù)庫(kù)，為云打造。性能和可用性與商用數(shù)據(jù)庫(kù)相當(dāng)，成本只有 1/10。與M YS Q L 寫(xiě)性能比較SysBench Write-Only (writes/sec)DB SizeAmazon AuroraMySQL1 GB107,0008,40010 GB107,0002,400100 GB101,0001

3、,5001 TB41,0001,200SysBench OLTP (writes/sec)Connections Amazon AuroraMySQL5040,00010,00050071,00021,0005,000110,00013,000與M YS Q L 讀性能比較Four client machines with 1,000 threads eachWRITE PERFORMANCEREAD PERFORMANCESingle client with 1,600 threadsMySQL SysBenchR3.8XL with 32 cores and 244 GB RAM性能測(cè)試更

4、多的測(cè)試可以看：/cn/blogs/china/aurora-test/?nc1=b_rp減少網(wǎng)絡(luò)傳輸緩存計(jì)算和存儲(chǔ)分離減少不必要工作更少IO減少延遲優(yōu)化鎖機(jī)制批量處理提高效率異步處理如何實(shí)現(xiàn)高性能？數(shù)據(jù)庫(kù)取決于IO網(wǎng)絡(luò)存儲(chǔ)依賴流量AWS 全球區(qū)域https:/www.infrastructure.aws/AWS 基礎(chǔ)架構(gòu)組件AWS 可用區(qū)( A Z ) 設(shè)計(jì)通過(guò)一個(gè)或多個(gè)數(shù)據(jù)中心，在基礎(chǔ)架構(gòu)層面 進(jìn)行完全隔離兩個(gè)AZ之間相隔幾十公里每個(gè)數(shù)據(jù)中心具有各自獨(dú)立的電源系統(tǒng)高達(dá)10萬(wàn)臺(tái)服務(wù)器的規(guī)模不同的數(shù)據(jù)中心之間通過(guò)高速網(wǎng)絡(luò)進(jìn)行連接通過(guò)訪問(wèn)infrastructure.aws 了解更多的AWS 全

5、球基礎(chǔ)架構(gòu)設(shè)施AvailabilityZone AAvailability Zone BBeijing Region 北京區(qū)域Availability Zone 可用區(qū)每個(gè)region區(qū)域至少有兩個(gè)可用區(qū)每個(gè)可用區(qū)都由多個(gè)數(shù)據(jù)中心組成可用區(qū)之間地理與網(wǎng)絡(luò)都是獨(dú)立設(shè)計(jì)與運(yùn)營(yíng)可用區(qū)間網(wǎng)絡(luò)延時(shí)保持在3ms以下可用區(qū)內(nèi)延時(shí)保持在0.3ms以下跨可用區(qū)的高可用部署極低成本的城市圈級(jí)別的實(shí)時(shí)異地容災(zāi)方案Availability Zone AAvailability Zone BNingxia Region 寧夏區(qū)域AvailabilityZone A議程Aurora特性Aurora技術(shù)架構(gòu)遷移至Auror

6、aAurora客戶案例A m a zo nA u ro r a 體系結(jié)構(gòu)( 橫向擴(kuò)展)AZ 1AZ 3PrimaryInstanceAmazon S3AZ 2Replica InstanceASYNC 4/6 QUORUMDISTRIBUTED WRITESReplica InstanceLogging + StorageSQLTransactionsCaching控制層面數(shù)據(jù)層面AmazonS3DynamoDBAmazon SWFRoute 53將日志記錄和存儲(chǔ)層移入多租戶，橫向擴(kuò)展為數(shù)據(jù)庫(kù) 優(yōu)化的存儲(chǔ)服務(wù)與EC2VPC、DynamoDB、SWF、Route 53等其他AWS服務(wù)集成，用于控

7、制層面的操作持續(xù)備份與S3集成，并具有11個(gè)9的持久性A u ro r a 只讀副本的不同之處Log RecordsBinlogDataDouble-Write BufferFRM Files, MetadataPrimary InstanceReplica InstanceAmazon Elastic Block Store (EBS)S3EBSmirrorEBSEBSmirrorPiTRSequential writeSequential writeMySQL With ReplicaAZ 1AZ 2AZ 1AZ 3Primary InstanceS3Amazon AuroraAZ 2Re

8、plica Instanceasync 4/6 quorumDistributed writes主要改進(jìn)日志結(jié)構(gòu)化存儲(chǔ)對(duì)異常值的一致性容忍度顯著提高網(wǎng)絡(luò)I/O的使用效率A u ro r a 存儲(chǔ)節(jié)點(diǎn)的I/ O 處理PrimaryInstanceINCOMING QUEUESTORAGE NODE12346S3 BACKUP78UPDATE QUEUELOG RECORDSACKPOINT IN TIME SNAPSHOTGCDATABLOCKS SCRUBCOALESCE5SORT GROUPPEER TO PEER GOSSIPHOTLOGPeer Storage Nodes實(shí)際運(yùn)行效果 所

9、有步驟都是異步的 僅有步驟1與2處于前臺(tái)延時(shí)過(guò)程中 輸入隊(duì)列比MySQL少46倍 有利于延時(shí)敏感型操作 使用磁盤空間緩沖活動(dòng)中的峰值I/O 控制流 接收記錄并添加到內(nèi)存隊(duì)列中持久化日志記錄并確認(rèn)組織日志記錄并鑒別日志中的縫隙 通過(guò)Gossip協(xié)議填補(bǔ)對(duì)等節(jié)點(diǎn)中縫隙 將日志記錄合并到新版本的數(shù)據(jù)塊中 定期將日志和新塊中轉(zhuǎn)到S3定期垃圾回收舊塊定期對(duì)塊進(jìn)行CRC校驗(yàn)A m a zo nA u ro r a存儲(chǔ)引擎概述數(shù)據(jù)在3 Availability Zones中復(fù)制6份持續(xù)備份到Amazon S3 (11個(gè)9的持久性)持續(xù)監(jiān)視節(jié)點(diǎn)和磁盤并自動(dòng)修復(fù)10GB 的區(qū)段作為修復(fù)和存儲(chǔ)根據(jù)用 量自動(dòng)增長(zhǎng)的

10、基礎(chǔ)，存儲(chǔ)最大擴(kuò)展 到64 TBQuorum system 讀寫(xiě);Quorum membership 變更不會(huì)阻塞寫(xiě)AZ 1AZ 2AZ 3Amazon S3Database NodeStorage NodeStorage NodeStorage NodeStorage NodeStorage NodeStorage NodeStorage Monitoring可能問(wèn)題?Segment 損壞 (磁盤)節(jié) 點(diǎn) 損 壞 ( 主 機(jī) ) AZ 損壞 (網(wǎng)絡(luò)或數(shù)據(jù)中心)優(yōu)化4 out of 6 write quorum3 out of 6 read quorumPeer-to-peer replica

11、tion for repairsAZ 1AZ 2AZ 3SQLTransactionCachingA m a zo n存儲(chǔ)引擎容錯(cuò)AZ 1AZ 2AZ 3SQLTransactionCachingA m a zo nA u ro r a只讀副本可用性自動(dòng)檢測(cè)并替換失敗的database nodes自動(dòng)檢測(cè)并重啟失敗的database processes只讀副本在主節(jié)點(diǎn)故障時(shí)自 動(dòng)提升 (failover)客戶可以指定fail-over 順序AZ 1AZ 3AZ 2PrimaryNodePrimaryNodePrimary Database NodePrimaryNodePrimaryNodeR

12、ead ReplicaPrimaryNodePrimaryNodeRead ReplicaDatabase and Instance Monitoring性能客戶程序可以將讀流量指向只讀副本讀負(fù)載在多個(gè)只讀副本間均衡支持15個(gè)只讀副本集群讀寫(xiě)與只讀終端節(jié)點(diǎn)Availability Zone 1橫向擴(kuò)展讀取性能Availability Zone 2Availability Zone 3ApplicationRead Replica 1自動(dòng)添加或刪除只讀副本 自動(dòng)故障轉(zhuǎn)移Read Replica 2Master NodeShared distributed storage volumeA m a

13、zo nA u ro r a 擴(kuò)展與高可用AppRunningFailure DetectionDNS PropagationRecoveryRecoveryDBFailureMYSQLDBFailureAURORA WITH MARIADB DRIVERFailure DetectionDNS Propagation5 - 6s e cRecoveryApp Running5 - 1 0s e cA u ro r a 自動(dòng)故障接管過(guò)程SEGMENT SNAPSHOTLOG RECORDSRECOVERY POINTSEGMENT 1SEGMENT 2SEGMENT 3TIMEA u ro r

14、 a 數(shù)據(jù)庫(kù)備份與恢復(fù)并行為每個(gè)段定期拍快照，將重做日志流傳輸?shù)絊3存儲(chǔ)桶持續(xù)進(jìn)行備份，并不影響性能或可用性在還原時(shí)，從S3返回相應(yīng)的段快照與重做日志流到存儲(chǔ)節(jié)點(diǎn)以并行和異步方式應(yīng)用重做日志流到段快照傳統(tǒng)數(shù)據(jù)庫(kù)需要從last checkpoint重放所有日志一般來(lái)說(shuō)從checkpoints開(kāi)始5分鐘內(nèi)在MySQL 和 PostgreSQL上是Single-threaded需要大量的disk accessesAmazon Aurora啟動(dòng)時(shí)無(wú)需重放，存儲(chǔ)系統(tǒng) 事務(wù)感知底層存儲(chǔ)由多個(gè)segment組成，不同segment有自己的重做日志應(yīng)用日志操作是并行，分布和異步的Checkpointed Da

15、taLogCrash at T0 requiresa re-application of the SQL in the log since last checkpointT0T0Crash at T0 will result in logs being applied to each segment on demand, in parallel, asynchronouslyA m a zo nA u ro r a緊急崩潰恢復(fù)A u ro r a 只讀副本自動(dòng)伸縮技術(shù)MASTERREAD REPLICAREAD REPLICAREAD REPLICASHARED DISTRIBUTED STO

16、RAGE VOLUMEREADER END-POINT跨多個(gè)可用區(qū)最多可提升15個(gè)只讀副本基于重做日志復(fù)制的副本低延時(shí) - 通常10毫秒讀取器端點(diǎn)具有負(fù)載平衡和自動(dòng)縮放(CPU及連接數(shù))Availability Zone 1Availability Zone 2Availability Zone 3克隆數(shù)據(jù)庫(kù)而不復(fù)制數(shù)據(jù)瞬間創(chuàng)建一個(gè)數(shù)據(jù)庫(kù)克隆僅在發(fā)生寫(xiě)入時(shí)復(fù)制數(shù)據(jù)(COW) 當(dāng)原始數(shù)據(jù)和克隆卷數(shù)據(jù)不同時(shí)應(yīng)用場(chǎng)景克隆生產(chǎn)數(shù)據(jù)庫(kù)以運(yùn)行測(cè)試數(shù)據(jù)庫(kù)重組為分析提供一個(gè)時(shí)間點(diǎn)快照，不影 響生產(chǎn)環(huán)境PRODUCTION DATABASECLONECLONECLONEDEV/TEST APPLICATIONS

17、BENCHMARKSPRODUCTION APPLICATIONSPRODUCTIONAPPLICATIONSA u ro r a 數(shù)據(jù)庫(kù)克隆技術(shù)存活c a c h es將 cache 從數(shù)據(jù)庫(kù)進(jìn)程中分離出來(lái)數(shù)據(jù)庫(kù)重啟時(shí)Cache 可以依舊保持熱度更快地恢復(fù)全量加載操作實(shí)例崩潰恢復(fù)+ 可存活cache = 更快速容易地從DB失敗中恢復(fù)SQLTransactionsCachingSQLTransactionsCachingSQLTransactionsCachingCaching process 和DB process 分離開(kāi)來(lái)并在數(shù)據(jù)庫(kù)重啟時(shí)保持 warm數(shù)據(jù)回溯t0t1t2t3t4Rewin

18、d to t1t0t1t2t3t4快速恢復(fù)用戶的錯(cuò)誤操作使用 Backtrack 允許您將數(shù)據(jù)庫(kù)回退到以前的某個(gè)時(shí)間點(diǎn)，無(wú)需從備份還原，即使是大型數(shù)據(jù) 庫(kù)也只需要幾秒鐘時(shí)間?？梢远啻位謴?fù)，直到需要的時(shí)間點(diǎn)Rewind to t3InvisibleInvisible僅為您使用的資源按秒付費(fèi)A u ro r a 無(wú)服務(wù)器架構(gòu)( S er v er l e s s )Warm CapacityPoolScalable Database Capacity(Compute + Memory)Shared Distributed StorageServerless 是一種面向 Aurora 的按需擴(kuò)展配置

19、，數(shù)據(jù)庫(kù)將根據(jù)您的應(yīng)用程序的需求來(lái)自動(dòng)啟動(dòng)、 關(guān)閉以及縱向和橫向擴(kuò)展數(shù)據(jù)庫(kù)容量?？稍谠浦羞\(yùn)行關(guān)系數(shù)據(jù)庫(kù)，而無(wú)需管理數(shù)據(jù)庫(kù)實(shí)例或集群。Application按需自動(dòng)啟停Database Endpoint無(wú)服務(wù)器化、自動(dòng)擴(kuò)展議程Aurora特性Aurora技術(shù)架構(gòu)遷移至AuroraAurora客戶案例A u ro r a 適用場(chǎng)景Mysql/PostgreSQL即使優(yōu)化仍然遇到瓶頸優(yōu)化索引優(yōu)化SQL主從讀寫(xiě)分離拆分?jǐn)?shù)據(jù)庫(kù)高并發(fā)讀寫(xiě)，尤其寫(xiě)操作的負(fù)載很高需要快速恢復(fù)最小化讀副本的延遲免去手動(dòng)sharding或者使用sharding中間件帶來(lái)的復(fù)雜性和運(yùn)維成本A m a zo nR DS 遷移至A u

20、 ro r a 的不同場(chǎng)景同構(gòu)數(shù)據(jù)庫(kù)有一定的停機(jī)時(shí)間最小停機(jī)時(shí)間異構(gòu)數(shù)據(jù)庫(kù)有一定的停機(jī)時(shí)間最小停機(jī)時(shí)間詳 細(xì) 過(guò) 程 可 參 考 ： /cn/blogs/china/every-scene- mysql-database-move-to-amazon-aurora/A m a zo nR DS 遷移至A u ro r a創(chuàng)建RDS快照根據(jù)快照創(chuàng) 建Aurora數(shù)據(jù) 庫(kù)應(yīng)用程序開(kāi) 始使用Aurora 數(shù)據(jù)庫(kù)同構(gòu)數(shù)據(jù)庫(kù)有一定的停機(jī)時(shí)間A m a zo nR DS 遷移至A u ro r a創(chuàng)建Aurora只讀副本把Aurora只讀 副本提升為 主庫(kù)應(yīng)用程序開(kāi) 始使用Aurora 數(shù)據(jù)庫(kù)同構(gòu)數(shù)據(jù)庫(kù)最

21、小停機(jī)時(shí)間自建數(shù)據(jù)庫(kù)遷移至A u ro r a為自建數(shù) 據(jù)庫(kù)創(chuàng)建 備份把數(shù)據(jù)庫(kù) 備份上傳 到S3根據(jù)備份創(chuàng)建Aurora數(shù) 據(jù)庫(kù)應(yīng)用程序開(kāi)始使用Aurora數(shù) 據(jù)庫(kù)同構(gòu)數(shù)據(jù)庫(kù)有一定的停機(jī)時(shí)間自建數(shù)據(jù)庫(kù)遷移至A u ro r a創(chuàng)建Aurora從庫(kù)自建數(shù)據(jù) 庫(kù)與Aurora 從庫(kù)進(jìn)行 數(shù)據(jù)同步主從切換， 使得Aurora 從庫(kù)變成 新的主庫(kù)應(yīng)用程序開(kāi)始使用Aurora數(shù)據(jù) 庫(kù)同構(gòu)數(shù)據(jù)庫(kù)，以MySQL為例有一定的停機(jī)時(shí)間自建數(shù)據(jù)庫(kù)遷移至A uro r a同構(gòu)或者異構(gòu)數(shù)據(jù)庫(kù)最小停機(jī)時(shí)間遷移關(guān)鍵業(yè)務(wù)系統(tǒng)遷移數(shù)據(jù)倉(cāng)庫(kù)到Amazon Redshift歸檔老數(shù)據(jù)升級(jí)小版本合并多個(gè)數(shù)據(jù)分片到Amazon Aurora復(fù)制數(shù)據(jù)從而在云端分析數(shù)據(jù)從NoSQL遷移到SQL，或者從SQL遷移到NoSQL，或者從NoSQL遷移到NoSQLAmazon RDSAmazon Red