銀行雙活數(shù)據(jù)中心與災備解決方案

Active-ActiveDatacenterandDisasterRecoverySolutions議程1項目背景2建設目標3總體解決方案4實施與運維2議程1項目背景2建設目標3總體解決方案4實施與運維3商業(yè)銀行發(fā)展狀況4銀監(jiān)會/chinese/jrjg/index.html商業(yè)銀行資產(chǎn)規(guī)模繼續(xù)增長。截至2012年二季度末，總資產(chǎn)余額達99.3萬億元，與上年末同比增長20.4%。2012年第二季度，各類商業(yè)銀行中，資產(chǎn)余額增長最快的是農(nóng)村商業(yè)銀行（增幅是50.4%，部分原因是農(nóng)村商業(yè)銀行數(shù)量增加），其次是城市商業(yè)銀行（增幅31.5%）和股份制銀行（增幅27.3%）。商業(yè)銀行災備中心建設總體趨勢5職能定位方面技術(shù)特性方面架構(gòu)方面測試演練方面單純注重信息系統(tǒng)災備體系建設方面純粹的災難恢復單一的存儲復制技術(shù)傳統(tǒng)的主備架構(gòu)模擬演練建立滿足金融業(yè)務發(fā)展需要，確保金融服務連續(xù)性的業(yè)務持續(xù)管理體系向兼顧開發(fā)、測試、統(tǒng)計分析等非交易類業(yè)務方向拓展向按業(yè)務系統(tǒng)的災難恢復指標要求選擇多種災備技術(shù)轉(zhuǎn)變向雙中心互備、雙中心高可用及多中心架構(gòu)轉(zhuǎn)變向真實演練轉(zhuǎn)變?yōu)膫浜蜆I(yè)務連續(xù)性監(jiān)管要求沿革6銀監(jiān)會2011.12《商業(yè)銀行業(yè)務連續(xù)性監(jiān)管指引》銀監(jiān)發(fā)【2011】（104號）2010.4《商業(yè)銀行數(shù)據(jù)中心監(jiān)管指引》銀監(jiān)發(fā)【2010】（114號）2009.6《商業(yè)銀行信息科技風險管理指引》2008.4《銀行業(yè)重要信息系統(tǒng)突發(fā)事件應急管理規(guī)范（試行）》（【2008】53號）2006.8《銀行業(yè)金融機構(gòu)信息系統(tǒng)風險管理指引》【2006】(63號)人民銀行2008.2《銀行業(yè)信息系統(tǒng)災難恢復管理規(guī)范》（JR/T0044-2008）2006.4《關(guān)于進一步加強銀行業(yè)金融機構(gòu)信息安全保障工作的指導意見》（【2006】123號文件）國標委2007.6《信息系統(tǒng)災難恢復規(guī)范》（GB/T20988—2007）國信辦2005.4《重要信息系統(tǒng)災難恢復指南》2004.4《關(guān)于加強信息安全保障工作的意見》銀行業(yè)信息系統(tǒng)災難恢復標準7中國人民銀行《銀行業(yè)信息系統(tǒng)災難恢復管理規(guī)范》（JR/T0044-2008）：短時間中斷對國家、外部機構(gòu)和社會產(chǎn)生重大影響或影響單位關(guān)鍵業(yè)務功能并造成重大經(jīng)濟損失的系統(tǒng)：RTO（恢復時間目標）<6小時，RPO（恢復點目標）<15分鐘；短時間中斷會影響單位部分關(guān)鍵業(yè)務功能并造成較大經(jīng)濟損失的系統(tǒng)：RTO<24小時，RPO<120分鐘；短時間中斷會影響單位非關(guān)鍵業(yè)務功能并造成較大一定經(jīng)濟損失的系統(tǒng)：RTO<7天。GB/T20988－2007《信息系統(tǒng)災難恢復規(guī)范》SHARE78國際標準災備模式災備層次1級基本級。備份介質(zhì)場外存，安全保管、定期驗證Tier-0無異地備份數(shù)據(jù)冷備數(shù)據(jù)級Tier-1有數(shù)據(jù)備份，無備用系統(tǒng)2級備份場地支持。網(wǎng)絡和業(yè)務處理系統(tǒng)可在預定時間內(nèi)調(diào)配到備份中心Tier-2有數(shù)據(jù)備份，有備用系統(tǒng)3級電子傳輸和部分設備支持。災備中心配備部分業(yè)務處理和網(wǎng)絡設備，具備部分通訊鏈路Tier-3電子鏈接4級電子傳輸和完整設備支持。數(shù)據(jù)定時批量傳送，網(wǎng)絡/系統(tǒng)始終就緒。Tier-4使用快照技術(shù)拷貝數(shù)據(jù)暖備/熱備應用級5級實時數(shù)據(jù)傳輸及完整設備支持。采用遠程復制技術(shù)，實現(xiàn)數(shù)據(jù)實時復制，網(wǎng)絡具備自動或集中切換能力，業(yè)務處理系統(tǒng)就緒或運行中。Tier-5交易的完整性6級數(shù)據(jù)零丟失和遠程集群支持。數(shù)據(jù)實時備份，零丟失，系統(tǒng)/應用遠程集群，可自動切換，用戶同時接入主備中心Tier-6少量或無數(shù)據(jù)丟失雙活業(yè)務級商業(yè)銀行災備設計目標議程1項目背景2建設目標3方案總體架構(gòu)4子系統(tǒng)方案設計5實施與運維9業(yè)務連續(xù)性(信息系統(tǒng))建設體系架構(gòu)10業(yè)務應用管理實踐支撐系統(tǒng)系統(tǒng)軟件硬件基礎設施戰(zhàn)略規(guī)劃層，對業(yè)務進行評估，劃定連續(xù)性級別對應用的邏輯關(guān)系進行梳理，確定應用的可用性指標流程的定義，配置變更與事件管理管理，安全，基礎架構(gòu)服務等配套系統(tǒng)虛擬化，操作系統(tǒng)，網(wǎng)絡協(xié)議，存儲服務服務器，存儲設備，網(wǎng)絡設備與鏈路建筑，環(huán)境，供電……11確定業(yè)務的可用性需求RPO損失的數(shù)據(jù)量丟失數(shù)據(jù)成本宕機成本二級應用三級應用數(shù)據(jù)可用性成本系統(tǒng)可用性成本一級應用恢復業(yè)務所需時間RTO0時間軸成本軸12類別A+及A類

關(guān)鍵應用，核心應用B類

二三級應用C類

非生產(chǎn)應用解決方案Active-ActiveDCVMReplication

RecoveryManagerVMReplication

DataProtectionSLARPO<5MinsRTO<2HoursRPO<15Mins

RTO<4HoursRPO<30Mins

RTO<4Hours應用場景BC,DA,DRDA,DRDA,DR(Manually)需求條件Layer2Network,RTT<200ms

StorageVirtualizationLayer2/3Network

AnyDist.

AnyStorageDevicesLayer2/3Network

AnyDist.

AnyStorageDevices管理工作量LowMiddleHigh成本HighMiddleLow基于業(yè)務的需求選擇合適的解決方案以虛擬化為基礎，靈活、可信、經(jīng)濟的業(yè)務連續(xù)性保障平臺13一個平臺：采用標準技術(shù)，統(tǒng)一資源調(diào)度，統(tǒng)一管理

提供多種

手段高可用容錯遷移存儲遷移備份復制快照

適用多種

場景同城雙中心異地雙中心兩地三中心分支到中心

支持多種

關(guān)系雙活互備主備多對一備份到云單中心

服務多種

應用關(guān)鍵應用二三級應用開發(fā)/測試數(shù)據(jù)庫教學/科研議程1項目背景2建設目標3總體解決方案4實施與運維14銀行生產(chǎn)環(huán)境“Double

Pod”系統(tǒng)架構(gòu)雙向復制業(yè)務連續(xù)性解決方案的三大要點16高可用數(shù)據(jù)

保護災難

恢復虛擬化極大地簡化了業(yè)務連續(xù)性解決方案17資源整合封裝硬件無關(guān)所有與系統(tǒng)相關(guān)的信息都存儲在磁盤數(shù)據(jù)中可以通過數(shù)據(jù)保護工具來保護整個系統(tǒng)可靠地將虛擬機恢復到任何硬件容災站點可以采用低端設備減少生產(chǎn)端和容災端的硬件需求在容災端可以采用較高的整合比

服務器在線遷移/動態(tài)調(diào)配存儲在線遷移/動態(tài)調(diào)配主機配置文件存儲配置文件容錯（FT）高可用（HA）X云計算基礎架構(gòu)云計算基礎架構(gòu)自動化資源確保業(yè)務連續(xù)性

按需容量配置虛擬化平臺保障業(yè)務連續(xù)性vSphere+vCenter基于虛擬化技術(shù)的業(yè)務連續(xù)性解決方案概覽19資源池vSpherevSpherevSphere本地站點災備站點基于虛擬化層的異步復制基于硬件設備的同異步復制自動化應用切換管理城域集群應用感知的高可用性關(guān)鍵應用零停機保護在線遷移虛擬機，動態(tài)調(diào)配計算與存儲資源VMotionandStorageVMotion高效的數(shù)據(jù)備份與恢復可通過運行計劃與腳本實現(xiàn)自動化操作資源池vSpherevSphereDev/TestDev/TestDev/Test災難恢復本地高可用數(shù)據(jù)保護方案特點與應用程序和操作系統(tǒng)無關(guān)與硬件設備無關(guān)

完善的保護

簡單，經(jīng)濟同城雙活數(shù)據(jù)中心解決方案——城域存儲集群(vMSC)20場景描述整合距離相對較近的兩個數(shù)據(jù)中心中的計算、存儲和網(wǎng)絡資源，實現(xiàn)高度靈活的負載分配，從而有效提升資源利用率，同時實現(xiàn)較高的可用性，且不會增加管理負擔。方案特點跨數(shù)據(jù)中心實現(xiàn)高可用性與負載平衡，管理簡便數(shù)據(jù)零丟失，無任何單一故障點，可最大化業(yè)務在線時間可實現(xiàn)城域級別的應用遷移與災難避免/災難恢復同城雙活雙活數(shù)據(jù)中心在各個級別上全面保障可用性vMotion&DRS

HA&FT服務器StoragevMotion，StorageDRS存儲VMFSVMFS硬件熱添加

多網(wǎng)卡綁定

存儲多路徑組件數(shù)據(jù)Backup

ReplicationMetroCluster站點同城站點B同城站點A同城雙活數(shù)據(jù)中心解決方案——城域存儲集群(vMSC)22需求條件數(shù)據(jù)中心距離小于100公里，具備裸光纖鏈路通過二層IP網(wǎng)絡連接兩個數(shù)據(jù)中心，BW>250M，RTT<100ms.可通過NSX或傳統(tǒng)大二層網(wǎng)絡技術(shù)實現(xiàn)采用存儲虛擬化技術(shù)提供數(shù)據(jù)同步服務(RTT<5ms)存儲支持FC,iSCSI,NFS等類型如EMCVPLEX,NetAppMetroCluster,HPLeftHand,IBMSVC利用VSAN實現(xiàn)存儲的跨數(shù)據(jù)中心鏡像(未發(fā)布)第三站點提供仲裁服務VMware相關(guān)產(chǎn)品與服務vSphereEnt+NSX網(wǎng)絡虛擬化專業(yè)服務跨數(shù)據(jù)中心集群vCenter1仲裁站點C控制器控制器雙活數(shù)據(jù)中心存儲解決方案的選擇傳統(tǒng)虛擬化存儲-鏡像技術(shù)兩個數(shù)據(jù)中心采用相同硬件配置，數(shù)據(jù)同步雙寫如EMCVPLEX,NetAppMetroCluster,HPLeftHand,IBMSVC等采用新型軟件定義存儲解決方案VVOL可實現(xiàn)存儲資源的統(tǒng)一調(diào)度與管理VSAN可極大簡化存儲管理，實現(xiàn)全面自動化LUNLUNdiskgroupdiskgroupdiskgroupVSANnetworkVSANnetworkVSANnetworkvsanDatastorediskgroupdiskgroupVSANnetworkscaleupscaleout城域集群對存儲的要求ESXi管理網(wǎng)絡支持RTT<10ms同步存儲復制RTT<5ms存儲廠商可能有不同要求兼容性指南“iSCSIMetroClusterStorage”“FCMetroClusterStorage”“NFSMetroClusterStorage”24vMSC認證的存儲設備城域集群中的傳統(tǒng)存儲解決方案25SiteASiteBDarkFiber<=200kmAggrXPlex0AggrYPlex1AggrYPlex0DWDMDWDMAggrXPlex1vSphereMetroStorageCluster工作原理vSphereHAClusterStretchedacross

campus

ormetroareavMSCCertifiedStorageMetroClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSArraybasedsynchronousreplicationPlex0Plex0vSphereMetroStorageCluster工作原理StandardvMotionofVirtualMachinesvMotionvMSCCertifiedStorageMetroClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSArraybasedsynchronousreplicationPlex0vSphereHAClusterPlex0vSphereMetroStorageCluster工作原理vSphereHAClusterStoragetakeovervMSCCertifiedStorageMetroClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0Plex0Plex0APPOSAPPOSAPPOSAPPOSAPPOSAPPOSSiteshutdown

formaintenancevSphereMetroStorageCluster工作原理vSphereHAClustervMSCCertifiedStorageMetroClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex0Plex0APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0Automatic

resyncMaintenanceperformed,siterestoredvSphereMetroStorageCluster工作原理vSphereHAClustervMSCCertifiedStorageNetAppMetroClusterPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex0Plex0APPOSAPPOSAPPOSAPPOSAPPOSAPPOSPlex1Plex0StandardvMotion

toreturnVMsAccessreturned選擇正確的數(shù)據(jù)保護方案31基于陣列

的復制

vSphere

復制技術(shù)vSphere

數(shù)據(jù)保護可實現(xiàn)零數(shù)據(jù)丟失存儲合作伙伴解決方案RPO同步分鐘小時天RPO從15分鐘到24小時基于虛擬機層，虛擬機級別RPO最小1天備份數(shù)據(jù)復制可實現(xiàn)

自動化

災難恢復自動的災難恢復流程控制32vSpherevCenterServerSiteRecoveryManagervCenterServerSiteRecoveryManagervSphere生產(chǎn)站點災難恢復站點ServersServersArray-basedreplicationvSphereReplication解決方案描述要實現(xiàn)自動化的應用級災難恢復，需要使用SiteRecoveryManager一類的災難恢復管理工具。主要特色為數(shù)千臺虛擬機制定恢復計劃不影響生產(chǎn)的災難恢復測試自動化的災難恢復流程主要收益降低超過50%的災難恢復管理開銷消除手工操作的復雜性和風險實現(xiàn)快速、高度可預測的RTO為應用提供策略驅(qū)動的災難恢復控制災備中心建設訪問優(yōu)化OTVOTV主中心同城災備中心StorageExtensionsLANExtensions數(shù)據(jù)中心互連VN-linknotificationsOTVOTV新一代同城災備中心建設內(nèi)容異地(同城)災備解決方案34場景描述在不限距離的兩個數(shù)據(jù)中心之間構(gòu)建備份關(guān)系，通過備份或復制技術(shù)實現(xiàn)數(shù)據(jù)保護，并借助于自動化工具實現(xiàn)災難恢復計劃的制定、驗證和切換。方案特點跨地域的業(yè)務連續(xù)性保護，包括應用遷移，災難避免和災難恢復等有效保障數(shù)據(jù)一致性及服務可用性，可實現(xiàn)較好的RPO和RTO可制定靈活且詳細的災難恢復計劃與演練計劃不影響生產(chǎn)的災難恢復測試自動化的演練、切換與回切一對一或多對一的站點映射異地災備異地(同城)災備解決方案35需求條件通過二層或三層IP網(wǎng)絡連接兩個數(shù)據(jù)中心采用基于vSphere或陣列的復制技術(shù)vSphere內(nèi)置復制功能免費，RPO=15分鐘-24小時，文件級一致性，虛擬機級別顆粒度支持異構(gòu)存儲，vCenter直接管理陣列復制功能由合作伙伴提供，需額外購買支持同步或異步復制，應用級一致性，LUN級別顆粒度VMware相關(guān)產(chǎn)品與服務vSphereEnt+vCenterSiteRecoveryManagerVSAN專業(yè)服務vSpherevCenterServerSiteRecoveryManager生產(chǎn)站點服務器陣列

復制vSphere復制vSpherevCenterServerSiteRecoveryManager災備站點服務器異地(同城)災備解決方案——多種映射關(guān)系36SiteCDatacenterSiteCVCCluster(s)SRMSRMSiteBDatacenterSiteBVCCluster(s)SRMSRMSiteADatacenterSiteAVCCluster(s)SRMSRMSiteBDatacenterROBO1ROBO2ROBO“N”SiteB

VCRemoteSiteMgmt.VCCluster(s)SRMSRMSRMSiteADatacenterSiteA

VCCluster(s)SRM兩地三中心解決方案——雙活與災備的完美集成37場景描述適用于對業(yè)務連續(xù)性要求較高的應用，通過集成同城雙活與異地災備兩種解決方案，既能實現(xiàn)數(shù)據(jù)零丟失和故障自動切換,又能抵御局部災難的發(fā)生。方案特點同城兩個站點之間的高可用提供數(shù)據(jù)零丟失的第一層保護異地數(shù)據(jù)中心之間的災備功能實現(xiàn)第二層保護軟件定義的網(wǎng)絡與存儲可提供最大靈活性兩地三中心同城中心A異地中心同城中心B同城高可靠雙中心應能夠支持關(guān)鍵應用的靈活切換。異地容災中心作為主數(shù)據(jù)中心及同城中心的暖備份中心。對于關(guān)鍵應用，同城中心應該沒有任何性能降低，異地容災中心的性能降低率不能超過20%。商業(yè)銀行災備模式——兩地三中心ApplicationApplicationApplicationApplicationApplication數(shù)據(jù)中心

2Tier1關(guān)鍵業(yè)務系統(tǒng)ApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationTier2與

Tier3應用ApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplicationApplication數(shù)據(jù)中心

1Tier1關(guān)鍵業(yè)務系統(tǒng)2:46p.m.45英里以外的海域發(fā)生地震2:57p.m.IT部門緊急反應3:55p.m.海嘯來襲?。?！2:49p.m.發(fā)布海嘯警報Tier2與

Tier3應用39異地業(yè)務級容災示例議程1項目背景2建設目標3總體方案架構(gòu)4實施與運維40虛擬化平臺實施方法論Text1Text2Text3Text4Text5Text62.業(yè)務影響分析1.當前環(huán)境分析3.容災方案設計4.容災實施5.災難恢復計劃設計6.災難恢復計劃演練VVDR銀行容災建設工作內(nèi)容42需求設計實施演練系統(tǒng)關(guān)聯(lián)分析確定各系統(tǒng)耦合關(guān)系及切換系統(tǒng)范圍容災切換需求明確XX銀行容災建設指標與業(yè)務部門溝通明確切換建設應用范圍總體設計涵蓋應用分析技術(shù)架構(gòu)/網(wǎng)絡/導航/管理設計關(guān)鍵技術(shù)驗證識別關(guān)鍵技術(shù)點組織關(guān)鍵技術(shù)測試詳細設計細化切換設計方案確定系統(tǒng)配置參數(shù)雙中心虛擬化容災實施根據(jù)改造方案完成虛擬化平臺容災初始化，根據(jù)詳細設計，完成有關(guān)軟件安裝實施中心切換演練驗證實施效果演練方案描述演練內(nèi)容方式應急預案出現(xiàn)意外情況時的應急指導演練劇本指導演練整體流程操作手冊技術(shù)步驟操作指導應用系統(tǒng)調(diào)研收集整理IT系統(tǒng)現(xiàn)狀切換預案確定切換場景，明確人員、組織、流程工作內(nèi)容說明階段工作內(nèi)容工作項需求1.當前環(huán)境分析業(yè)務現(xiàn)狀分析IT現(xiàn)狀及關(guān)聯(lián)高可用及備份現(xiàn)狀當前恢復能力分析2.業(yè)務影響分析應用系統(tǒng)關(guān)聯(lián)分析主要應用系統(tǒng)分析災備建設策略災備建設的范圍及指標災備場景應對策略災備恢復切換策略及切換單元建議設計與實施3.容災方案設計需求分析NFR:有效性可靠性可管理性安全性可恢復性FR容災基礎設施網(wǎng)絡存儲應用恢復架構(gòu)概覽架構(gòu)邏輯設計架構(gòu)物理設計vCenter邏輯設計SRM設計SRM數(shù)據(jù)庫設計網(wǎng)絡設計存儲設計公有服務設計占位虛擬機設計命名規(guī)范設計資源映射關(guān)系設計（資源、文件件、網(wǎng)絡、保護組）DRP設計（啟動順序、測試網(wǎng)絡、測試場景）工作內(nèi)容說明(續(xù))階段工作內(nèi)容工作項4.容災實施現(xiàn)有架構(gòu)優(yōu)化網(wǎng)絡實施存儲實施虛擬化實施SRM實施容災驗證演練5.災難恢復計劃設計切換范圍切換方式參與單位組織架構(gòu)及職責切換實施方案（環(huán)境準備-切換流程-業(yè)務驗證-回切）切換計劃切換風險分析及應急措施6.災難恢復計劃演練災難恢復演練范圍定義災難恢復演練角色定義災難恢復演練流程災難恢復演練指揮災難恢復演練操作指揮災難恢復演練功能驗證演練后環(huán)境恢復流程演練后環(huán)境恢復指揮演練后環(huán)境恢復操作指揮演練總結(jié)風險分析及控制示例：異地機房銀行主機房結(jié)合建轉(zhuǎn)運(Day1)及日常運維(Day2)虛擬化管理和監(jiān)控規(guī)劃建議規(guī)劃方案規(guī)劃依據(jù)多中心統(tǒng)一管理圍繞資源服務生命周期進行管理分為云自動化管理、云運維管理、云資源管理三個部分設計特點集成平臺，作