容災(zāi)技術(shù)培訓(xùn)

容災(zāi)技術(shù)培訓(xùn)AgendaXP容災(zāi)原理容災(zāi)系統(tǒng)架構(gòu)及設(shè)計容災(zāi)系統(tǒng)日常維護(hù)容災(zāi)數(shù)據(jù)切換及恢復(fù)外掛存儲2AgendaXP容災(zāi)原理2XP磁盤陣列容災(zāi)原理3XP磁盤陣列容災(zāi)原理3ContinuousAccess(CA)ContinuousAccessXP（簡稱CA）是基于XP磁盤陣列的遠(yuǎn)程鏡像軟件。通過CA可以實現(xiàn)兩臺XP之間的實時數(shù)據(jù)復(fù)制。P-VOLS-VOLPrimaryXPSecondaryXPP-VOL=源數(shù)據(jù)卷S-VOL=目標(biāo)卷MCU=MasterControlUnit，包含P-VOLRCU=RemoteControlUnit，包含S-VOLMCURCU4ContinuousAccess(CA)Continuo數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPSync每一個寫IO先后在主備陣列上寫完以后才返回完成，數(shù)據(jù)零丟失兩站點之間距離越遠(yuǎn)，寫延時越長適用于兩站點之間距離較近（通常小于30KM），且遠(yuǎn)程鏈路帶寬較高（通常大于1Gb）的情況5數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPSy數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPAsync每一個寫IO寫入主陣列緩存即返回完成主陣列通過建立IO順序表的方法向備陣列異步更新數(shù)據(jù)主陣列通過緩存（Sidefile）儲存尚未發(fā)送給備陣列的數(shù)據(jù)寫IO延時基本不受遠(yuǎn)程鏈路距離影響在鏈路帶寬足夠的情況下可實現(xiàn)數(shù)據(jù)接近零丟失需要通過參數(shù)設(shè)置的方式限制暫存數(shù)據(jù)對緩存的占用6數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPAs數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPJournal每一個寫IO寫入主陣列緩存并更新Metadata后即返回完成備陣列向主陣列發(fā)送請求，異步從主陣列讀取數(shù)據(jù)主陣列通過Journal盤儲存尚未發(fā)送給備陣列的數(shù)據(jù)，對緩存占用很少寫IO延時基本不受遠(yuǎn)程鏈路距離影響合理設(shè)置Journal盤的容量可以最大程度保持?jǐn)?shù)據(jù)傳輸?shù)挠行蛐?數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPJoHP3DCSolution一、二中心之間通過ContinuousAccessSync方式進(jìn)行數(shù)據(jù)復(fù)制，實現(xiàn)數(shù)據(jù)零丟失二、三中心之間通過ContinuousAccessJournal方式進(jìn)行數(shù)據(jù)復(fù)制，實現(xiàn)遠(yuǎn)距離數(shù)據(jù)容災(zāi)在每個中心分別通過RaidManager主機(jī)進(jìn)行管理和控制RaidManagerRaidManagerRaidManager8HP3DCSolution一、二中心之間通過ContinContinuousAccess的控制方式在XP上安裝CA軟件，在訪問XP的主機(jī)上安裝Raidmanager軟件。通過控制Raidmanager命令來管理CA的運行RAIDManagerInstance控制命令主機(jī)RAIDManagerInstance控制命令主機(jī)P-VOLS-VOLP-VOLS-VOLFC網(wǎng)絡(luò)SVPUDPCA軟件CA軟件IP網(wǎng)絡(luò)FC連接FC連接MCUMCURCURCU9ContinuousAccess的控制方式在XP上安裝CConsistencyGroup(CTGroup)在異步模式下，CA通過ConsistencyGroup（簡稱CTGroup）來保證寫入順序的一致性。對于同一個CTGroup內(nèi)的所有鏡像卷來說，寫入遠(yuǎn)程XP的順序和寫入本地XP的順序是一致的。Data1Data4Data2Data3ApplicationData1Data2Data3Data4CacheData1Data4Data2Data3CacheData4Data3Data2Data11234SortPrimarySiteRemoteSiteAsynchronousTransferwithoutoforderrepaired(perconsistencygroup)Sortbysequencecontrolinformation10ConsistencyGroup(CTGroup)在異RaidManager(RM)RAIDManager（簡稱RM）XP是基于主機(jī)的軟件包。通過RM可以從主機(jī)上使用命令行來控制XP鏡像軟件（包括ContinuousAccess、BusinessCopy等）的運行。Commands:pairdisplaypaircreatepairsplit...ConfigurationFileRaidManagerInstanceHostCMDDeviceXP11RaidManager(RM)RAIDManagerRaidManager在容災(zāi)系統(tǒng)中的應(yīng)用/etc/horcm0.confInstance0Instance0/etc/horcm0.confCommandsP-VOLXPsoftware(CA)CmdDeviceLocalXPCommandshost1host2S-VOLXPsoftware(CA)CmdDeviceRemoteXPIPFC12RaidManager在容災(zāi)系統(tǒng)中的應(yīng)用/etc/horRAIDManager配置文件/etc/horcm.conf:HORCM_MON#ip-address

service poll(10ms)

timeout(10ms)132.33.34.11 horcm0 1000 3000本機(jī)IP地址 horcm進(jìn)程監(jiān)聽端口號 輪詢設(shè)置 超時設(shè)置HORCM_CMD#dev_name/dev/rdsk/c11t15d7XPCMDDevice的設(shè)備文件HORCM_DEV#dev_group dev_name

port

Target Lunca-bill bill01_01 CL1-A 0 0CTgroup名稱 鏡像卷名稱 LUN所在的端口 target號 LUN號HORCM_INST#dev_group ip_address serviceca-bill 132.33.34.11 horcm0CTgroup名稱 對端RM主機(jī)IP地址 對端RM主機(jī)horcm進(jìn)程監(jiān)聽端口號13RAIDManager配置文件/etc/horcm.con容災(zāi)系統(tǒng)架構(gòu)及設(shè)計14容災(zāi)系統(tǒng)架構(gòu)及設(shè)計14方案概述本項目的目標(biāo)是構(gòu)建XX集團(tuán)計費帳務(wù)系統(tǒng)的大連容災(zāi)系統(tǒng)。容災(zāi)中心選址在大連XX機(jī)房。數(shù)據(jù)復(fù)制機(jī)制選擇基于存儲級的數(shù)據(jù)復(fù)制軟件ContinuousAccess/XP。容災(zāi)存儲設(shè)備選擇惠普公司的企業(yè)級高端存儲設(shè)備XP10000。在容災(zāi)機(jī)房中配備了各子應(yīng)用系統(tǒng)的容災(zāi)主機(jī)–惠普公司的HP9000服務(wù)器。本項目實施完成后，根據(jù)目前應(yīng)用系統(tǒng)在兩臺XP128上的部署，將實現(xiàn)北京機(jī)房的兩臺XP128到大連一臺XP10000的實時數(shù)據(jù)復(fù)制。15方案概述本項目的目標(biāo)是構(gòu)建XX集團(tuán)計費帳務(wù)系統(tǒng)的大連容災(zāi)系統(tǒng)本次項目復(fù)制數(shù)據(jù)范圍業(yè)務(wù)分類卷組LDEV數(shù)量容量(GB)feevg01~0547649billvg01~101472029busvg01~0641566colvg01~0320276mqvg01341dsfeevg01~0239538dsbillvg01~0226359dsbusvg01~0211152共計3344609根據(jù)東軟及網(wǎng)通集成公司的共同確認(rèn)，本次容災(zāi)項目涉及的數(shù)據(jù)復(fù)制范圍如下：16本次項目復(fù)制數(shù)據(jù)范圍業(yè)務(wù)分類卷組LDEV數(shù)量容量(GB)fe現(xiàn)有SAN環(huán)境17現(xiàn)有SAN環(huán)境17項目實施后的SAN環(huán)境18項目實施后的SAN環(huán)境18XP10000劃分硬件配置 Cache: 16GB CHIP端口： 16個 ACP： 1對 磁盤組： 146GBx4x26（裸容量14TB左右）Cache劃分 五個業(yè)務(wù)系統(tǒng)共享16GBcache。磁盤組

OPEN-E。Raid級別采用RAID5（3D+1P）。LDEVID LDEVID的分配采用disperse方式。19XP10000劃分硬件配置19XP10000端口配置CHIP端口 計費系統(tǒng)，MQ： 2個CHIP端口 帳務(wù)系統(tǒng)，采集系統(tǒng)： 2個CHIP端口 客服系統(tǒng)： 2個CHIP端口端口用途端口用途CL1A計費系統(tǒng)，采集系統(tǒng)CL2A計費系統(tǒng)，采集系統(tǒng)CL3A帳務(wù)系統(tǒng)，MQCL4A帳務(wù)系統(tǒng)，MQCL5A(預(yù)留)CL6A(預(yù)留)CL7A(預(yù)留)CL8A(預(yù)留)CL1BCA-20917-CL1H,CA-20434-CL1HCL2BCA-20917-CL2D，CA-20434-CL2DCL3B客服系統(tǒng)CL4B客服系統(tǒng)CL5B(預(yù)留)CL6B(預(yù)留)CL7B(預(yù)留)CL8B(預(yù)留)20XP10000端口配置CHIP端口端口用途端口用途CL1A計XP128及XP10000配置表21XP128及XP10000配置表21ContinuousAccess配置兩臺XP128到XP10000的CA配置的MCU-RCU關(guān)系如下：MCURCUPaths20917,CU083066,CU0,SSID4CL1HCL1B,CL2HCL2B20917,CU183066,CU1,SSID5CL1HCL1B,CL2HCL2B20434,CU183066,CU2,SSID6CL1HCL1B,CL2HCL2BMaximumInitialCopyActivity

:4CU0P-VOLCU1P-VOLCU1P-VOLS-VOLS-VOLS-VOLCU0CU1CU2XP128-20917XP128-20434XP10000-8306622ContinuousAccess配置兩臺XP128到XP1CTGroup規(guī)劃業(yè)務(wù)分類卷組CTGroupfeevg01~05ca-feebillvg01~10ca-billbusvg01~06ca-buscolvg01~03ca-colmqvg01ca-mqdsfeevg01~02ca-dsfeedsbillvg01~02ca-dsbilldsbusvg01~02ca-dsbus23CTGroup規(guī)劃業(yè)務(wù)分類卷組CTGroupfeevg0RaidManager配置/etc/horcm0.confInstance0Instance0/etc/horcm0.confCommandsP-VOLCAc17t15d7/c21t15d7XP128-20917Commands132.33.34.11132.37.3.11S-VOLCAc12t15d7/c13t15d7XP10000-83066IPFCP-VOLCAc36t15d7/c37t15d7XP128-20434FC北京大連24RaidManager配置/etc/horcm0.confRAIDManager配置文件-北京yz-col2:/etc/horcm0.conf:HORCM_MON132.33.34.11 horcm0 1000 3000HORCM_CMD#unit0(20917)/dev/rdsk/c17t15d7/dev/rdsk/c21t15d7#unit1(20434)/dev/rdsk/c36t15d7/dev/rdsk/c37t15d7HORCM_DEVca-bill bill01_01 CL1-C 2 5…ca-bus bus01_01 CL1-B 3 6…ca-col col01_01 CL1-A 8 3…ca-fee fee01_01 CL1-A 0 0…ca-mq mq01_01 CL1-B 0 2…ca-dsbill dsbill01_01 CL1-E1 0 0…ca-dsbus dsbus01_01 CL1-F1 0 0…ca-dsfee dsfee01_01 CL1-E1 3 2…HORCM_INSTca-bill 132.37.3.11 horcm0ca-fee 132.37.3.11 horcm0ca-bus 132.37.3.11 horcm0ca-col 132.37.3.11 horcm0ca-mq 132.37.3.11 horcm0ca-dsbill 132.37.3.11 horcm0ca-dsfee 132.37.3.11 horcm0ca-dsbus 132.37.3.11 horcm025RAIDManager配置文件-北京yz-col2:/etRAIDManager配置文件-大連B35-RZDL-COL01:/etc/horcm0.conf:HORCM_MON132.37.3.11 horcm0 1000 3000HORCM_CMD/dev/rdsk/c12t15d7/dev/rdsk/c13t15d7HORCM_DEVca-bill bill01_01 CL3-A 2 5…ca-bus bus01_01 CL3-B 0 0…ca-col col01_01 CL1-A 5 7…ca-fee fee01_01 CL1-A 0 0…ca-mq mq01_01 CL3-A 21 5…ca-dsbill dsbill01_01 CL3-A 18 6…ca-dsbus dsbus01_01 CL3-B 5 1…ca-dsfee dsfee01_01 CL1-A 8 3…HORCM_INSTca-bill 132.33.34.11 horcm0ca-fee 132.33.34.11 horcm0ca-bus 132.33.34.11 horcm0ca-col 132.33.34.11 horcm0ca-mq 132.33.34.11 horcm0ca-dsbill 132.33.34.11 horcm0ca-dsfee 132.33.34.11 horcm0ca-dsbus 132.33.34.11 horcm026RAIDManager配置文件-大連B35-RZDL-CO容災(zāi)系統(tǒng)日常維護(hù)27容災(zāi)系統(tǒng)日常維護(hù)27啟動和停止RaidManager進(jìn)程啟動RM進(jìn)程：horcmstart.sh0停止RM進(jìn)程：horcmshutdown.sh028啟動和停止RaidManager進(jìn)程28RaidManager常用命令--pairdisplay顯示鏡像卷狀態(tài):pairdisplay–g<CTGroup名稱>–I0–fxc

#pairdisplay–gca-bill–I0-fxcGroup PairVol(L/R)(Port#,TID,LU),Seq#,LDEV#.P/S,Status,Fence,%,P-LDEV#M ca-bill bill01_01(L)(CL3-A,2,5)8306675.S-VOLPAIRASYNC,075–ca-bill bill01_01(R)(CL1-C,2,5)2091775.P-VOLPAIRASYNC,075–Group： CTGoupPairVol(L/R)： 鏡像卷名稱（L表示本地卷，R表示遠(yuǎn)程卷）(Port#,TID,LU)： horcm.conf里指定port/target/LUN號Seq#： XP序列號LDEV#： LDEV號（十六進(jìn)制）P/S： LDEV屬性（P-VOL或S-VOL）Status： 鏡像卷狀態(tài)Fence： ASYNC表示為異步模式%： Status為PAIR時表示Cache占用，COPY時表示復(fù)制進(jìn)度，PSUS/PSUE時表示兩端LDEV尚未變 化的數(shù)據(jù)量P-LDEV#： 對端LDEV號29RaidManager常用命令--pairdisplay顯鏡像卷狀態(tài)SMPL： 無鏡像關(guān)系COPY： 正在做初始化復(fù)制或正在恢復(fù)同步PAIR： 鏡像卷狀態(tài)同步PSUS： 鏡像卷被用戶斷開PSUE： 鏡像卷由于鏈路異常被斷開PFUS： 鏡像卷由于Sidefile占用超過Cache設(shè)定上限被斷開30鏡像卷狀態(tài)SMPL： 無鏡像關(guān)系30RaidManager常用命令斷開鏡像卷：pairsplit–g<CTGroup名稱>-I0：斷開鏡像卷，S-VOL不可寫pairsplit–g<CTGroup名稱>-I0-rw：斷開鏡像卷，S-VOL可讀寫pairsplit–g<CTGroup名稱>-I0-S：刪除鏡像關(guān)系pairsplit–g<CTGroup名稱>-I0-R：強(qiáng)制從S-VOL一端斷開鏡像，用于災(zāi)難恢復(fù)恢復(fù)鏡像關(guān)系:pairresync–g<CTGroup名稱>-I0–c15顯示CTGroup狀態(tài)：pairevtwait–g<CTGroup名稱>-I0-nowait返回值：

1 - SMPL 2 - COPY 3 - PAIR 4 - PSUS（PFUS也表示為PSUS） 5 - PSUE

該命令只有在CTGroup中所有鏡像卷狀態(tài)一致時才會正常返回。31RaidManager常用命令斷開鏡像卷：31維護(hù)腳本yz-col2和B35-RZDL-COL01主機(jī)上：/opt/dr/maintain_script/checkCA_status.sh：檢查所有CTGroup的狀態(tài)及Cache占用率/opt/dr/maintain_script/splitCA_all.sh：以讀寫方式斷開所有CTGroup/opt/dr/maintain_script/splitCA_bill.sh：以讀寫方式斷開ca-bill組/opt/dr/maintain_script/splitCA_fee.sh：以讀寫方式斷開ca-fee組/opt/dr/maintain_script/splitCA_bus.sh：以讀寫方式斷開ca-bus組/opt/dr/maintain_script/splitCA_col.sh：以讀寫方式斷開ca-col組/opt/dr/maintain_script/splitCA_mq.sh：以讀寫方式斷開ca-mq組/opt/dr/maintain_script/splitCA_dsbill.sh：以讀寫方式斷開ca-dsbill組/opt/dr/maintain_script/splitCA_dsfee.sh：以讀寫方式斷開ca-dsfee組/opt/dr/maintain_script/splitCA_dsbus.sh：以讀寫方式斷開ca-dsbus組/opt/dr/maintain_script/resyncCA_all.sh：恢復(fù)所有CTGroup的鏡像同步32維護(hù)腳本yz-col2和B35-RZDL-COL01主機(jī)上大連容災(zāi)系統(tǒng)可能出現(xiàn)的故障大連容災(zāi)系統(tǒng)可能出現(xiàn)的故障現(xiàn)象及解決方法如下：故障現(xiàn)象解決辦法RAIDManager進(jìn)程異常執(zhí)行RM命令報錯重起兩臺RM主機(jī)的RM進(jìn)程XP10000硬件故障大連XP10000前面板MESSAGE黃燈亮聯(lián)系惠普響應(yīng)中心解決XP128硬件故障北京XP128前面板MESSAGE黃燈亮聯(lián)系惠普響應(yīng)中心解決遠(yuǎn)程鏈路單路故障北京XP128前面板MESSAGE黃燈亮聯(lián)系惠普響應(yīng)中心確認(rèn)故障，解決鏈路問題遠(yuǎn)程鏈路雙路故障北京XP128前面板MESSAGE黃燈亮，且pairdisplay顯示所有CTGroup均為PSUE聯(lián)系惠普響應(yīng)中心確認(rèn)故障，解決鏈路問題后執(zhí)行resyncCA_all.sh恢復(fù)CA同步XP128未更新IO超過Cache50%北京XP128前面板MESSAGE黃燈亮，且pairdisplay顯示部分CTGroup為PFUS聯(lián)系惠普響應(yīng)中心確認(rèn)故障，執(zhí)行resyncCA_all.sh恢復(fù)同步33大連容災(zāi)系統(tǒng)可能出現(xiàn)的故障大連容災(zāi)系統(tǒng)可能出現(xiàn)的故障現(xiàn)象及解容災(zāi)數(shù)據(jù)切換及恢復(fù)34容災(zāi)數(shù)據(jù)切換及恢復(fù)34需要進(jìn)行容災(zāi)切換的情形需要進(jìn)行容災(zāi)切換的情形主要有：生產(chǎn)中心所屬區(qū)域發(fā)生重大自然災(zāi)害生產(chǎn)中心機(jī)房受到嚴(yán)重破壞或長時間停電生產(chǎn)中心兩個SAN網(wǎng)絡(luò)全部故障生產(chǎn)中心XP128出現(xiàn)嚴(yán)重故障容災(zāi)演習(xí)……35需要進(jìn)行容災(zāi)切換的情形需要進(jìn)行容災(zāi)切換的情形主要有：35容災(zāi)數(shù)據(jù)切換流程檢查容災(zāi)中心軟硬件檢查容災(zāi)中心存儲和主機(jī)硬件指示燈確認(rèn)容災(zāi)中心集群處于運行狀態(tài)斷開鏡像在大連B35-RZDL-COL01主機(jī)上執(zhí)行/opt/dr/switch_over_script/splitCA_all_R.sh，強(qiáng)制刪除容災(zāi)中心一端的復(fù)制關(guān)系修改卷組屬性和數(shù)據(jù)庫配置在各個主機(jī)上執(zhí)行：/opt/dr/switch_over_script/vgactive_xxx.sh，/opt/dr/switch_over_script/dataconfig_xxx.sh/opt/dr/switch_over_script/vgdeactive_xxx.sh修改各個卷組的集群標(biāo)志位，并修改數(shù)據(jù)庫配置啟動運行包在各個主機(jī)上執(zhí)行集群命令cmrunpkg，啟動運行包業(yè)務(wù)接管數(shù)據(jù)切換完成，進(jìn)入業(yè)務(wù)接管流程36容災(zāi)數(shù)據(jù)切換流程檢查容災(zāi)中檢查容災(zāi)中心存儲和主機(jī)硬件指示燈斷檢查容災(zāi)中心軟硬件狀態(tài)檢查容災(zāi)中心主機(jī)及存儲硬件確認(rèn)Xp10000的MESSAGE（黃）和ALARM（紅）告警等不亮確認(rèn)主機(jī)告警等不亮確認(rèn)SAN交換機(jī)無告警檢查容災(zāi)中心集群狀態(tài) 在各臺主機(jī)上執(zhí)行cmviewcl–v 確認(rèn)所有節(jié)點狀態(tài)為running，所有運行包狀態(tài)為halted37檢查容災(zāi)中心軟硬件狀態(tài)檢查容災(zāi)中心主機(jī)及存儲硬件37斷開鏡像以root用戶登錄到B35-RZDL-COL01主機(jī)上執(zhí)行：/opt/dr/switch_over_script/splitCA_all_R.sh斷開鏡像并將大連Xp10000上的數(shù)據(jù)置為可讀寫38斷開鏡像以root用戶登錄到B35-RZDL-COL01主機(jī)修改卷組屬性和數(shù)據(jù)庫配置以root用戶登錄到各臺容災(zāi)主機(jī)上激活卷組

/opt/dr/switch_over_script/vgactive_xxx.sh修改數(shù)據(jù)庫配置 /opt/dr/switch_over_script/dataconfig_xxx.sh去激活卷組 /opt/dr/switch_over_script/vgdeactive_xxx.sh39修改卷組屬性和數(shù)據(jù)庫配置以root用戶登錄到各臺容災(zāi)主機(jī)上3啟動運行包以root用戶在各臺主機(jī)上執(zhí)行cmrunpkg–v–n主機(jī)名運行包名cmviewclcmmodpkg–e運行包名主機(jī)IP運行包名稱B35-RZDL-NEU-BL01132.37.3.14billB35-RZDL-NEU-ACC01132.37.3.15feeB35-RZDL-WEB01132.37.3.10mqB35-RZDL-COL01132.37.3.11colB35-RZDL-HX-BL02132.37.3.22dsbillB35-RZDL-NEU-CUDB01132.37.3.18busB35-RZDL-HX-CUDB02132.37.3.19dsbus40啟動運行包以root用戶在各臺主機(jī)上執(zhí)行主機(jī)IP運行包名稱B容災(zāi)數(shù)據(jù)恢復(fù)（回切）流程檢查生產(chǎn)中心軟硬件啟動運行包激活生產(chǎn)中心數(shù)據(jù)修改卷組屬性和數(shù)據(jù)庫配置業(yè)務(wù)接管正向數(shù)據(jù)復(fù)制停止業(yè)務(wù)數(shù)據(jù)備份重建反向鏡像HP設(shè)置臨時雙向鏈路HP恢復(fù)正向鏈路HP41容災(zāi)數(shù)據(jù)恢復(fù)（回切）流程檢查生產(chǎn)中心啟動運行包激活生產(chǎn)中心修Metrocluster/ContinentalCluster42Metrocluster/ContinentalCluMetroCluster同城集群與MC/Service軟件集成，實現(xiàn)同城數(shù)據(jù)中心之間（<200公里）構(gòu)建高可用集群與ContinuousAccessXP軟件集成，實現(xiàn)生產(chǎn)中心和災(zāi)備中心之間的數(shù)據(jù)一鍵切換每個數(shù)據(jù)中心應(yīng)配置同樣數(shù)量的主機(jī)，并在第三中心提供QuorumSerivce支持自動或手動切換方式EthernetNetworkEthernetNetworkClients

Upto200kmw/DWDMDatareplicationusingCAXP,CAEVA,orEMCSRDF3rdLocationQuorumserviceProtectedinaseparateclusterDWDMDWDM(Site1)(Site2)DATACENTER1DATACENTER2(Site3)43MetroCluster同城集群與MC/Service軟件ContinentalCluster洲際集群實現(xiàn)兩個遠(yuǎn)程集群（距離不限）之間的監(jiān)控及切換與Metrocluster軟件集成，實現(xiàn)生產(chǎn)中心和異地災(zāi)備中心之間的數(shù)據(jù)一鍵切換不支持自動切換，只支持手動切換Site1Site2ClientsFC-IPConverterIPNetwork(WAN/LAN)RouterRouterRouterRouterFC-IPConverter

NoDistanceLimitationCluster1Cluster244ContinentalCluster洲際集群實現(xiàn)兩個遠(yuǎn)程案例：某船運公司3中心架構(gòu)45案例：某船運公司3中心架構(gòu)45客戶需求及解決方案需要同時滿足零數(shù)據(jù)丟失和防范大范圍災(zāi)難的需求。HP3DCSolution數(shù)據(jù)傳輸方面需要使用兩地之間已具備的IP網(wǎng)絡(luò)，不再另行鋪設(shè)裸光纖使用MPBlade配置FCoverIP，通過IP網(wǎng)絡(luò)實現(xiàn)兩地之間的容災(zāi)數(shù)據(jù)傳輸客戶主要系統(tǒng)均為WindowsServer，要求實現(xiàn)自動化的容災(zāi)管理和切換。ClusterExtensionXP軟件與微軟集群進(jìn)行集成，實現(xiàn)自動化容災(zāi)集群。46客戶需求及解決方案需要同時滿足零數(shù)據(jù)丟失和防范大范圍災(zāi)難的需系統(tǒng)架構(gòu)圖47系統(tǒng)架構(gòu)圖47整體規(guī)劃HK2為主中心，HK1為同城容災(zāi)中心，SZ為異地容災(zāi)中心HK2和HK1之間采用長波光纖直聯(lián)，通過CASync方式進(jìn)行數(shù)據(jù)復(fù)制HK2和SZ之間采用FCIP遠(yuǎn)程連接，通過CAJournal方式進(jìn)行數(shù)據(jù)復(fù)制三個數(shù)據(jù)中心均有相應(yīng)的服務(wù)器進(jìn)行應(yīng)用接管在HK2和HK1之間，以及HK2和SZ之間通過ClusterExtensionXP軟件與MicrosoftCluster集成實現(xiàn)自動化容災(zāi)功能。48整體規(guī)劃HK2為主中心，HK1為同城容災(zāi)中心，SZ為異地容災(zāi)M公司3DC結(jié)構(gòu)49M公司3DC結(jié)構(gòu)49M公司FCIP架構(gòu)圖VE_portVEX_portBackboneFabricEdgeFabric50M公司FCIP架構(gòu)圖VE_portVEX_portBackbExternalStorage51ExternalStorage51ExternalStorageXPvirtualizationoverviewExternalStorageXPvirtualizesheterogeneousdiskarraysHostsconnectedtotheXP12000/10000seethecapacity,butnotthephysicalattributesoftheexternalarraysServersHP-UXWindowsLinuxTru64OVMSSolarisAIXHPMSAHPMSASANHPXPIBMESSDS4000HDS99009500HPEVAVirtualizationengine(XP10000/12000/SVS200)SANEMCDMXSymmetrixCX52ExternalStorageXPvirtualizaExternalStorageinternaloverviewExternalLUNsaremappedasXPvirtualdevices(VDEVs),logicaldevices(LDEVS),andhost-facingLUNsPorts(andCHIPMPs)arededicatedtoexternalarrayconnectionsThehostseesinternalandexternalbasedLUNsinasimilarwayIfnecessary,thehostcandistinguishexternalLUNsviaSCSIinquiry53ExternalStorageinternaloverExternalStoragesolutionconnectivityForhigh-availability,thefollowingsetupisrecommended:AmatchedsetofonehostfacingCHIPmultiprocessor(MP)andonestoragefacingCHIPMPOneFibreChannelpathOneexternalarrayportOneexternalLUNWarning!Deviatefromthisonlyifyouclearlyunderstandtheramifications.XPCL-1XPCL-2Controller-AController-BFCSwitchFCSwitchFCSwitchFCSwitchApp

hostmpmpmpmpLULU123454ExternalStoragesolutionconnPathmodesinexternalstorageMulti-pathmode(Active-Activemode)Useallpathstoperformreadandwriteoperationsbybalancingloads.Singlepathmode(Active-Passivemode)Useapaththathasthehighestprioritytoperformreadandwriteoperations.ThealternatepathacceptsI/O.Active-standbymodeUsethepaththathasthehighestprioritytoperformreadandwriteoperations.ThealternatepathdoesnotacceptI/O.HostRead/WriteLoadbalance1HostRead/Write2HostRead/Write355PathmodesinexternalstorageMigrationfromEVAnativetoEVAviaXPexternalstorage1.劃分XP到EVA的zoning2.劃分XP到主機(jī)的zoning3.在EVA上創(chuàng)建指向XP的hostgroup4.在EVA上將Vdisk映射給XP端口5.在XP控制臺上將EVAvdisk導(dǎo)入XP6.關(guān)閉訪問EVA的應(yīng)用程序7.在XP上將導(dǎo)入的LUN映射給對應(yīng)主機(jī)的hostgroup8.在SANswitch上刪除EVA到主機(jī)的zone9.在主機(jī)上修改配置指向XP所對應(yīng)的路徑10.啟動應(yīng)用并確認(rèn)狀態(tài)11.在EVA上刪除指向主機(jī)的映射關(guān)系56MigrationfromEVAnativetoE配置CAJournal和ExternalStorage時應(yīng)注意的要點CAJ：JournalPool規(guī)劃CHIP端口規(guī)劃CTGroup劃分容災(zāi)鏈路的考慮SAN整合ES：前端CHIP端口分配后端CHIP端口分配Cache使用主機(jī)映射關(guān)系修改57配置CAJournal和ExternalStorage時Thanks!58Thanks!58演講完畢，謝謝觀看！演講完畢，謝謝觀看！

容災(zāi)技術(shù)培訓(xùn)

容災(zāi)技術(shù)培訓(xùn)AgendaXP容災(zāi)原理容災(zāi)系統(tǒng)架構(gòu)及設(shè)計容災(zāi)系統(tǒng)日常維護(hù)容災(zāi)數(shù)據(jù)切換及恢復(fù)外掛存儲61AgendaXP容災(zāi)原理2XP磁盤陣列容災(zāi)原理62XP磁盤陣列容災(zāi)原理3ContinuousAccess(CA)ContinuousAccessXP（簡稱CA）是基于XP磁盤陣列的遠(yuǎn)程鏡像軟件。通過CA可以實現(xiàn)兩臺XP之間的實時數(shù)據(jù)復(fù)制。P-VOLS-VOLPrimaryXPSecondaryXPP-VOL=源數(shù)據(jù)卷S-VOL=目標(biāo)卷MCU=MasterControlUnit，包含P-VOLRCU=RemoteControlUnit，包含S-VOLMCURCU63ContinuousAccess(CA)Continuo數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPSync每一個寫IO先后在主備陣列上寫完以后才返回完成，數(shù)據(jù)零丟失兩站點之間距離越遠(yuǎn)，寫延時越長適用于兩站點之間距離較近（通常小于30KM），且遠(yuǎn)程鏈路帶寬較高（通常大于1Gb）的情況64數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPSy數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPAsync每一個寫IO寫入主陣列緩存即返回完成主陣列通過建立IO順序表的方法向備陣列異步更新數(shù)據(jù)主陣列通過緩存（Sidefile）儲存尚未發(fā)送給備陣列的數(shù)據(jù)寫IO延時基本不受遠(yuǎn)程鏈路距離影響在鏈路帶寬足夠的情況下可實現(xiàn)數(shù)據(jù)接近零丟失需要通過參數(shù)設(shè)置的方式限制暫存數(shù)據(jù)對緩存的占用65數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPAs數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPJournal每一個寫IO寫入主陣列緩存并更新Metadata后即返回完成備陣列向主陣列發(fā)送請求，異步從主陣列讀取數(shù)據(jù)主陣列通過Journal盤儲存尚未發(fā)送給備陣列的數(shù)據(jù)，對緩存占用很少寫IO延時基本不受遠(yuǎn)程鏈路距離影響合理設(shè)置Journal盤的容量可以最大程度保持?jǐn)?shù)據(jù)傳輸?shù)挠行蛐?6數(shù)據(jù)復(fù)制技術(shù)—ContinuousAccessXPJoHP3DCSolution一、二中心之間通過ContinuousAccessSync方式進(jìn)行數(shù)據(jù)復(fù)制，實現(xiàn)數(shù)據(jù)零丟失二、三中心之間通過ContinuousAccessJournal方式進(jìn)行數(shù)據(jù)復(fù)制，實現(xiàn)遠(yuǎn)距離數(shù)據(jù)容災(zāi)在每個中心分別通過RaidManager主機(jī)進(jìn)行管理和控制RaidManagerRaidManagerRaidManager67HP3DCSolution一、二中心之間通過ContinContinuousAccess的控制方式在XP上安裝CA軟件，在訪問XP的主機(jī)上安裝Raidmanager軟件。通過控制Raidmanager命令來管理CA的運行RAIDManagerInstance控制命令主機(jī)RAIDManagerInstance控制命令主機(jī)P-VOLS-VOLP-VOLS-VOLFC網(wǎng)絡(luò)SVPUDPCA軟件CA軟件IP網(wǎng)絡(luò)FC連接FC連接MCUMCURCURCU68ContinuousAccess的控制方式在XP上安裝CConsistencyGroup(CTGroup)在異步模式下，CA通過ConsistencyGroup（簡稱CTGroup）來保證寫入順序的一致性。對于同一個CTGroup內(nèi)的所有鏡像卷來說，寫入遠(yuǎn)程XP的順序和寫入本地XP的順序是一致的。Data1Data4Data2Data3ApplicationData1Data2Data3Data4CacheData1Data4Data2Data3CacheData4Data3Data2Data11234SortPrimarySiteRemoteSiteAsynchronousTransferwithoutoforderrepaired(perconsistencygroup)Sortbysequencecontrolinformation69ConsistencyGroup(CTGroup)在異RaidManager(RM)RAIDManager（簡稱RM）XP是基于主機(jī)的軟件包。通過RM可以從主機(jī)上使用命令行來控制XP鏡像軟件（包括ContinuousAccess、BusinessCopy等）的運行。Commands:pairdisplaypaircreatepairsplit...ConfigurationFileRaidManagerInstanceHostCMDDeviceXP70RaidManager(RM)RAIDManagerRaidManager在容災(zāi)系統(tǒng)中的應(yīng)用/etc/horcm0.confInstance0Instance0/etc/horcm0.confCommandsP-VOLXPsoftware(CA)CmdDeviceLocalXPCommandshost1host2S-VOLXPsoftware(CA)CmdDeviceRemoteXPIPFC71RaidManager在容災(zāi)系統(tǒng)中的應(yīng)用/etc/horRAIDManager配置文件/etc/horcm.conf:HORCM_MON#ip-address

service poll(10ms)

timeout(10ms)132.33.34.11 horcm0 1000 3000本機(jī)IP地址 horcm進(jìn)程監(jiān)聽端口號 輪詢設(shè)置 超時設(shè)置HORCM_CMD#dev_name/dev/rdsk/c11t15d7XPCMDDevice的設(shè)備文件HORCM_DEV#dev_group dev_name

port

Target Lunca-bill bill01_01 CL1-A 0 0CTgroup名稱 鏡像卷名稱 LUN所在的端口 target號 LUN號HORCM_INST#dev_group ip_address serviceca-bill 132.33.34.11 horcm0CTgroup名稱 對端RM主機(jī)IP地址 對端RM主機(jī)horcm進(jìn)程監(jiān)聽端口號72RAIDManager配置文件/etc/horcm.con容災(zāi)系統(tǒng)架構(gòu)及設(shè)計73容災(zāi)系統(tǒng)架構(gòu)及設(shè)計14方案概述本項目的目標(biāo)是構(gòu)建XX集團(tuán)計費帳務(wù)系統(tǒng)的大連容災(zāi)系統(tǒng)。容災(zāi)中心選址在大連XX機(jī)房。數(shù)據(jù)復(fù)制機(jī)制選擇基于存儲級的數(shù)據(jù)復(fù)制軟件ContinuousAccess/XP。容災(zāi)存儲設(shè)備選擇惠普公司的企業(yè)級高端存儲設(shè)備XP10000。在容災(zāi)機(jī)房中配備了各子應(yīng)用系統(tǒng)的容災(zāi)主機(jī)–惠普公司的HP9000服務(wù)器。本項目實施完成后，根據(jù)目前應(yīng)用系統(tǒng)在兩臺XP128上的部署，將實現(xiàn)北京機(jī)房的兩臺XP128到大連一臺XP10000的實時數(shù)據(jù)復(fù)制。74方案概述本項目的目標(biāo)是構(gòu)建XX集團(tuán)計費帳務(wù)系統(tǒng)的大連容災(zāi)系統(tǒng)本次項目復(fù)制數(shù)據(jù)范圍業(yè)務(wù)分類卷組LDEV數(shù)量容量(GB)feevg01~0547649billvg01~101472029busvg01~0641566colvg01~0320276mqvg01341dsfeevg01~0239538dsbillvg01~0226359dsbusvg01~0211152共計3344609根據(jù)東軟及網(wǎng)通集成公司的共同確認(rèn)，本次容災(zāi)項目涉及的數(shù)據(jù)復(fù)制范圍如下：75本次項目復(fù)制數(shù)據(jù)范圍業(yè)務(wù)分類卷組LDEV數(shù)量容量(GB)fe現(xiàn)有SAN環(huán)境76現(xiàn)有SAN環(huán)境17項目實施后的SAN環(huán)境77項目實施后的SAN環(huán)境18XP10000劃分硬件配置 Cache: 16GB CHIP端口： 16個 ACP： 1對 磁盤組： 146GBx4x26（裸容量14TB左右）Cache劃分 五個業(yè)務(wù)系統(tǒng)共享16GBcache。磁盤組

OPEN-E。Raid級別采用RAID5（3D+1P）。LDEVID LDEVID的分配采用disperse方式。78XP10000劃分硬件配置19XP10000端口配置CHIP端口 計費系統(tǒng)，MQ： 2個CHIP端口 帳務(wù)系統(tǒng)，采集系統(tǒng)： 2個CHIP端口 客服系統(tǒng)： 2個CHIP端口端口用途端口用途CL1A計費系統(tǒng)，采集系統(tǒng)CL2A計費系統(tǒng)，采集系統(tǒng)CL3A帳務(wù)系統(tǒng)，MQCL4A帳務(wù)系統(tǒng)，MQCL5A(預(yù)留)CL6A(預(yù)留)CL7A(預(yù)留)CL8A(預(yù)留)CL1BCA-20917-CL1H,CA-20434-CL1HCL2BCA-20917-CL2D，CA-20434-CL2DCL3B客服系統(tǒng)CL4B客服系統(tǒng)CL5B(預(yù)留)CL6B(預(yù)留)CL7B(預(yù)留)CL8B(預(yù)留)79XP10000端口配置CHIP端口端口用途端口用途CL1A計XP128及XP10000配置表80XP128及XP10000配置表21ContinuousAccess配置兩臺XP128到XP10000的CA配置的MCU-RCU關(guān)系如下：MCURCUPaths20917,CU083066,CU0,SSID4CL1HCL1B,CL2HCL2B20917,CU183066,CU1,SSID5CL1HCL1B,CL2HCL2B20434,CU183066,CU2,SSID6CL1HCL1B,CL2HCL2BMaximumInitialCopyActivity

:4CU0P-VOLCU1P-VOLCU1P-VOLS-VOLS-VOLS-VOLCU0CU1CU2XP128-20917XP128-20434XP10000-8306681ContinuousAccess配置兩臺XP128到XP1CTGroup規(guī)劃業(yè)務(wù)分類卷組CTGroupfeevg01~05ca-feebillvg01~10ca-billbusvg01~06ca-buscolvg01~03ca-colmqvg01ca-mqdsfeevg01~02ca-dsfeedsbillvg01~02ca-dsbilldsbusvg01~02ca-dsbus82CTGroup規(guī)劃業(yè)務(wù)分類卷組CTGroupfeevg0RaidManager配置/etc/horcm0.confInstance0Instance0/etc/horcm0.confCommandsP-VOLCAc17t15d7/c21t15d7XP128-20917Commands132.33.34.11132.37.3.11S-VOLCAc12t15d7/c13t15d7XP10000-83066IPFCP-VOLCAc36t15d7/c37t15d7XP128-20434FC北京大連83RaidManager配置/etc/horcm0.confRAIDManager配置文件-北京yz-col2:/etc/horcm0.conf:HORCM_MON132.33.34.11 horcm0 1000 3000HORCM_CMD#unit0(20917)/dev/rdsk/c17t15d7/dev/rdsk/c21t15d7#unit1(20434)/dev/rdsk/c36t15d7/dev/rdsk/c37t15d7HORCM_DEVca-bill bill01_01 CL1-C 2 5…ca-bus bus01_01 CL1-B 3 6…ca-col col01_01 CL1-A 8 3…ca-fee fee01_01 CL1-A 0 0…ca-mq mq01_01 CL1-B 0 2…ca-dsbill dsbill01_01 CL1-E1 0 0…ca-dsbus dsbus01_01 CL1-F1 0 0…ca-dsfee dsfee01_01 CL1-E1 3 2…HORCM_INSTca-bill 132.37.3.11 horcm0ca-fee 132.37.3.11 horcm0ca-bus 132.37.3.11 horcm0ca-col 132.37.3.11 horcm0ca-mq 132.37.3.11 horcm0ca-dsbill 132.37.3.11 horcm0ca-dsfee 132.37.3.11 horcm0ca-dsbus 132.37.3.11 horcm084RAIDManager配置文件-北京yz-col2:/etRAIDManager配置文件-大連B35-RZDL-COL01:/etc/horcm0.conf:HORCM_MON132.37.3.11 horcm0 1000 3000HORCM_CMD/dev/rdsk/c12t15d7/dev/rdsk/c13t15d7HORCM_DEVca-bill bill01_01 CL3-A 2 5…ca-bus bus01_01 CL3-B 0 0…ca-col col01_01 CL1-A 5 7…ca-fee fee01_01 CL1-A 0 0…ca-mq mq01_01 CL3-A 21 5…ca-dsbill dsbill01_01 CL3-A 18 6…ca-dsbus dsbus01_01 CL3-B 5 1…ca-dsfee dsfee01_01 CL1-A 8 3…HORCM_INSTca-bill 132.33.34.11 horcm0ca-fee 132.33.34.11 horcm0ca-bus 132.33.34.11 horcm0ca-col 132.33.34.11 horcm0ca-mq 132.33.34.11 horcm0ca-dsbill 132.33.34.11 horcm0ca-dsfee 132.33.34.11 horcm0ca-dsbus 132.33.34.11 horcm085RAIDManager配置文件-大連B35-RZDL-CO容災(zāi)系統(tǒng)日常維護(hù)86容災(zāi)系統(tǒng)日常維護(hù)27啟動和停止RaidManager進(jìn)程啟動RM進(jìn)程：horcmstart.sh0停止RM進(jìn)程：horcmshutdown.sh087啟動和停止RaidManager進(jìn)程28RaidManager常用命令--pairdisplay顯示鏡像卷狀態(tài):pairdisplay–g<CTGroup名稱>–I0–fxc

#pairdisplay–gca-bill–I0-fxcGroup PairVol(L/R)(Port#,TID,LU),Seq#,LDEV#.P/S,Status,Fence,%,P-LDEV#M ca-bill bill01_01(L)(CL3-A,2,5)8306675.S-VOLPAIRASYNC,075–ca-bill bill01_01(R)(CL1-C,2,5)2091775.P-VOLPAIRASYNC,075–Group： CTGoupPairVol(L/R)： 鏡像卷名稱（L表示本地卷，R表示遠(yuǎn)程卷）(Port#,TID,LU)： horcm.conf里指定port/target/LUN號Seq#： XP序列號LDEV#： LDEV號（十六進(jìn)制）P/S： LDEV屬性（P-VOL或S-VOL）Status： 鏡像卷狀態(tài)Fence： ASYNC表示為異步模式%： Status為PAIR時表示Cache占用，COPY時表示復(fù)制進(jìn)度，PSUS/PSUE時表示兩端LDEV尚未變 化的數(shù)據(jù)量P-LDEV#： 對端LDEV號88RaidManager常用命令--pairdisplay顯鏡像卷狀態(tài)SMPL： 無鏡像關(guān)系COPY： 正在做初始化復(fù)制或正在恢復(fù)同步PAIR： 鏡像卷狀態(tài)同步PSUS： 鏡像卷被用戶斷開PSUE： 鏡像卷由于鏈路異常被斷開PFUS： 鏡像卷由于Sidefile占用超過Cache設(shè)定上限被斷開89鏡像卷狀態(tài)SMPL： 無鏡像關(guān)系30RaidManager常用命令斷開鏡像卷：pairsplit–g<CTGroup名稱>-I0：斷開鏡像卷，S-VOL不可寫pairsplit–g<CTGroup名稱>-I0-rw：斷開鏡像卷，S-VOL可讀寫pairsplit–g<CTGroup名稱>-I0-S：刪除鏡像關(guān)系pairsplit–g<CTGroup名稱>-I0-R：強(qiáng)制從S-VOL一端斷開鏡像，用于災(zāi)難恢復(fù)恢復(fù)鏡像關(guān)系:pairresync–g<CTGroup名稱>-I0–c15顯示CTGroup狀態(tài)：pairevtwait–g<CTGroup名稱>-I0-nowait返回值：

1 - SMPL 2 - COPY 3 - PAIR 4 - PSUS（PFUS也表示為PSUS） 5 - PSUE

該命令只有在CTGroup中所有鏡像卷狀態(tài)一致時才會正常返回。90RaidManager常用命令斷開鏡像卷：31維護(hù)腳本yz-col2和B35-RZDL-COL01主機(jī)上：/opt/dr/maintain_script/checkCA_status.sh：檢查所有CTGroup的狀態(tài)及Cache占用率/opt/dr/maintain_script/splitCA_all.sh：以讀寫方式斷開所有CTGroup/opt/dr/maintain_script/splitCA_bill.sh：以讀寫方式斷開ca-bill組/opt/dr/maintain_script/splitCA_fee.sh：以讀寫方式斷開ca-fee組/opt/dr/maintain_script/splitCA_bus.sh：以讀寫方式斷開ca-bus組/opt/dr/maintain_script/splitCA_col.sh：以讀寫方式斷開ca-col組/opt/dr/maintain_script/splitCA_mq.sh：以讀寫方式斷開ca-mq組/opt/dr/maintain_script/splitCA_dsbill.sh：以讀寫方式斷開ca-dsbill組/opt/dr/maintain_script/splitCA_dsfee.sh：以讀寫方式斷開ca-dsfee組/opt/dr/maintain_script/splitCA_dsbus.sh：以讀寫方式斷開ca-dsbus組/opt/dr/maintain_script/resyncCA_all.sh：恢復(fù)所有CTGroup的鏡像同步91維護(hù)腳本yz-col2和B35-RZDL-COL01主機(jī)上大連容災(zāi)系統(tǒng)可能出現(xiàn)的故障大連容災(zāi)系統(tǒng)可能出現(xiàn)的故障現(xiàn)象及解決方法如下：故障現(xiàn)象解決辦法RAIDManager進(jìn)程異常執(zhí)行RM命令報錯重起兩臺RM主機(jī)的RM進(jìn)程XP10000硬件故障大連XP10000前面板MESSAGE黃燈亮聯(lián)系惠普響應(yīng)中心解決XP128硬件故障北京XP128前面板MESSAGE黃燈亮聯(lián)系惠普響應(yīng)中心解決遠(yuǎn)程鏈路單路故障北京XP128前面板MESSAGE黃燈亮聯(lián)系惠普響應(yīng)中心確認(rèn)故障，解決鏈路問題遠(yuǎn)程鏈路雙路故障北京XP128前面板MESSAGE黃燈亮，且pairdisplay顯示所有CTGroup均為PSUE聯(lián)系惠普響應(yīng)中心確認(rèn)故障，解決鏈路問題后執(zhí)行resyncCA_all.sh恢復(fù)CA同步XP128未更新IO超過Cache50%北京XP128前面板MESSAGE黃燈亮，且pairdisplay顯示部分CTGroup為PFUS聯(lián)系惠普響應(yīng)中心確認(rèn)故障，執(zhí)行resyncCA_all.sh恢復(fù)同步92大連容災(zāi)系統(tǒng)可能出現(xiàn)的故障大連容災(zāi)系統(tǒng)可能出現(xiàn)的故障現(xiàn)象及解容災(zāi)數(shù)據(jù)切換及恢復(fù)93容災(zāi)數(shù)據(jù)切換及恢復(fù)34需要進(jìn)行容災(zāi)切換的情形需要進(jìn)行容災(zāi)切換的情形主要有：生產(chǎn)中心所屬區(qū)域發(fā)生重大自然災(zāi)害生產(chǎn)中心機(jī)房受到嚴(yán)重破壞或長時間停電生產(chǎn)中心兩個SAN網(wǎng)絡(luò)全部故障生產(chǎn)中心XP128出現(xiàn)嚴(yán)重故障容災(zāi)演習(xí)……94需要進(jìn)行容災(zāi)切換的情形需要進(jìn)行容災(zāi)切換的情形主要有：35容災(zāi)數(shù)據(jù)切換流程檢查容災(zāi)中心軟硬件檢查容災(zāi)中心存儲和主機(jī)硬件指示燈確認(rèn)容災(zāi)中心集群處于運行狀態(tài)斷開鏡像在大連B35-RZDL-COL01主機(jī)上執(zhí)行/opt/dr/switch_over_script/splitCA_all_R.sh，強(qiáng)制刪除容災(zāi)中心一端的復(fù)制關(guān)系修改卷組屬性和數(shù)據(jù)庫配置在各個主機(jī)上執(zhí)行：/opt/dr/switch_over_script/vgactive_xxx.sh，/opt/dr/switch_over_script/dataconfig_xxx.sh/opt/dr/switch_over_script/vgdeactive_xxx.sh修改各個卷組的集群標(biāo)志位，并修改數(shù)據(jù)庫配置啟動運行包在各個主機(jī)上執(zhí)行集群命令cmrunpkg，啟動運行包業(yè)務(wù)接管數(shù)據(jù)切換完成，進(jìn)入業(yè)務(wù)接管流程95容災(zāi)數(shù)據(jù)切換流程檢查容災(zāi)中檢查容災(zāi)中心存儲和主機(jī)硬件指示燈斷檢查容災(zāi)中心軟硬件狀態(tài)檢查容災(zāi)中心主機(jī)及存儲硬件確認(rèn)Xp10000的MESSAGE（黃）和ALARM（紅）告警等不亮確認(rèn)主機(jī)告警等不亮確認(rèn)SAN交換機(jī)無告警檢查容災(zāi)中心集群狀態(tài) 在各臺主機(jī)上執(zhí)行cmviewcl–v 確認(rèn)所有節(jié)點狀態(tài)為running，所有運行包狀態(tài)為halted96檢查容災(zāi)中心軟硬件狀態(tài)檢查容災(zāi)中心主機(jī)及存儲硬件37斷開鏡像以root用戶登錄到B35-RZDL-COL01主機(jī)上執(zhí)行：/opt/dr/switch_over_script/splitCA_all_R.sh斷開鏡像并將大連Xp10000上的數(shù)據(jù)置為可讀寫97斷開鏡像以root用戶登錄到B35-RZDL-COL01主機(jī)修改卷組屬性和數(shù)據(jù)庫配置以root用戶登錄到各臺容災(zāi)主機(jī)上激活卷組

/opt/dr/switch_over_script/vgactive_xxx.sh修改數(shù)據(jù)庫配置 /opt/dr/switch_over_script/dataconfig_xxx.sh去激活卷組 /opt/dr/switch_over_script/vgdeactive_xxx.sh98修改卷組屬性和數(shù)據(jù)庫配置以root用戶登錄到各臺容災(zāi)主機(jī)上3啟動運行包以root用戶在各臺主機(jī)上執(zhí)行cmrunpkg–v–n主機(jī)名運行包名cmviewclcmmodpkg–e運行包名主機(jī)IP運行包名稱B35-RZDL-NEU-BL01132.37.3.14billB35-RZDL-NEU-ACC01132.37.3.15feeB35-RZDL-WEB01132.37.3.10mqB35-RZDL-COL01132.37.3.11colB35-RZDL-HX-BL02132.37.3.22dsbillB35-RZDL-NEU-CUDB01132.37.3.18busB35-RZDL-HX-CUDB02132.37.3.19dsbus99啟動運行包以root用戶在各臺主機(jī)上執(zhí)行主機(jī)IP運行包名稱B容災(zāi)數(shù)據(jù)恢復(fù)（回切）流程檢查生產(chǎn)中心軟硬件啟動運行包激活生產(chǎn)中心數(shù)據(jù)修改卷組屬性和數(shù)據(jù)庫配置業(yè)務(wù)接管正向數(shù)據(jù)復(fù)制停止業(yè)務(wù)數(shù)據(jù)備份重建反向鏡像HP設(shè)置臨時雙向鏈路HP恢復(fù)正向鏈路HP100容災(zāi)數(shù)據(jù)恢復(fù)（回切）流程檢查生產(chǎn)中心啟動運行包激活生產(chǎn)中心修Metrocluster/ContinentalCluster101Metrocluster/ContinentalCluMetroCluster同城集群與MC/Service軟件集成，實現(xiàn)同城數(shù)據(jù)中心之間（<200公里）構(gòu)建高可用集群與ContinuousAccessXP軟件集成，實現(xiàn)生產(chǎn)中心和災(zāi)備中心之間的數(shù)據(jù)一鍵切換每個數(shù)據(jù)中心應(yīng)配置同樣數(shù)量的主機(jī)，并在第三中心提供QuorumSerivce支持自動或手動切換方式EthernetNetworkEthernetNetworkClients

Upto200kmw/DWDMDatareplicationusingCAXP,CAEVA,orEMCSRDF3rdLocationQuorumserviceProtectedinaseparateclusterDWDMDWDM(Site1)(Site2)DATACENTER1DATACENTER2(Site3)102MetroCluster同城集群與MC/Service軟件ContinentalCluster洲際集群實現(xiàn)兩個遠(yuǎn)程集群（距離不限）之間的監(jiān)控及切換與Metrocluster軟件集成，實現(xiàn)生產(chǎn)中心和異地災(zāi)備中心之間的數(shù)據(jù)一鍵切換不支持自動切換，只支持手動切換Site1Site2ClientsFC-IPConverterIPNetwork(WAN/LAN)RouterRouterRouterRouterFC-IPConverter

NoDistanceLimitationCluster1Cluster2103ContinentalCluster洲際集群實現(xiàn)兩個遠(yuǎn)程案例：某船運公司3中心架構(gòu)104案例：某船運公司3中心架構(gòu)45客戶需求及解決方案需要同時滿足零數(shù)據(jù)丟失和防范大范圍災(zāi)難的需求。HP3DCSolution數(shù)據(jù)傳輸方面需要使用兩地之間已具備的IP網(wǎng)絡(luò)，不再另行鋪設(shè)裸光纖使用MPBlade配置FCoverIP，通過IP網(wǎng)絡(luò)實現(xiàn)兩地之間的容災(zāi)數(shù)據(jù)傳輸客戶主要系統(tǒng)均為Windows