1、陣列級(jí)容災(zāi)解決方案一、概述XXX單位現(xiàn)有華為賽門鐵克Oceanspace S5300存儲(chǔ)陣列一套，本次擬再上一套存儲(chǔ)陣列作為本地災(zāi)備陣列，以備在主陣列故障、數(shù)據(jù)不可用的情況下的緊急之需，保證數(shù)據(jù)的安全性和業(yè)務(wù)的連續(xù)性。因?yàn)樯婕暗街麝嚵泻腿轂?zāi)陣列間的數(shù)據(jù)同步和反向同步，容災(zāi)陣列需要選用和主存儲(chǔ)陣列同一廠家和同一系列的產(chǎn)品，建議容災(zāi)陣列采用華賽Oceanspace S5300，硬盤可以采用低級(jí)別SATA硬盤。 二、方案簡(jiǎn)介XXX單位采用基于陣列的容災(zāi)解決方案，這種方案是指在磁盤陣列一層，利用磁盤陣列本身的智能控制系統(tǒng)/軟件進(jìn)行陣列到陣列的數(shù)據(jù)復(fù)制，從而實(shí)現(xiàn)對(duì)生產(chǎn)環(huán)境數(shù)據(jù)的容災(zāi)。部署在生產(chǎn)站點(diǎn)（現(xiàn)網(wǎng)

2、已有S5300）和災(zāi)備站點(diǎn)（本次擬建陣列）的兩臺(tái)陣列之間可以使用FC或IP鏈路進(jìn)行連接，生產(chǎn)站點(diǎn)的磁盤陣列可以實(shí)時(shí)的自動(dòng)將更新后的數(shù)據(jù)傳送至災(zāi)備站點(diǎn)的陣列中，以保持兩臺(tái)磁盤陣列中的數(shù)據(jù)完全一致。所有工作由兩臺(tái)陣列自身自動(dòng)完成，對(duì)主機(jī)系統(tǒng)完全透明，不占用任何主機(jī)資源。當(dāng)生產(chǎn)站點(diǎn)由于地震、火災(zāi)等災(zāi)難導(dǎo)致整個(gè)業(yè)務(wù)系統(tǒng)癱瘓時(shí)，災(zāi)備站點(diǎn)的業(yè)務(wù)系統(tǒng)能夠完全接管全部工作，在較短時(shí)間內(nèi)恢復(fù)業(yè)務(wù)系統(tǒng)的運(yùn)行。華賽陣列容災(zāi)解決方案主要有陣列異地容災(zāi)和陣列同城容災(zāi)兩種方案。兩種方案都是利用華賽的HostAgent軟件保證業(yè)務(wù)系統(tǒng)數(shù)據(jù)一致性，并利用華賽Oceanspace磁盤陣列的遠(yuǎn)程鏡像功能（HyperMirror）

3、進(jìn)行陣列間的數(shù)據(jù)復(fù)制。陣列異地容災(zāi)方案主要采用Oceanspace磁盤陣列的異步遠(yuǎn)程鏡像功能（HyperMirror/A）實(shí)現(xiàn)生產(chǎn)站點(diǎn)和災(zāi)備站點(diǎn)的數(shù)據(jù)復(fù)制。陣列同城容災(zāi)方案主要采用Oceanspace磁盤陣列的同步遠(yuǎn)程鏡像功能（HyperMirror/S）實(shí)現(xiàn)生產(chǎn)站點(diǎn)和災(zāi)備站點(diǎn)的數(shù)據(jù)復(fù)制。因?yàn)楸竟こ虒儆谕侨轂?zāi)，可以采用同步遠(yuǎn)程鏡像技術(shù)實(shí)現(xiàn)?？紤]到數(shù)據(jù)復(fù)制的性能，建議采用FC鏈路進(jìn)行數(shù)據(jù)傳輸，當(dāng)然也可以采用IP鏈路。陣列同城容災(zāi)方案的原理圖如圖1所示。圖1 陣列同城容災(zāi)解決方案原理圖正常情況下，生產(chǎn)站點(diǎn)的數(shù)據(jù)會(huì)利用Oceanspace磁盤陣列的遠(yuǎn)程鏡像功能將生產(chǎn)卷的數(shù)據(jù)復(fù)制到災(zāi)備站點(diǎn)的災(zāi)備卷中

4、；在災(zāi)難發(fā)生時(shí)，災(zāi)備站點(diǎn)可以通過災(zāi)備卷中的數(shù)據(jù)拉起客戶業(yè)務(wù)；生產(chǎn)站點(diǎn)恢復(fù)后，可以利用Oceanspace磁盤陣列遠(yuǎn)程鏡像功能進(jìn)行反向同步，將災(zāi)備卷的數(shù)據(jù)同步至生產(chǎn)站點(diǎn)的生產(chǎn)卷中，并在生產(chǎn)站點(diǎn)啟動(dòng)客戶業(yè)務(wù)。三、Oceanspace磁盤陣列遠(yuǎn)程同步鏡像技術(shù)遠(yuǎn)程鏡像功能的實(shí)現(xiàn)需要考慮以下三個(gè)設(shè)計(jì)需求：1、 盡可能保證主、從LUN之間的緊密同步，從而減少災(zāi)難發(fā)生時(shí)的數(shù)據(jù)丟失量(data loss)；2、 盡可能減少系統(tǒng)對(duì)前臺(tái)應(yīng)用程序的寫延遲，從而達(dá)到減少系統(tǒng)響應(yīng)時(shí)間、提高數(shù)據(jù)吞吐量和性能的效果；3、 在異?；?yàn)?zāi)難發(fā)生時(shí)，能夠保證生產(chǎn)站點(diǎn)和災(zāi)備站點(diǎn)數(shù)據(jù)可用性。由于通信鏈路上存在不可避免的延時(shí)，前兩個(gè)設(shè)計(jì)

5、需求幾乎不可能同時(shí)最優(yōu)化：當(dāng)前者達(dá)到最優(yōu)時(shí)，生產(chǎn)站點(diǎn)收到本地I/O寫操作后，立即發(fā)向?yàn)?zāi)備站點(diǎn)，等待寫I/O同時(shí)寫入主LUN和從LUN后才返回前臺(tái)應(yīng)用程序?qū)懲瓿蛇@種方式稱為同步遠(yuǎn)程鏡像；當(dāng)后者達(dá)到最優(yōu)時(shí)，生產(chǎn)站點(diǎn)先記錄收到的I/O寫操作導(dǎo)致的差異，寫入主LUN后就立即返回寫完成，當(dāng)差異累積到一定程度時(shí)（或經(jīng)過一段固定的時(shí)間）再一次性把所有差異更新到災(zāi)備站點(diǎn)的從LUN這種方式稱為異步遠(yuǎn)程鏡像。無論是同步遠(yuǎn)程鏡像還是異步遠(yuǎn)程鏡像，都必須滿足第三個(gè)設(shè)計(jì)需求任何情況下的數(shù)據(jù)可用性。 HostAgent保證數(shù)據(jù)一致性數(shù)據(jù)一致性是指關(guān)聯(lián)數(shù)據(jù)之間的邏輯關(guān)系是否正確和完整。因?yàn)槟撤N異常情況的發(fā)生，數(shù)據(jù)并沒有按照

6、應(yīng)用程序規(guī)定的邏輯關(guān)系完整的寫入磁盤。導(dǎo)致應(yīng)用程序讀入的數(shù)據(jù)無法按照原有的邏輯解釋，導(dǎo)致應(yīng)用程序無法啟動(dòng)。比如在數(shù)據(jù)庫的事務(wù)操作中，實(shí)際發(fā)出了五個(gè)寫操作，當(dāng)系統(tǒng)把前面三個(gè)寫操作的數(shù)據(jù)成功寫入磁盤以后，系統(tǒng)突然故障，導(dǎo)致后面兩個(gè)寫操作沒有寫入磁盤中。此時(shí)應(yīng)用程序和磁盤對(duì)數(shù)據(jù)狀態(tài)的理解就不一致。Oceanspace ISSP HostAgent主機(jī)套件由HyperManager、ConsistentAgent和InbandAgent三部分組成。HostAgent根據(jù)時(shí)間策略定期將應(yīng)用在主機(jī)緩存中的數(shù)據(jù)刷新到陣列磁盤中，有效保證數(shù)據(jù)的一致性，同時(shí)與虛擬快照、Lun拷貝、遠(yuǎn)程鏡像等增值功能結(jié)合，保證應(yīng)

7、用主機(jī)與生產(chǎn)陣列、生產(chǎn)陣列與災(zāi)備陣列的數(shù)據(jù)一致性與可用性。HyperManager是面向應(yīng)用的方案中的“大腦”，起著調(diào)度、協(xié)調(diào)和管理的功能。每個(gè)策略執(zhí)行時(shí)，HyperManager通知ConsistentAgent對(duì)應(yīng)用進(jìn)行刷數(shù)據(jù)，保證數(shù)據(jù)一致性，然后InbandAgent發(fā)送帶內(nèi)命令到陣列，比如讓陣列做快照。圖2 ISSP HostAgent 原理圖注：在使用陣列間同步復(fù)制方式進(jìn)行容災(zāi)的方案中不需要使用HostAgent。3.2 同步數(shù)據(jù)復(fù)制（HyperMirror/S）Oceanspace 存儲(chǔ)陣列的同步遠(yuǎn)程鏡像名為HyperMirror/S，利用日志原理實(shí)現(xiàn)主、從LUN的數(shù)據(jù)一致性，能夠

8、實(shí)現(xiàn)數(shù)據(jù)零丟失。其實(shí)現(xiàn)原理如下：1. 當(dāng)生產(chǎn)站點(diǎn)的主LUN和遠(yuǎn)端災(zāi)備站點(diǎn)的從LUN建立同步遠(yuǎn)程鏡像關(guān)系以后，會(huì)啟動(dòng)一個(gè)初始同步，也就是將主LUN數(shù)據(jù)全量拷貝到從LUN。2. 如果在初始同步時(shí)主LUN收到生產(chǎn)主機(jī)寫請(qǐng)求，需要檢查同步進(jìn)度：若要寫入位置的數(shù)據(jù)塊尚未拷貝到從LUN，只需要寫主LUN即可返回主機(jī)成功，稍后利用同步任務(wù)將整個(gè)數(shù)據(jù)塊同步到從LUN；若要寫入位置的數(shù)據(jù)塊已經(jīng)拷貝，需要分別寫入主LUN和從LUN；若要寫入位置的數(shù)據(jù)塊正在拷貝，需要等待該數(shù)據(jù)塊拷貝完成后分別寫入主LUN和從LUN。3. 初始同步完成以后，主、從LUN數(shù)據(jù)完全一致，如果此時(shí)主LUN收到生產(chǎn)主機(jī)寫請(qǐng)求，按照下面的流程

9、進(jìn)行I/O處理（原理圖見圖5）：1) 主LUN接收生產(chǎn)主機(jī)寫請(qǐng)求，記錄這個(gè)I/O對(duì)應(yīng)數(shù)據(jù)塊的差異日志值為“有差異”；2) 同時(shí)把寫請(qǐng)求的數(shù)據(jù)寫入主LUN和從LUN，寫從LUN時(shí)需要利用配置好的鏈路將數(shù)據(jù)發(fā)送到遠(yuǎn)端災(zāi)備站點(diǎn)；3) 判斷寫主LUN和寫從LUN的執(zhí)行結(jié)果，如果都成功，則將差異日志改為“無差異”，否則保留“有差異”，在下一次啟動(dòng)同步時(shí)重新拷貝這一個(gè)數(shù)據(jù)塊；4) 主LUN返回生產(chǎn)主機(jī)寫請(qǐng)求完成。圖3 同步遠(yuǎn)程鏡像I/O處理原理圖四、 故障處理 常用災(zāi)難處理方法系統(tǒng)的運(yùn)行可能會(huì)出現(xiàn)各種各樣的故障甚至災(zāi)難。華為賽門鐵克存儲(chǔ)虛擬化異地容災(zāi)解決方案的設(shè)計(jì)考慮了系統(tǒng)運(yùn)行中的各種異常，針對(duì)各種故障類

10、型，都有相應(yīng)的保障措施。當(dāng)異常狀況發(fā)生時(shí)，針對(duì)故障和災(zāi)難的類型，采取合適的故障處理措施，避免異常啟動(dòng)容災(zāi)系統(tǒng)，減少容災(zāi)系統(tǒng)的運(yùn)行成本。l 上層應(yīng)用中間件故障： 如果故障發(fā)生在上層中間件，則需要通過部署中間件雙機(jī)來解決，如果未在本地部署雙機(jī)，則需要啟動(dòng)容災(zāi)設(shè)備，將業(yè)務(wù)切換到容災(zāi)站點(diǎn)。l 業(yè)務(wù)鏈路故障： 如果業(yè)務(wù)鏈路故障，導(dǎo)致業(yè)務(wù)中斷，且業(yè)務(wù)鏈路無法在短時(shí)間內(nèi)恢復(fù)，則需要啟用容災(zāi)設(shè)備。l 某一個(gè)雙機(jī)節(jié)點(diǎn)故障： 如果Oracle雙機(jī)中的某一節(jié)點(diǎn)故障，業(yè)務(wù)會(huì)自動(dòng)切換到備機(jī)，此時(shí)不需要啟動(dòng)容災(zāi)設(shè)備。l 雙機(jī)節(jié)點(diǎn)全部故障： 如果是整套（雙機(jī)）生產(chǎn)設(shè)備的全部物理故障，且在短期內(nèi)無法修復(fù)，則需要啟用容災(zāi)設(shè)備。

11、l 磁盤陣列內(nèi)部故障（RAID組失效，硬盤故障，邏輯錯(cuò)誤，病毒等）： 如果是磁盤陣列內(nèi)部故障，比如RAID組失效、硬盤故障、單控制器故障，這類故障發(fā)生時(shí)業(yè)務(wù)暫時(shí)不會(huì)中斷，但是風(fēng)險(xiǎn)很大，可以直接在本地通過快照，備份進(jìn)行修復(fù)。不需要啟用容災(zāi)設(shè)備l 磁盤陣列整體故障： 如果是磁盤陣列整體故障，導(dǎo)致生產(chǎn)設(shè)備的業(yè)務(wù)均中斷（如程序異常終止），且在短期內(nèi)無法修復(fù)，則需要啟用容災(zāi)設(shè)備。建議在生產(chǎn)站點(diǎn)部署兩臺(tái)磁盤陣列進(jìn)行鏡像配置，當(dāng)某一臺(tái)磁盤陣列整體故障時(shí)，可以通過另外一臺(tái)鏡像陣列繼續(xù)提供使用，避免業(yè)務(wù)中斷。l 自然災(zāi)害（地址，水災(zāi)，風(fēng)災(zāi)等）： 如果是自然災(zāi)害導(dǎo)致生產(chǎn)設(shè)備全部物理故障，這類故障肯定在短期內(nèi)無法修

12、復(fù)，需要立即啟用容災(zāi)設(shè)備。l 站點(diǎn)故障（空調(diào)故障，供電系統(tǒng)故障等）： 因?yàn)闄C(jī)房空調(diào)、供電等故障，導(dǎo)致生產(chǎn)站點(diǎn)設(shè)備不可用，并且在短期內(nèi)無法恢復(fù)，則需要啟動(dòng)災(zāi)備設(shè)備。l 復(fù)制鏈路故障： 如果是復(fù)制鏈路故障，生產(chǎn)站點(diǎn)業(yè)務(wù)不受影響，此時(shí)不需要啟動(dòng)容災(zāi)。只需要在鏈路恢復(fù)后對(duì)生產(chǎn)站點(diǎn)數(shù)據(jù)和災(zāi)備站點(diǎn)數(shù)據(jù)進(jìn)行重同步。 容災(zāi)切換l 容災(zāi)切換決策當(dāng)系統(tǒng)檢測(cè)到災(zāi)難發(fā)生時(shí)，系統(tǒng)上報(bào)告警，等待人工進(jìn)行切換決策；系統(tǒng)接收到下發(fā)的切換命令之后，才進(jìn)行容災(zāi)切換處理。l 容災(zāi)切換本方案容災(zāi)切換處理包括：容災(zāi)預(yù)啟動(dòng)和容災(zāi)切換后處理；容災(zāi)預(yù)啟動(dòng)過程為：磁盤陣列主備節(jié)點(diǎn)倒換，啟動(dòng)數(shù)據(jù)庫、文件系統(tǒng)、應(yīng)用軟件；在預(yù)啟動(dòng)完成之后進(jìn)行容災(zāi)切

13、換后處理，包括停止生產(chǎn)站點(diǎn)與容災(zāi)站點(diǎn)之間的復(fù)制關(guān)系，在生產(chǎn)機(jī)執(zhí)行切換后的相關(guān)處理；災(zāi)備站點(diǎn)的Oceanspace磁盤陣列需要將遠(yuǎn)程鏡像的從LUN切換為主LUN，使得災(zāi)備服務(wù)器通過重掃描磁盤后可用。 容災(zāi)切回在生產(chǎn)設(shè)備遭受災(zāi)難或者發(fā)生故障后實(shí)施容災(zāi)切換，容災(zāi)切換成功后容災(zāi)設(shè)備開始對(duì)外提供服務(wù)。當(dāng)生產(chǎn)設(shè)備修復(fù)后，系統(tǒng)對(duì)外的服務(wù)需要從容災(zāi)設(shè)備重新切換到生產(chǎn)設(shè)備來提供，這個(gè)過程稱為容災(zāi)回切。容災(zāi)回切包括下面幾個(gè)步驟：l 反向同步生產(chǎn)機(jī)恢復(fù)后，需要將業(yè)務(wù)回切到生產(chǎn)機(jī)上，但是此時(shí)的生產(chǎn)機(jī)上已經(jīng)沒有最新的數(shù)據(jù)，需要從容災(zāi)機(jī)上同步過來，即從容災(zāi)機(jī)側(cè)向生產(chǎn)機(jī)側(cè)進(jìn)行一次反向同步。Oceanspace磁盤陣列重新建立遠(yuǎn)程鏡像pair關(guān)系，將災(zāi)備站點(diǎn)上“新主LUN”的數(shù)據(jù)同步到生產(chǎn)站點(diǎn)的“新從LUN”（異步遠(yuǎn)程鏡像模式下在災(zāi)備站點(diǎn)停止業(yè)務(wù)之前需要多次同步，保證“新主LUN”與“新從LUN”間滯后的寫操作降到比較小的程度，并在災(zāi)備站點(diǎn)停止業(yè)務(wù)后再同步一次，保證數(shù)據(jù)完整可用）；災(zāi)備站點(diǎn)停止業(yè)務(wù)后再次進(jìn)行主從切換，恢復(fù)最初的遠(yuǎn)程鏡像的鏡像關(guān)系。這個(gè)過程會(huì)占用一定系統(tǒng)資源，但業(yè)務(wù)可在容災(zāi)機(jī)正常運(yùn)行。l 業(yè)務(wù)切回反向同步完成后