銀行行業(yè)基于華為OceanStor18000FV5高端存儲(chǔ)的兩地三中心容災(zāi)解決方案設(shè)計(jì)

1.項(xiàng)目背景1.1項(xiàng)目概述隨著銀行信息化程度的不斷提高，信息系統(tǒng)在金融行業(yè)的關(guān)鍵業(yè)務(wù)中扮演著越來(lái)越重要的角色，企業(yè)對(duì)IT系統(tǒng)的依賴(lài)程度越來(lái)越高，信息系統(tǒng)業(yè)務(wù)中斷會(huì)導(dǎo)致巨大經(jīng)濟(jì)損失、影響品牌形象并可能導(dǎo)致重要數(shù)據(jù)丟失。因此，保證業(yè)務(wù)連續(xù)性是信息系統(tǒng)建設(shè)的關(guān)鍵。業(yè)務(wù)系統(tǒng)的連續(xù)性和災(zāi)難保護(hù)的重要性也越來(lái)越突出。在某銀行目前的業(yè)務(wù)系統(tǒng)中，新建北京、上海兩地三中心架構(gòu)。本次項(xiàng)目將在原北京、上海數(shù)據(jù)中心部署3臺(tái)高端閃存以滿足在北京生產(chǎn)中心、同城災(zāi)備中心及上海數(shù)據(jù)中心老舊應(yīng)用項(xiàng)目的生產(chǎn)替換改造、災(zāi)備需求。1.2建設(shè)要求合規(guī)性要求：銀行核心存儲(chǔ)項(xiàng)目，屬于國(guó)內(nèi)大型商業(yè)銀行的重要IT基礎(chǔ)設(shè)施建設(shè)，意義和影響重大，必須滿足國(guó)家及行業(yè)監(jiān)管機(jī)構(gòu)的合規(guī)性要求，本次項(xiàng)目建設(shè)需滿足包括但不限于以下國(guó)家和行業(yè)規(guī)范：銀監(jiān)會(huì)《商業(yè)銀行業(yè)務(wù)連續(xù)性監(jiān)管指引》

銀監(jiān)會(huì)《商業(yè)銀行數(shù)據(jù)中心監(jiān)管指引》

銀監(jiān)會(huì)《商業(yè)銀行信息科技風(fēng)險(xiǎn)管理指引》

銀監(jiān)會(huì)《銀行業(yè)重要信息系統(tǒng)突發(fā)事件應(yīng)急管理規(guī)范（試行）》

銀監(jiān)會(huì)《銀行業(yè)金融機(jī)構(gòu)信息科技外包風(fēng)險(xiǎn)監(jiān)管指引》

人民銀行《銀行業(yè)信息系統(tǒng)災(zāi)難恢復(fù)管理規(guī)范》

人民銀行《關(guān)于進(jìn)一步加強(qiáng)銀行業(yè)金融機(jī)構(gòu)信息安全保障工作的指導(dǎo)意見(jiàn)》

人民銀行《關(guān)于加強(qiáng)銀行數(shù)據(jù)集中安全工作的指導(dǎo)意見(jiàn)》

國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局《信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范》（GB/T20988-2007）

國(guó)務(wù)院信息化工作辦公室《信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范指南》

中辦發(fā)27號(hào)文《國(guó)家信息化領(lǐng)導(dǎo)小組關(guān)于加強(qiáng)信息安全保障工作的意見(jiàn)》

工信部《2006-2020年國(guó)家信息化發(fā)展戰(zhàn)略》【2006年5月8日】知識(shí)產(chǎn)權(quán)要求本次項(xiàng)目建設(shè)所涉及的方案和產(chǎn)品需要完全自主的知識(shí)產(chǎn)權(quán)，對(duì)核心技術(shù)擁有研發(fā)、維護(hù)、升級(jí)、技術(shù)支持的完整能力。避免出現(xiàn)局部或上下游產(chǎn)業(yè)的技術(shù)壟斷和產(chǎn)權(quán)風(fēng)險(xiǎn)。兼容性要求銀行存儲(chǔ)資源池建設(shè)屬于現(xiàn)有數(shù)據(jù)中心內(nèi)資源池的擴(kuò)容性質(zhì)，必須考慮在網(wǎng)運(yùn)行的所有IT基礎(chǔ)環(huán)境的兼容性。根據(jù)目前銀行數(shù)據(jù)中心運(yùn)行情況，本次存儲(chǔ)資源池的建設(shè)至少需要兼容如下環(huán)境和設(shè)備技術(shù)：Brocade、Cisco等光纖交換機(jī)設(shè)備。

AIX、RedhatLinux、Windows等操作系統(tǒng)。

PowerVM、VMWare、Hyper-V等虛擬化平臺(tái)。

Oracle、DB2等數(shù)據(jù)庫(kù)軟件主流版本。

VMwareVAAI等虛擬化接口認(rèn)證。數(shù)據(jù)遷移的要求本次數(shù)據(jù)中心存儲(chǔ)資源池建設(shè)必然涉及老舊存儲(chǔ)或者老舊系統(tǒng)間的數(shù)據(jù)遷移。需至少支持異構(gòu)第三方存儲(chǔ)設(shè)備連接及存儲(chǔ)層面在線數(shù)據(jù)遷移功能，并提供遷移必要的技術(shù)支持設(shè)備高可用的要求本次存儲(chǔ)池建設(shè)屬于行內(nèi)最核心業(yè)務(wù)系統(tǒng)，T1A和T1B級(jí)，因此所采用設(shè)備應(yīng)為金融行業(yè)廣泛使用并長(zhǎng)時(shí)間驗(yàn)證過(guò)的高端全閃存儲(chǔ)。存儲(chǔ)系統(tǒng)不應(yīng)存在任何部件的單點(diǎn)故障，可用性不能低于99.999%。環(huán)境要求該用戶(hù)生產(chǎn)數(shù)據(jù)中心/同城災(zāi)備數(shù)據(jù)中心位于北京，異地位于上海數(shù)據(jù)中心。目前主要的業(yè)務(wù)系統(tǒng)包括業(yè)務(wù)應(yīng)用和數(shù)據(jù)庫(kù)Oracle，DB2等數(shù)據(jù)庫(kù)系統(tǒng)以及AIX、UNIX和Linux等操作系統(tǒng)，前端業(yè)務(wù)系統(tǒng)通過(guò)數(shù)據(jù)庫(kù)或者操作系統(tǒng)存取數(shù)據(jù)。詳細(xì)情況如下：1)應(yīng)用系統(tǒng)現(xiàn)狀該銀行目前已經(jīng)建成四級(jí)容災(zāi)系統(tǒng)。其中，核心應(yīng)用系統(tǒng)為T(mén)1級(jí)，建設(shè)兩地三中心架構(gòu)。各應(yīng)用系統(tǒng)容災(zāi)等級(jí)現(xiàn)狀如下表所示：系統(tǒng)序號(hào)應(yīng)用等級(jí)恢復(fù)時(shí)間要求數(shù)據(jù)恢復(fù)點(diǎn)存儲(chǔ)方式操作系統(tǒng)數(shù)據(jù)庫(kù)1T1A2小時(shí)無(wú)丟失高端陣列存儲(chǔ)AIX5.x6.x7.xRedHatOracleDB22T1B6小時(shí)無(wú)丟失高端陣列存儲(chǔ)AIX5.x6.x7.xRedHatOracleDB23T215分鐘高端陣列存儲(chǔ)AIX5.x6.x7.xRedHatWindowsOracleDB24T3高端陣列存儲(chǔ)AIX5.x6.x7.xRedHatWindowsOracleDB2表1某銀行IT系統(tǒng)現(xiàn)狀信息表2)網(wǎng)絡(luò)系統(tǒng)現(xiàn)狀北京生產(chǎn)/同城災(zāi)備機(jī)房：當(dāng)前已建設(shè)同城災(zāi)備中心，兩中心距離約40km。中間鏈路租用運(yùn)營(yíng)商裸光纖鏈路，并自購(gòu)DWDM波分設(shè)備進(jìn)行網(wǎng)絡(luò)連接。北京生產(chǎn)中心與上海數(shù)據(jù)中心：異地災(zāi)備中心與測(cè)試中心復(fù)用，且已建成使用多年，生產(chǎn)中心與異地災(zāi)備中心通過(guò)租用WAN鏈路，帶寬根據(jù)業(yè)務(wù)需要?jiǎng)討B(tài)申請(qǐng)和調(diào)整。北京同城災(zāi)備中心與上海數(shù)據(jù)中心：同城和異地災(zāi)備中心之間實(shí)現(xiàn)數(shù)據(jù)的異地容災(zāi)復(fù)制，目前暫未建設(shè)容災(zāi)網(wǎng)絡(luò)，后續(xù)根據(jù)業(yè)務(wù)容災(zāi)發(fā)展需要會(huì)適時(shí)進(jìn)行相關(guān)網(wǎng)絡(luò)資源的申請(qǐng)和建設(shè)。2.設(shè)計(jì)原則基本原則通過(guò)對(duì)該銀行本次存儲(chǔ)資源池建設(shè)需求的了解，結(jié)合金融行業(yè)業(yè)務(wù)系統(tǒng)的應(yīng)用特點(diǎn)，本次方案設(shè)計(jì)建設(shè)過(guò)程遵循如下原則進(jìn)行：可用性原則l災(zāi)備系統(tǒng)的故障不影響生產(chǎn)系統(tǒng)的運(yùn)行，不會(huì)大幅度影響業(yè)務(wù)處理能力。

l系統(tǒng)器件選擇要考慮能支持7×24小時(shí)連續(xù)長(zhǎng)時(shí)間大壓力下工作；

l系統(tǒng)具有充分的冗余能力、容錯(cuò)能力，如支持雙活動(dòng)控制器，滿足高可靠性需求，至少達(dá)到

99.999%可用性。

l系統(tǒng)具有專(zhuān)業(yè)的技術(shù)保障體系以及數(shù)據(jù)可靠性保證機(jī)制；

l確保系統(tǒng)具有高度的安全性，提供安全的登錄和訪問(wèn)措施，防止系統(tǒng)被攻擊；

l異常掉電后不丟失數(shù)據(jù)，供電恢復(fù)后自動(dòng)重新啟動(dòng)并自動(dòng)恢復(fù)正常連接；

l系統(tǒng)支持運(yùn)行狀態(tài)管理和技術(shù)保障體系；先進(jìn)性原則l系統(tǒng)必須嚴(yán)格遵循國(guó)際標(biāo)準(zhǔn)、國(guó)家標(biāo)準(zhǔn)、國(guó)內(nèi)信息行業(yè)和金融行業(yè)的規(guī)范要求；

l需符合存儲(chǔ)技術(shù)以及IT行業(yè)的發(fā)展趨勢(shì)，所選用的產(chǎn)品型號(hào)已規(guī)模上量；

l所有的系統(tǒng)處于先進(jìn)的技術(shù)水平，確保較長(zhǎng)時(shí)間內(nèi)技術(shù)上不落伍；

l系統(tǒng)的處理能力要達(dá)到業(yè)內(nèi)領(lǐng)先，對(duì)于業(yè)務(wù)的使用要留有一定的余量，以滿足后續(xù)升級(jí)的需

求；

l對(duì)工作環(huán)境要求較低，環(huán)境適應(yīng)能力強(qiáng)；開(kāi)放性原則l系統(tǒng)必須支持國(guó)際上通用的標(biāo)準(zhǔn)網(wǎng)絡(luò)存儲(chǔ)協(xié)議、國(guó)際標(biāo)準(zhǔn)的應(yīng)用開(kāi)放協(xié)議；

l與主流服務(wù)器之間保持良好的兼容性；

l兼容各主流操作系統(tǒng)、卷管理軟件及應(yīng)用程序；

l可以與第三方管理平臺(tái)、云平臺(tái)集成，提供給用戶(hù)定制化的管理維護(hù)手段；

l與現(xiàn)有IT系統(tǒng)、軟硬件系統(tǒng)兼容并可無(wú)縫替換和升級(jí)；

l系統(tǒng)必須支持國(guó)際上通用的標(biāo)準(zhǔn)管理協(xié)議；易維護(hù)性原則l系統(tǒng)支持簡(jiǎn)體中文，通俗易懂，操作方便、簡(jiǎn)單；

l系統(tǒng)具有充分的權(quán)限管理，日志管理、故障管理，并能夠?qū)崿F(xiàn)故障自動(dòng)報(bào)警；

l系統(tǒng)設(shè)備安裝使用簡(jiǎn)單，無(wú)需專(zhuān)業(yè)人員維護(hù)；

l系統(tǒng)容量可按需要在線擴(kuò)展，無(wú)需停止業(yè)務(wù)；

l系統(tǒng)功能擴(kuò)充需要升級(jí)時(shí)，支持不中斷業(yè)務(wù)升級(jí)；

l支持WEB管理方式或集中管理方式；擴(kuò)展性原則l考慮銀行未來(lái)五至八年數(shù)據(jù)中心、業(yè)務(wù)系統(tǒng)和存儲(chǔ)系統(tǒng)的整體規(guī)劃，既能滿足短期建設(shè)

需求，又能滿足該銀行中遠(yuǎn)期規(guī)劃方向。

l系統(tǒng)易于擴(kuò)充；

l系統(tǒng)選擇標(biāo)準(zhǔn)化的部件，利于靈活替換和容量擴(kuò)展；

l系統(tǒng)設(shè)計(jì)遵守各種標(biāo)準(zhǔn)規(guī)定、規(guī)范；

l可以與第三方管理平臺(tái)集成，提供給用戶(hù)定制化的管理維護(hù)手段；

l具備各主流廠家設(shè)備的擴(kuò)展接入能力；經(jīng)濟(jì)性原則l綜合考慮集中存儲(chǔ)系統(tǒng)的性能和價(jià)格，最經(jīng)濟(jì)最有效地進(jìn)行建設(shè)，性能價(jià)格比在同類(lèi)系統(tǒng)和

條件下達(dá)到最優(yōu)。綠色性原則l滿足環(huán)保與節(jié)能的要求，噪聲低、能耗低、無(wú)污染；

l必須選用無(wú)鉛器件；

l有節(jié)能降耗的技術(shù)手段；

l具備環(huán)境管理認(rèn)證，符合環(huán)保規(guī)定，包材可回收，支持重復(fù)利用3.設(shè)計(jì)方案兩地三中心的容災(zāi)方式是當(dāng)前金融行業(yè)容災(zāi)建設(shè)的最高配置和主流方案。通過(guò)建設(shè)近距離的數(shù)據(jù)中心（同城數(shù)據(jù)中心）獲得接近于零數(shù)據(jù)丟失的數(shù)據(jù)保護(hù)，通過(guò)建設(shè)較遠(yuǎn)距離的數(shù)據(jù)中心（異地?cái)?shù)據(jù)中心）獲得遠(yuǎn)距離的數(shù)據(jù)保護(hù)，避免區(qū)域性的災(zāi)難導(dǎo)致業(yè)務(wù)無(wú)法恢復(fù)。在出現(xiàn)小概率的大范圍的災(zāi)難時(shí)，如自然災(zāi)害地震，造成同城災(zāi)難備份中心與生產(chǎn)中心同時(shí)不可用，應(yīng)用可以切換到異地災(zāi)難備份中心。通過(guò)實(shí)施經(jīng)過(guò)日常災(zāi)難演練的步驟，應(yīng)用可在業(yè)務(wù)容許的時(shí)間內(nèi)，在異地的災(zāi)難備份中心恢復(fù)，保證業(yè)務(wù)連續(xù)運(yùn)行。但異地恢復(fù)通常會(huì)丟失少量的數(shù)據(jù)。3.1方案概述根據(jù)該銀行現(xiàn)有兩地三中心容災(zāi)解決方案現(xiàn)狀：一個(gè)生產(chǎn)中心、一個(gè)同城災(zāi)難備份中心、一個(gè)異地災(zāi)難備份中心。生產(chǎn)中心的數(shù)據(jù)同步地復(fù)制到同城災(zāi)難備份中心，同時(shí)，生產(chǎn)中心的數(shù)據(jù)異步地復(fù)制到異地災(zāi)難備份中心。相比僅建立同城災(zāi)難備份中心或異地災(zāi)難備份中心，“兩地三中心”的方式結(jié)合兩者的優(yōu)點(diǎn)，能夠適應(yīng)更大范圍的災(zāi)難場(chǎng)景，對(duì)于小范圍的區(qū)域性災(zāi)難和較大范圍的自然災(zāi)害，都能夠通過(guò)災(zāi)難備份系統(tǒng)較快地響應(yīng)，盡可能保全業(yè)務(wù)數(shù)據(jù)不丟失，實(shí)現(xiàn)更優(yōu)的RPO和RTO。所以，兩地三中心容災(zāi)解決方案得到了廣泛的應(yīng)用。常見(jiàn)兩地三中心解決方案有級(jí)聯(lián)組網(wǎng)（同步+異步，異步+異步）方案（即“A->B，B->C”組網(wǎng)）、并聯(lián)組網(wǎng)（同步+異步，異步+異步）方案（即“A->B，A->C”組網(wǎng)）和雙活組網(wǎng)（雙活+異步）方案（即“A<->B，B->C”組網(wǎng)）以及環(huán)形組網(wǎng)方案（即“A->B，A->C”組網(wǎng)）。結(jié)合目前數(shù)據(jù)中心間網(wǎng)絡(luò)現(xiàn)狀本次設(shè)計(jì)采用華為公司高端全閃存儲(chǔ)OceanStor18000FV5及其并聯(lián)同步+異步的方案。如此設(shè)計(jì)有如下優(yōu)勢(shì)：該銀行目前同城災(zāi)備中心和上海數(shù)據(jù)中心間容災(zāi)網(wǎng)絡(luò)資源暫時(shí)不能滿足，不易進(jìn)行級(jí)聯(lián)式組網(wǎng)。北京同城災(zāi)備機(jī)房和異地上海數(shù)據(jù)中心的故障或者演練或者計(jì)劃內(nèi)停機(jī)等操作，不會(huì)影響另一個(gè)數(shù)據(jù)中心的容災(zāi)能力。北京同城的容災(zāi)能力可以達(dá)到RPO=0的最高水平異地上海數(shù)據(jù)中心既可以節(jié)省遠(yuǎn)距離網(wǎng)絡(luò)帶寬，又可以盡量減少對(duì)北京生產(chǎn)機(jī)房性能的影響與現(xiàn)網(wǎng)運(yùn)維能力相匹配，兼容目前自動(dòng)化切換流程框架，方案穩(wěn)健且未來(lái)擴(kuò)展性好?？紤]未來(lái)，進(jìn)一步加強(qiáng)容災(zāi)能力的建設(shè)，基于目前并聯(lián)同步+異步的高端全閃存方案，未來(lái)可無(wú)縫擴(kuò)展為雙活+異步并聯(lián)方案以及雙活+異步環(huán)形方案。其中，雙活+異步并聯(lián)方案可以將同城切換RTO可以縮短為“零”，可以大大提高業(yè)務(wù)連續(xù)性能力。雙活+異步環(huán)形方案可以在避免并聯(lián)的A中心、串聯(lián)的B中心故障時(shí)導(dǎo)致的數(shù)據(jù)保護(hù)無(wú)法持續(xù)的問(wèn)題，進(jìn)一步提高數(shù)據(jù)保護(hù)能力。3.2同步+異步的并聯(lián)如上圖，在北京生產(chǎn)中心部署磁盤(pán)陣列A；在同城災(zāi)備中心部署磁盤(pán)陣列B，兩個(gè)數(shù)據(jù)中心之間通過(guò)FC鏈路實(shí)現(xiàn)互聯(lián)，生產(chǎn)中心的磁盤(pán)陣列A與同城災(zāi)備中心磁盤(pán)陣列B建立同步遠(yuǎn)程復(fù)制，將陣列A的數(shù)據(jù)實(shí)時(shí)同步到陣列B；在上海災(zāi)備數(shù)據(jù)中心，部署磁盤(pán)陣列C，通過(guò)生產(chǎn)中心與異地災(zāi)備中心的IP鏈路，實(shí)現(xiàn)生產(chǎn)中心的磁盤(pán)陣列A與異地災(zāi)備中心磁盤(pán)陣列C建立異步遠(yuǎn)程復(fù)制，異步地將數(shù)據(jù)同步到磁盤(pán)陣列C。在同城災(zāi)備中心和異地災(zāi)備中心部署容災(zāi)管理軟件，實(shí)現(xiàn)對(duì)3個(gè)數(shù)據(jù)中心的統(tǒng)一容災(zāi)管理。容災(zāi)管理軟件可以展示兩地三中心容災(zāi)方案物理拓?fù)浜蜆I(yè)務(wù)邏輯拓?fù)?，并且支持在同城?zāi)備中心以及異地災(zāi)備中心一鍵式容災(zāi)測(cè)試以及一鍵式容災(zāi)恢復(fù)。所選擇產(chǎn)品為華為OceanStor18000FV5高端全閃存，同步復(fù)制為華為HyperReplication/S技術(shù)，異步復(fù)制為HyperReplication/A技術(shù)。3.3容量方案設(shè)計(jì)根據(jù)該銀行目前T1-A和T1-B容災(zāi)等級(jí)應(yīng)用系統(tǒng)容量的統(tǒng)計(jì)，只有最高等級(jí)的T1-A需要同城容災(zāi)，另有部分業(yè)務(wù)容量?jī)H需要異地災(zāi)備，因此設(shè)計(jì)一套“兩地三中心”容災(zāi)組合，北京生產(chǎn)數(shù)據(jù)中心和上海災(zāi)備數(shù)據(jù)中心設(shè)計(jì)600TB容量，北京同城災(zāi)備數(shù)據(jù)中心為匹配最高等級(jí)容災(zāi)需求的業(yè)務(wù)設(shè)計(jì)300TB容量。如下表所示：主要配置安裝/使用地點(diǎn)備注可用600TB有效容量(按RAID66D+2P計(jì)算)北京-生產(chǎn)數(shù)據(jù)中心生產(chǎn)可用300TB有效容量(按RAID66D+2P計(jì)算)北京-同城災(zāi)備中心同城災(zāi)備可用600TB有效容量(按RAID66D+2P計(jì)算)上海-異地災(zāi)備中心異地災(zāi)備本次兩地三中心方案所選用的華為OceanStor18000FV5系列高端存儲(chǔ)無(wú)論在同步復(fù)制、異步復(fù)制還是未來(lái)可能會(huì)使用到的雙活技術(shù)上，均實(shí)現(xiàn)了LUN級(jí)別的最小保護(hù)粒度。即無(wú)論兩地三中心還是僅同城容災(zāi)、僅異地容災(zāi)、僅雙活保護(hù)都可以?xún)H做LUN級(jí)別保護(hù)。因此，一套兩地三中心架構(gòu)可以靈活實(shí)現(xiàn)多種容災(zāi)保護(hù)方式和級(jí)別。該銀行目前高端存儲(chǔ)容量需求的增長(zhǎng)每年呈現(xiàn)超線性增長(zhǎng)的趨勢(shì)，有效降低存儲(chǔ)成本，提高容量利用率應(yīng)該是方案重點(diǎn)考慮的方面。本次采用了高端全閃存產(chǎn)品，存儲(chǔ)資源池性能得到大幅提升，因此，兩地三中心方案設(shè)計(jì)采用陣列重刪壓縮技術(shù)，在性能滿足業(yè)務(wù)系統(tǒng)所需不降低的前提下，縮減擴(kuò)充有效容量，至少達(dá)到1.5:1的數(shù)據(jù)縮減效果，提升容量利用率50%以上。為進(jìn)一步提升容量利用率，解決存儲(chǔ)分配率高，但使用率低的問(wèn)題，本次設(shè)計(jì)采用精簡(jiǎn)配置的存儲(chǔ)供給方式，容量用時(shí)分配，存儲(chǔ)容量利用率不再受到分配率的限制。而全閃存帶來(lái)的超強(qiáng)性能，完全抵消了由于用時(shí)分配機(jī)制帶來(lái)的細(xì)微性能消耗。根據(jù)該銀行目前的性能和容量需求比例，本次方案推薦了3.84TB的SSD硬盤(pán)，600TB容量?jī)H需兩個(gè)標(biāo)準(zhǔn)機(jī)柜位，可以很好的降低數(shù)據(jù)中心空間和供電制冷成本。3.4性能方案設(shè)計(jì)支持緩存分區(qū)功能或支持QoS策略管理3.5數(shù)據(jù)一致性設(shè)計(jì)該銀行使用的Oracle和DB2等大中型數(shù)據(jù)庫(kù)應(yīng)用，數(shù)據(jù)、日志、修改信息等存儲(chǔ)在磁盤(pán)陣列的不同LUN中，缺少其中一個(gè)LUN的數(shù)據(jù)，都將導(dǎo)致其他LUN中的數(shù)據(jù)失效，無(wú)法繼續(xù)使用。如果需要同時(shí)對(duì)這些LUN進(jìn)行遠(yuǎn)程容災(zāi)，那么就要考慮如何保持多個(gè)遠(yuǎn)程復(fù)制對(duì)的數(shù)據(jù)一致性。本次采用的OceanStor18000FV5高端全閃存存儲(chǔ)系統(tǒng)的兩地三中心架構(gòu)中，提供一致性組功能來(lái)保證多個(gè)容災(zāi)保護(hù)LUN對(duì)之間數(shù)據(jù)的一致性。一致性組是多個(gè)3DCLUN的集合，可以確保單個(gè)存儲(chǔ)系統(tǒng)內(nèi)，主機(jī)在跨多個(gè)LUN進(jìn)行寫(xiě)操作時(shí)數(shù)據(jù)的一致性。同步復(fù)制只能在分裂、異常斷開(kāi)狀態(tài)下設(shè)置從LUN可讀寫(xiě)接管主機(jī)業(yè)務(wù)，一致性組場(chǎng)景要求PAIR成員從LUN接管業(yè)務(wù)時(shí)和主LUN一樣保證不同成員LUN之間的數(shù)據(jù)寫(xiě)依賴(lài)性（例如數(shù)據(jù)庫(kù)場(chǎng)景，數(shù)據(jù)卷對(duì)日志卷有依賴(lài)，則要求日志卷數(shù)據(jù)比數(shù)據(jù)卷新）。因此要求一致性組改單寫(xiě)流程需要確保不同LUN間雙寫(xiě)IO的依賴(lài)性，使得一致性組斷開(kāi)后從端數(shù)據(jù)仍然能夠保證數(shù)據(jù)間的寫(xiě)依賴(lài)，從而保證容災(zāi)備份數(shù)據(jù)的完整性和可用性。用戶(hù)創(chuàng)建一致性組以后，可以將多個(gè)遠(yuǎn)程復(fù)制對(duì)添加到一致性組中。一致性組可以進(jìn)行分裂、同步、主從切換、設(shè)置從LUN可寫(xiě)等操作，在進(jìn)行這些操作時(shí)，一致性組的所有成員對(duì)保持步調(diào)一致。當(dāng)遇到鏈路故障時(shí)，一致性組的所有成員對(duì)會(huì)一起進(jìn)入異常斷開(kāi)狀態(tài)。當(dāng)遠(yuǎn)程復(fù)制故障排除后恢復(fù)正常狀態(tài)時(shí)再重新進(jìn)行數(shù)據(jù)的同步，從而保證從站點(diǎn)災(zāi)備陣列數(shù)據(jù)的可用性。3.6數(shù)據(jù)保護(hù)設(shè)計(jì)該銀行本次數(shù)據(jù)中心存儲(chǔ)資源池建設(shè)，除基本的兩地三中心方案外，日常運(yùn)維使用過(guò)程中，還需要進(jìn)行必要的邏輯數(shù)據(jù)保護(hù)以及數(shù)據(jù)副本的克隆，以備查詢(xún)、分析、測(cè)試、恢復(fù)等使用，因此本次還設(shè)計(jì)了數(shù)據(jù)克隆和快照的可選附加功能方案。即華為OceanStor18000FV5的HyperSnap技術(shù)和HyperClone技術(shù)構(gòu)建的數(shù)據(jù)保護(hù)方案。本地?cái)?shù)據(jù)保護(hù)：北京生產(chǎn)、同城災(zāi)備數(shù)據(jù)中心可在存儲(chǔ)陣列上進(jìn)行定時(shí)快照或克隆，保留多份副本，一旦業(yè)務(wù)在運(yùn)行時(shí)發(fā)生誤操作或病毒入侵等邏輯錯(cuò)誤場(chǎng)景，可以通過(guò)快照回滾功能，快速實(shí)現(xiàn)業(yè)務(wù)恢復(fù)。異地?cái)?shù)據(jù)保護(hù)：僅有同城的邏輯錯(cuò)誤保護(hù)機(jī)制對(duì)于某些邏輯故障場(chǎng)景是無(wú)法恢復(fù)業(yè)務(wù)的，例如：生產(chǎn)業(yè)務(wù)出現(xiàn)了邏輯錯(cuò)誤，業(yè)務(wù)還未啟動(dòng)異地恢復(fù)時(shí)，同城兩個(gè)數(shù)據(jù)中心都發(fā)生故障。雖然這是一種小概率的組合故障場(chǎng)景，但是如果能在這種場(chǎng)景下恢復(fù)業(yè)務(wù)系統(tǒng)的正常運(yùn)行，那么就可以避免在這種小概率組合故障場(chǎng)景下業(yè)務(wù)的恢復(fù)，避免損失。推薦上海數(shù)據(jù)中心采用OceanStor存儲(chǔ)的虛擬快照功能實(shí)現(xiàn)異地?cái)?shù)據(jù)邏輯保護(hù)。這些快照并不是完整的源卷副本，而是由位圖和最新數(shù)據(jù)變化量空間構(gòu)成，可以極大地節(jié)省了空間。數(shù)據(jù)副本獲?。喝A為OceanStor18000FV5的數(shù)據(jù)克隆副本也可用作查詢(xún)或分析系統(tǒng)的并行數(shù)據(jù)處理所用。3.7方案擴(kuò)展性設(shè)計(jì)根據(jù)該銀行新存儲(chǔ)資源池的建設(shè)，所承載的業(yè)務(wù)量將逐漸加大，重要性和影響程度也將越來(lái)越高，因此，后續(xù)方案可靠性的進(jìn)一步提升，也是本次項(xiàng)目設(shè)計(jì)的重點(diǎn)考慮方面。針對(duì)提升RTO和災(zāi)難后進(jìn)一步系統(tǒng)健壯性的兩個(gè)方面有如下三個(gè)方向的擴(kuò)展方案同步+異步環(huán)形方案，此方案將避免出現(xiàn)生產(chǎn)數(shù)據(jù)中心災(zāi)難時(shí)，同城災(zāi)備數(shù)據(jù)中心接替生產(chǎn)數(shù)據(jù)中心后，上海異地災(zāi)備數(shù)據(jù)中心無(wú)法對(duì)同城災(zāi)備數(shù)據(jù)中心進(jìn)行持續(xù)容災(zāi)保護(hù)風(fēng)險(xiǎn)。華為OceanStor18000FV5兩地三中心方案支持同步+異步環(huán)形保護(hù)技術(shù)，因此，在后續(xù)具備同城災(zāi)備數(shù)據(jù)中心和上海異地災(zāi)備數(shù)據(jù)中心間網(wǎng)絡(luò)通訊時(shí)，可進(jìn)一步提升系統(tǒng)健壯性，實(shí)現(xiàn)當(dāng)前并聯(lián)同步+異步方案到同步+異步環(huán)形方案的擴(kuò)展。雙活+異步并聯(lián)方案，此方案將提升生產(chǎn)數(shù)據(jù)中心和同城災(zāi)備數(shù)據(jù)中心兩中心間災(zāi)難時(shí)的切換效率。當(dāng)前同步復(fù)制技術(shù)無(wú)法做到RTO=0的雙活目標(biāo)。為進(jìn)一步提升災(zāi)難時(shí)銀行核心業(yè)務(wù)的無(wú)中斷切換能力，華為OceanStor18000FV5兩地三中心方案支持雙活+異步并聯(lián)保護(hù)技術(shù)，再后續(xù)應(yīng)用、運(yùn)維級(jí)業(yè)務(wù)部署等條件具備時(shí)，可實(shí)現(xiàn)當(dāng)前主備同城中心到雙活中心的擴(kuò)展。雙活技術(shù)將采用華為HyperMetro陣列免網(wǎng)關(guān)雙活技術(shù)。雙活+異步環(huán)形方案，由雙活+異步并聯(lián)方案還可以進(jìn)一步擴(kuò)展為雙活+異步環(huán)形方案，兼顧上述方案1、2的優(yōu)勢(shì)。同步+異步環(huán)形方案架構(gòu)在生產(chǎn)中心部署磁盤(pán)陣列A；在同城災(zāi)備中心部署磁盤(pán)陣列B，兩個(gè)數(shù)據(jù)中心之間通過(guò)FC鏈路實(shí)現(xiàn)互聯(lián)，生產(chǎn)中心的磁盤(pán)陣列A與同城災(zāi)備中心磁盤(pán)陣列B建立同步遠(yuǎn)程復(fù)制，將磁盤(pán)陣列A的數(shù)據(jù)實(shí)時(shí)同步到磁盤(pán)陣列B；在異地災(zāi)備中心，部署磁盤(pán)陣列C，與生產(chǎn)中心陣列A、同城災(zāi)備中心陣列B同時(shí)建立異步遠(yuǎn)程復(fù)制關(guān)系，將磁盤(pán)陣列A的數(shù)據(jù)定時(shí)地同步到陣列C。當(dāng)生產(chǎn)中心陣列A故障時(shí)，同城中心陣列B數(shù)據(jù)繼續(xù)定時(shí)同步到陣列C。雙活+異步并聯(lián)方案架構(gòu)在生產(chǎn)中心A和生產(chǎn)中心B位于同城，可通過(guò)裸光纖或波分設(shè)備實(shí)現(xiàn)FC網(wǎng)絡(luò)互聯(lián)，也支持通過(guò)10GE網(wǎng)絡(luò)互聯(lián)。生產(chǎn)中心A和生產(chǎn)中心B同時(shí)對(duì)外提供業(yè)務(wù)，HyperMetro不僅實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)雙向鏡像，而且保證任何數(shù)據(jù)中心陣列故障，對(duì)上層業(yè)務(wù)透明切換，業(yè)務(wù)不中斷。在異地災(zāi)備中心，部署磁盤(pán)陣列C，與生產(chǎn)中心A或B任意磁盤(pán)陣列建立異步遠(yuǎn)程復(fù)制，將雙活鏡像的磁盤(pán)陣列數(shù)據(jù)周期性的同步到磁盤(pán)陣列C。在生產(chǎn)中心B和異地災(zāi)備中心部署容災(zāi)管理軟件，實(shí)現(xiàn)對(duì)雙活+異步復(fù)制統(tǒng)一容災(zāi)管理。容災(zāi)管理軟件可以展示兩地三中心容災(zāi)方案物理拓?fù)浜蜆I(yè)務(wù)邏輯拓?fù)?，并且支持在異地?zāi)備中心一鍵式容災(zāi)測(cè)試以及一鍵式容災(zāi)恢復(fù)。HyperMetro+異步環(huán)形方案架構(gòu)在生產(chǎn)中心A和生產(chǎn)中心B位于同城，可通過(guò)裸光纖或波分設(shè)備實(shí)現(xiàn)FC網(wǎng)絡(luò)互聯(lián)，也支持通過(guò)10GE網(wǎng)絡(luò)互聯(lián)。生產(chǎn)中心A和生產(chǎn)中心B分布部署一臺(tái)華為OceanStor存儲(chǔ)，利用華為OceanStor存儲(chǔ)的Hyp