1、 五種業(yè)界主流存儲(chǔ)雙活架構(gòu)設(shè)計(jì)方案特點(diǎn)對(duì)比分析 雙活數(shù)據(jù)中心解決方案指兩個(gè)數(shù)據(jù)中心均處于運(yùn)行狀態(tài)，可以同時(shí)承擔(dān)生產(chǎn)業(yè)務(wù)，以提高數(shù)據(jù)中心的整體服務(wù)能力和系統(tǒng)資源利用率，實(shí)現(xiàn)RPO（Recovery Point Objective），RTO（Recovery Time Objective）嚴(yán)苛的要求，將企業(yè)業(yè)務(wù)系統(tǒng)連續(xù)性提升至一個(gè)更高的臺(tái)階。目前，端到端雙活數(shù)據(jù)中心解決方案中最核心的技術(shù)當(dāng)屬存儲(chǔ)雙活技術(shù)，這也是備受企業(yè)關(guān)注的雙活技術(shù)之一，而現(xiàn)有關(guān)于存儲(chǔ)雙活的內(nèi)容中，普遍都是對(duì)存儲(chǔ)雙活方案的整體概述，以廠商自帶的產(chǎn)品為出發(fā)點(diǎn)來(lái)組織方案內(nèi)容，很難對(duì)企業(yè)的存儲(chǔ)雙活項(xiàng)目實(shí)際落地提供有利支持，從而導(dǎo)致項(xiàng)目實(shí)

2、施后，容易被廠商綁定。因此，在本次存儲(chǔ)雙活方案解析的內(nèi)容中，筆者將從方案特點(diǎn)、第三站點(diǎn)仲裁、兩地三中心擴(kuò)展、讀寫(xiě)性能、故障轉(zhuǎn)移、雙活能力等多個(gè)角度，公正客觀地對(duì)業(yè)界主流存儲(chǔ)雙活方案進(jìn)行整體性詳細(xì)的解析和對(duì)比，涉及華為、EMC、IBM、HDS、NETAPP等五種不同存儲(chǔ)廠商的存儲(chǔ)雙活方案，來(lái)幫助企業(yè)真正解決存儲(chǔ)雙活建設(shè)的落地難題。本文將從五種業(yè)界主流存儲(chǔ)雙活方案的方案特點(diǎn)展開(kāi)解析。一、華為HyperMetro1、雙活方案概述華為存儲(chǔ)層雙活方案基于OceanStor融合存儲(chǔ)系統(tǒng)的HyperMetro特性實(shí)現(xiàn)。HyperMetro采用AA雙活架構(gòu)將兩套存儲(chǔ)陣列組成跨站點(diǎn)集群，實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)鏡像。兩端陣

3、列的雙活LUN數(shù)據(jù)實(shí)時(shí)同步，且兩端能夠同時(shí)處理應(yīng)用服務(wù)器的I/O讀寫(xiě)請(qǐng)求，面向應(yīng)用服務(wù)器提供無(wú)差異的AA并行訪問(wèn)能力。當(dāng)任何一臺(tái)磁盤(pán)陣列故障時(shí)，業(yè)務(wù)自動(dòng)無(wú)縫切換到對(duì)端存儲(chǔ)訪問(wèn)，業(yè)務(wù)訪問(wèn)不中斷。2、方案特點(diǎn)（1）免網(wǎng)關(guān)設(shè)計(jì)：Hyper Metro雙活架構(gòu)無(wú)需額外部署虛擬化網(wǎng)關(guān)設(shè)備，直接使用兩套存儲(chǔ)陣列組成跨站點(diǎn)集群系統(tǒng)。最大支持32個(gè)存儲(chǔ)控制器，即兩套16控存儲(chǔ)陣列組建雙活關(guān)系。（2）I/O訪問(wèn)路徑：Hyper Metro在應(yīng)用主機(jī)側(cè)，通過(guò)UltraPath主機(jī)多路徑軟件，將兩臺(tái)存儲(chǔ)陣列上的雙活成員LUN聚合為一個(gè)雙活LUN，以多路徑Vdisk方式對(duì)應(yīng)用程序提供I/O讀寫(xiě)能力。應(yīng)用程序訪問(wèn)Vdi

4、sk時(shí)，Ultrapath根據(jù)多路徑模式，選擇最佳的訪問(wèn)路徑，將I/O請(qǐng)求下發(fā)到存儲(chǔ)陣列。根據(jù)雙活站點(diǎn)部署距離，Hyper Metro提供了兩種I/O訪問(wèn)策略供選擇。一是負(fù)載均衡模式：該模式下可實(shí)現(xiàn) I/O的跨陣列負(fù)載均衡，即I/O以分片的方式在兩個(gè)陣列上下發(fā)。分片大小可配，例如分片大小為128M，即起始地址為 0-128M的I/O在A陣列下發(fā)，128M-256M在B陣列下發(fā)，以此類推。負(fù)載均衡模式主要應(yīng)用于雙活業(yè)務(wù)部署在同一數(shù)據(jù)中心的場(chǎng)景。在該場(chǎng)景下，主機(jī)業(yè)務(wù)訪問(wèn)兩套雙活存儲(chǔ)設(shè)備的性能幾乎相同，為最大化利用兩套存儲(chǔ)設(shè)備的資源，將主機(jī)I/O按分片方式下發(fā)到兩套陣列上。另一種是優(yōu)選陣列模式：該模

5、式下，由用戶在OceanStor UltraPath上指定優(yōu)選訪問(wèn)陣列，主機(jī)業(yè)務(wù)訪問(wèn)時(shí)，I/O只會(huì)在用戶設(shè)置的優(yōu)選陣列路徑上進(jìn)行負(fù)載均衡下發(fā)，不產(chǎn)生跨陣列的 I/O 訪問(wèn)。只有當(dāng)優(yōu)選陣列出現(xiàn)故障時(shí)，才切換到非優(yōu)選陣列下發(fā) I/O。優(yōu)選陣列模式主要應(yīng)用于雙活業(yè)務(wù)部署在距離較遠(yuǎn)的雙數(shù)據(jù)中心場(chǎng)景。在該場(chǎng)景下，雙活數(shù)據(jù)中心的跨站點(diǎn)訪問(wèn)的代價(jià)較高，假如兩個(gè)數(shù)據(jù)中心的鏈路距離為100km，一次往返傳輸通常需要消耗約 1.3ms 時(shí)間。優(yōu)選陣列模式可以減少跨站點(diǎn)交互次數(shù)，從而提升 I/O 性能。針對(duì)數(shù)據(jù)讀場(chǎng)景，雙活數(shù)據(jù)中心的業(yè)務(wù)主機(jī)只需要讀本數(shù)據(jù)中心對(duì)應(yīng)的雙活存儲(chǔ)陣列即可，避免主機(jī)跨數(shù)據(jù)中心讀取數(shù)據(jù)，提升整

6、體訪問(wèn)性能。針對(duì)數(shù)據(jù)寫(xiě)場(chǎng)景，業(yè)務(wù)主機(jī)直接寫(xiě)本數(shù)據(jù)中心對(duì)應(yīng)的雙活存儲(chǔ)陣列，避免主機(jī)跨數(shù)據(jù)中心轉(zhuǎn)發(fā)數(shù)據(jù)，充分利用 HyperMetro AA雙活能力，AA集群的每個(gè)控制器都能夠接收寫(xiě) I/O，由本地控制器處理本地主機(jī)的寫(xiě)I/O請(qǐng)求，減少跨數(shù)據(jù)中心的轉(zhuǎn)發(fā)次數(shù)，提升方案整體性能。（3）存儲(chǔ)層組網(wǎng)：下圖為Hyper Metro雙活方案典型組網(wǎng)架構(gòu)。可搭建陣列與主機(jī)、雙活鏡像、同城互聯(lián)等三類網(wǎng)絡(luò)，數(shù)據(jù)網(wǎng)絡(luò)與業(yè)務(wù)網(wǎng)絡(luò)分離；兩套雙活存儲(chǔ)陣列間通信支持FC或IP鏈路，推薦使用FC鏈路，但需滿足站點(diǎn)間RTT（往返延遲）小于2ms要求。另外，存儲(chǔ)陣列和仲裁服務(wù)器之間的鏈路采用普遍的IP鏈路。（4）一體化雙活：該方案

7、下的一套雙活設(shè)備既支持文件數(shù)據(jù)服務(wù)（File Service），也支持塊數(shù)據(jù)服務(wù)（Block Service），能夠以NFS文件系統(tǒng)和SAN塊存儲(chǔ)兩種方式提供雙活功能；SAN與NAS共用一套仲裁，能夠確保兩個(gè)站點(diǎn)間鏈路故障時(shí)，文件存儲(chǔ)和塊存儲(chǔ)由同一站點(diǎn)提供服務(wù)，保障仲裁一致性；SAN與NAS共用一種網(wǎng)絡(luò)，站點(diǎn)間心跳、配置、數(shù)據(jù)物理鏈路合一，一種網(wǎng)絡(luò)即可滿足SAN與NAS傳輸，并且支持業(yè)務(wù)網(wǎng)絡(luò)、站點(diǎn)間網(wǎng)絡(luò)、仲裁網(wǎng)絡(luò)全I(xiàn)P部署，組網(wǎng)簡(jiǎn)單。（5）存儲(chǔ)層數(shù)據(jù)一致性：通過(guò)I/O雙寫(xiě)確保數(shù)據(jù)一致性，系統(tǒng)正常情況下，任意應(yīng)用IO數(shù)據(jù)下發(fā)，都要同時(shí)寫(xiě)到兩臺(tái)陣列才返回主機(jī)，確保兩臺(tái)陣列數(shù)據(jù)實(shí)時(shí)一致；具備分布式鎖

8、機(jī)制（DLM），確保主機(jī)對(duì)同一存儲(chǔ)地址的數(shù)據(jù)訪問(wèn)時(shí)，由其中一臺(tái)寫(xiě)入，確保數(shù)據(jù)一致性；單存儲(chǔ)不可用時(shí),具備數(shù)據(jù)差異處理機(jī)制，其中一臺(tái)存儲(chǔ)不可用時(shí)，僅寫(xiě)正常存儲(chǔ)，同時(shí)數(shù)據(jù)變化記錄到DCL（Data Change Log）空間，待陣列修復(fù)好后，HyperMetro 將自動(dòng)恢復(fù)雙活Pair關(guān)系，并通過(guò)DCL記錄的信息，將數(shù)據(jù)增量寫(xiě)入修復(fù)好的存儲(chǔ)。這樣的好處是無(wú)需全量同步所有數(shù)據(jù)，整個(gè)過(guò)程對(duì)主機(jī)“透明”，不會(huì)影響主機(jī)業(yè)務(wù)。（6）FastWrite技術(shù)：傳統(tǒng)通用方案兩個(gè)站點(diǎn)間的寫(xiě)I/O在傳輸過(guò)程要經(jīng)歷“寫(xiě)命令”和“寫(xiě)數(shù)據(jù)”兩次交互，理論上兩站點(diǎn)間距100KM時(shí)，將帶來(lái)2次RTT（往返延時(shí)），見(jiàn)下圖左；為了

9、提升雙寫(xiě)性能，F(xiàn)astWrite技術(shù)將“寫(xiě)命令”和“寫(xiě)數(shù)據(jù)”合并為一次發(fā)送，跨站點(diǎn)寫(xiě)IO交互次數(shù)減少一半，理論上100KM傳輸鏈路僅1次RTT，提升整體寫(xiě)IO性能，見(jiàn)下圖右。（7）跨站點(diǎn)壞塊修復(fù)技術(shù)：為了提升數(shù)據(jù)可靠性，Hyper Metro具備跨站點(diǎn)自動(dòng)修復(fù)壞塊技術(shù)，無(wú)需人為干預(yù)，自動(dòng)完成修復(fù)，業(yè)務(wù)訪問(wèn)不受影響。流程如下（見(jiàn)下圖）: 生產(chǎn)主機(jī)讀取存儲(chǔ)A數(shù)據(jù)-存儲(chǔ)A通過(guò)校驗(yàn)發(fā)現(xiàn)壞塊-嘗試通過(guò)重構(gòu)修復(fù)壞塊，修復(fù)失?。ㄈ粜迯?fù)成功，則不進(jìn)行下述流程）-存儲(chǔ)A檢查與遠(yuǎn)端狀態(tài)“完整”并發(fā)起到遠(yuǎn)端B陣列讀取數(shù)據(jù)-讀取數(shù)據(jù)成功，返回生產(chǎn)主機(jī)正確數(shù)據(jù)-使用遠(yuǎn)端數(shù)據(jù)修復(fù)本端壞塊對(duì)應(yīng)的數(shù)據(jù)。（8）RAID2.0技

10、術(shù)：存儲(chǔ)陣列能夠支持多種RAID保護(hù)技術(shù)，并在此基礎(chǔ)之上進(jìn)一步優(yōu)化升級(jí)，當(dāng)RAID組中任意硬盤(pán)故障，通過(guò)RAID2.0技術(shù)，能夠快速重建RAID，并恢復(fù)數(shù)據(jù)至熱備盤(pán)，速度相對(duì)傳統(tǒng)技術(shù)大幅提升， 降低了多盤(pán)失效風(fēng)險(xiǎn)概率。二、EMC Vplex1、雙活方案概述EMC Vplex存儲(chǔ)雙活方案是基于Vplex網(wǎng)關(guān)產(chǎn)品實(shí)現(xiàn)，能夠?qū)MC和其他廠商存儲(chǔ)異構(gòu)整合，虛擬化為統(tǒng)一的存儲(chǔ)資源池，實(shí)現(xiàn)異構(gòu)存儲(chǔ)雙活。Vplex雙活方案有Vplex Metro和Vplex Geo兩種方案，方案由兩個(gè)站點(diǎn)的兩套Vplex集群系統(tǒng)組成，每個(gè)站點(diǎn)的Vplex集群都有自己專屬的本地存儲(chǔ)陣列，通過(guò)創(chuàng)建分布式鏡像卷為跨集群的鏡像卷

11、，提供Vplex Access Anywhere功能，兩個(gè)站點(diǎn)的Vplex集群各有一個(gè)卷，兩個(gè)卷的ID一樣。2、方案特點(diǎn)（1）集群配置：如下圖所示，每個(gè)Vplex集群均包含Vplex Management Console，一個(gè)、兩個(gè)、四個(gè)或八個(gè)引擎，每個(gè)引擎包含一個(gè)備用電源。Vplex Local用于使用單個(gè)Vplex集群管理數(shù)據(jù)中心內(nèi)的數(shù)據(jù)移動(dòng)和訪問(wèn)。支持單、雙或四配置(分別包含一個(gè)、兩個(gè)或四個(gè)引擎)，本地Vplex組成Local集群(4引擎8控制器)，兩站點(diǎn)Local集群再組成Metro/Geo遠(yuǎn)程集群(最大8引擎，16控制器)，形成16個(gè)控制節(jié)點(diǎn)的AA集群。（2）同/異步方案：如下圖所示

12、，Vplex Metro使用兩個(gè)包含獨(dú)特功能的Vplex集群，通過(guò)采用寫(xiě)直通緩存（透寫(xiě)）的方式在兩個(gè)集群之間實(shí)時(shí)鏡像數(shù)據(jù)，保持后端存儲(chǔ)數(shù)據(jù)的一致性，由于采用實(shí)時(shí)同步復(fù)制，Vplex Metro方案需滿足站點(diǎn)間RTT（往返延遲）小于5ms的要求。Vplex Geo用于兩個(gè)遠(yuǎn)距離應(yīng)用集群節(jié)點(diǎn)異步使用Access Anywhere訪問(wèn)存儲(chǔ)數(shù)據(jù)，Vplex Geo分布式卷使用回寫(xiě)緩存的方式支持Access Anywhere分布式鏡像，該方案最大可支持的站點(diǎn)間RTT（往返延遲）為50ms。另外，Vplex Metro和Vplex Geo方案下部署的集群不要求站點(diǎn)間引擎數(shù)量完全一致。（3）存儲(chǔ)層組網(wǎng)：下圖

13、為Vplex Metro雙活方案主機(jī)跨集群連接組網(wǎng)架構(gòu)。主機(jī)與Vplex集群間訪問(wèn)、Vplex集群與后端存儲(chǔ)數(shù)據(jù)傳輸、Vplex集群間通信網(wǎng)絡(luò)全部隔離，為保證最高級(jí)別的高可用性，每個(gè)Vplex Director前端I/O模塊和一對(duì)SAN光纖交換機(jī)之間必須保證2個(gè)以上的物理連接，每個(gè)主機(jī)和每個(gè)Vplex引擎的A Director和B Director都需要保持一個(gè)以上的路徑連接，因此主機(jī)和一個(gè)Vplex引擎間具有8條邏輯路徑。對(duì)于每個(gè)站點(diǎn)2個(gè)、4個(gè)引擎的Vplex集群來(lái)說(shuō)，主機(jī)連接需要覆蓋所有引擎；另外，當(dāng)主機(jī)與本地Vplex集群連接中斷時(shí)，為保證主機(jī)能夠跨站點(diǎn)訪問(wèn)另一端Vplex集群，主機(jī)需要

14、和其他站點(diǎn)的Vplex集群建立連接，可通過(guò)PowerPath多路軟件來(lái)配置ACTIVE/PASSIVE路徑來(lái)保證主機(jī)優(yōu)先訪問(wèn)本地的Vplex集群；后端存儲(chǔ)陣列通過(guò)SAN交換機(jī)或者直接連接Vplex引擎的后端IO模塊，不需要配置到其他Vplex集群的跨站點(diǎn)連接路徑；根據(jù)需要選用Witness作仲裁，Witness需部署于兩個(gè)Vplex集群不同的故障域中(第三方站點(diǎn))，且只能部署于VMware的虛擬化環(huán)境，通過(guò)IP的方式連接到兩個(gè)Vplex集群。（4）分布式一致性緩存技術(shù)：EMC Vplex是一個(gè)集群系統(tǒng)，提供分布式緩存一致性保證，能夠?qū)蓚€(gè)或多個(gè)Vplex的緩存進(jìn)行統(tǒng)一管理，從而使主機(jī)訪問(wèn)到一個(gè)

15、整體的緩存系統(tǒng)。當(dāng)主機(jī)向Vplex的一個(gè)緩存區(qū)域?qū)慖/O時(shí)，Vplex緩存將鎖定這個(gè)緩存區(qū)域，同一時(shí)刻其他主機(jī)是無(wú)法向這個(gè)緩存區(qū)域?qū)懭隝/O的。但是，當(dāng)主機(jī)讀取I/O時(shí)，Vplex緩存允許多個(gè)主機(jī)訪問(wèn)一個(gè)緩存區(qū)域，尤其是主機(jī)訪問(wèn)其他Vplex集群中其他Vplex節(jié)點(diǎn)所管理的數(shù)據(jù)時(shí)，統(tǒng)一緩存管理會(huì)將這個(gè)I/O的具體緩存位置告知主機(jī)，主機(jī)直接跨Vplex集群訪問(wèn)。分布式一致性緩存技術(shù)在實(shí)現(xiàn)上面，并沒(méi)有強(qiáng)求所有的Cache都保持統(tǒng)一，而是基于卷緩存目錄的形式來(lái)跟蹤細(xì)小的內(nèi)存塊，并通過(guò)鎖的粒度來(lái)保證數(shù)據(jù)一致性。每個(gè)引擎的cache分為本地Cache(Cache Local)和全局Cache(Cache

16、 Global)，每引擎的本地Cache只有26GB，其余為全局Cache，見(jiàn)下圖。（5）分布式緩存模式：Vplex Local和Vplex Metro采用了寫(xiě)直通緩存模式，當(dāng)Vplex集群的虛擬卷接收到了主機(jī)的寫(xiě)請(qǐng)求時(shí)，寫(xiě)I/O直接透寫(xiě)到該卷映射的后端存儲(chǔ)LUN（Vplex Metro包含兩套后端存儲(chǔ)LUN）中，后端陣列確認(rèn)寫(xiě)I/O完成后，Vplex將返回確認(rèn)信號(hào)至主機(jī)，完成本次寫(xiě)I/O周期。寫(xiě)直通緩存模式需要等待后端存儲(chǔ)陣列落盤(pán)完成，對(duì)寫(xiě)I/O時(shí)延要求較高。這種寫(xiě)直通緩存模式并適合Vplex Geo方案，該方案最大支持50ms的跨站點(diǎn)往返延遲，采用該緩存模式將對(duì)主機(jī)產(chǎn)生非常大的性能影響，對(duì)

17、于大多數(shù)應(yīng)用而言顯然是無(wú)法接受的。因此，Vplex Geo采用了回寫(xiě)緩存模式，在該模式下，Vplex收到了主機(jī)的寫(xiě)請(qǐng)求后，直接寫(xiě)入引擎控制器的緩存，并將寫(xiě)I/O鏡像至引擎另一個(gè)控制器和另一套Vplex集群的引擎控制器的內(nèi)存中，然后向主機(jī)確認(rèn)本次寫(xiě)I/O周期。最后再將數(shù)據(jù)異步轉(zhuǎn)儲(chǔ)到引擎后端的存儲(chǔ)陣列中。當(dāng)出現(xiàn)電源故障時(shí)，Vplex引擎自帶的備用電源能夠保證緩存中的所有未持久化的數(shù)據(jù)暫存到本地SSD存儲(chǔ)上?；貙?xiě)緩存模式無(wú)需等待后端存儲(chǔ)陣列落盤(pán)，即可回響應(yīng)主機(jī)，大幅提升了Vplex雙活方案的距離和時(shí)延要求。（6）讀I/O加速能力：具有讀Cache，寫(xiě)I/O的機(jī)制能對(duì)讀I/O實(shí)現(xiàn)加速。為了提升讀I/O

18、性能，寫(xiě)I/O的時(shí)候先判斷是否在Local、Global Cache中有對(duì)應(yīng)的舊數(shù)據(jù)，如沒(méi)有直接寫(xiě)入本地Local Cache；如有舊數(shù)據(jù)，先廢除舊數(shù)據(jù)再寫(xiě)入Local；再通過(guò)寫(xiě)直通緩存模式將寫(xiě)I/O刷入兩套后端存儲(chǔ)陣列（見(jiàn)下圖）；最后反饋主機(jī)寫(xiě)I/O周期完成，同時(shí)Global Cache中的索引做相應(yīng)修改，并在所有引擎上共享該信息，實(shí)現(xiàn)分布式緩存一致性。另外，Vplex該機(jī)制下的寫(xiě)I/O額外需增加2次跨站點(diǎn)往返延遲（官方宣稱引入1-1.6ms延時(shí)），在Vplex Metro方案下，寫(xiě)直通緩存的基礎(chǔ)上，額外又犧牲了一定寫(xiě)I/O性能。讀I/O的時(shí)候先讀Local Cache，如命中直接讀取，讀I

19、/O加速效果明顯；如果在Global Cache中命中，則從對(duì)應(yīng)的Vplex引擎Cache中將其讀取到Local Cache，再反饋主機(jī)讀I/O結(jié)果，讀I/O加速效果次之；如果在Global Cache中沒(méi)有命中，則從本地后端的存儲(chǔ)陣列中讀取到Local Cache中，并同時(shí)修改Local和Global Cache中的信息與索引信息，讀I/O加速無(wú)效果。（7）支持CDP技術(shù)：Vplex只提供存儲(chǔ)異構(gòu)虛擬化和鏡像兩項(xiàng)功能，快照、復(fù)制等特性需要添加EMC自身的RecoverPoint實(shí)現(xiàn)，所以Vplex的組網(wǎng)方式常常會(huì)考慮配合RecoverPoint一起使用。此外Vplex內(nèi)部集成I/O分流軟件，

20、Vplex將每個(gè)主機(jī)寫(xiě)I/O同步復(fù)制到RecoverPoint，RecoverPoint將每個(gè)IO記錄下來(lái)，采用CDP實(shí)現(xiàn)任意時(shí)間點(diǎn)恢復(fù)。下圖為Vplex雙活和Vplex雙活+RecoverPoint CDP方案的寫(xiě)I/O流程對(duì)比，后者將增加寫(xiě)I/O時(shí)延，寫(xiě)I/O放大，影響一定的性能。三、IBM SVC1、雙活方案概述IBM在SVC存儲(chǔ)雙活技術(shù)上提供了兩套不同的方案：Enhanced Stretch Cluster和HyperSwap，均是基于虛擬化存儲(chǔ)平臺(tái)之上的Active-Active數(shù)據(jù)中心的存儲(chǔ)雙活解決方案，為上層應(yīng)用提供存儲(chǔ)A-A雙活或高可用架構(gòu)，確保存儲(chǔ)層的任一組件故障不會(huì)對(duì)上層應(yīng)

21、用產(chǎn)生中斷影響。SVC Enhanced Stretch Cluster也就是SVC拉伸式集群架構(gòu)，就是把同一SVC I/O Group內(nèi)互為保護(hù)模式的雙節(jié)點(diǎn)跨站點(diǎn)進(jìn)行拉伸，分散在不同的兩個(gè)數(shù)據(jù)中心，它們之間通過(guò)光纖鏈路連接，數(shù)據(jù)通過(guò)Vdisk Mirror技術(shù)實(shí)時(shí)鏡像到兩個(gè)站點(diǎn)上的兩個(gè)存儲(chǔ)上。SVC HyperSwap相較于SVC ESC，它出現(xiàn)的主要目的在于消除本地SVC節(jié)點(diǎn)單點(diǎn)隱患，增加主機(jī)存儲(chǔ)冗余路徑，進(jìn)一步提升SVC雙活的高可用性。通過(guò)Metro Mirror技術(shù)實(shí)現(xiàn)數(shù)據(jù)在兩個(gè)I/O Group和兩套存儲(chǔ)之間的實(shí)時(shí)同步，同時(shí)解決單SVC節(jié)點(diǎn)故障引起的性能問(wèn)題及雙節(jié)點(diǎn)故障導(dǎo)致數(shù)據(jù)卷無(wú)法

22、訪問(wèn)的問(wèn)題。以上兩種方案架構(gòu)均為對(duì)稱式架構(gòu)，在第三站點(diǎn)可配置仲裁，以防止腦裂現(xiàn)象發(fā)生。2、方案特點(diǎn)（1）整體架構(gòu)：SVC ESC采用Stretched的拓?fù)浼軜?gòu)（下圖一），每個(gè)站點(diǎn)最少1個(gè)節(jié)點(diǎn)，兩個(gè)站點(diǎn)各1套存儲(chǔ)，通過(guò)SVC VDM保持實(shí)時(shí)同步，對(duì)主機(jī)來(lái)說(shuō)只看到一個(gè)Vdisk，主機(jī)與兩個(gè)站點(diǎn)的SVC節(jié)點(diǎn)均建立連接路徑，實(shí)現(xiàn)兩個(gè)站點(diǎn)主機(jī)各自讀寫(xiě)本地SVC節(jié)點(diǎn)和存儲(chǔ)，達(dá)到存儲(chǔ)Active-Active的目的，兩個(gè)站點(diǎn)的存儲(chǔ)網(wǎng)絡(luò)通過(guò)DWDM間的裸光纖級(jí)聯(lián)；SVC HyperSwap采用HyperSwap的拓?fù)浼軜?gòu)（下圖二），每個(gè)站點(diǎn)最少1個(gè)I/O Group，每個(gè)I/O Group配置兩個(gè)SVC節(jié)點(diǎn)

23、，提升了本地SVC節(jié)點(diǎn)的冗余度，兩個(gè)站點(diǎn)各1套存儲(chǔ)，通過(guò)SVC Metrol Mirror保持實(shí)時(shí)同步，對(duì)于不同站點(diǎn)的主機(jī)來(lái)說(shuō)，看到的是不同的LUN，主機(jī)與跨站點(diǎn)的兩個(gè)I/O Group均建立連接路徑，提升了路徑冗余度。（2）光纖鏈路組網(wǎng)和仲裁：兩種方案均可通過(guò)建立Private和Public兩種FC網(wǎng)絡(luò)進(jìn)行訪問(wèn)隔離，Private網(wǎng)絡(luò)用于兩個(gè)SVC節(jié)點(diǎn)間或者兩組SVC I/O Group Cache間的數(shù)據(jù)同步和心跳，Public網(wǎng)絡(luò)用于主機(jī)與SVC節(jié)點(diǎn)間、SVC節(jié)點(diǎn)與存儲(chǔ)間的數(shù)據(jù)傳輸，兩個(gè)站點(diǎn)的FC存儲(chǔ)網(wǎng)絡(luò)通過(guò)兩對(duì)跨站點(diǎn)DWDM（波分復(fù)用）間的裸光纖進(jìn)行級(jí)聯(lián)。仲裁方式上，支持仲裁盤(pán)和仲裁服

24、務(wù)器兩種模式，仲裁盤(pán)方式使用FC鏈路，仲裁服務(wù)器方式使用IP鏈路。（3）I/O訪問(wèn)路徑：在SVC ESC方案下，主機(jī)需配置到本站點(diǎn)SVC節(jié)點(diǎn)和遠(yuǎn)端站點(diǎn)SVC節(jié)點(diǎn)的I/O路徑，以保證在本站點(diǎn)節(jié)點(diǎn)出現(xiàn)故障時(shí)，主機(jī)路徑可立即切換至遠(yuǎn)端站點(diǎn)，訪問(wèn)同一I/O Group下的其他SVC節(jié)點(diǎn)；而在SVC HyperSwap方案下，跨站點(diǎn)的主機(jī)訪問(wèn)節(jié)點(diǎn)路徑屬于可選配置，為避免站點(diǎn)所有存儲(chǔ)路徑失效（APD）場(chǎng)景下RTO過(guò)長(zhǎng)，推薦配置跨站點(diǎn)的主機(jī)訪問(wèn)節(jié)點(diǎn)路徑。主機(jī)端通過(guò)SDDPCM多路徑軟件，并配置基于ALUA的路徑策略，來(lái)指明哪個(gè)SVC節(jié)點(diǎn)是主機(jī)的本地節(jié)點(diǎn)，避免主機(jī)跨站點(diǎn)訪問(wèn)其他SVC節(jié)點(diǎn)。當(dāng)本地路徑未全部失效

25、時(shí)，主機(jī)將優(yōu)先訪問(wèn)本站點(diǎn)SVC HyperSwap I/O Group的Preferred Node。當(dāng)本地路徑全部失效時(shí)，主機(jī)將跨站點(diǎn)訪問(wèn)遠(yuǎn)端SVC HyperSwap I/O Group，但基于ALUA的路徑策略并不能識(shí)別遠(yuǎn)端哪個(gè)是SVC Preferred Node，因此ALUA策略將變?yōu)镽ound-Robin，輪詢?cè)L問(wèn)遠(yuǎn)端所有SVC節(jié)點(diǎn)的端口。（4）SVC ESC站點(diǎn)感知功能：兩個(gè)站點(diǎn)的所有對(duì)象均具備站點(diǎn)化屬性，包括SVC節(jié)點(diǎn)、主機(jī)、存儲(chǔ)等，淡化了SVC Local集群下的I/O Group Preferred Node概念，I/O Group中的兩個(gè)節(jié)點(diǎn)均是平等的，兩個(gè)站點(diǎn)的主機(jī)對(duì)同

26、一Vdisk的訪問(wèn)，可通過(guò)同一I/O Group的兩個(gè)SVC節(jié)點(diǎn)并行訪問(wèn)。即本地讀I/O優(yōu)化，本地寫(xiě)I/O優(yōu)化，確保I/O本地化，避免遠(yuǎn)程I/O訪問(wèn)帶來(lái)的性能影響。（5）SVC ESC緩存機(jī)制特性：SVC每個(gè)節(jié)點(diǎn)包含若干容量的緩存，用于實(shí)時(shí)存放主機(jī)I/O數(shù)據(jù)，減輕了I/O物理落盤(pán)帶來(lái)的性能影響。SVC放置于主機(jī)和存儲(chǔ)之間，并沒(méi)有因此加大主機(jī)對(duì)存儲(chǔ)訪問(wèn)的I/O時(shí)延，SVC具有擴(kuò)展低端存儲(chǔ)緩存的效果，一定程度上增強(qiáng)了低端存儲(chǔ)的性能；SVC ESC的I/O Group的某個(gè)節(jié)點(diǎn)故障，另一節(jié)點(diǎn)接管，寫(xiě)緩存Disable，進(jìn)入寫(xiě)直通模式，性能略有下降（對(duì)比SVC HyperSwap在站點(diǎn)故障場(chǎng)景下，遠(yuǎn)端

27、I/O Group仍有完整的寫(xiě)緩存保護(hù)機(jī)制，可避免直接進(jìn)入寫(xiě)直通模式帶來(lái)的性能下降）；SVC ESC的一個(gè)I/O Group，采用一套緩存表，所以能夠?qū)崿F(xiàn)寫(xiě)I/O的鎖互斥機(jī)制，實(shí)現(xiàn)同一Vdisk的兩個(gè)SVC節(jié)點(diǎn)和存儲(chǔ)真正雙活,并具有主機(jī)讀寫(xiě)親和性；當(dāng)任意SVC節(jié)點(diǎn)的電源出現(xiàn)故障時(shí)，SVC內(nèi)置的電池或者外置的UPS模塊可持續(xù)供電，直至SVC節(jié)點(diǎn)內(nèi)的緩存數(shù)據(jù)全部刷入后端存儲(chǔ)陣列后，再關(guān)閉SVC節(jié)點(diǎn)。（6）SVC HyperSwap主從卷機(jī)制：在建立好HyperSwap卷的關(guān)系后，兩個(gè)站點(diǎn)的主機(jī)分別映射了Master卷和Aux卷，表示哪個(gè)卷正在作為主卷，提供所有I/O服務(wù)；具有Master卷的SVC

28、 I/O Group，兩個(gè)站點(diǎn)所有的讀寫(xiě)請(qǐng)求必須經(jīng)過(guò)該I/O Group，若Master卷的I/O Group和主機(jī)在同一個(gè)站點(diǎn),該站點(diǎn)的主機(jī)可以本地讀寫(xiě)I/O Group和后端存儲(chǔ)陣列。若Master卷的I/O Group和主機(jī)不在同一個(gè)站點(diǎn)，該站點(diǎn)的主機(jī)通過(guò)本站點(diǎn)的SVC I/O Group將請(qǐng)求轉(zhuǎn)發(fā)至Master卷所在的I/O Group，由它來(lái)處理讀寫(xiě)請(qǐng)求；HyperSwap會(huì)自動(dòng)比較本地讀寫(xiě)的I/O流量和讀寫(xiě)轉(zhuǎn)發(fā)的I/O流量，來(lái)決定是否反轉(zhuǎn)Master和Aux的屬性。I/O流量是指扇區(qū)的數(shù)量而不是I/O數(shù)量，在首次創(chuàng)建HyperSwap卷和初始化后，系統(tǒng)自動(dòng)決定哪個(gè)卷為Master。

29、如果連續(xù)10分鐘以上，AUX卷的I/O流量（讀寫(xiě)轉(zhuǎn)發(fā)的I/O流量）大于所有I/O流量的75%，Master和Aux卷的屬性將反轉(zhuǎn)，通過(guò)該方式可避免頻繁反轉(zhuǎn)。綜上特性，在HyperSwap主從卷的機(jī)制下，兩個(gè)站點(diǎn)的主機(jī)可以實(shí)現(xiàn)本地I/O Group本地讀寫(xiě)，但兩套跨站點(diǎn)的存儲(chǔ)為ACTVIE-STANDBY模式，Master卷所映射的后端存儲(chǔ)陣列為主存儲(chǔ)，Aux卷所映射的后端存儲(chǔ)陣列為熱備存儲(chǔ)。（7）SVC無(wú)縫卷遷移技術(shù)（NDVM）：能將虛擬卷遷移到不同的I/O Group，實(shí)現(xiàn)對(duì)節(jié)點(diǎn)故障做出迅速反應(yīng)，將面臨單點(diǎn)故障的虛擬卷進(jìn)行批量自動(dòng)化遷移，使不同I/O Group不再孤立存在于集群當(dāng)中，形成多

30、I/O Group之間的冗余保護(hù)（下圖左一左二），會(huì)對(duì)遷移操作的產(chǎn)生的各種風(fēng)險(xiǎn)進(jìn)行智能分析，保證遷移過(guò)程安全可靠。該技術(shù)通過(guò)SVC中內(nèi)置的一個(gè)輕量級(jí)的應(yīng)用實(shí)現(xiàn)，部署簡(jiǎn)單，使用方便，系統(tǒng)開(kāi)銷小。另外，可以通過(guò)溫備節(jié)點(diǎn)快速替換故障節(jié)點(diǎn)的方式，快速的將集群恢復(fù)正常狀態(tài)（下圖右一）。四、HDS GAD1、雙活方案概述HDS VSP系列存儲(chǔ)的Global-Active Device解決方案使用獨(dú)特的Hitachi存儲(chǔ)虛擬化操作系統(tǒng)（SVOS）實(shí)現(xiàn)，該方案在G系列（G1500、G1000、G800、G600、G400、G200）和F系列（F1500、F800、F600、F400）存儲(chǔ)都得到了支持，能夠?qū)崿F(xiàn)

31、全局存儲(chǔ)虛擬化、分布式連續(xù)存儲(chǔ)、零恢復(fù)時(shí)間和零恢復(fù)目標(biāo)、簡(jiǎn)化的分布式系統(tǒng)設(shè)計(jì)和操作。全局存儲(chǔ)虛擬化提供“全局活動(dòng)卷”。這些存儲(chǔ)卷能夠在兩個(gè)存儲(chǔ)或站點(diǎn)對(duì)同一份數(shù)據(jù)的兩個(gè)副本同時(shí)讀取和寫(xiě)入。這種Active-Active的存儲(chǔ)設(shè)計(jì)在Local或metro集群配置中允許兩個(gè)存儲(chǔ)系統(tǒng)同時(shí)運(yùn)行生產(chǎn)工作負(fù)載，同時(shí)保持完整的數(shù)據(jù)一致性和保護(hù)。2、方案特點(diǎn)（1）I/O訪問(wèn)路徑：如下圖所示，GAD采用Active-Active架構(gòu)，支持主從陣列同時(shí)讀寫(xiě)，所有I/O寫(xiě)操作都是先寫(xiě)主LUN后寫(xiě)從LUN；通過(guò)原廠HDLM多路徑軟件來(lái)配置優(yōu)選路徑，可以支持本地優(yōu)先讀寫(xiě)策略，G1000之后版本支持ALUA功能，自動(dòng)識(shí)別本

32、地站點(diǎn)的優(yōu)選路徑，同時(shí)也兼容主流OS的第三方多路徑；當(dāng)本地路徑全部故障時(shí)（APD場(chǎng)景），主機(jī)將通過(guò)StandBy路徑繼續(xù)跨站點(diǎn)訪問(wèn)遠(yuǎn)端存儲(chǔ)。通常主從站點(diǎn)支持100KM距離，支持FC/IP復(fù)制鏈路，支持8條物理路徑和陣列主機(jī)交叉組網(wǎng)。在VSP G1000、VSP G1500、VSP F1500之后的版本，最大支持500KM（RTT往返時(shí)延20ms）的SAN雙活；最大支持32仲裁盤(pán)（存儲(chǔ)或服務(wù)器磁盤(pán)），不支持虛擬機(jī)或物理機(jī)IP仲裁的方式。（2）存儲(chǔ)層組網(wǎng)：GAD的組網(wǎng)相對(duì)比較靈活，單機(jī)雙陣列組網(wǎng)是用在數(shù)據(jù)中心內(nèi)，只能實(shí)現(xiàn)存儲(chǔ)層的雙活能力，服務(wù)器主機(jī)是單點(diǎn)，只能防止存儲(chǔ)故障，這種組網(wǎng)方式常用在不支持

33、集群的應(yīng)用中；雙機(jī)雙陣列組網(wǎng)是比較常見(jiàn)的組網(wǎng)方式，這種組網(wǎng)需要服務(wù)器安裝集群軟件，來(lái)實(shí)現(xiàn)業(yè)務(wù)的切換。這種組網(wǎng)在存儲(chǔ)層和應(yīng)用層都可以實(shí)現(xiàn)業(yè)務(wù)雙活；交叉組網(wǎng)類似于雙機(jī)雙陣列組網(wǎng)方式，但在網(wǎng)絡(luò)層實(shí)現(xiàn)了交叉冗余，這種方式是推薦的組網(wǎng)方式，也就是服務(wù)器都可以看到所有的存儲(chǔ)，服務(wù)器同時(shí)采用集群軟件和多路徑軟件來(lái)完成故障的切換，切換的方式更加合理，比如存儲(chǔ)故障，服務(wù)器集群可以不切換，只需要多路徑軟件切換存儲(chǔ)就可以了；下圖為本地模擬跨站點(diǎn)的GAD組網(wǎng)拓?fù)鋱D，主機(jī)訪問(wèn)存儲(chǔ)網(wǎng)絡(luò)、存儲(chǔ)間鏡像往返網(wǎng)絡(luò)、主機(jī)跨站點(diǎn)存儲(chǔ)訪問(wèn)網(wǎng)絡(luò)、第三站點(diǎn)仲裁網(wǎng)絡(luò)全部隔離。站點(diǎn)1的主機(jī)通過(guò)紅色路徑寫(xiě)站點(diǎn)1的VSP存儲(chǔ)，通過(guò)站點(diǎn)間ISL的網(wǎng)

34、絡(luò)將鏡像數(shù)據(jù)同步至站點(diǎn)2的VSP存儲(chǔ)。站點(diǎn)2的主機(jī)通過(guò)藍(lán)色路徑寫(xiě)站點(diǎn)2的VSP存儲(chǔ)，通過(guò)站點(diǎn)間另一對(duì)ISL網(wǎng)絡(luò)將鏡像數(shù)據(jù)同步至站點(diǎn)1的VSP存儲(chǔ)。（3）Virtual Storage Machine(VSM)：HDS在一臺(tái)物理存儲(chǔ)內(nèi)允許用戶按照業(yè)務(wù)和應(yīng)用的要求定義多個(gè)VSM，VSM與一臺(tái)存儲(chǔ)類似，具備自己的存儲(chǔ)ID、設(shè)備序列號(hào)和端口WWN。通過(guò)VSM的定義，能夠有效提高存儲(chǔ)資源利用率，并實(shí)現(xiàn)架構(gòu)、業(yè)務(wù)靈活性最大化。VSP最大支持8個(gè)VSM，但可以支持63231對(duì)雙活的GAD卷。HDS GAD技術(shù)通過(guò)設(shè)置SVM的方式使兩臺(tái)存儲(chǔ)使用相同的虛擬序列號(hào)，讓主機(jī)把兩臺(tái)物理存儲(chǔ)(可能包含多個(gè)SVM)看成一

35、臺(tái)存儲(chǔ)。在一臺(tái)物理存儲(chǔ)內(nèi)允許用戶按照業(yè)務(wù)和應(yīng)用的要求定義多個(gè)VSM。VDKC是VSP上虛擬出來(lái)的一個(gè)虛擬控制器，它可以將多臺(tái)存儲(chǔ)底層的物理控制器虛擬成同一個(gè)控制器，這樣主機(jī)通過(guò)虛擬控制器訪問(wèn)后端磁盤(pán)資源時(shí)，始終和一個(gè)控制器ID交互，無(wú)論后臺(tái)存儲(chǔ)如何變化主機(jī)都不會(huì)有感知，從而實(shí)現(xiàn)了雙活等特性。（4）微碼實(shí)現(xiàn)數(shù)據(jù)一致性：HDS GAD基于微碼實(shí)現(xiàn)雙活，主機(jī)、交換機(jī)、存儲(chǔ)整個(gè)I/O路徑不需新增任何設(shè)備。HDS GAD技術(shù)在主機(jī)寫(xiě)I/O過(guò)程中不會(huì)增加任何的多余步驟，實(shí)現(xiàn)方式就是增強(qiáng)的同步復(fù)制技術(shù)TrueCopy，兩邊寫(xiě)I/O完成后才返回給主機(jī)，全程確保數(shù)據(jù)完整性，兩臺(tái)主機(jī)同時(shí)寫(xiě)同一個(gè)存儲(chǔ)塊時(shí)，HDS會(huì)

36、對(duì)寫(xiě)存儲(chǔ)塊加鎖，保證數(shù)據(jù)的一致性。主機(jī)讀I/O通過(guò)多路徑保持站點(diǎn)親和性，從本地讀。（5）HDS 3DC技術(shù)：HDS支持“雙活+復(fù)制”的3DC模式，即HDS GAD+存儲(chǔ)異步復(fù)制，并且支持SAN和NAS的3DC的三角增量復(fù)制。主站點(diǎn)和異地站點(diǎn)的異步復(fù)制通過(guò)日志方式記錄數(shù)據(jù)差異，雙活主從LUN都記錄與容災(zāi)站點(diǎn)差異數(shù)據(jù)，差異記錄開(kāi)始時(shí)會(huì)對(duì)齊日志ID ，某個(gè)雙活節(jié)點(diǎn)故障后，另一個(gè)節(jié)點(diǎn)繼續(xù)與異地災(zāi)備站點(diǎn)繼續(xù)復(fù)制，差量數(shù)據(jù)可通過(guò)查詢?nèi)罩綢D獲取。（6）硬件實(shí)現(xiàn)支持快照和克?。篐DS的快照和克隆功能基于專用硬件實(shí)現(xiàn)，性能高，并且快照對(duì)主從節(jié)點(diǎn)都可見(jiàn)。（7）HNAS+GAD雙活：HDS通過(guò)HNAS網(wǎng)關(guān)配合VS

37、P GAD來(lái)實(shí)現(xiàn)NAS雙活，見(jiàn)下圖，對(duì)外提供SAN塊存儲(chǔ)服務(wù)和NAS文件系統(tǒng)服務(wù)。但是NAS雙活依賴SAN雙活，HNAS目前支持2個(gè)HNAS網(wǎng)關(guān)集群綁定GAD組成拉遠(yuǎn)的Active-Passive雙活。數(shù)據(jù)讀寫(xiě)在主端完成，但是從端也可以通過(guò)配置Cache和CNS情況下，通過(guò)Cache支持部分讀。整個(gè)HNAS文件系統(tǒng)數(shù)據(jù)保存在GAD雙活設(shè)備上，HANS節(jié)點(diǎn)的主要工作是完成站點(diǎn)間元數(shù)據(jù)、狀態(tài)和控制數(shù)據(jù)同步。（8）HNAS+GAD雙活組網(wǎng)：如下圖所示，NAS集群NVRAM數(shù)據(jù)復(fù)制支持100KM 10GE組網(wǎng)，GAD主從站點(diǎn)宣稱支持500公里FC組網(wǎng)，最多支持8條物理鏈路。HNAS節(jié)點(diǎn)與GAD支持交叉

38、組網(wǎng)，在APD場(chǎng)景下僅切換I/O路徑，不切換HNAS網(wǎng)關(guān)；NAS采用仲裁服務(wù)器模式，支持GE組網(wǎng)，SAN采用仲裁盤(pán)模式仲裁，主從站點(diǎn)與仲裁的連接采用FC鏈路，SAN和NAS采用獨(dú)立的兩套仲裁系統(tǒng)。網(wǎng)絡(luò)復(fù)雜性上，HNAS需要獨(dú)立的仲裁網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、鏡像網(wǎng)絡(luò)和NAS服務(wù)訪問(wèn)接入網(wǎng)絡(luò)，GAD也需要獨(dú)立的仲裁網(wǎng)絡(luò)、管理網(wǎng)絡(luò)、數(shù)據(jù)鏡像網(wǎng)絡(luò)和SAN存儲(chǔ)服務(wù)接入網(wǎng)絡(luò)，一共需要8類網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)接口需求多，架構(gòu)和配置比較復(fù)雜。五、NetApp MetroCluster1、雙活方案概述Clustered Metro Cluster(簡(jiǎn)稱MCC)是Netapp Data Ontap提供的存儲(chǔ)雙活解決方案，能夠增強(qiáng)

39、NetApp硬件和ONTAP存儲(chǔ)軟件的內(nèi)置高可用性和無(wú)中斷運(yùn)行功能，為整個(gè)存儲(chǔ)和主機(jī)環(huán)境提供一層額外保護(hù)。通過(guò)將1個(gè)FAS/V系列存儲(chǔ)的雙控，利用光纖或光纖交換機(jī)將控制器距離拉遠(yuǎn)，形成異地HA Pair，控制器間通過(guò)SyncMirror實(shí)現(xiàn)Aggr級(jí)別的數(shù)據(jù)鏡像，存儲(chǔ)鏡像物理分離。為進(jìn)一步提升本地控制器的冗余度，在本地和異地分別放置兩個(gè)控制器，本地兩個(gè)控制器組成一對(duì)HA Pair，本地和異地兩對(duì)集群再形成四節(jié)點(diǎn)集群，互相保護(hù)。2、方案特點(diǎn)（1）存儲(chǔ)層組網(wǎng)：Metro Cluster存儲(chǔ)層組網(wǎng)非常復(fù)雜，主從站點(diǎn)支持300公里FC組網(wǎng)；SAN Cluster最大支持12控，NAS Cluster最

40、大支持8控；在下圖的4控制節(jié)點(diǎn)組網(wǎng)中，需要同時(shí)配置3種網(wǎng)絡(luò)互聯(lián)設(shè)備，6種網(wǎng)絡(luò)類型，12套網(wǎng)絡(luò)設(shè)備：包含4套FC-to-SAS轉(zhuǎn)換設(shè)備、4套FC交換機(jī)、4套10GE交換機(jī)；引擎內(nèi)雙控間不支持PCI-E互聯(lián)，需通過(guò)外部10GE/4GE以太網(wǎng)絡(luò)互聯(lián)；第三站點(diǎn)仲裁可選擇IP鏈路，可以將TieBreaker仲裁軟件直接安裝Linux主機(jī)上。Metro Cluster里面涉及幾類數(shù)據(jù)同步，包括兩個(gè)集群配置同步，NVRAM的日志同步，以及后端磁盤(pán)同步，系統(tǒng)里面這3類數(shù)據(jù)同步采用不同的網(wǎng)絡(luò)。兩集群配置同步網(wǎng)絡(luò)：通過(guò)專用冗余TCP/IP網(wǎng)絡(luò)，由CRS (Configuration Replication Ser

41、vice)服務(wù)實(shí)時(shí)同步兩個(gè)集群的配置數(shù)據(jù)，確保集群一端修改的配置，如新增IP，SVM或者新增、刪除用戶共享等配置操作，能夠自動(dòng)同步到遠(yuǎn)端HA Pair集群；NVRAM日志同步網(wǎng)絡(luò)：使用額外冗余的FC-VI集群適配器連接兩個(gè)跨站點(diǎn)的主控，F(xiàn)C-VI支持RDMA，支持Qos等功能，用于兩個(gè)集群間的NVRAM同步和心跳，既能保證心跳的優(yōu)先級(jí)，同時(shí)又能減少數(shù)據(jù)的寫(xiě)I/O的傳輸次數(shù)，因?yàn)镽DMA支持批量獲取一組地址空間技術(shù)，批量獲取一組地址以后，后面就直接傳輸數(shù)據(jù)，將FC協(xié)議2次寫(xiě)優(yōu)化成接近1次；后端數(shù)據(jù)下盤(pán)雙寫(xiě)網(wǎng)絡(luò)：控制器與存儲(chǔ)陣列間采用了獨(dú)特的FC-to-SAS設(shè)備，控制器數(shù)據(jù)傳輸采用的是FC網(wǎng)絡(luò)，而后端磁盤(pán)陣需要通過(guò)SAS進(jìn)行連接組網(wǎng)，因此需要先進(jìn)行FC和SAS轉(zhuǎn)換(Fibre Bridge)，用指定思科和博科型號(hào)專用交換機(jī)連接兩個(gè)站點(diǎn)控制器與后端磁盤(pán)，并完成協(xié)議轉(zhuǎn)換。（2）Metro Cluster集群：Metro Cluster每個(gè)控制器的