1、XVIS 雙活實(shí)施方案非經(jīng)本公司播。2014。 保留一切權(quán)利。技術(shù)，任何和個(gè)人不得擅自摘抄、本文檔內(nèi)容的部分或全部，并不得以傳商標(biāo)目錄項(xiàng)目背景介紹4需求調(diào)研5工程勘測(cè)5業(yè)務(wù)需求5雙活部署6基礎(chǔ)網(wǎng)絡(luò)環(huán)境搭建7SNS2124 端口規(guī)劃71.1.2 GE 心跳網(wǎng)絡(luò)互通9FC 互聯(lián)網(wǎng)絡(luò)互通10FC 交換機(jī) zone 劃分11FC 交換機(jī)單模級(jí)聯(lián)端口 Buffer Credit 設(shè)置12VIS 四節(jié)點(diǎn)集群搭建12檢測(cè) GE 心跳鏈路是否連通12Disable 心跳交換機(jī)的 STP 功能13檢測(cè)心跳網(wǎng)口工作速率是否正常13檢查外部心跳網(wǎng)口的 IP 是否清除14檢查心跳交換機(jī)網(wǎng)絡(luò)限制要求14VIS 四節(jié)點(diǎn)

2、license 導(dǎo)入153.2.7 VIS一致15修改心跳模式為外部心跳模式15集群搭建完成16VIS 虛擬化和鏡像配置16陣列側(cè)劃分仲裁盤給VIS 集群163.3.2 陣列側(cè)劃分?jǐn)?shù)據(jù)盤和 DCO 盤給VIS 集群16配置仲裁盤17創(chuàng)建磁盤組17修改邏輯盤別名18創(chuàng)建卷18創(chuàng)建鏡像193.4 VIS 雙活配置193.4.1 確定 VIS 四個(gè)節(jié)點(diǎn)的歸屬站點(diǎn)193.4.2 配置雙活站點(diǎn)20查詢 VIS 可以接管的可用陣列20配置陣列到對(duì)應(yīng)站點(diǎn)203.4.5 啟用雙活20查詢配置信息21刪除配置命令21設(shè)置優(yōu)先存活站點(diǎn)21設(shè)置siteread 策略223.5 VIS 雙活基本功能驗(yàn)證和可靠性驗(yàn)證2

3、24 案例234.1 VIS 心跳交換機(jī)開啟 STP 協(xié)議，導(dǎo)致集群搭建失敗234.2 雙活場(chǎng)景，VIS 心跳端口速率協(xié)商不一致導(dǎo)致集群搭建過出現(xiàn)反復(fù)重啟的現(xiàn)象24FC 交換機(jī)不設(shè)置 BB-credit buffer，導(dǎo)致單根單模光纖級(jí)聯(lián)后實(shí)測(cè)帶寬與理論帶寬相差很大25雙活場(chǎng)景，鏡像故障修復(fù)后，鏡像重同步速率緩慢25雙活場(chǎng)景，主站點(diǎn)癱瘓業(yè)務(wù)中斷恢復(fù)后，鏡像關(guān)系無法修復(fù)271 項(xiàng)目背景介紹在X 以往的業(yè)務(wù)系統(tǒng)中，僅考慮本地容災(zāi)，即通過集群的雙機(jī)系統(tǒng)(Cluster 或 HA)對(duì)業(yè)務(wù)應(yīng)用提供保護(hù)，在一臺(tái)服務(wù)器的軟硬件發(fā)生故障時(shí)，將整個(gè)業(yè)務(wù)切換到后備服務(wù)器上。該方法很大程度上避免了服務(wù)器的單點(diǎn)故障，

4、提高了整個(gè)業(yè)務(wù)系統(tǒng)的可用性。但是，隨著X 業(yè)務(wù)系統(tǒng)的發(fā)展，隨著競(jìng)爭(zhēng)的不斷加劇，在一些重要的系統(tǒng)中，客戶已經(jīng)不滿足于簡(jiǎn)單的本地保護(hù)。越來越多的客戶提出了要求更高的系統(tǒng)可用性，要求實(shí)現(xiàn)真正的異地容災(zāi)保護(hù)。因?yàn)橐坏┏霈F(xiàn)異常情況，如火災(zāi)、水災(zāi)、雷擊或某個(gè)方向線路故障等自然原因以及電源機(jī)器故障、人為破壞等非自然原因引起的，導(dǎo)致業(yè)務(wù)正常無法進(jìn)行和重要數(shù)據(jù)的丟失、破壞，造成的損失將不可估量。因此，X 要求業(yè)務(wù)系統(tǒng)可以在發(fā)生上述將損失降到最低點(diǎn)。時(shí)快速恢復(fù)，全面的異地容災(zāi)保護(hù)方案，意味著除了要實(shí)現(xiàn)本地的切換保護(hù)外，更要實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)異地復(fù)制和業(yè)務(wù)系統(tǒng)（包括數(shù)據(jù)庫和應(yīng)用）的實(shí)時(shí)切換。2需求調(diào)研2.1 工程勘測(cè)經(jīng)

5、過勘測(cè)，滿足實(shí)施要求。2.2 業(yè)務(wù)需求此次數(shù)據(jù)中心建設(shè)承擔(dān)局點(diǎn)的所有 IT 信息系統(tǒng)運(yùn)行。具體信息如下：業(yè)務(wù)類型備注數(shù)據(jù)庫sql server 2008庫，所有的數(shù)據(jù)勘測(cè)項(xiàng)目結(jié)果備注機(jī)房溫度機(jī)房濕度電源兩地距離級(jí)聯(lián)方式承載網(wǎng)信息3雙活部署VIS 雙活是將一個(gè)本地四節(jié)點(diǎn) VIS 集群部署到兩個(gè)站點(diǎn)，然后兩個(gè)站點(diǎn)的 VIS 集群同時(shí)接管兩個(gè)站點(diǎn)的陣列，將兩個(gè)站點(diǎn)陣列的服務(wù)器集群。的邏輯盤創(chuàng)建鏡像卷后提供給兩個(gè)站點(diǎn)組網(wǎng)圖：VIS 雙活部署流程如下：3.1 基礎(chǔ)網(wǎng)絡(luò)環(huán)境搭建站點(diǎn)間網(wǎng)絡(luò)環(huán)境的搭建與具體的網(wǎng)絡(luò)規(guī)劃項(xiàng)目，本文檔不做詳細(xì)描述。VIS 雙活需要在網(wǎng)絡(luò)規(guī)劃及實(shí)施完成后，才可以進(jìn)行部署，與雙活相關(guān)的

6、網(wǎng)絡(luò)內(nèi)容包括以下 4 點(diǎn)：3.1.1 SNS2124 端口規(guī)劃zhu SNS2124_1 端口規(guī)劃表:端口號(hào)對(duì)接設(shè)備端描述1,1zhu_S5600TA主節(jié)點(diǎn)A 控 P01,2zhu_S5600TB主節(jié)點(diǎn)B 控 P01,3VIS0VIS 節(jié)點(diǎn) 0 的端口 01,4VIS1VIS 節(jié)點(diǎn) 1 的端口 01,5VIS0VIS 節(jié)點(diǎn) 0 的 P2 口，用于跟主機(jī)連接1,6VIS1VIS 節(jié)點(diǎn) 1 的 P2 口，用于跟主機(jī)連接1,71,81,91,10zhu_SQL01主 SQL2008 服務(wù)器1,111,121,131,14bei SNS2124_1 端口規(guī)劃表:端口號(hào)對(duì)接設(shè)備端描述1,1zhu_S56

7、00TA主節(jié)點(diǎn)A 控 P11,2zhu_S5600TB主節(jié)點(diǎn)B 控 P11,3VIS0VIS 節(jié)點(diǎn) 0 的端口 11,4VIS1VIS 節(jié)點(diǎn) 1 的端口 11,5VIS0VIS 節(jié)點(diǎn) 0 的 P3 口，用于跟主機(jī)連接1,6VIS1VIS 節(jié)點(diǎn) 1 的 P3 口，用于跟主機(jī)連接1,71,81,91,10zhu_SQL01主 SQL2008 服務(wù)器1,111,121,131,141,151,161,171,181,191,202,1bei_S5600TA備節(jié)點(diǎn)A 控 P02,2bei_S5600TB備節(jié)點(diǎn)B 控 P02,3VIS2VIS 節(jié)點(diǎn) 2 的端口 02,4VIS3VIS 節(jié)點(diǎn) 3 的端口

8、02,5VIS2VIS 節(jié)點(diǎn) 2 的 P2 口，用于跟主機(jī)連接2,6VIS3VIS 節(jié)點(diǎn) 3 的 P2 口，用于跟主機(jī)連接2,72,82,92,10bei_SQL01備 SQL2008 服務(wù)器2,112,122,132,142,152,162,172,182,192,201.1.2 GE 心跳網(wǎng)絡(luò)互通VIS 集群四個(gè)節(jié)點(diǎn)部署在兩個(gè)站點(diǎn)，要保證四個(gè)節(jié)點(diǎn)的 4 個(gè)心跳 0 在一個(gè) VLAN，四個(gè)節(jié)點(diǎn)的 4個(gè)心跳 1 在一個(gè) VLAN。VIS 的心跳 0 是 5 號(hào)槽位的 P3 口，心跳 1 是 5 號(hào)槽位的 P1 口。以太網(wǎng)心跳組網(wǎng)圖如下：1,151,161,171,181,191,202,1be

9、i_S5600TA備節(jié)點(diǎn)A 控 P12,2bei_S5600TB備節(jié)點(diǎn)B 控 P12,3VIS2VIS 節(jié)點(diǎn) 2 的端口 12,4VIS3VIS 節(jié)點(diǎn) 3 的端口 12,5VIS2VIS 節(jié)點(diǎn) 2 的 P3 口，用于跟主機(jī)連接2,6VIS3VIS 節(jié)點(diǎn) 3 的 P3 口，用于跟主機(jī)連接2,72,82,92,10bei_SQL01備 SQL2008 服務(wù)器2,112,122,132,142,152,162,172,182,192,203.1.3 FC 互聯(lián)網(wǎng)絡(luò)互通VIS 集群四個(gè)節(jié)點(diǎn)部署在兩個(gè)站點(diǎn)，每個(gè)節(jié)點(diǎn) 1 號(hào)槽位 FC 接口卡的 P0 要互聯(lián)，P1 口要互聯(lián)。 要實(shí)現(xiàn) P0 互聯(lián)、P1 互

10、聯(lián)，需要將兩個(gè)站點(diǎn)的四個(gè)光纖交換機(jī)兩兩級(jí)聯(lián)。交換機(jī)級(jí)聯(lián)采用單模光纖級(jí)聯(lián)，目前 4G 單模光模塊采用光纖級(jí)聯(lián)最大支持距離為 30KM，8G 最大支持 25KM，16G 最大支持 10KM。如果兩個(gè)站點(diǎn)的光纖交換機(jī)采用 8G 的單模光模塊級(jí)聯(lián)，且距離超過了 25KM，那么就不可以使用 8G 單模光纖級(jí)聯(lián)的方式了，只能采用波分設(shè)備進(jìn)行級(jí)聯(lián)。下圖中光纖交換機(jī) A 表示站點(diǎn) 1 的交換機(jī) a 和站點(diǎn) 2 的交換機(jī) a 級(jí)聯(lián)后的設(shè)備，光纖交換機(jī) B 表示站點(diǎn) 1 的交換機(jī) b 和站點(diǎn) 2 的交換機(jī) b 級(jí)聯(lián)后的設(shè)備。3.1.4 FC 交換機(jī) zone 劃分雙活方案 zone 劃分采用兩兩劃分的方式，即一個(gè)

11、 zone 中只包含一個(gè)啟動(dòng)器和一個(gè)目標(biāo)器。如果服務(wù)器節(jié)點(diǎn)數(shù)量很多，采用兩兩劃分 zone 的方式會(huì)有很多 zone，使用的方式。3.1.5 FC 交換機(jī)單模級(jí)聯(lián)端口 Buffer Credit 設(shè)置在緩沖信用流協(xié)議（Buffer-Credit flow）中,發(fā)送端和目的端都設(shè)置了一個(gè)緩沖信用量（Buffer Credit）來規(guī)定在發(fā)送端沒有收到目的端返回的確認(rèn)幀的情況下能繼續(xù)發(fā)送幀的數(shù)量。發(fā)送端擁有一個(gè)緩沖信用量的計(jì)數(shù)器，每次發(fā)送端向目的端發(fā)出一個(gè)幀時(shí)，該計(jì)數(shù)器就進(jìn)行加1操作，即緩沖信用量加1。而目的端每次收到幀后，都會(huì)向發(fā)送端傳回一個(gè)確認(rèn)幀。發(fā)送端收到目的端傳回的一個(gè)確認(rèn)幀時(shí)，該計(jì)數(shù)器進(jìn)行

12、減1操作，即緩沖信用量減1。當(dāng)緩沖信用量達(dá)到設(shè)定值時(shí)，發(fā)送端將停止向目的端發(fā)送幀，直至收到目的端發(fā)出的確認(rèn)幀進(jìn)行信用量減 1 后才會(huì)繼續(xù)發(fā)送。這種機(jī)制可以防止兩端距離遙遠(yuǎn)而造成的幀丟失現(xiàn)象。根據(jù)兩個(gè)站點(diǎn)之間的單模級(jí)聯(lián)線路距離設(shè)置 FC 交換機(jī)單模級(jí)聯(lián)端口的 buffer credit 值。3.2 VIS 四節(jié)點(diǎn)集群搭建分為兩部分：環(huán)境檢測(cè)、搭建集群。首先介紹環(huán)境檢測(cè)部分：3.2.1 檢測(cè) GE 心跳鏈路是否連通在心跳的模式下，配置心跳口的IP，在CLI下使用vx命令檢測(cè)8個(gè)心跳口是否互通；外部心跳口使用的是控制框5號(hào)槽位板載的GE接口卡的P1 和P3端口，P3端口心跳0配置一個(gè)網(wǎng)段、P1端口心

13、跳1配置一個(gè)網(wǎng)段，這樣通過vx外部心跳連接圖見1.1.1節(jié)?？梢詸z測(cè)連接心跳0和心跳1 的網(wǎng)線是否連接錯(cuò)誤。3.2.2 Disable 心跳交換機(jī)的 STP 功能檢測(cè)心跳所經(jīng)過的兩站點(diǎn)之間的GE交換機(jī)STP功能是否enable，如果enable，需要disable。（生成樹協(xié)議STP會(huì)將VIS集群搭建過協(xié)商節(jié)點(diǎn)號(hào)的數(shù)據(jù)濾掉，導(dǎo)致集群節(jié)點(diǎn)號(hào)協(xié)商失敗，會(huì)出現(xiàn)集群搭建中多個(gè)節(jié)點(diǎn)號(hào)錯(cuò)亂、且有不斷復(fù)位的現(xiàn)象）3.2.3 檢測(cè)心跳網(wǎng)口工作速率是否正常檢測(cè)心跳網(wǎng)口工作速率是否正常：在 ISM 界面或者 CLI 模式下查看心跳口的運(yùn)行速率，必須為1000 Mbit/s。（每個(gè)端口的協(xié)商速率不一致，引起心跳包發(fā)

14、生阻塞，心跳報(bào)文響應(yīng)時(shí)間超過 8 秒以上，從而導(dǎo)致心跳異常集群腦裂，會(huì)出現(xiàn)四節(jié)點(diǎn)上電過各節(jié)點(diǎn)不斷復(fù)位的現(xiàn)象）3.2.4 檢查外部心跳網(wǎng)口的 IP 是否清除前兩步完成后，必須要清除心跳口的 IP 的配置，否則集群搭建必失敗，可以通過清 DB 的方式將所有配置清空。（VIS 集群，無論使用的是心跳，還是外部心跳，心跳 IP 默認(rèn)都是自動(dòng)生成的，不需要用戶配置心跳 IP，如果配置了心跳 IP，在開工過跳 IP 覆蓋，導(dǎo)致集群節(jié)點(diǎn)開工失?。?huì)將 VIS 自動(dòng)生成的心3.2.5 檢查心跳交換機(jī)網(wǎng)絡(luò)限制要求要確定兩個(gè)站點(diǎn)之間的 GE 網(wǎng)絡(luò)設(shè)備是否會(huì)將心跳 IP 過濾掉（外部心跳 IP 的默認(rèn)網(wǎng)段為 127

15、.127.11.0 和 127.127.12.0，思科交換機(jī)會(huì)將此網(wǎng)段的 IP 過濾掉），如果需要修改心跳 IP 的網(wǎng)段，使用命令 chgheartnet 修改心跳網(wǎng)段的 IP，心跳網(wǎng)段修改后，系統(tǒng)會(huì)提示系統(tǒng)重啟，輸入 “y”，重啟系統(tǒng)。如：chgheartnet -i 10.252.0.0。注意：只需要指定前 16 位的 IP 網(wǎng)段，后 16 位的 IP 網(wǎng)段是系統(tǒng)默認(rèn)生成的。心跳網(wǎng)段修改前：修改心跳網(wǎng)段 IP：心跳網(wǎng)段修改后：以上環(huán)境檢測(cè)的五步是必須做，如果有任何一個(gè)檢測(cè)項(xiàng)不通過，集群搭建必定失敗。下面介紹集群搭建：3.2.6 VIS 四節(jié)點(diǎn) license 導(dǎo)入搭建 VIS 四節(jié)點(diǎn)需要四

16、節(jié)點(diǎn) license，在兩套 VIS 上分別使用 showsys 命令獲取各自的 ESN（ISM 界面或者 VIS 控制框前面板也可以獲?。?，使用兩個(gè) ESN 申請(qǐng)四節(jié)點(diǎn) license。申請(qǐng)的四節(jié)點(diǎn) license 可以 VIS 四節(jié)點(diǎn)集群搭建前兩套 VIS 分別導(dǎo)入，也可以在四節(jié)點(diǎn)搭建完成開工失敗后再導(dǎo)入。3.2.7 VIS使用 show一致命令查看兩個(gè)站點(diǎn)的 VIS 的是否一致，如果不一致，需要使用命令chg修改。3.2.8 修改心跳模式為外部心跳模式將兩套 VIS 的心跳模式改為外部心跳模式。chgheartmode -m 13.2.9 集群搭建完成心跳模式改為外部心跳模式后，系統(tǒng)會(huì)提

17、示自動(dòng)重啟，重啟后，四節(jié)點(diǎn) VIS 集群搭建完成。3.3 VIS 虛擬化和鏡像配置3.3.1 陣列側(cè)劃分仲裁盤給 VIS 集群在兩個(gè)站點(diǎn)中任選一個(gè)站點(diǎn)的陣列劃分 3 個(gè) 1G 的盤是兩地三中心，需要三個(gè)站點(diǎn)的陣列各提供 1 塊 1G 的仲裁盤給 VIS 集群作為仲裁盤（雙活標(biāo)準(zhǔn)方案給 VIS 集群），在另外一個(gè)站點(diǎn)的陣列劃分 3 個(gè) 100M 的盤給 VIS 集群作為業(yè)務(wù)恢復(fù)時(shí)使用的仲裁盤（當(dāng)主站點(diǎn)完全癱瘓后，這 3個(gè)仲裁盤用來手動(dòng)拉起業(yè)務(wù)，這 3 個(gè)預(yù)留的仲裁盤必須提前在備用站點(diǎn)劃分好且給 VIS）。主站點(diǎn)陣列 3 個(gè) 1G 的仲裁盤：備站點(diǎn)陣列 3 個(gè) 100M 的預(yù)留仲裁盤：3.3.2

18、陣列側(cè)劃分?jǐn)?shù)據(jù)盤和DCO 盤給 VIS 集群兩個(gè)站點(diǎn)的陣列劃分相同數(shù)量的數(shù)據(jù)和 DCO 盤給 VIS 集群。主站點(diǎn)陣列提供的用于創(chuàng)建鏡像的數(shù)據(jù)和 DCO 盤：和 DCO 盤：備站點(diǎn)陣列提供的用于創(chuàng)建鏡像的數(shù)據(jù)3.3.3 配置仲裁盤在 VIS 側(cè)進(jìn)行掃盤，使用 3 個(gè)主站點(diǎn)上來的 3 個(gè) 1G 的盤配置仲裁盤（注意：不要使用備站點(diǎn)上來的 3 個(gè) 100M 的盤）3.3.4 創(chuàng)建磁盤組創(chuàng)建磁盤組，將兩個(gè)站點(diǎn)陣列上來的數(shù)據(jù)盤和 DCO 盤添加到該磁盤組中（注意：用作DCO 盤的邏輯盤選擇“不保留數(shù)據(jù)”）3.3.5 修改邏輯盤別名更改邏輯盤組內(nèi)邏輯盤的別名(便于管理與配置）；3.3.6 創(chuàng)建卷注意選擇

19、最大容量。3.3.7 創(chuàng)建鏡像給卷添加鏡像，添加鏡像完成之后，等待鏡像初始同步完成。（如果鏡像同步緩慢，請(qǐng)檢查 FC交換機(jī)單模級(jí)聯(lián)端口的 buffer credit 設(shè)置是否正確，及 VIS 端鏡像同步是否限速）VIS 雙活配置確定 VIS 四個(gè)節(jié)點(diǎn)的歸屬站點(diǎn)登陸 VIS 的 ISM 界面，查看 VIS 四節(jié)點(diǎn)狀態(tài)及四節(jié)點(diǎn)歸屬主備站點(diǎn)信息。（注：0 號(hào)框?qū)?yīng)的是 0、1 節(jié)點(diǎn)；1 號(hào)框?qū)?yīng)的是 2、3 節(jié)點(diǎn)。通過對(duì)比 ISM 界面上獲取的控制框序列號(hào)和控制框前面板SN，可以分析出主備站點(diǎn)的 VIS 節(jié)點(diǎn)號(hào)）上的3.4.2 配置雙活站點(diǎn)使用“settmirsite”將 VIS6600T 所有節(jié)點(diǎn)

20、分別配置到 A、B 兩個(gè)站點(diǎn)，例如指定 0 和 1 節(jié)點(diǎn)歸屬于 A 站點(diǎn)，站點(diǎn)名稱為 site_a，；配置指定 2 和 3 節(jié)點(diǎn)歸屬于 B 站點(diǎn)，站點(diǎn)名稱為 site_b：3.4.3 查詢 VIS 可以接管的可用陣列“showtmirarray”命令顯示VIS6600T 當(dāng)前接管的所有可用陣列：3.4.4 配置陣列到對(duì)應(yīng)站點(diǎn)根據(jù)實(shí)際鏡像業(yè)務(wù)和陣列的部署，將陣列配置到對(duì)應(yīng)站點(diǎn)，并指定別名。如將兩臺(tái)陣列分別配置在 A、B 兩個(gè)站點(diǎn)，且別名分別為“site_ZF_S5600T”和“site_XX_S5600T”。3.4.5 啟用雙活配置完站點(diǎn)后，“starttmir”啟用證一邊站點(diǎn) VIS 可以繼續(xù)

21、工作。雙活。以便站點(diǎn)間平面中斷后，可以進(jìn)行 VIS 仲裁，保3.4.6 查詢配置信息使用“showtmirconfinfo”查看配置結(jié)果。3.4.7 刪除配置命令增加新的鏡像陣列或調(diào)整原有鏡像陣列的部署時(shí)有可能需要重新配置雙活，重新配置前必須先“stoptmir”后才能重新完成上述幾步的配置；另外，重新配置一個(gè)站點(diǎn)前也必須先“deltmirsite-a”或“deltmirsite -b”刪除對(duì)應(yīng)站點(diǎn)配置；如果“sitetmirarray”錯(cuò)誤配置了某個(gè)陣列，可以使用 “deltmirarray”將其刪除，然后重新配置。3.4.8 設(shè)置優(yōu)先存活站點(diǎn)【可選配置】可以根據(jù)實(shí)際需要選擇一個(gè)站點(diǎn)作為優(yōu)先

22、級(jí)站點(diǎn)，即如果發(fā)生站點(diǎn)間心跳故障集群仲裁時(shí)，優(yōu)先存活該站點(diǎn)。如選擇 A 站點(diǎn)為優(yōu)先站點(diǎn)：3.4.9 設(shè)置 siteread 策略【可選配置】可以根據(jù)實(shí)際需要適當(dāng)提高讀性能，設(shè)置邏輯盤組內(nèi)所有鏡像卷優(yōu)先選擇讀本站點(diǎn)陣列。設(shè)置 siteread 策略，針對(duì)不同的磁盤組設(shè)置本地讀策略。3.5 VIS 雙活基本功能驗(yàn)證和可靠性驗(yàn)證雙活部署完畢以后，需要對(duì)雙活方案進(jìn)行基本功能驗(yàn)證和可靠性驗(yàn)證。4案例4.1 VIS 心跳交換機(jī)開啟 STP 協(xié)議，導(dǎo)致集群搭建失敗現(xiàn)象描述兩個(gè)站點(diǎn)的 VIS 的 IP 心跳，通過交換機(jī) CE12808 互聯(lián)，搭建過，出現(xiàn)集群中多個(gè)節(jié)點(diǎn)號(hào)錯(cuò)亂、且有不斷復(fù)位的現(xiàn)象，無法構(gòu)建 4

23、節(jié)點(diǎn)集群?？赡茉?.首先排查心跳鏈路是否互通，結(jié)果為 VIS 的 4 個(gè)節(jié)點(diǎn)能互通，鏈路狀態(tài)正?？蛇_(dá)；2.通過抓包分析，發(fā)現(xiàn) VIS 集群搭建初期的節(jié)點(diǎn)號(hào)協(xié)商幀（二層廣播包）從交換機(jī) CE12808 心跳 VLAN 的一個(gè)端口進(jìn)入后，沒有廣播到心跳 VLAN 的其余端口，由此斷定集群節(jié)點(diǎn)號(hào)協(xié)商幀被交換機(jī)過濾掉。3.排查交換機(jī)的配置，發(fā)現(xiàn) CE12808 的 STP 協(xié)議是默認(rèn)開啟的，這種協(xié)議會(huì)將一些特殊的廣播濾。由此出結(jié)論：VIS 采用外部心跳方式，連接 VIS 心跳端口的以太網(wǎng)交換機(jī)，不能開啟 STP 協(xié)議。處理步驟步驟1： 由網(wǎng)絡(luò)工程師在 CE12808步驟2： 重啟 4 節(jié)點(diǎn) VIS。

24、交換機(jī)中，關(guān)閉 VIS 心跳端口的 STP 協(xié)議；-結(jié)束建議與總結(jié)CE12808 交換機(jī)開啟 STP 協(xié)議后，端口從 up 到端口正常轉(zhuǎn)發(fā)，大概有 24 秒左右的時(shí)間，所以設(shè)備一上電成功就馬上發(fā)送報(bào)文的話就會(huì)被阻塞掉。S5700 和 S5300 默認(rèn)是不開啟全局 STP 協(xié)議的。但是，大部分交換機(jī)（如 CE12808 等）默認(rèn)是開啟 STP協(xié)議的，用于防止環(huán)路，如果 VIS 的心跳連接在這些交換機(jī)中，一定要注意在交換機(jī)上關(guān)閉 VIS 心跳端口的 STP 協(xié)議。4.2 雙活場(chǎng)景，VIS 心跳端口速率協(xié)商不一致導(dǎo)致集群搭建過出現(xiàn)反復(fù)重啟的現(xiàn)象現(xiàn)象描述VIS 集群搭建過，出現(xiàn)集群四個(gè)節(jié)點(diǎn)接連不斷重啟

25、的現(xiàn)象?？赡茉騐IS 集群四節(jié)點(diǎn)接連不斷重啟，原因通常與心跳有關(guān)，已知場(chǎng)景導(dǎo)致 VIS 集群節(jié)點(diǎn)不斷重啟的情況有：連接兩站點(diǎn) VIS 的中間網(wǎng)絡(luò)設(shè)備如果生成樹協(xié)議 STP 開啟，會(huì)將 VIS 集群節(jié)點(diǎn)協(xié)商報(bào)文過濾會(huì)導(dǎo)致節(jié)點(diǎn)協(xié)商失敗，會(huì)出現(xiàn)節(jié)點(diǎn)不斷復(fù)位的現(xiàn)象。在現(xiàn)網(wǎng)進(jìn)行排查，排除了上述這種情況。將主站點(diǎn)的一套 VIS 下電，備站點(diǎn)的一套 VIS 可以啟動(dòng)成功，不會(huì)出現(xiàn)不斷重啟的現(xiàn)象，而將主站點(diǎn)的一個(gè)節(jié)點(diǎn)上電，這個(gè)節(jié)點(diǎn)會(huì)接連不斷復(fù)位，進(jìn)一步判斷肯定是兩個(gè)站點(diǎn)之間的心跳鏈路有問題，通過收集日志分析發(fā)現(xiàn)是由于主站點(diǎn)的四個(gè)心跳端口速率協(xié)商異常（1000M 的速率協(xié)商成了 100M），備站點(diǎn)的端口協(xié)商正

26、常，兩端的心跳速率協(xié)商不一致會(huì)導(dǎo)致心跳報(bào)文發(fā)生阻塞，心跳響應(yīng)時(shí)間超過 8 秒會(huì)導(dǎo)致集群腦 裂，出現(xiàn)節(jié)點(diǎn)不斷復(fù)位的情況。處理步驟通過逐一排查交換機(jī)端口、VIS 心跳端口和連接網(wǎng)線，發(fā)現(xiàn)是網(wǎng)線質(zhì)量問題，更換質(zhì)量好的網(wǎng)線后，問題解決。建議與總結(jié)在搭建 VIS 四節(jié)點(diǎn)集群前，查看 8 個(gè)心跳端口的速率是否協(xié)商一致，如果不一致，需要排查原因且解決后，方可進(jìn)行集群搭建。4.3 FC 交換機(jī)不設(shè)置 BB-credit buffer，導(dǎo)致單根單模光纖級(jí)聯(lián)后實(shí)測(cè)帶寬與理論帶寬相差很大現(xiàn)象描述VIS 集群工作正常，兩個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)相距 7.2km，采用 4 對(duì) 8G 25KM 的單模光模塊級(jí)聯(lián)，斷開其中 3 對(duì)級(jí)

27、聯(lián)線路，只保留一對(duì)線路，理論帶寬應(yīng)為 750MBps，但是實(shí)測(cè)帶寬只有 220MBps，實(shí)測(cè)帶寬遠(yuǎn)低于理論帶寬?？赡茉驒z查兩個(gè)站點(diǎn)間級(jí)聯(lián)交換機(jī)是否設(shè)置 BB_credit buffer，沒有設(shè)置。處理步驟步驟1： 登錄 FC 交換機(jī)，按照SNS2124&SNS2224&SNS2248 光纖交換機(jī)長(zhǎng)距離傳輸 專項(xiàng)技術(shù)白皮書設(shè)置符合兩個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)距離的 BB_credit buffer；錯(cuò)誤!無效。步驟2： 在 FC 交換機(jī)中，查看同步帶寬是否符合預(yù)期。-結(jié)束建議與總結(jié)SNS2124/SNS2224/SNS2248FC 交換機(jī)端口默認(rèn)分配 8 個(gè) Buffer Credit。在不同傳輸速率下，

28、8 個(gè) Buffer Credit 支持的最遠(yuǎn)傳輸距離分別是：1 Gbps 速率支持 10 km 距離、 2Gbps 速率支持 5 km 距離、4 Gbps 速率支持 2 km 距離、8 Gbps 速率支持 1km 距離。交換機(jī)在沒有 Extended Fabric License 的下，支持的最遠(yuǎn)傳輸距離為 10 km，超過10 km 時(shí)，交換機(jī)必須需要配置 Extended Fabric License。4.4 雙活場(chǎng)景，鏡像故障修復(fù)后，鏡像重同步速率緩慢現(xiàn)象描述1、主站點(diǎn)和備站點(diǎn)各給 VIS 集群，在 VIS 上將這兩個(gè)相同大小的配置鏡像關(guān)系，服務(wù)器通過 VIS 下發(fā)業(yè)務(wù)會(huì)同時(shí)在兩個(gè)站點(diǎn)

29、的陣列上下發(fā)業(yè)務(wù)。2、當(dāng)備站點(diǎn)陣列故障，VIS 上鏡像卷的業(yè)務(wù)不會(huì)中斷，但是業(yè)務(wù)只會(huì)下發(fā)到主站點(diǎn)的陣列上，待備站點(diǎn)故障恢復(fù)后，需要修復(fù)鏡像，VIS 主節(jié)點(diǎn)上修復(fù)鏡像。3、鏡像修復(fù)完成后，可以查看鏡像的同步速率。4、100G 的，同步了 30 分鐘，同步進(jìn)度才到 35.79%，同步速度異常?？赡茉?、查看 FC 交換機(jī)的單模級(jí)聯(lián)光模塊 buffercredit 設(shè)置，發(fā)現(xiàn)設(shè)置正常。2、在陣列側(cè)開啟性能，發(fā)現(xiàn)寫 IO 帶寬在 8MBit/s，在 VIS 上查看發(fā)現(xiàn)鏡像已經(jīng)限速，Mirror auto 狀態(tài)為 ON，且 Throttle 為 100，表示鏡像限速，需要將限速關(guān)掉。處理步驟1、在 C

30、LI 下使用命令將限速關(guān)閉，Mirror auto 狀態(tài)為 OFF，且 Throttle 為 0，表示鏡像沒有限速。2、在陣列側(cè)查看寫 IO 帶寬上升到 600MBit/s。-結(jié)束建議與總結(jié)：雙活場(chǎng)景下鏡像同步速度慢的原因，一般情況下，需要排查交換機(jī)級(jí)聯(lián)端口的 buffer credit 設(shè)置和 VIS 本身鏡像是否限速。4.5 雙活場(chǎng)景，主站點(diǎn)癱瘓業(yè)務(wù)中斷恢復(fù)后，鏡像關(guān)系無法修復(fù)現(xiàn)象描述背景描述：標(biāo)準(zhǔn)的雙活方案采用兩地三中心的方式來部署 VIS 集群和仲裁盤，但有些局點(diǎn)沒有第仲裁站點(diǎn)，只能將三個(gè)仲裁盤分布到兩個(gè)站點(diǎn)：采用主站點(diǎn)兩個(gè)仲裁盤，備站點(diǎn)一個(gè)仲裁盤；或者三個(gè)仲裁盤全部部署在主站點(diǎn)，這兩

31、種部署方式的影響是一樣的，當(dāng)備站點(diǎn)全部癱瘓，業(yè)務(wù)不會(huì)中斷；而當(dāng)主站點(diǎn)全部癱瘓，業(yè)務(wù)會(huì)中斷，但是業(yè)務(wù)中斷后，可以在備站點(diǎn)通過手動(dòng)替換仲裁的方式將業(yè)務(wù)拉起。在進(jìn)行“單站點(diǎn)癱瘓（主站點(diǎn)癱瘓）”用例測(cè)試過遇到了一個(gè)問題-“故障邏輯盤變?yōu)?detach，脫離邏輯盤組，當(dāng)恢復(fù)邏輯盤后使用各種辦法都無法將這些盤掛接回邏輯盤組”。具體操作步驟和現(xiàn)象如下：1、下電主站點(diǎn) VIS 和陣列，注意：下電主站點(diǎn) VIS 和陣列前，要確保備站點(diǎn)的 3個(gè)用于拉起業(yè)務(wù)的預(yù)留的 100M 的仲裁盤已經(jīng)給 VIS，且 VIS 可以正常掃到盤。2、VIS 集群四個(gè)節(jié)點(diǎn)全部故障，業(yè)務(wù)中斷。3、待備站點(diǎn)的 VIS 啟動(dòng)完成（狀態(tài)為 cvmtimeout，表示啟動(dòng)失?。?。且備站點(diǎn)看不到仲裁盤信息。4、在 CLI 下使用 vxappend clrfen 命令清除仲裁，vxappend clearkey 命令清除 key值，然