雙活數(shù)據(jù)中心技術研究方案匯報 雙活數(shù)據(jù)中心研究項目組2020年3月10日 匯報內容 雙活 多活數(shù)據(jù)中心實現(xiàn)方案 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 上?？▓@ 上海集電港 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 匯報內容 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 上?？▓@ 上海集電港 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 WEB 應用層雙活實現(xiàn)機制 WEB 應用層雙活實現(xiàn)機制主要有三種 一是基于主機集群技術 二是基于WEBSERVER 應用中間件軟件自身集群軟件實現(xiàn)功能 三是基于負載均衡設備方式 城域互聯(lián) 站點選擇服務器 WEB層雙活工作機制 WEB層雙活工作機制 城域互聯(lián) 站點選擇服務器 WEB層雙活工作機制 城域互聯(lián) 站點選擇服務器 應用層雙活工作機制 城域互聯(lián) 應用層雙活工作機制 城域互聯(lián) 應用層雙活工作機制 城域互聯(lián) 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 上海卡園 上海集電港 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 數(shù)據(jù)庫層雙活實現(xiàn)示意圖 跨機房的ORACLERAC集群 VPLEX 實現(xiàn)數(shù)據(jù)零丟失和數(shù)據(jù)庫實時切換 跨機房的數(shù)據(jù)庫利用數(shù)據(jù)同步復制技術 通過應用部署實現(xiàn)讀寫分離 數(shù)據(jù)庫層雙活實現(xiàn)機制主要有兩種 一是基于ORACLERAC VPLEX 二是基于ORACLEDATAGUARD GOLDENGATE 數(shù)據(jù)庫層雙活實現(xiàn)機制 ERAC 數(shù)據(jù)庫層雙活實現(xiàn)機制 ERAC 數(shù)據(jù)庫層雙活實現(xiàn)機制 讀寫分離 主應用域 應用域1 主數(shù)據(jù)庫 應用域2 應用域k 客戶端1 客戶端2 客戶端k RAC Node1 RAC Node2 RAC Nodej 備數(shù)據(jù)庫 OracleDB Server ActiveDataGuard 輔助應用域 應用域1 應用域i 鏡像庫 OracleDB Server GoldenGateSharePlex存儲復制等 災備精算 數(shù)據(jù)庫層雙活實現(xiàn)機制 讀寫分離 主應用域 應用域1 主數(shù)據(jù)庫 應用域2 應用域k 客戶端1 客戶端2 客戶端k RAC Node1 RAC Node2 RAC Nodej 數(shù)據(jù)庫 OracleDB Server 主 輔助應用域 應用域1 應用域i k 鏡像庫 OracleDB Server GoldenGateSharePlex存儲復制等 災備精算 數(shù)據(jù)庫層雙活實現(xiàn)機制 讀寫分離 主應用域 應用域1 主數(shù)據(jù)庫 應用域2 應用域k 客戶端1 客戶端2 客戶端k RAC Node1 RAC Node2 RAC Nodej 數(shù)據(jù)庫 OracleDB Server 主 輔助應用域 應用域1 應用域i k 鏡像庫 OracleDB Server 主 輔助應用域 應用域1 應用域i k 數(shù)據(jù)庫層雙活實現(xiàn)機制對比 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 上?？▓@ 上海集電港 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 系統(tǒng)平臺層雙活實現(xiàn)機制 VMFSActive Active ESX備份代理 VPLEXMetro 城域互聯(lián)RTT 5ms 卡園 集電港 AccessAnywhere LAN SAN SAN VPLEXMetro FC VMFSActive Active StorageArray StorageArray ITOIVDC集中監(jiān)控控制臺 AvamarDataStore AvamarDataStore AvamarProxyVM ITOI虛擬服務器 Nexus7000 Nexus7000 ESX ESX ESX備份代理 ITOI虛擬服務器 ESX ESX SAN SAN LAN 備份數(shù)據(jù)復制 虛機在線透明遷移 基于VPLEX技術的虛擬機雙活解決方案 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 上?？▓@ 上海集電港 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 存儲復制示意圖 利用基于存儲的數(shù)據(jù)復制 可以實現(xiàn)災備 但不能實現(xiàn)實時雙活 災備數(shù)據(jù)不能實時使用 切換時間較長 主機卷工作示意圖 主機 磁盤陣列 磁盤陣列 城域互聯(lián) LogicVolume 上海集電港 上海卡園 PhysicalVolume PhysicalVolume 鏡像 I O I O I O 同步距離 利用基于主機的卷管理軟件 實現(xiàn)物理卷映射為邏輯卷的方式 將兩個數(shù)據(jù)中心的物理卷 映射為一個主機可見的邏輯卷 并在邏輯卷的層次 實現(xiàn)I O分離 城域互聯(lián) 虛擬機群 10110 10110 10110 10110 ACK ACK ACK ACK 同步距離 主機 主機 磁盤陣列 磁盤陣列 V PlexCluster 1 上海卡園 V PlexCluster 2 上海集電港 分布式的設備部署 存儲雙活示意圖 存儲雙活實現(xiàn)機制 存儲雙活實現(xiàn)機制主要有四種 一是基于主機卷復制技術 二是基于存儲虛擬化技術 三是基于存儲復制技術 四是基于SAN網絡復制技術 匯報內容 雙活 多活數(shù)據(jù)中心實現(xiàn)層次 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 上?？▓@ 上海集電港 訪問接入層 Web層 應用層 數(shù)據(jù)庫層 存儲層 北京稻香湖 網絡層 網絡層 網絡層 系統(tǒng)平臺層 系統(tǒng)平臺層 系統(tǒng)平臺層 虛擬中心 虛擬服務 虛擬資源 虛擬層次 扁平化網絡接入 網絡扁平化 將實現(xiàn)全公司業(yè)務終端的便捷網絡接入和快速網絡傳輸 將實現(xiàn)網絡平臺與業(yè)務平臺松耦合的跨越 降低業(yè)務系統(tǒng)部署位置對用戶端的影響 核心網將成為多中心網絡傳輸平臺 有效保障了多活中心的靈活部署 大大降低多活中心廣域網部署復雜度和資金投入 訪問接入層的雙活實現(xiàn)機制 為滿足雙活數(shù)據(jù)中心的需求 必須使客戶端的請求在多個中心進行智能選擇 實現(xiàn)業(yè)務的連續(xù)性 性能最優(yōu) 故障切換 按需連接 實現(xiàn)站點選擇通常有兩種方式 一是傳統(tǒng)站點輪詢技術 二是站點負載均衡技術 卡園數(shù)據(jù)中心 匯聚層 接入層 負載均衡設備 核心網 訪問接入層的雙活實現(xiàn)方案 WEB AP DB WEB AP DB 集電港數(shù)據(jù)中心 匯聚層 接入層 負載均衡設備 WEB AP DB WEB AP DB 站點選擇設備 站點選擇設備 js cbps8 clic 城域互聯(lián) 1 5 1 5 2 3 用戶端通過公司內網DNS解析域名請求 DNS解析請求被轉向站點選擇設備站點選擇設備探測域名所對應的多個服務器的狀態(tài) 并返回最合適的服務器IP地址 以實現(xiàn)多數(shù)據(jù)中心間負載均衡用戶訪問對應的WEB 應用服務器當其中一個數(shù)據(jù)中心的WEB 應用服務器出現(xiàn)故障或數(shù)據(jù)中心出現(xiàn)故障 用戶自動流量自動切換到正常數(shù)據(jù)中心的服務器 從而實現(xiàn)雙活 站點選擇設備對WEB 應用服務器狀態(tài)的檢測 卡園數(shù)據(jù)中心 匯聚層 接入層 負載均衡設備 核心網 WEB 應用層雙活實現(xiàn)方案 WEB AP DB WEB AP DB 集電港數(shù)據(jù)中心 匯聚層 接入層 負載均衡設備 WEB AP DB WEB AP DB js cbps8 clic 城域互聯(lián) 1 2 2 用戶不直接訪問服務器 而是訪問負載均衡設備的虛擬IP負載均衡設備探測虛IP對應的多個服務器的狀態(tài) 將流量指向合適的服務器 并在業(yè)務處理過程中保持會話的一致性當其中一臺WEB 應用服務器出現(xiàn)故障時 用戶自動流量自動切換到正常的服務器 從而實現(xiàn)數(shù)據(jù)中心內部高可用當數(shù)據(jù)中心出現(xiàn)故障時 通過訪問接入層策略將流量遷引至正常數(shù)據(jù)中心 負載均衡設備對于會話狀態(tài)的保持負載均衡設備對WEB 應用服務器狀態(tài)的檢測 2 網絡層雙活實現(xiàn)機制 兩地三中心多活模式下的網絡互聯(lián)和存儲備份 需要保證IP網絡的高可用性 又要保證能夠滿足既定RTO RPO目標及多活要求 大量使用Vmware虛擬化技術 需要多活中心間二層互通 同城間同步數(shù)據(jù)復制 需滿足OracleDataGuard同步復制或ORACLERAC VPLEX的實際要求 異地間異地數(shù)據(jù)復制技術 需滿足OracleDataGuard Goldengate技術的實際要求 考慮在卡園和集電港間部署DWDM設備 實現(xiàn)IP網 存儲網的高可用 網絡上通過直接二層互聯(lián)或OTV技術實現(xiàn)二層互通 在北京和上海間用SDH構建核心傳輸網 實現(xiàn)IP網絡高速互通 同城網絡互聯(lián)方案 業(yè)務主機 存儲 存儲交換機 FC 城域波分系統(tǒng)可以提供豐富和大量的光纖接口 如 GE 10GE FC等 城域波分 主數(shù)據(jù)中心 光傳輸設備 以太交換機 業(yè)務主機 存儲 存儲交換機 FC 同城數(shù)據(jù)中心 光傳輸設備 以太交換機 DWDM DenseWavelengthDivisionMultiplexing 密集型光波復用 VMotion遷移虛擬機 SAN iSCSI或NAS 動態(tài)遷移可在X86架構的VMWAREESX上實現(xiàn) 在不中斷服務的情況下 將VM遷移到其他的物理服務器上 可用在災備 資源調整 服務器維護等場合 實現(xiàn)遷移的服務器必須在一個二層網絡內 VM的GW在相同設備上 虛擬機動態(tài)遷移需要二層網絡的支持 同城網絡二層擴展需求 OTV虛擬化技術有兩個或以上的數(shù)據(jù)中心L2互聯(lián)需求或者數(shù)據(jù)中心內有跨L3的L2連接需求 需要盡量避免跨數(shù)據(jù)中心STP環(huán)路 優(yōu)化跨數(shù)據(jù)中心擴展局域網的廣播流量 對多地點的網關一致性有配套的解決方案 需要支持跨數(shù)據(jù)中心虛擬資源的自由調度 需要建立跨數(shù)據(jù)中心的服務器集群等 OTV技術不受數(shù)據(jù)中心互聯(lián)介質影響 Source IPs OTV OTV Receiver OTV IPA 數(shù)據(jù)中心1 數(shù)據(jù)中心2 生產服務器 主數(shù)據(jù)中心 同城數(shù)據(jù)中心 A B 0 0 OTV Source IPs IPA Receiver 同城網絡連接示意圖 IPB Internet CN2MPLS核心網 CN2MPLS核心網 Internet 集電港數(shù)據(jù)中心 卡園數(shù)據(jù)中心 DMZ路由 廣域網路由 廣域網路由 DMZ路由 OTV服務 核心交換Catalyst6500 核心交換 DWDM通信系統(tǒng)ONS15400 生產應用匯聚交換 生產應用匯聚交換 同城網絡連接實現(xiàn)方案 Nexus7000 Nexus7000 異地網絡連接示意圖 上海數(shù)據(jù)中心 北京數(shù)據(jù)中心 155 622MSDH FCIP隧道 Source IPs IPA VLAN1 OTV Receiver IPB VLAN1 OTV 數(shù)據(jù)中心雙活 多活的實現(xiàn)示意圖 廣域網 Active Active應用服務器層 Active Standby數(shù)據(jù)庫層orActive ActiveForDifferentApplication Active ActiveWeb層 廣域網 運營商A 運營商B INTERNET 盤陣 數(shù)據(jù)庫 應用 Web 網絡核心 匯聚 接入 Active StandbyWeb層 異步數(shù)據(jù)復制 Active Standby應用服務器層 Active Standby數(shù)據(jù)庫層 上?？▓@ 上海集電港 北京稻香湖 INTERNET 訪問 Active Active用戶訪問層 Active Active用戶訪問層 同步數(shù)據(jù)復制 155 622MSDH DMZ區(qū) 核心網 廣域網 LAN區(qū) 安全管理區(qū) DMZ區(qū) 核心網 廣域網 LAN區(qū) 安全管理區(qū) Internet 站點選擇服務路由優(yōu)化 站點選擇服務路由優(yōu)化 防火墻入侵檢測 防火墻入侵檢測 DWDM 統(tǒng)一的安全管理 安全事件的關聯(lián) CN2MPLS核心網 集電港數(shù)據(jù)中心 卡園數(shù)據(jù)中心 雙活中心安全服務部署 事件收集分析和關聯(lián) 事件收集分析和關聯(lián) 站點選擇服務防火墻入侵防御 站點選擇服務防火墻入侵防御 雙活中心網絡路徑管理 DMZ區(qū) 核心網 廣域網 網絡匯聚區(qū) DMZ區(qū) 核心網 廣域網 Internet 站點選擇服務防火墻入侵防御 站點選擇服務路由優(yōu)化 站點選擇服務路由優(yōu)化 防火墻負載均衡 防火墻入侵檢測 DWDM CN2MPLS核心網 集電港數(shù)據(jù)中心 卡園數(shù)據(jù)中心 網絡匯聚區(qū) 服務器區(qū) 服務器區(qū) 站點選擇服務防火墻入侵防御 防火墻Active Standby 二層網關路由控制站點選擇負載均衡防火墻 網絡路徑管理 匯報內容 相關技術總結 實現(xiàn)難點 應用系統(tǒng)分級 核心系統(tǒng)采用讀寫分離 非核心系統(tǒng)虛擬化 存儲不虛擬化 核心系統(tǒng) UNIX應用技術方案 非核心系統(tǒng) X86平臺應用 綜合方案一 成本分析主要依據(jù)是與原有的兩地三中心方案做對比 分析需要增加的成本 核心系統(tǒng) UNIX應用需增加的成本 非核心系統(tǒng) X86平臺應用需增加的成本 綜合方案一成本分析 核心系統(tǒng)采用ExtendedRAC 非核心系統(tǒng)虛擬化 存儲虛擬化 核心系統(tǒng) UNIX應用技術方案 非核心系統(tǒng) X86平臺應用 綜合方案二 核心系統(tǒng) UNIX應用需增加的成本 非核心系統(tǒng) X86平臺應用需增加的成本 綜合方案二成本分析 核心系統(tǒng)采用讀寫分離 非核心系統(tǒng)虛擬化 非核心存儲虛擬化 核心系統(tǒng) UNIX應用技術方案 非核心系統(tǒng) X86平臺應用 綜合方案三 核心系統(tǒng) UNIX應用需增加的成本 非核心系統(tǒng) X86平臺應用需增加的成本 綜合方案三成本分析 匯報內容 技術測試方案 基于雙活規(guī)劃設計 模擬卡園和集電港基礎架構環(huán)境 驗證關鍵技術要點 并評估整體方案的可行性 包括 1 整體架構的可行性 2 實現(xiàn)跨機房的虛擬資源靈活調度 統(tǒng)一管理 提供基礎架構云服務 3 實現(xiàn)對用戶透明的應用服務負載均衡 4 異常運行狀態(tài)下 實現(xiàn)對用戶透明的快速應用服務切換 包括接入層 應用層 數(shù)據(jù)庫層 存儲層 網絡層等 5 對各類相關技術進行功能性測試 基于測試結果 進一步明確未來卡園和集電港雙活實現(xiàn)目標 通過測試 發(fā)現(xiàn)規(guī)劃設計中存在的問題與不足 并對設計規(guī)劃進行相應的調整 通過測試 識別雙活中心實施和管理中可能存在的技術風險 作為后續(xù)實施計劃和運維方案設計的參考 在測試過程中 幫助運維管理人員熟悉新引入的解決方案和設備配置方法 測試目標 測試場地 北京朝陽門機房測試時間 2011年10 11月測試人員 中國人壽雙活研究項目組主導 相關廠商參與 包括 思科 HP EMC Vmware Oracle HDS F5 Quest 博科 IBM等 測試部署 模擬卡園 模擬集電港 模擬遠程節(jié)點 存儲 MDS MDS GSS GSS DWDM ONS ONS 應用終端 2 ISR2800 Cat3750 N7K N7K ACE TUXEDO應用服務器 存儲 VPlex Web服務器 應用與SQL數(shù)據(jù)庫服務器 基于虛擬機 Web服務器 應用與SQL數(shù)據(jù)庫服務器 基于虛擬機 TUXEDO應用服務器 OracleRAC服務器 2 終端服務器 管理服務器 ITOI A