1、,BOSS系統(tǒng)容災(zāi)建設(shè)經(jīng)驗(yàn)交流 無(wú)錫，江蘇,關(guān)鍵業(yè)務(wù)識(shí)別和 容災(zāi)目標(biāo)分析,系統(tǒng)設(shè)計(jì)和預(yù)算,測(cè)試和演習(xí),容災(zāi)規(guī)劃的維護(hù),今日提要,一、BOSS系統(tǒng)容災(zāi)技術(shù)分析 二、新大陸B(tài)OSS容災(zāi)管理系統(tǒng) 三、BOSS容災(zāi)系統(tǒng)持續(xù)性建設(shè)思路,第一部分 BOSS容災(zāi)技術(shù)分析,容災(zāi)設(shè)計(jì)關(guān)鍵點(diǎn),數(shù)據(jù)復(fù)制 災(zāi)難恢復(fù)流程設(shè)計(jì),數(shù)據(jù)復(fù)制技術(shù)分析,RTO、RPO目標(biāo)要求 業(yè)務(wù)模式復(fù)雜度考慮 IO吞吐量情況 管理復(fù)雜度考慮 技術(shù)分險(xiǎn)考慮,10公里技術(shù)分析 百公里以上技術(shù)分析,重要的 BC/DR 指標(biāo),Recovery Time Objective (RTO) 可接受的最長(zhǎng)的,由災(zāi)難發(fā)生到業(yè)務(wù)恢復(fù)所經(jīng)歷的時(shí)間. RTO 包括兩

2、部分 明確災(zāi)難的時(shí)間 執(zhí)行災(zāi)難恢復(fù)流程所消耗的時(shí)間 Recovery Point Objective (RPO) 為恢復(fù)業(yè)務(wù)正常運(yùn)行,可接受的最遠(yuǎn)的業(yè)務(wù)數(shù)據(jù)恢復(fù)點(diǎn).,業(yè)務(wù)模式復(fù)雜度考慮,對(duì)應(yīng)用透,明的方案,與應(yīng)用相,關(guān)的方案,磁盤(pán)卷管理器,復(fù)制,TP Monitors,應(yīng)用日志隊(duì)列,適用于復(fù)雜OLTP系統(tǒng),適用于批量數(shù)據(jù)處理系統(tǒng),技術(shù)風(fēng)險(xiǎn) 實(shí)施周期 可靠性,數(shù)據(jù)庫(kù)技術(shù),存儲(chǔ)系統(tǒng),應(yīng)用軟件,業(yè)務(wù)模式復(fù)雜度考慮,業(yè)務(wù)實(shí)時(shí)度 是否直接面對(duì)用戶(hù)的實(shí)時(shí)響應(yīng) 業(yè)務(wù)復(fù)雜度 是否只是簡(jiǎn)單數(shù)據(jù)轉(zhuǎn)換或數(shù)據(jù)查詢(xún),業(yè)務(wù)模式雜度考慮,實(shí)時(shí)復(fù)雜系統(tǒng),實(shí)時(shí)簡(jiǎn)單系統(tǒng),非實(shí)時(shí)復(fù)雜系統(tǒng),非實(shí)時(shí)簡(jiǎn)單系統(tǒng),營(yíng)業(yè)帳務(wù)系統(tǒng),簡(jiǎn)單查詢(xún)系統(tǒng)

3、,計(jì)費(fèi)、結(jié)算、統(tǒng)計(jì)分析系統(tǒng),重點(diǎn)考慮采用系統(tǒng)手段實(shí)現(xiàn)數(shù)據(jù)容災(zāi),IO吞吐量情況,圖例：營(yíng)業(yè)帳務(wù)存儲(chǔ)系統(tǒng)的寫(xiě)磁盤(pán)I/O情況,18：20分寫(xiě)IO尖峰值 9136 iops,15：20分寫(xiě)IO尖峰值 7422 iops,管理復(fù)雜度和技術(shù)風(fēng)險(xiǎn)考慮,后備數(shù)據(jù)庫(kù)技術(shù),基于數(shù)據(jù)庫(kù)技術(shù)的產(chǎn)品軟件（SharePlex）,距離影響,一個(gè)I/O通過(guò)遠(yuǎn)程鏈路寫(xiě)到異地系統(tǒng)，涉及到4個(gè)技術(shù)參數(shù)： 帶寬 距離 協(xié)議轉(zhuǎn)換的時(shí)延 數(shù)據(jù)寫(xiě)入存儲(chǔ)陣列所需時(shí)間,10公里條件下：同步數(shù)據(jù)復(fù)制/異步數(shù)據(jù)復(fù)制 百公里條件下：異步數(shù)據(jù)復(fù)制/同步異步結(jié)合的多跳方案,第二部分 新大陸B(tài)OSS容災(zāi)管理系統(tǒng),容災(zāi)管理軟件設(shè)計(jì)考量 操作性功能 維護(hù)支持

4、性功能 容災(zāi)切換演習(xí)和系統(tǒng)維護(hù),對(duì)容災(zāi)管理軟件而言，最關(guān)鍵功能是什么？,能夠在災(zāi)難發(fā)生時(shí)，通過(guò)對(duì)管理軟件的操作，順利完成系統(tǒng)切換。,容災(zāi)管理軟件功能介紹-切換導(dǎo)航,一、人性化的切換導(dǎo)航 系統(tǒng)支持多個(gè)角色共同操作完成（1個(gè)總負(fù)責(zé)人、多個(gè)操作人員）。 各類(lèi)角色可以根據(jù)提示一步步操作 可以配置各步驟的依賴(lài)關(guān)系，實(shí)現(xiàn)操作人員的互相協(xié)作 切換進(jìn)程可視化，各個(gè)參與角色都能看到切換到什么地步。 最大化自動(dòng)化操作，對(duì)系統(tǒng)狀況的檢測(cè)（主機(jī)、數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)）、應(yīng)用軟件的啟動(dòng)/停止、中間件的啟動(dòng)/停止，都通過(guò)操作界面來(lái)驅(qū)動(dòng)相應(yīng)的接口引擎來(lái)執(zhí)行。 管理外部接口的聯(lián)系人方式管理,為了能夠在關(guān)鍵時(shí)刻進(jìn)行切換，除了切換導(dǎo)航，

5、還要容災(zāi)管理軟件做什么？,支持經(jīng)常性、多層次的演練功能。 支持操作人員培訓(xùn)和學(xué)習(xí)、知識(shí)庫(kù)的累積。 對(duì)生產(chǎn)軟件進(jìn)行管理，確保災(zāi)備中心和生產(chǎn)中心的軟件版本相同。,容災(zāi)管理軟件功能介紹(續(xù)1),切換導(dǎo)航 切換演習(xí) 模擬演示（自動(dòng)演示、手工演示）,切換導(dǎo)航： 用于災(zāi)難發(fā)生時(shí)實(shí)際切換。 少了應(yīng)用停止過(guò)程，比切換演習(xí)簡(jiǎn)單,切換演習(xí)： 按照 DRP要求做練習(xí) 和切換導(dǎo)航相比，多了應(yīng)用停止過(guò)程 會(huì)對(duì)系統(tǒng)產(chǎn)生實(shí)際的影響,模擬演示： 分成自動(dòng)演示和手工演示 自動(dòng)演示是把切換演習(xí)的過(guò)程錄制下來(lái) 手工演習(xí)過(guò)程和切換演習(xí)完全相同， 對(duì)系統(tǒng)不會(huì)產(chǎn)生實(shí)際影響。,容災(zāi)管理軟件功能結(jié)構(gòu),二、容災(zāi)切換演習(xí)和系統(tǒng)維護(hù),切換演習(xí)目的

6、,檢驗(yàn)操作流程 檢驗(yàn)容災(zāi)系統(tǒng)RTO、RPO指標(biāo) 檢驗(yàn)容災(zāi)變更管理的質(zhì)量 訓(xùn)練災(zāi)難恢復(fù)團(tuán)隊(duì)的工作協(xié)調(diào)性,切換演習(xí)過(guò)程,切換演習(xí)準(zhǔn)備 組織切換團(tuán)隊(duì) 從DRP選取切換過(guò)程(切換過(guò)程、切換失敗過(guò)程、切換回切過(guò)程、回切失敗過(guò)程），分配操作人員 流程圖 檢查表 步驟 切換過(guò)程評(píng)審 演習(xí)前檢查和預(yù)演 執(zhí)行切換演習(xí) 業(yè)務(wù)測(cè)試 切換結(jié)果檢查（數(shù)據(jù)一致性、應(yīng)用狀況）,回切 業(yè)務(wù)測(cè)試 業(yè)務(wù)恢復(fù) 切換總結(jié),切換演習(xí)準(zhǔn)備,每次切換要準(zhǔn)備切換過(guò)程、切換失敗恢復(fù)過(guò)程、回切過(guò)程、回切失敗恢復(fù)過(guò)程。 對(duì)于演習(xí)過(guò)程，由于多了很多檢查過(guò)程，又想對(duì)生產(chǎn)影響最小，制定嚴(yán)密的演習(xí)計(jì)劃是必不可少的。 通過(guò)計(jì)劃工具的一些特性，例如“關(guān)鍵路徑

7、”，可以找到對(duì)于縮短過(guò)程最有價(jià)值的步驟。 每次演習(xí)都要準(zhǔn)備很多檢查表,總負(fù)責(zé)人啟動(dòng)導(dǎo)航 總負(fù)責(zé)人根據(jù)本次切換切換分配角色 相關(guān)角色負(fù)責(zé)人會(huì)收到短信通知 角色負(fù)責(zé)人進(jìn)入系統(tǒng)，簽到 總負(fù)責(zé)人通過(guò)界面可以看到各個(gè)角色的簽到情況和任務(wù)執(zhí)行狀態(tài)。 角色負(fù)責(zé)人如果遇到某個(gè)步驟執(zhí)行失敗，可以選擇強(qiáng)制跳過(guò)該步驟，不會(huì)影響整個(gè)切換。 總負(fù)責(zé)人可以選擇是否中止切換導(dǎo)航。,執(zhí)行切換演習(xí),切換過(guò)程監(jiān)控,各個(gè)角色可以看到 各個(gè)角色登陸情況 切換步驟完成情況 總流程圖 操作員可以看到自己已經(jīng)完成的步驟、可以執(zhí)行的步驟、等待別人完成的步驟。 切換完成后生成切換報(bào)告,容災(zāi)系統(tǒng)運(yùn)行維護(hù),日常監(jiān)控/維護(hù) 主機(jī)/操作系統(tǒng)/數(shù)據(jù)庫(kù)等

8、運(yùn)行正常 數(shù)據(jù)庫(kù)定時(shí)啟動(dòng)停止 清單轉(zhuǎn)發(fā)、入庫(kù)是否正常 同步、稽核告警的處理 日志清理 變更管理 清單庫(kù)表結(jié)構(gòu) IT架構(gòu)/系統(tǒng)參數(shù)同步 切換步驟的更新 組織架構(gòu) 根據(jù)演習(xí)計(jì)劃進(jìn)行演習(xí),第三部分 BOSS容災(zāi)系統(tǒng)持續(xù)建設(shè)思路,系統(tǒng)總體持有成本,運(yùn)營(yíng)成本,投資成本,競(jìng)爭(zhēng)態(tài)勢(shì),設(shè)備投資、使用空間成本 設(shè)備利用率成本 高端技術(shù)架構(gòu)成本 設(shè)備消耗、維護(hù)成本 人員技術(shù)培訓(xùn)成本 系統(tǒng)運(yùn)營(yíng)管理成本 系統(tǒng)結(jié)構(gòu)變化靈活度，資源調(diào)度靈活度 應(yīng)用系統(tǒng)的開(kāi)發(fā)和投產(chǎn)速度 災(zāi)難備份沒(méi)有部署到所有環(huán)節(jié),支撐系統(tǒng)建設(shè)原則,綜合化,集中化,標(biāo)準(zhǔn)化,安全性,平滑性,將原有業(yè)務(wù)支撐系統(tǒng)的客戶(hù)管理和服務(wù)功能剝離出來(lái)，并對(duì)流程、應(yīng)用和數(shù)據(jù)

9、進(jìn)行全面整合，強(qiáng)化對(duì)個(gè)人大客戶(hù)、集團(tuán)客戶(hù)、營(yíng)銷(xiāo)服務(wù)渠道、合作伙伴的個(gè)性化服務(wù)，以及對(duì)產(chǎn)品、資源、門(mén)戶(hù)的綜合化管理。,繼續(xù)保持統(tǒng)一平臺(tái)、統(tǒng)一數(shù)據(jù)庫(kù)的架構(gòu)體系，持續(xù)提升系統(tǒng)準(zhǔn)確性、靈活性、實(shí)時(shí)性和快速業(yè)務(wù)開(kāi)發(fā)能力的服務(wù)優(yōu)勢(shì)。,建立符合國(guó)際標(biāo)準(zhǔn)的中國(guó)移動(dòng)企業(yè)級(jí)業(yè)務(wù)支撐網(wǎng)標(biāo)準(zhǔn)，實(shí)現(xiàn)以客戶(hù)為核心的相關(guān)模型、基本系統(tǒng)功能、關(guān)鍵業(yè)務(wù)流程和對(duì)外接口的標(biāo)準(zhǔn)化，逐步完成業(yè)務(wù)支撐系統(tǒng)的網(wǎng)絡(luò)化和產(chǎn)品化，加強(qiáng)對(duì)新業(yè)務(wù)的支撐能力。,充分利用現(xiàn)有資源，保證原有業(yè)務(wù)和近期將開(kāi)展的業(yè)務(wù)不受影響，強(qiáng)調(diào)規(guī)模與效益并重，分階段構(gòu)架和完善業(yè)務(wù)支撐網(wǎng)。,業(yè)務(wù)支撐網(wǎng)的建設(shè)要求達(dá)到電信級(jí)的安全標(biāo)準(zhǔn)，對(duì)CRM系統(tǒng)的一些關(guān)鍵要素進(jìn)行監(jiān)控，同時(shí)為

10、容災(zāi)系統(tǒng)的建設(shè)奠定基礎(chǔ)。,災(zāi)備系統(tǒng)的持續(xù)發(fā)展思路,兩種雙中心 不對(duì)等雙中心 對(duì)等雙中心 兩個(gè)瘦身計(jì)劃 生產(chǎn)系統(tǒng)瘦身 災(zāi)備系統(tǒng)瘦身,雙中心,雙中心的出發(fā)點(diǎn) 提高兩個(gè)系統(tǒng)資源的生產(chǎn)利用率 降低災(zāi)難影響面 強(qiáng)調(diào)資源利用率，建立“不對(duì)等雙中心” 提高資源利用率并不意味著兩個(gè)中心的所有資源100利用才能滿(mǎn)足生產(chǎn)的需求。 區(qū)別操作型、分析型，業(yè)務(wù)復(fù)雜度不同的生產(chǎn)應(yīng)用，對(duì)于主機(jī)、存儲(chǔ)、網(wǎng)絡(luò)資源可以提出不同的資源利用率要求 強(qiáng)調(diào)降低災(zāi)難影響面，建立“對(duì)等雙中心”,不對(duì)等雙中心,接入平臺(tái),接入平臺(tái),生產(chǎn)中心1,SAN,數(shù)據(jù)平臺(tái),業(yè)務(wù)平臺(tái),接入平臺(tái),接入平臺(tái),SAN,災(zāi)備數(shù)據(jù)平臺(tái),補(bǔ)充業(yè)務(wù)平臺(tái),外部系統(tǒng),外部系統(tǒng)

11、,業(yè)務(wù)狀態(tài)數(shù)據(jù)的復(fù)制,業(yè)務(wù)處理能力的冗余,接入平臺(tái)的冗余和切換,接入平臺(tái)的冗余和切換,補(bǔ)充數(shù)據(jù)平臺(tái),災(zāi)備中心1/生產(chǎn)中心2,對(duì)等雙中心,接入平臺(tái),接入平臺(tái),生產(chǎn)/災(zāi)備,SAN,災(zāi)備數(shù)據(jù)平臺(tái),業(yè)務(wù)平臺(tái),接入平臺(tái),接入平臺(tái),生產(chǎn)/災(zāi)備,SAN,生產(chǎn)數(shù)據(jù)平臺(tái),業(yè)務(wù)平臺(tái),外部系統(tǒng),業(yè)務(wù)狀態(tài)數(shù)據(jù)的復(fù)制,業(yè)務(wù)處理能力的冗余,接入平臺(tái)的冗余和切換,接入平臺(tái)的冗余和切換,接入平臺(tái)的冗余和切換,業(yè)務(wù)處理能力的冗余,接入平臺(tái)的冗余和切換,生產(chǎn)數(shù)據(jù)平臺(tái),災(zāi)備數(shù)據(jù)平臺(tái),生產(chǎn)系統(tǒng)瘦身,剝離活躍數(shù)據(jù)、靜態(tài)數(shù)據(jù)，對(duì)活躍數(shù)據(jù)容災(zāi)，對(duì)靜態(tài)數(shù)據(jù)備份。 多個(gè)系統(tǒng)共用活躍數(shù)據(jù)容災(zāi)平臺(tái)。 提高已實(shí)施數(shù)據(jù)容災(zāi)的存儲(chǔ)系統(tǒng)的利用率。,災(zāi)備系統(tǒng)瘦身,RTO,RPO,5級(jí)：可恢復(fù)，但無(wú)時(shí)間要求 4級(jí)：1天恢復(fù) 3級(jí)：8小時(shí)內(nèi)恢復(fù) 2級(jí)：4小時(shí)內(nèi)恢復(fù) 1級(jí)：30分鐘內(nèi)恢復(fù),盡量完整,以降低TCO的要求來(lái)精化RTO、RPO,容災(zāi)應(yīng)急中心,接入平臺(tái),接入平臺(tái),生產(chǎn),SAN,業(yè)務(wù)平臺(tái),接入平臺(tái),接入平臺(tái),冗余/應(yīng)急,SAN,災(zāi)備數(shù)據(jù)平臺(tái),業(yè)務(wù)平臺(tái) 應(yīng)急管理平臺(tái),外部系統(tǒng),最小集合業(yè)務(wù)狀態(tài)數(shù)據(jù)的復(fù)制,業(yè)務(wù)處理能力的冗余,接入平臺(tái)的冗余和切換,接入平臺(tái)的冗余和切換,接入平臺(tái)的冗余和切換,業(yè)務(wù)處理能力的冗余,接入平臺(tái)的冗余和切