雙活數(shù)據(jù)中心方案

隨著互聯(lián)網(wǎng)業(yè)務的不斷發(fā)展，用戶對于業(yè)務訪問質量的要求越來越高。因此，商業(yè)銀行需要建設災備、雙活甚至多活數(shù)據(jù)中心，以保障各業(yè)務的安全穩(wěn)定不間斷運行，提高市場競爭力。同時，監(jiān)管機構也十分重視商業(yè)銀行的災難備份體系建設，并對商業(yè)銀行災備系統(tǒng)建設提出了明確的要求。在多數(shù)據(jù)中心的建設中，實現(xiàn)真正意義上的雙活需要網(wǎng)絡、應用、數(shù)據(jù)庫和存儲都要雙活。然而，大多數(shù)客戶的多數(shù)據(jù)中心建設還達不到完全的雙活要求，主流的建設目標是實現(xiàn)應用雙活。目前客戶建設多數(shù)據(jù)中心的模型可以歸納為以下幾種：1.單純的數(shù)據(jù)容災：在正常情況下，只有主數(shù)據(jù)中心投入運行，備數(shù)據(jù)中心處于待命狀態(tài)。發(fā)生災難時，災備數(shù)據(jù)中心可以短時間內恢復業(yè)務并投入運行，減輕災難帶來的損失。然而，這種模式只能解決業(yè)務連續(xù)性的需求，用戶無法就近快速接入。同時，災備中心建設的投資巨大且運維成本高昂，正常情況下災備中心不對外服務，資源利用率偏低，造成了巨大的浪費。2.構建業(yè)務連續(xù)性：在這種模式下，兩個數(shù)據(jù)中心（同城/異地）的應用都處于活動狀態(tài)，都有業(yè)務對外提供服務且互為備份。然而，出于技術成熟度、成本等因素考慮，數(shù)據(jù)庫采用主備方式部署，數(shù)據(jù)庫讀寫操作都在主中心進行，災備中心進行數(shù)據(jù)同步。發(fā)生災難時，數(shù)據(jù)中心間的數(shù)據(jù)庫可以快速切換，避免業(yè)務中斷。這種模式能夠充分盤活企業(yè)閑置資源，保證業(yè)務的連續(xù)性，幫助用戶接入最優(yōu)節(jié)點，提高用戶訪問體驗。3.提升業(yè)務服務能力：為了滿足用戶對業(yè)務訪問質量的要求，商業(yè)銀行需要提升業(yè)務服務能力。在多數(shù)據(jù)中心的建設中，可以采用雙活數(shù)據(jù)中心的模式，以實現(xiàn)業(yè)務的高可用性和負載均衡。這樣可以提高用戶的訪問體驗，同時也符合監(jiān)管機構的相關要求。然而，多數(shù)據(jù)中心的建設需要投入大量資金，其項目周期往往很長，涉及的范圍也比較大。因此，商業(yè)銀行需要在建設過程中進行全面的規(guī)劃和設計，以確保建設效果的最大化。多個數(shù)據(jù)中心可以同時對外提供服務并互為備份。每個數(shù)據(jù)中心的數(shù)據(jù)庫都可以同時處理應用的讀寫請求，實現(xiàn)了多活的網(wǎng)絡、存儲、應用和數(shù)據(jù)庫。各數(shù)據(jù)中心都是獨立運營的，用戶流量可以被智能調度，形成了靈活、彈性和可擴展的面向服務的業(yè)務架構。業(yè)務目標包括流量分發(fā)、故障切換、業(yè)務安全和環(huán)境一致性。流量分發(fā)可以將用戶訪問流量靈活、彈性地調度到多個數(shù)據(jù)中心，使各數(shù)據(jù)中心的壓力相對均衡，提高用戶的訪問體驗。故障切換可以在出口鏈路或內部服務器出現(xiàn)異常時，平滑切換至正常節(jié)點，保證用戶訪問的連續(xù)性。業(yè)務安全方面，數(shù)據(jù)中心所處位置基礎設施完善，水電通信供應穩(wěn)定，數(shù)據(jù)中心內部有相應技術手段保證整個數(shù)據(jù)中心抵抗DDos攻擊，各業(yè)務系統(tǒng)不被黑客非法入侵。環(huán)境一致性方面，多個數(shù)據(jù)中心對用戶來說應該是透明的，提供統(tǒng)一接口，各數(shù)據(jù)中心內部數(shù)據(jù)和服務能力需要完全一致，且隨時處于可切換狀態(tài)。實現(xiàn)邏輯上，整個數(shù)據(jù)中心在邏輯上分為接入層和服務層。接入層包括智能DNS和RHI路由注入，服務層則是處理邏輯的核心。在故障切換方面，運維人員可以第一時間獲悉故障情況，業(yè)務可以根據(jù)需要自動或手動平滑切換至正常節(jié)點，保證用戶訪問的連續(xù)性。總體設計上，數(shù)據(jù)中心分為主中心和災備中心。二者的網(wǎng)絡架構、業(yè)務系統(tǒng)和服務能力都基本相同，同時對外提供服務，形成雙活數(shù)據(jù)中心。數(shù)據(jù)中心內部劃分為互聯(lián)網(wǎng)業(yè)務區(qū)、核心生產業(yè)務區(qū)、數(shù)據(jù)庫區(qū)和業(yè)務測試區(qū)。主備數(shù)據(jù)中心和各一級分行之間通過專線互聯(lián)，利用動態(tài)路由協(xié)議組建企業(yè)內部專網(wǎng)。數(shù)據(jù)中心的對外業(yè)務主要集中在互聯(lián)網(wǎng)業(yè)務區(qū)，使用域名方式對外發(fā)布。當客戶端訪問業(yè)務系統(tǒng)時，需要先通過DNS將域名解析為IP地址，然后再訪問該目標IP。全局負載通常利用DNS解析實現(xiàn)，其可根據(jù)用戶地理位置、所屬運營商和網(wǎng)絡質量、數(shù)據(jù)中心服務能力等因素作為判斷依據(jù)，為不同用戶返回不同的IP地址，實現(xiàn)流量的合理分配。內網(wǎng)業(yè)務一部分與外網(wǎng)業(yè)務相同，通過域名發(fā)布，另一部分則直接通過IP地址訪問。對于通過IP地址訪問的業(yè)務，內網(wǎng)全局負載采用IP-Anycast（RHI路由注入）技術實現(xiàn)，其原理是在各數(shù)據(jù)中心以相同IP發(fā)布業(yè)務，由動態(tài)路由協(xié)議根據(jù)COST值等參數(shù)用戶判斷訪問的最佳路徑。針對網(wǎng)銀業(yè)務，我們將其從邏輯上分為接入側和服務側。接入側包括出口鏈路和全局負載設備，服務側包括WEB服務單元、APP服務單元和DB服務單元。WEB服務單元包含SSL卸載設備、WAF防火墻、負載均衡和服務器；APP服務單元包含防火墻、負載均衡和服務器；DB服務單元包含防火墻、負載均衡、數(shù)據(jù)庫審計和數(shù)據(jù)庫。WEB服務單元和APP服務單元在兩個數(shù)據(jù)中心同時提供服務，實現(xiàn)應用雙活。為達到最佳負載效果，需要各服務單元的負載設備可以訪問其他數(shù)據(jù)中心對應服務單元的服務器，但優(yōu)先調度本地服務器。雙數(shù)據(jù)中心間的DB服務單元建議主備部署，數(shù)據(jù)中心內部的數(shù)據(jù)庫集群可結合本地負載均衡實現(xiàn)多活。流量調度方面，我們推薦使用兩層邏輯算法的智能DNS調度策略。全局負載設備會先判斷用戶的地理位置，將用戶調度到就近的數(shù)據(jù)中心，解決南北互訪的問題。其次，根據(jù)用戶所屬運營商選擇對應鏈路供用戶接入，解決跨運營商訪問慢的問題。此外，全局負載還可對客戶端LDNS發(fā)起反向探測，判斷用戶網(wǎng)絡質量，為用戶選擇最佳接入路徑。服務單元層面，WEB、APP和DB服務單元都配備了本地負載均衡器，用戶訪問流量到達數(shù)據(jù)中心內部后，由服務單元的負載設備根據(jù)預設策略分發(fā)給各服務器，可根據(jù)用戶需求靈活選擇輪詢、優(yōu)先級、最小連接等算法。對于業(yè)務連續(xù)性，我們需要確保雙數(shù)據(jù)中心間的DB服務單元主備切換時無數(shù)據(jù)丟失，可采用主備數(shù)據(jù)庫同步技術。同時，需要定期進行業(yè)務連續(xù)性演練，以驗證業(yè)務切換及恢復的可行性和有效性。在數(shù)據(jù)中心層面，可以通過DCCookie來保證用戶接入同一數(shù)據(jù)中心。當用戶首次訪問時，本地WEB負載設備會在響應數(shù)據(jù)包中插入DCCookie。如果客戶端網(wǎng)絡發(fā)生變化，第二次訪問就可能被調度到其他數(shù)據(jù)中心。這時其他數(shù)據(jù)中心的WEB負載設備會識別該Cookie，并將用戶請求轉發(fā)至第一次處理該用戶訪問的WEB負載設備，再由該負載設備進行調度。在服務單元層面，建議通過cookie會話保持來保證WEB服務單元的負載連續(xù)性。對于APP服務單元的負載，可以通過cookie或源IP會話保持來保證業(yè)務連續(xù)性。不過，選擇何種會話保持方式需要結合應用具體情況。而DB服務單元一般不需要會話保持。在健康狀態(tài)檢查方面，可以通過內置的應用級健康監(jiān)視器對服務器進行主動探測，提供HTTP、HTTPS、RADIUS、FTP等常用模板。對于其他應用，還提供接口供用戶自定義檢測內容和響應內容。此外，還提供被動健康檢查功能，通過對TCP和HTTP協(xié)議的數(shù)據(jù)交互做采樣分析，判斷服務器的健康狀態(tài)。在全局負載與服務側的各區(qū)域負載均衡聯(lián)動方面，可以實時共享信息，判斷服務側整體服務能力。同時，全局負載設備會探測出口各鏈路健康狀態(tài)，結合服務側整體服務能力和設備自身負荷情況，綜合判斷該數(shù)據(jù)中心的健康狀態(tài)（正常、繁忙、故障）。在故障切換方面，服務單元內部某服務器繁忙或故障時，可以將用戶請求調度到其他正常服務器。如果某數(shù)據(jù)中心的WEB或APP服務器全部繁忙或全部故障，用戶接入鏈路不會切換。相反，通過專線將數(shù)據(jù)轉發(fā)至正常數(shù)據(jù)中心對應服務單元。如果主數(shù)據(jù)中心的數(shù)據(jù)庫服務器全部故障，用戶接入鏈路也不會切換。相反，通過專線將直接激活備數(shù)據(jù)中心的數(shù)據(jù)庫，實現(xiàn)數(shù)據(jù)庫一鍵切換。在進行數(shù)據(jù)庫切換前，需要驗證數(shù)據(jù)庫的正確性，并完成數(shù)據(jù)驗證，保證數(shù)據(jù)庫按順序切換。如果數(shù)據(jù)中心的所有鏈路同時故障，全局負載設備會將用戶流量平滑牽引至正常數(shù)據(jù)中心。如果單鏈路故障，可以根據(jù)用戶需求切換至本中心其他鏈路或其他中心同ISP鏈路。此外，當某數(shù)據(jù)中心出現(xiàn)服務能力不足時（鏈路繁忙、服務單元繁忙等），全局負載設備還可以基于數(shù)據(jù)中心的整體健康得分情況將用戶分流至其他數(shù)據(jù)中心，保障用戶正常訪問。在安全保障方面，可以在網(wǎng)絡出口處部署DDos防護設備，并在運營商處購買流量清洗服務，以保證數(shù)據(jù)中心整體安全。和負載均衡在內網(wǎng)業(yè)務全局負載中，負載設備的主要作用是流量調度和負載均衡。在設計模型中，采用M+N集群的方式部署負載設備，實現(xiàn)業(yè)務系統(tǒng)的分離和靈活部署。同時，通過動態(tài)路由協(xié)議互聯(lián)，實現(xiàn)數(shù)據(jù)中心之間的無縫業(yè)務切換。（2）安全保障在內網(wǎng)業(yè)務全局負載中，安全是至關重要的。通過在網(wǎng)絡出口處部署FW和IPS設備，從網(wǎng)絡層和應用層保證數(shù)據(jù)中心不被惡意入侵。同時，在服務單元層面，各服務單元部署防火墻，保證區(qū)域安全。WEB服務單元直接面向互聯(lián)網(wǎng)用戶，需要部署SSL卸載設備實現(xiàn)SSL加解密，提高業(yè)務訪問安全。通過部署WAF保障WEB服務器的安全。（3）業(yè)務優(yōu)化加速在內網(wǎng)業(yè)務全局負載中，業(yè)務優(yōu)化加速是提高用戶訪問體驗的重要手段。通過部署WOC設備，可大幅壓縮傳輸數(shù)據(jù)，削減流量。同時，通過協(xié)議優(yōu)化和流緩存等技術實現(xiàn)加速。針對互聯(lián)網(wǎng)區(qū)的WEB服務單元直接面向公網(wǎng)，通過負載設備的高速緩存技術，對靜態(tài)和內容進行緩存，減少服務器數(shù)據(jù)交互，降低服務器性能壓力，提高訪問速度。（4）其他在內網(wǎng)業(yè)務全局負載中，還需要考慮一些其他因素。例如，負載設備在服務單元內部通過旁路部署，為保證來回數(shù)據(jù)一致需要開啟SNAT功能。同時，數(shù)據(jù)中心網(wǎng)絡出口對各類設備性能要求較高，針對某些傳統(tǒng)防火墻性能不足的情況，可以在防火墻前后各部署負載均衡設備，實現(xiàn)防火墻的負載。最后，建議選擇2倍于實際性能需求的負載均衡設備，以應對極端情況。在ATM業(yè)務中，各分行數(shù)據(jù)中心發(fā)布的業(yè)務訪問IP相同，通過RHI路由注入與OSPF聯(lián)動，以COST大小來判斷訪問的最優(yōu)路徑。負載均衡設備以集群方式部署，單臺設備與單個業(yè)務靜態(tài)綁定，設備之間互為備份。宣告路由時基于具體業(yè)務系統(tǒng)進行宣告，可有效削減過多的路由條目，極大地簡化了運維工作。如上圖所示，數(shù)據(jù)中心發(fā)布了4種業(yè)務。一般情況下，每臺設備需要對外宣告4條路由，共16條路由?？蛻舳俗罱K訪問的路徑由動態(tài)路由協(xié)議自身策略（根據(jù)COST值）決定。然而，采用M+N方式的高可用集群，配合基于具體應用的IP-Anycast技術，每臺設備承載一種主要業(yè)務，其他業(yè)務在該設備作為備份狀態(tài)。設備對外宣告路由時，只宣告主要業(yè)務相關的路由，共4條，路由條目削減了75%。在內網(wǎng)業(yè)務中，客戶端的位置和IP都相對固定。不考慮故障情況下，路由器根據(jù)COST判斷訪問路徑時結果也相對固定，不存在同一客戶端多次訪問同一業(yè)務被調度到不同負載的情況。負載設備可根據(jù)訪問的源IP做會話保持，保證請求由同一服務器處理。對于服務器，通過內置的應用級健康監(jiān)視器對服務器進行主動探測，提供HTTP、HTTPS、RADIUS、FTP等常用模板。對于其他應用，提供接口供用戶