數(shù)據(jù)中心Spine-leaf網(wǎng)絡(luò)規(guī)劃設(shè)計方案 41.1總體網(wǎng)絡(luò)架構(gòu) 41.1.1二層網(wǎng)絡(luò)架構(gòu)設(shè)計 41.1.2功能分區(qū)模塊化設(shè)計 5 6 72.1組網(wǎng)設(shè)計 7 8 8 94.1外聯(lián)區(qū)設(shè)計 9 9 4.1.5遠(yuǎn)程接入?yún)^(qū)設(shè)計 4.2網(wǎng)絡(luò)服務(wù)區(qū)設(shè)計 4.2.1應(yīng)用場景 4.2.2網(wǎng)絡(luò)架構(gòu) 4.2.3數(shù)據(jù)流 4.3業(yè)務(wù)服務(wù)及運(yùn)行管理區(qū)設(shè)計 4.3.1網(wǎng)絡(luò)架構(gòu) 4.3.3VPN(MCE方式)設(shè)計 5.1業(yè)務(wù)需求 5.3主備雙中心容災(zāi)網(wǎng)絡(luò) 245.4主備站點(diǎn)業(yè)務(wù)切換 25第1章網(wǎng)絡(luò)總體架構(gòu)設(shè)計1.1總體網(wǎng)絡(luò)架構(gòu)網(wǎng)絡(luò)的層次較多，導(dǎo)致數(shù)據(jù)處理效率低，增加了處理時延和線路時延，同時也增加了部署成本由于匯聚層面設(shè)備一般存在處理性能和上行帶寬的收斂比，在數(shù)據(jù)中心規(guī)模不斷擴(kuò)大的隨著數(shù)據(jù)中心虛擬化的部署，新的數(shù)據(jù)中心流行通信，甚至能夠達(dá)到整體流量的75%,這種部署架構(gòu)會導(dǎo)致服務(wù)器之間流量需要通過匯聚層甚至●提高網(wǎng)絡(luò)可靠性。二層網(wǎng)絡(luò)結(jié)構(gòu)，可以結(jié)合虛擬集群和堆疊技術(shù)，解決鏈路環(huán)數(shù)據(jù)中心的二層網(wǎng)絡(luò)結(jié)構(gòu)示意圖如0所示：網(wǎng)絡(luò)核心層考慮到數(shù)據(jù)中心的高安全性、高擴(kuò)展能力和可管理性的業(yè)務(wù)需求，數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)的總體規(guī)劃遵循區(qū)域化、層次化和模塊化的設(shè)計理念，實(shí)現(xiàn)網(wǎng)絡(luò)層次更加清楚、功能更加明確，提高承載的業(yè)務(wù)系統(tǒng)的可擴(kuò)展性、安全性和可管理能力?！駥哟位O(shè)計。數(shù)據(jù)中心的核心網(wǎng)絡(luò)采用核心層、接入層的網(wǎng)絡(luò)架構(gòu)；層次化結(jié)構(gòu)也利于網(wǎng)絡(luò)的擴(kuò)展和維護(hù)?！窆δ芊謪^(qū)和模塊化設(shè)計。網(wǎng)絡(luò)架構(gòu)按照功能，分為外聯(lián)區(qū)(包括Internet接入?yún)^(qū)和遠(yuǎn)程接入?yún)^(qū))、核心區(qū)及內(nèi)網(wǎng)接入?yún)^(qū)；核心區(qū)包括網(wǎng)絡(luò)服務(wù)區(qū)、等保三級業(yè)務(wù)區(qū)、等保二級業(yè)務(wù)區(qū)、開發(fā)測試區(qū)及運(yùn)行管理區(qū)等功能模塊。數(shù)據(jù)中心的網(wǎng)絡(luò)功能分區(qū)架構(gòu)如0所示。數(shù)據(jù)中心網(wǎng)絡(luò)功能分區(qū)架構(gòu)圖數(shù)據(jù)中心網(wǎng)絡(luò)功能分區(qū)架構(gòu)圖主數(shù)據(jù)中心外聯(lián)區(qū)M數(shù)據(jù)中心整體網(wǎng)絡(luò)拓?fù)淙?所示：包括外聯(lián)區(qū)、核心區(qū)及內(nèi)網(wǎng)接入?yún)^(qū)等。提供給各級政府部門訪問的數(shù)據(jù)中心區(qū)域。政府部門一般通過國家云外網(wǎng)采用器群(如：外部DNS/FTP/Web服務(wù)器),用于互聯(lián)網(wǎng)用戶訪問；為了提高互聯(lián)網(wǎng)出口的可靠性，出口路由器一般接入到2個不同的運(yùn)營商。國內(nèi)一般會選擇中國電信第2章網(wǎng)絡(luò)核心層設(shè)計數(shù)據(jù)中心網(wǎng)絡(luò)核心層的規(guī)劃圖如0所示。S接入層：2臺接入交換機(jī)采用堆疊技術(shù)，下行鏈路根據(jù)服務(wù)器的物理端口選擇GE或10GE鏈路，上行鏈路選擇10G或10G鏈路捆綁技術(shù)，上聯(lián)到2臺核心交換機(jī)，增加帶寬的同時也提高了網(wǎng)絡(luò)鏈路的可靠性。接入層設(shè)備可以根據(jù)業(yè)務(wù)需求，選擇機(jī)架式、刀片內(nèi)置式接入層接入層網(wǎng)絡(luò)核心層的可靠性設(shè)計從設(shè)備級冗余和鏈路級冗余兩方面來實(shí)現(xiàn)：從設(shè)備冗余角度考慮，2臺核心交換機(jī)之間采用CSS虛擬集群技術(shù)，每組的2臺接入交換機(jī)之間采用堆疊技術(shù)；從鏈路的冗余角度考慮，本方案中采用“集群+堆疊+鏈路捆綁”的二層網(wǎng)絡(luò)無環(huán)絡(luò)解決方案，如0所示：“集群+堆疊+鏈路捆綁”的二層網(wǎng)絡(luò)無環(huán)路解決方案示意圖自核心層核心交換機(jī)采用CSS虛擬集群技術(shù)，接入交換機(jī)采用堆疊技術(shù)；核心交換機(jī)與接入交換機(jī)間第3章存儲網(wǎng)絡(luò)設(shè)計數(shù)據(jù)中心存儲網(wǎng)絡(luò)規(guī)劃示意圖如0所示。圖例服務(wù)器存儲網(wǎng)絡(luò)主要包括IPSAN存儲網(wǎng)和FCSAN存儲網(wǎng)。服務(wù)器存儲網(wǎng)絡(luò)與業(yè)務(wù)網(wǎng)絡(luò)是物理隔離的，服務(wù)器的業(yè)務(wù)網(wǎng)卡和存儲網(wǎng)卡是分別上聯(lián)到業(yè)務(wù)網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)的對應(yīng)TOR接入交換機(jī)上。由于虛擬化的需求，極大的增進(jìn)了服務(wù)器與存儲的數(shù)據(jù)交換，對于IPSAN存儲網(wǎng)絡(luò)，至少要保證接入交換機(jī)采用10G的鏈路接入。當(dāng)采用IPSAN存儲網(wǎng)絡(luò)時：業(yè)務(wù)服務(wù)區(qū)服務(wù)器和IPSAN存儲的存儲網(wǎng)卡一般采用GE端口上聯(lián)到TOR接入以太網(wǎng)交換機(jī)，各TOR接入交換機(jī)通過10GE鏈路或10GE鏈路捆綁上聯(lián)到IPSAN存儲匯聚交換機(jī)。當(dāng)采用FCSAN存儲網(wǎng)絡(luò)時：業(yè)務(wù)服務(wù)區(qū)服務(wù)器的HBA卡和FCSAN存儲的FC接口通過光纖鏈路上聯(lián)到FC第4章網(wǎng)絡(luò)功能區(qū)設(shè)計Internet接入?yún)^(qū)的網(wǎng)絡(luò)架構(gòu)示意圖如0所示。Internet接入?yún)^(qū)網(wǎng)絡(luò)架構(gòu)圖Internet接入?yún)^(qū)包括出口路由器、鏈路負(fù)載均衡LLB、防火墻、IPSec/SSLVPN接入網(wǎng)關(guān)、應(yīng)用負(fù)載均衡、接入交換機(jī)等網(wǎng)絡(luò)設(shè)備?！癯隹诼酚善鳎翰渴?臺設(shè)備實(shí)現(xiàn)冗余，并分別上聯(lián)到2個不同的運(yùn)營商；出口路由器與運(yùn)營商之間一般采用靜態(tài)路由或BGP路由協(xié)議。能選擇，實(shí)現(xiàn)負(fù)載均衡和冗余備份。絡(luò)安全屏障。2臺防火墻采用雙機(jī)熱備的方式進(jìn)行部署，提高可靠性；防火墻采用路由模式，并與墻進(jìn)行冗余連接。公共信息服務(wù)DMZ區(qū)部署在Internet接入?yún)^(qū)，用于部署提供政府公共服務(wù)的Web、DNS、FTP等應(yīng)用；對于提供公共信息服務(wù)的應(yīng)用及數(shù)據(jù)庫主機(jī)一般部署在核心內(nèi)網(wǎng)的公共服務(wù)區(qū)。備，實(shí)現(xiàn)公共信息服務(wù)器進(jìn)行接入和應(yīng)用的負(fù)載均衡。接入交換機(jī)部署2臺，分別與2臺出口防火墻進(jìn)行應(yīng)用場景數(shù)據(jù)中心一般承載著關(guān)鍵的業(yè)務(wù)系統(tǒng)，互聯(lián)網(wǎng)的對外出口非常重要，如果只通過1條鏈路與運(yùn)營商進(jìn)中心的互聯(lián)網(wǎng)出口一般需要與2個不同運(yùn)營商進(jìn)行互聯(lián)，提高Internet網(wǎng)絡(luò)出口的冗余性，并減輕網(wǎng)絡(luò)出當(dāng)數(shù)據(jù)中心的互聯(lián)網(wǎng)出口與2個不同的運(yùn)營商互聯(lián)時，可以部署方案說明聯(lián)通的互聯(lián)網(wǎng)用戶，會從與中國聯(lián)通的互聯(lián)鏈路進(jìn)行互訪；也可以根據(jù)用戶的IP地址(本地DNS)進(jìn)行路數(shù)據(jù)中心的LLB多出口鏈路選擇可以從兩個方面進(jìn)行分析：一方面是互聯(lián)網(wǎng)用戶訪問數(shù)據(jù)中心的AA運(yùn)普商(主)8A中國聯(lián)通A中國電A(主)應(yīng)用場景戶、移動用戶通過Internet連接數(shù)據(jù)方案說明對于采用SSLVPN接入的移動用戶，移動用戶的客戶端與數(shù)據(jù)中心的VPN網(wǎng)關(guān)設(shè)備通過安全認(rèn)證，在互聯(lián)網(wǎng)上形成一個安全的SSL加密隧道，VPN網(wǎng)關(guān)為客戶端分配相應(yīng)的內(nèi)部IP地址，實(shí)現(xiàn)客戶端對數(shù)據(jù)中心的互訪。對于采用IPSec接入的分支機(jī)構(gòu)，其VPN網(wǎng)關(guān)設(shè)備與數(shù)據(jù)中心的VPN網(wǎng)關(guān)設(shè)備通過安全認(rèn)證，在互聯(lián)網(wǎng)上形成一個安全的IPSec加密通道，實(shí)現(xiàn)整個分支機(jī)構(gòu)或合作伙伴的辦公網(wǎng)絡(luò)與數(shù)據(jù)中心之間的業(yè)務(wù)互訪。數(shù)據(jù)中心的出口防火墻，可以利用虛擬防火墻技術(shù)，為每個VPN業(yè)務(wù)分配一個虛擬防火墻，實(shí)現(xiàn)該業(yè)務(wù)與其它內(nèi)部業(yè)務(wù)的安全隔離。遠(yuǎn)程接入?yún)^(qū)網(wǎng)絡(luò)架構(gòu)示意圖如0所示。遠(yuǎn)程接入?yún)^(qū)網(wǎng)絡(luò)架構(gòu)圖政務(wù)網(wǎng)絡(luò)核心層據(jù)中遠(yuǎn)程接入?yún)^(qū)用來接入政府的各個部門，各個部門一般是采用MPLS-VPN的方式通過國家云外網(wǎng)進(jìn)行接入；遠(yuǎn)程接入?yún)^(qū)還用于接入容災(zāi)數(shù)據(jù)中心，一般是通過專線或M該區(qū)域包括出口路由器、防火墻等設(shè)備。出口路由器：遠(yuǎn)程接入?yún)^(qū)部署2臺出口路由器，實(shí)現(xiàn)設(shè)備冗余，提高可靠性；出口路由器與分●防火墻設(shè)備：對于分支機(jī)構(gòu)、災(zāi)備中心與數(shù)據(jù)中心之間的業(yè)務(wù)互訪進(jìn)行安全控制；2臺防火墻設(shè)備采用雙機(jī)熱備的方式進(jìn)行部署，工作在路由模式，并與出口路由器運(yùn)行靜態(tài)路由協(xié)議；通過虛擬防火墻技術(shù)，可以實(shí)現(xiàn)VPN網(wǎng)絡(luò)的隔離功能。通過網(wǎng)閘實(shí)現(xiàn)內(nèi)網(wǎng)安全隔離的網(wǎng)絡(luò)拓?fù)淙?所示。政務(wù)內(nèi)網(wǎng)政務(wù)內(nèi)網(wǎng)4.2網(wǎng)絡(luò)服務(wù)區(qū)設(shè)計需要在數(shù)據(jù)中心內(nèi)網(wǎng)核心區(qū)提供安全防護(hù)的功能；有些業(yè)務(wù)系統(tǒng)，對性能、可靠性和可擴(kuò)展性要求較高；數(shù)據(jù)中心的網(wǎng)絡(luò)服務(wù)區(qū)網(wǎng)絡(luò)架構(gòu)0所示。網(wǎng)絡(luò)核心層網(wǎng)絡(luò)核心層網(wǎng)絡(luò)服務(wù)區(qū)絡(luò)服務(wù)區(qū)網(wǎng)絡(luò)服務(wù)區(qū)共部署了2臺防火墻和2臺LB設(shè)備，為數(shù)據(jù)中心的多個服務(wù)器業(yè)務(wù)分區(qū)提供安全控制和2臺防火墻和2臺LB均采用雙機(jī)熱備的冗余方式進(jìn)行部署；每臺防火墻和LB都采用核心交換機(jī)旁掛的方式，并通過2條GE電路與核心交換機(jī)進(jìn)行互聯(lián)，分別用于承載入方向和出方向的流量。電路VLAN透傳到防火墻設(shè)備(采用虛擬防火墻),進(jìn)行三層終結(jié)；然后通過另一條互聯(lián)電路路由到核心交換機(jī)，并通過路由的方式到達(dá)外聯(lián)區(qū)的防火墻設(shè)備。該種情況業(yè)務(wù)系統(tǒng)的IP網(wǎng)關(guān)設(shè)置在防火墻上。各種業(yè)務(wù)數(shù)據(jù)流如0所示(需要根據(jù)實(shí)際業(yè)務(wù)需求決定，僅供參考)。yh網(wǎng)絡(luò)核心層FW(備)號等保三級政務(wù)每等保二級政業(yè)務(wù)服務(wù)區(qū)s開發(fā)測試區(qū)一般應(yīng)用核心應(yīng)用鐘網(wǎng)絡(luò)事務(wù)過置結(jié)服務(wù)區(qū)●高性能服務(wù)器，數(shù)量較少且重要性高，部署數(shù)據(jù)中心核心應(yīng)用系統(tǒng)(如：核心數(shù)據(jù)庫系統(tǒng)),可以采用異構(gòu)防火墻加強(qiáng)網(wǎng)絡(luò)安全。4.3.2分平面設(shè)計數(shù)據(jù)中心網(wǎng)絡(luò)分平面設(shè)計示意圖如0所示。4.3.3VPN(MCE方式)設(shè)計應(yīng)用場景對于國家政府機(jī)關(guān)，其下屬各個政府部門往往都是一個單獨(dú)的VPN,彼此需要通過物理或邏輯的方式方案說明數(shù)據(jù)中心的MCE方式組網(wǎng)示意圖如0所示：首先是接入交換機(jī)通過VLAN的方式對VPN業(yè)務(wù)進(jìn)行隔離，并表),并將與該VPN相對應(yīng)的VLAN接口進(jìn)行關(guān)聯(lián)，這樣該VPN形成一個單獨(dú)的相互隔離的路由轉(zhuǎn)發(fā)表，該VRF可以運(yùn)行OSPF等動態(tài)路由協(xié)議。數(shù)據(jù)中心的出口路由器上可以啟用PE的功能，建立與該VPN相對應(yīng)的VRF,出口路由器和MCE之間通過與外網(wǎng)MPLS-VPN網(wǎng)絡(luò)對接，將VPN業(yè)務(wù)路由通過MPLS網(wǎng)絡(luò)進(jìn)行傳遞。遠(yuǎn)端的VPN部門，可以通過CE設(shè)備接入到外網(wǎng)，通過MPLS-VPN網(wǎng)絡(luò)構(gòu)成端到端的VPN網(wǎng)絡(luò)(不具備MPLS-VPN網(wǎng)絡(luò)資源時，遠(yuǎn)端VPN部門也可通過專線直接接入到數(shù)據(jù)中心的出口路由器，關(guān)聯(lián)到出口路由器設(shè)置的該VPN相對應(yīng)的VRF中實(shí)現(xiàn)VPN功能)。MCE組網(wǎng)圖礦鍵業(yè)務(wù)的7*24不間斷運(yùn)行。另外，數(shù)據(jù)中心滿足不同地點(diǎn)的用戶在訪問業(yè)務(wù)應(yīng)用時，可以實(shí)現(xiàn)相同的快系統(tǒng)及人為破壞引起的災(zāi)難。而異地容災(zāi)數(shù)據(jù)中心與主數(shù)據(jù)中心的距離較遠(yuǎn)(一般在100km以上),一般采(1)主備雙中心模式主備雙中心模式網(wǎng)絡(luò)拓?fù)淙?所示：容災(zāi)數(shù)據(jù)中心主數(shù)據(jù)中心路由器主數(shù)據(jù)中心與容災(zāi)數(shù)據(jù)中心，建議采用三層IP方式互聯(lián)，實(shí)現(xiàn)統(tǒng)一運(yùn)營和統(tǒng)一管理。建議在數(shù)據(jù)中心的網(wǎng)絡(luò)邊界分別部署2臺防火墻和2臺路由器，采用光纖直連、數(shù)據(jù)專線或者M(jìn)PLS-VPN網(wǎng)絡(luò)等方式進(jìn)行互聯(lián)。同城部署時，一般采用光纖直連或數(shù)據(jù)專線的方式進(jìn)行互聯(lián)；異地部署時，一般采用數(shù)據(jù)專線或MPLS-VPN網(wǎng)絡(luò)的方式進(jìn)行互聯(lián)。防火墻采用雙機(jī)熱備的方式，并工作在透明模式。根據(jù)訪問需求在防火墻上做詳細(xì)的包過濾安全策略，對主數(shù)據(jù)中心和容災(zāi)數(shù)據(jù)中心之間的業(yè)務(wù)互訪進(jìn)行安全控制。(2)兩地三中心模式兩地三中心模式共部署一個主數(shù)據(jù)中心、一個同城容災(zāi)中心和一個異地容災(zāi)中心。同城容災(zāi)中心一般具有主數(shù)據(jù)中心基本等同的業(yè)務(wù)處理能力并通過高速鏈路實(shí)時同步數(shù)據(jù)，日常情況下可同時分擔(dān)業(yè)務(wù)及管理系統(tǒng)的運(yùn)行，并可切換運(yùn)行；災(zāi)難情況下可在基本不丟失數(shù)據(jù)的情況下進(jìn)行災(zāi)備應(yīng)急切換，保持業(yè)務(wù)連續(xù)運(yùn)行。異地容災(zāi)中心是指在異地的城市建立一個備份的災(zāi)備中心，一般用于雙中心的數(shù)據(jù)備份，也可以用于應(yīng)用級別的備份；當(dāng)雙中心出現(xiàn)自然災(zāi)害等原因而發(fā)生故障時，異地災(zāi)備中心可以通過備份數(shù)據(jù)實(shí)現(xiàn)業(yè)務(wù)的恢復(fù)或者實(shí)現(xiàn)業(yè)務(wù)的應(yīng)急切換。兩地三中心模式網(wǎng)絡(luò)拓?fù)淙?所示：兩地三中心網(wǎng)絡(luò)拓?fù)涫疽鈭D對于兩地三中心模式，主數(shù)據(jù)中心與同城容災(zāi)數(shù)據(jù)中心、異地容災(zāi)數(shù)據(jù)中心之間，建議采用三層IP方式互聯(lián)，實(shí)現(xiàn)統(tǒng)一運(yùn)營和統(tǒng)一管理。主數(shù)據(jù)中心與同城容災(zāi)數(shù)據(jù)中心一般采用光纖直連或高帶寬的數(shù)據(jù)專線等方式進(jìn)行互聯(lián)；主數(shù)據(jù)中心與異地容災(zāi)數(shù)據(jù)中心一般采用數(shù)據(jù)專線或MPLS-VPN網(wǎng)絡(luò)等方式進(jìn)行互聯(lián)。同城容災(zāi)中心與異地容災(zāi)中心之間一般也需要通過數(shù)據(jù)專線或MPLS-VPN網(wǎng)絡(luò)等方式進(jìn)行互聯(lián)。建議在數(shù)據(jù)中心的網(wǎng)絡(luò)邊界分別部署2臺防火墻和2臺路由器，采用直連光纖、數(shù)據(jù)專線或者M(jìn)PLS-VPN網(wǎng)絡(luò)等方式進(jìn)行互聯(lián)。防火墻采用雙機(jī)熱備的方式，并工作在透明模式。根據(jù)訪問需求在防火墻上做詳細(xì)的包過濾安全策略，對主數(shù)據(jù)中心和容災(zāi)數(shù)據(jù)中心之間的業(yè)務(wù)互訪進(jìn)行安全控制。(3)分布式數(shù)據(jù)中心模式數(shù)據(jù)中心通常以大集中方式進(jìn)行數(shù)據(jù)中心建設(shè)，一般只設(shè)立一個數(shù)據(jù)中心；但在某種場景下，比如大型的云網(wǎng)，需要建設(shè)分布式數(shù)據(jù)中心。分布式數(shù)據(jù)中心采用的是分層次的部署方式：上級政府部門成為一級數(shù)據(jù)中心，直接下屬單位為二級數(shù)據(jù)中心，再下級單位為三級數(shù)據(jù)中心；分布式數(shù)據(jù)中心一般以兩級數(shù)據(jù)中分布式數(shù)據(jù)中心的網(wǎng)絡(luò)拓?fù)淙?/p>