中國保險資產(chǎn)管理業(yè)協(xié)會

私有云平臺實施方案

項目名稱：人讓轉首兵的迪

2015年12月11日

arvato

目錄

第1章總體初步設計、工作方案.........................................................1

1.1.總體框架設計...................................................................1

1.2.技術路線.......................................................................2

1.2.1.基礎網(wǎng)絡.....................................................................................................................................2

1.2.2.基礎設施..................................................................3

1.2.3.減務支撐..................................................................3

I.2.4.應用遷移..................................................................4

1.2.5.信息安全..................................................................4

1.3.實施產(chǎn)品清單...................................................................5

1.4.實施工作內(nèi)容.................................................................7

第2章網(wǎng)絡技術實施方案...............................................................8

2.1.總體網(wǎng)絡架構設計...............................................................B

2.2.網(wǎng)絡子系統(tǒng)....................................................................9

2.2.1.云平臺數(shù)據(jù)中心網(wǎng)絡設計...................................................9

2.2.2.IP地址規(guī)劃..............................................................10

2.2.3.路由協(xié)議設計............................................................12

2.2.4.VPN設計.................................................................12

2.2.5.QOS設計.................................................................12

2.2.6.可靠性設計...............................................................16

2.2.7.安全性設計...............................................................17

2.2.8.網(wǎng)管設計.................................................................19

2.2.9.云平臺IDC虛擬化部署....................................................20

第3章云平臺機房技術實施方案........................................................24

3.1.系統(tǒng)概述.....................................................................24

3.2.云平臺機房概述...............................................................25

3.2.1.建設標準................................................................25

3.2.2.地理位置................................................................27

3.2.3.電力系統(tǒng)................................................................28

3.2.4.制冷....................................................................30

3.2.5.消防....................................................................31

3.2.6.安保監(jiān)控................................................................32

3.3.數(shù)據(jù)中心機柜資源規(guī)劃.........................................................33

第4章云基礎設施（IAAS層）技術實施方案..............................................35

4.1.云計算基礎架構體系............................................................35

4.1.1.設計原則.................................................................35

4.L2.系統(tǒng)總體架構..............................................................36

4.2.云計算中心網(wǎng)絡層設計.........................................................44

-第1頁?

arvato

4.2.1.設計思路........................................................................44

4.3.云平臺網(wǎng)絡系統(tǒng)整體架構.......................................................46

4.3.1.整體架構設計思想..............................................................46

4.3.2.云平臺內(nèi)網(wǎng)網(wǎng)絡系統(tǒng)設計........................................................48

4.3.3.云平臺中心核心交換區(qū)..........................................................49

4.3.4.云平臺中心云資源池區(qū)..........................................................50

4.3.5.云平臺中心運維管理區(qū)..........................................................51

4.3.6外聯(lián)安全接入?yún)^(qū).................................................................51

4.3.7.云平臺內(nèi)網(wǎng)接入網(wǎng)絡設計........................................................52

4.3.8.云平臺內(nèi)網(wǎng)網(wǎng)絡系統(tǒng)設計總結...................................................53

4.3.9.云平臺網(wǎng)絡關鍵技術支撐........................................................54

4.4.虛擬網(wǎng)絡規(guī)劃.................................................................55

4.5.服務器設備清單...............................................................56

第5章軟硬件實施詳細方案............................................................58

5.1.華為防火墻安裝部署...........................................................58

5.1.1.配置番防火墻上的NAT..........................................................................................................58

5.1.2.配置雙機熱備份模式............................................................59

5.2.華為服務器安裝部署...........................................................61

5.2.1.服務器安裝流程................................................................61

5.2.2.服務器上架安裝..................................................................62

5.2.3.配苴RAID.................................................................................................................................64

5.3.浪潮存儲AS520-E安裝部署......................................................69

5.3.1.設備登陸........................................................................69

5.3.2.創(chuàng)建資源池......................................................................69

5.33.創(chuàng)建RAID..................................................................................................................................70

5.3.4.自動鏡像故障遷移................................................................71

5.3.5.創(chuàng)建主機組......................................................................71

5.4.VMWAREvCAC安裝部署...........................................................72

5.4.1.部署VCACIndentity............................................................................................................72

5.4.2.部署VCACAppliance............................................................................................................75

5.4.3.安裝酸置工具...................................................................78

5.5.VMWAREVSPHERE安裝部署........................................................80

5.5.1.方案拓撲.......................................................................80

5.5.2.方案構成部分詳細說明..........................................................81

5.5.3.硬件資源分配...................................................................83

5.6.WINDOWS域控部署.............................................................101

5.6.1.數(shù)據(jù)中心父域控搭建...........................................................161

5.6.2.協(xié)會內(nèi)網(wǎng)新建子域.............................................................163

第6章項目管理計劃.................................................................104

6.1.云平臺部署流程...............................................................104

6.2.項目管理計劃................................................................105

-第2頁?

arvato

6.3.項目人員職責105

?第3頁?

arvato

第1章總體初步設計、工作方案

1.1.總體框架設計

本次中國保險資產(chǎn)管理業(yè)協(xié)會私有云平臺實施工作方案將針對計算服務整

體架構中的云計算資源，通過對底層服務器硬件及存儲資源實現(xiàn)虛擬化聚合部

署，配合以云計算管理平臺、監(jiān)控平臺、資源調度平臺，實現(xiàn)云計算中基礎架

構即服務(laaS)部分，同時該laaS平臺也為以后計算中心提供更高層次的

云計算服務，如PaaS,SaaS服務提供了良好的基礎平臺，也為中國保險資產(chǎn)

管理業(yè)協(xié)會今后部署其他業(yè)務系統(tǒng)，及現(xiàn)有系統(tǒng)寸展提供良好的擴展性。

協(xié)會私有云平臺的總體框架由七大核心組件構成：運維服務、業(yè)務應用系

統(tǒng)、基礎設施、平臺虛擬化、計算資源、計算資源管埋、右管埋平臺。推進系

統(tǒng)的建設，服務是宗旨，應用是關鍵，支撐是依吒，信息資源是核心，基礎設

施是承載，運維和標準化體系是保障。

I圖彩用戶K司］里田區(qū)宣]|[.＞界E0(宣頁][、

動態(tài)資源管慳

網(wǎng)絡管-

IP史?'盛樂導城網(wǎng)患

、后W網(wǎng)/存儲區(qū)域網(wǎng)館址

程

<___y

圖1協(xié)會【aaS云平臺系統(tǒng)總體框架圖

-第1頁?

arvato

基礎設施平臺建設是協(xié)會云平臺的基礎和前提。包括網(wǎng)絡支撐

環(huán)境建設和硬件支撐環(huán)境建設?；诟咭?guī)格數(shù)據(jù)中心，滿足協(xié)

基礎設施

會設備托管、應用系統(tǒng)訪問的需求，并具備為協(xié)會提供虛擬服

務器和存儲的服務能力以及。

構建協(xié)會云平臺計算資源池，實現(xiàn)業(yè)務運行過程中需要的各類

計算資源數(shù)據(jù)資源和信息資源的集中存儲和管理。建立資源目錄體系，

為各保險行業(yè)客戶提供信息查詢和共享服務。

針對協(xié)會云平臺計算資源池費源使用情況與系統(tǒng)負載程度，手

計算資源管理動、自動調整資源分配，將空閑資源充分利用，實現(xiàn)硬件資源

高效運行。

另類投資項目應用系統(tǒng)建設，是協(xié)會云平臺系統(tǒng)建設的主要內(nèi)

容，圍繞需要開展的各項業(yè)務，以另類投資系統(tǒng)開發(fā)與云托管

業(yè)務應用系統(tǒng)

為主線，以資源整合與應用支撐為基礎，建立信息共享機制和

業(yè)務協(xié)同體系，為協(xié)會注冊會員單位提供數(shù)據(jù)交換服務。

云平臺運維服務是協(xié)會云平臺建設項目的重要保障系統(tǒng)。系統(tǒng)

的服務體系根據(jù)對象分為兩大類，數(shù)據(jù)中心及線路運維服務，

運維服務體系實現(xiàn)協(xié)會與保險單位實現(xiàn)信息公開、網(wǎng)上辦事和會員服務；云

平臺運維服務，實現(xiàn)各類應用系統(tǒng)的在私有云環(huán)境下的虛擬機

運維，監(jiān)控和告警服務。

采用業(yè)界領先的虛擬化技術，將另類投資系統(tǒng)在虛擬化平臺部

平臺虛擬化

署。后續(xù)其他業(yè)務系統(tǒng)平滑遷移和備份。

VCAC私有云管理平臺是協(xié)會云平臺建設的核心，通過VCAC對

私有云資源的監(jiān)控、調度、自助門戶、統(tǒng)計分析等功能搭建協(xié)

云管理平臺

會信息系統(tǒng)從傳統(tǒng)IT到云架構的轉型，同時作為今后業(yè)務系

統(tǒng)的托管平臺。

1.2.技術路線

1.2.1.基礎網(wǎng)絡

搭建云平臺基礎網(wǎng)絡，通過防火墻、VPN技大實現(xiàn)另類投資等業(yè)務系統(tǒng)與

協(xié)會內(nèi)網(wǎng)VPN遠程連接，內(nèi)網(wǎng)采用0SPF/BGP的動態(tài)路由協(xié)議；外網(wǎng)采用IPSec

VPN技術實現(xiàn)端到端的可靠傳輸。防火墻、核心交換機全部采用冗余架構，避

免單點故障的風險，打造穩(wěn)定安全的云平臺基礎網(wǎng)絡。

-第2頁?

arvato

1.2.2.基礎設施

通過云計算、虛擬化技術實現(xiàn)數(shù)據(jù)中心的建沒，提高資源利用率，避免復

雜的系統(tǒng)集成和大規(guī)模的設備占用空間，降低投資成本，簡化管理復雜性，能

對整體系統(tǒng)運行環(huán)境進行統(tǒng)一監(jiān)管和動態(tài)分配，從而降低計算管理和運行成

本。協(xié)會云平臺數(shù)據(jù)中心按照T3十標準進行選址、選型。

按照系統(tǒng)的高可用性要求，本次項目擬采用新一代的可自愈的基礎設施。

本次設計考慮到安全及最優(yōu)成本的同時提高系統(tǒng)資源利用率，并為未來“云”

模式下的協(xié)會應用提供無縫的遷移和過渡能力。在數(shù)據(jù)中心的建設中引入云計

算、虛擬化技術，在數(shù)據(jù)中心搭建云平臺，通過服務器虛擬化，有效降低業(yè)務

系統(tǒng)建設的硬件投入實現(xiàn)硬件資源管理和使用的集約化。

經(jīng)測算，置五臺高性能物理服務器作為計算資源，通過在服務器上安裝配

置虛擬化平臺軟件，在單個物理服務器實體上，充分使用設備的空余資源，利

用管理調度平臺生成多個獨立的虛擬服務器。每一個虛擬服務器從功能、性能

和操作方式上等同于傳統(tǒng)的單臺物理服務器。每個虛擬機可以獨立的裝配置不

同的操作系統(tǒng)而互不影響，從而大大提高資源利用率，降低成本，增強了系統(tǒng)

和應用的可用性，提高系統(tǒng)的靈活性和快速響應，實現(xiàn)了服務器虛擬架構的整

合。而對于現(xiàn)有物理服務器上的應用，可以通過遷移工具完整的遷移到虛擬化

環(huán)境中，無需重新部署，所有配置保持原樣。

1.2.3.服務支撐

云平臺日常運維服務包括：基礎架構管理，云平臺管理，網(wǎng)絡運維，服務

器運維，監(jiān)控服務，基礎公資源監(jiān)控服務。

對于突發(fā)事件，歐唯特信息系統(tǒng)根據(jù)故障的嚴重程度和影響程度的不同，將

故障級別由低到高分為三級故障、二級故障和一級故障。當故障沒有在規(guī)定時限

內(nèi)恢復或解決時，故障級別將自動升級。當故障不能使用有效的遠程支持方式進

行解決時，歐唯特信息系統(tǒng)公司將派遣工程師趕往用戶現(xiàn)場，協(xié)助進行現(xiàn)場故障

診斷及現(xiàn)場故障排除。

-第3頁?

arvato

1.2.4.應用遷移

通過云遷移技術將現(xiàn)有應用系統(tǒng)的無縫切換到云服務平臺。

1.2.5.信息安全

按照等級保護要求，通過訪問控制、入侵防范、惡意代碼防范、資源控制

等方面來實現(xiàn)信息安全。

-第4頁?

arvato

1.3.實施產(chǎn)品清單

?笫5頁?

arvato

產(chǎn)品品牌型號配置數(shù)量

2顆10核CPU,CPU型號為

E5-2650v3：內(nèi)存128G,硬

服務器（計

華為RH2288HV3盤300G*210KSAS/RAID/8Gb5臺

算節(jié)點）

HBA*2/4port1G網(wǎng)卡/RW-

DVD

1顆8核CPU,CPU型號為E5-

2609v3：內(nèi)存16G.硬盤

服務器（管

華為RH2288HV3300G*210KSAS/RAID/8Gb1臺

理節(jié)點）

HBA*2/4pcrt1G網(wǎng)卡/RW-

DVD

RH2288HV3服

附件華為16G單條*44條

務器內(nèi)存

17TB凈容量，支持內(nèi)置高速

緩存32GCache,雙控制器

（Active-Active）,板載8個

1GbiSCSI主機接口，2個

存儲服務器浪潮AS520E-M11臺

24GbSAS寬端口，RAID級別:

0/1/10/5/6/50/60,支持自動

分層，自動精簡配置，卷復制，

卷鏡像，快照技術等。

2臺冗余。單臺激活16口，帶

BROCADESAN

光纖交換機博科16根線2臺

Switch

華為網(wǎng)絡交換三層千兆以太網(wǎng)交換機，背板

機S5700-28C-帶寬：160Gbps,包轉發(fā)率

網(wǎng)絡交換機華為2臺

SI-AC65.5Mpps,24個10/100/1000

以太網(wǎng)口,可堆疊

VPN防火墻，網(wǎng)絡吞吐量：

300Mbps,并發(fā)連接數(shù):

130000，用戶數(shù)限制：無用

華為USG6360戶數(shù)限制，安全過濾帶寬：

防火墻華為2臺

防火墻170Mbps,3+1個管理快速以

太網(wǎng)端口、可升級到5個快

速以太網(wǎng)端口、1個SSM擴

展插槽

VMware

基礎虛擬化VMware

vSphere6標準版1套

軟件vSphere

Std

虛擬化管理VMwareVMware

標準版1套

平臺vCentervCenterStd

VCAC

云管理平臺VMware

Standard標準版1套

軟件vCloud

Version

北京大興星光

世紀互

機柜租賃影視城數(shù)據(jù)中16A機柜1個

聯(lián)

心

?第6頁?

arvato

5M獨享雙線

公網(wǎng)帶寬雙線BGP16個公網(wǎng)IP5M

BGP

1.4.實施工作內(nèi)容

工作項目服務名稱服務內(nèi)容

?私有云環(huán)境需求分析，環(huán)境調研。前

需求分析業(yè)務分析，需求調研

期云集成方案設計

?私有云平臺基礎架構設計

?私有云平臺管理流程設計

云平臺設計私有云平臺規(guī)劃設計

?私有云平臺Portal需求分析

?及該階段項目管理

?私有云平臺基礎架構部署

?私有云平臺管理流程實施

云平臺部署私有云平臺安裝，配置

?私有云平臺Portal部署及實施階段

項目管理工作

?私有云平臺網(wǎng)絡環(huán)境安裝部署及調試

私有云計算資源部詈調試

系統(tǒng)環(huán)境部私有云平臺底層環(huán)境安裝部?私有云存儲資源部署調試

署署，策略配置?默認監(jiān)控平臺部署私有云基礎架構系

統(tǒng)集成測試

?及項目管理工作

?操作系統(tǒng)安裝及系統(tǒng)調優(yōu)

應用環(huán)境測為業(yè)務系統(tǒng)上線部署OS及配?CBP監(jiān)控服務部署

試與部署合上線?配合應用系統(tǒng)上線測試

?項目管理

?準備SIT（系統(tǒng)集成測試）環(huán)境

系統(tǒng)集成測私有云平臺與業(yè)務系統(tǒng)聯(lián)調測

?與應用部門聯(lián)調測試

試試

?項目管理

?準備UAT測試環(huán)境與應用部門聯(lián)調執(zhí)

UAT最終驗收測試行UAT測試

?項目管理

-第7頁?

arvato

第2章網(wǎng)絡技術實施方案

2.1.總體網(wǎng)絡架構設計

協(xié)會云平臺項目的總體架構概括為四層。四層為計算層、網(wǎng)絡層、平臺

層、用層，網(wǎng)絡拓撲如卜。

圖2總體網(wǎng)絡架構設計

>計算層

計算層網(wǎng)絡主要包括物理服務器、存儲設備網(wǎng)絡傳輸。通過冗余部署的光

纖交換機，實現(xiàn)高速數(shù)據(jù)存儲網(wǎng)絡，為云平臺提供高速，穩(wěn)定的計算網(wǎng)絡。

>網(wǎng)絡層

-第8頁?

arvato

網(wǎng)絡層主要完成XV數(shù)據(jù)的可靠性傳送，主要負責互聯(lián)網(wǎng)、VPN以及今后與

各個保險機構專線互聯(lián)。設計采用5M互聯(lián)網(wǎng)出口基礎上搭建VPN與協(xié)會內(nèi)網(wǎng)安

全互聯(lián)?；ヂ?lián)網(wǎng)出口采用二臺下一代防火墻實現(xiàn)冗余部署，避免單點故障風

險。

>平臺層

平臺層基于云計算技術和中間件技術，主要包括laaS層以及運維支撐層，

通過云計算和虛擬化技術，具有靈活的可擴展性，主要實現(xiàn)虛擬化環(huán)境下各個

虛擬機直接網(wǎng)絡傳輸。

>應用層

應用層由遷移到云平臺的原有應用和新建應用組成C通過二臺冗余的核心

T兆交換機，實現(xiàn)應用服務器之間高速、穩(wěn)定的內(nèi)部網(wǎng)絡傳輸。通過其內(nèi)置的

HA功能實現(xiàn)冗余部署，防止單點故障產(chǎn)生。

2.2.網(wǎng)絡子系統(tǒng)

云平臺IDC網(wǎng)絡也采用三層結構進行設計，即：IDC出口層、核心交換

層、接入層。詳細設計建議見后續(xù)各章節(jié)。

2.2.1.云平臺數(shù)據(jù)中心網(wǎng)絡設計

本著高先進性與實用性、可靠性、高安全性、高擴展性以及遵循開放標準

的設計原則，云平臺數(shù)據(jù)中心交換網(wǎng)解決方案采用流行兩層網(wǎng)絡結構。

1.出口層

采用雙機冗余部署方式，部署1對防火墻。2臺防火墻間通過鏈路互聯(lián)；

向內(nèi)通過千兆鏈路連接2臺核心交換機。即：對外通過5M互聯(lián)網(wǎng)線路連接互聯(lián)

網(wǎng)或VPN連接到協(xié)會內(nèi)部網(wǎng)絡心，通過千兆鏈路連接平臺內(nèi)網(wǎng)。

防火墻主要實現(xiàn)如下功能：

>連接不同的網(wǎng)絡，掌握全網(wǎng)路由，實現(xiàn)必要的路由策略控制；

-第9頁?

arvato

>圍繞云平臺信息資源，負責各方向流量的高速轉發(fā)；

>提供不同業(yè)務所需的QoS保證，實施基于聚合規(guī)則的流量控制策略；

>提供IPv4、IPv6網(wǎng)絡互聯(lián)互通過渡技術功能。

2.核心交換層

采用雙機冗余部署方式，部署1對核心交換雙。2臺核心交換機間通過雙

千兆鏈路互聯(lián)，向下通過千兆鏈路連接接入層交爽機，向上通過千兆鏈路連接

上行防火墻。

在此網(wǎng)絡架構中，服務器網(wǎng)絡接口連接在核心交換機上，數(shù)據(jù)中心內(nèi)部基

于二層網(wǎng)絡進行通訊，數(shù)據(jù)中心與外連網(wǎng)絡基于三層網(wǎng)絡進行通訊。

核心交換機主要實現(xiàn)如下功能：

>作為內(nèi)部服務器網(wǎng)關。

>作為云數(shù)據(jù)中心網(wǎng)絡中樞，負責內(nèi)網(wǎng)橫向和縱向流量的高速轉發(fā)；

3.IDC網(wǎng)絡設備產(chǎn)品推薦

本期云平臺數(shù)據(jù)中心網(wǎng)絡建設，各主要網(wǎng)絡設備配置如下表:

三層千兆以太網(wǎng)交換機，背板帶寬：

華為網(wǎng)絡交換機55700-

160Gbps,包轉發(fā)率65.5Mpps,24個2臺

28C-SI-AC

10/100/1000以太網(wǎng)口,可堆疊

網(wǎng)絡設備VPN防火墻，網(wǎng)絡存吐量：300Mbps，并發(fā)連接

數(shù)：130000，用戶數(shù)限制:無用戶數(shù)限制，安

華為USG6360防火墻全過濾帶寬：170Mbps,3+1個管理快速以太2臺

網(wǎng)端口、可升級到5個快速以太網(wǎng)端口、1個

SSM擴展插槽

2.2.2.IP地址規(guī)劃

2.2.2.1.IP地址總體規(guī)劃

為滿足后期業(yè)務的承載需求，首先需要對全網(wǎng)的IP地址進行一個科學精確

的規(guī)劃：

-第10頁?

arvato

>為后期的網(wǎng)絡拓展、'業(yè)務拓展等工作提供支持；

>實現(xiàn)接入點的精確綁定，保證接入點用戶可定位、可溯源、可隔離；

>為業(yè)務的可識別、可分流和端到端的QoS保障提供支撐；

>統(tǒng)一規(guī)范，為其他業(yè)務統(tǒng)一的策略部署、新業(yè)務統(tǒng)一部署打下基礎；

>實現(xiàn)每接入點/每用戶/每業(yè)務/按需分配1P地址；

>規(guī)劃初中期采用IPv4地址，后期可以根據(jù)需求采用IPv6地址。

1.IPv4地址規(guī)劃

本次針對內(nèi)網(wǎng)、外網(wǎng)地址規(guī)劃，全網(wǎng)部署10.0.0.0/8網(wǎng)段，其中內(nèi)網(wǎng)部署

10.0.1.廣100.5.254段地址、外網(wǎng)部署10.0.6.廣10.255.255.255段地址c

云平臺IDC采用公網(wǎng)IPv4地址，地址規(guī)模為1個C類。

2.2.2.2.云平臺IDC網(wǎng)絡IP地址規(guī)劃

>網(wǎng)絡設備VLAN地址

IDC網(wǎng)絡設備VLAN地址采用保留IPv4地址，在內(nèi)網(wǎng)地址段中選擇一段,

建議在10.0.1.0/16地址段進行分配，具體見下表：

設備VLAN地址

防火墻10.0.1.1/32、10.0.1.2/32

核心交換機10.0.1.3/32、10.0.1.4/32

接入交換機10.0.1.5/32、10.0.1.6/32

>網(wǎng)絡設備互聯(lián)地加

IDC網(wǎng)絡設備間、IDC網(wǎng)絡設備與外聯(lián)設備間互聯(lián)地址在10.0.5.0/24范圍

內(nèi)選擇。

>服務器地址

虛擬化服務器地址采用私網(wǎng)IP地址。

-第11頁?

arvato

2.2.3.路由協(xié)議設計

>路由協(xié)議設計原則

內(nèi)網(wǎng)、外網(wǎng)各分配一個保留的自治域編號。

內(nèi)或外網(wǎng)IGP協(xié)議建議采用0SPF或IS-IS協(xié)議中的一種協(xié)議,內(nèi)網(wǎng)IGP

協(xié)議建議運行于所有路由器；

網(wǎng)內(nèi)設備和互聯(lián)鏈路路由信息采用IGP協(xié)議進行通告；

>內(nèi)部IGP規(guī)劃

由于IDC網(wǎng)絡三層網(wǎng)絡規(guī)模都不大，設備數(shù)量有限(少于50臺)，優(yōu)先考

慮0SPF?

2.2.4.VPN設計

為了增強安全性，協(xié)會內(nèi)網(wǎng)可以通過VPN與云數(shù)據(jù)中心內(nèi)業(yè)務系統(tǒng)互聯(lián)。

建議在協(xié)會防火墻和云數(shù)據(jù)中心防火墻啟用IPSecVPN實現(xiàn)安全連接。

2.2.5.QOS設計

2.2.5.1.QOS模型設計

IETF提出了許多QoS服務模型和協(xié)議，其中比較突出的有IntServ

(IntegratedServices)模型和DiffServ(DifferentiatedServices)模

型。

DiffServ(區(qū)分服務)模型的業(yè)務流被劃分成不同的區(qū)分服務類。一個業(yè)

務流的區(qū)分服務類由其1P包頭中的區(qū)分服務標記字段(DifferentService

CodePoint,簡稱DSCP)來表示。區(qū)分服務只包含有限數(shù)量的業(yè)務級別，狀態(tài)

信息的數(shù)量少，因此實現(xiàn)簡單，擴展性較好。目前，區(qū)分服務是業(yè)界認同的IP

骨干網(wǎng)的QoS解決方案，盡管IETF為每個標準的PHB都定義了推薦的DSCP

值，但是設備廠家可以重新定義DSCP與PHB之間的映射關系，用戶可根據(jù)網(wǎng)絡

實際運維需要進行靈活定義。DiffServ對聚合的業(yè)務類提供QoS保證，可擴展

-第12頁?

arvato

性好，便于在大規(guī)模網(wǎng)絡中使用。

2?2.5.2.QOS規(guī)劃方案

1.流量分類及標記

流量分類是將數(shù)據(jù)報文劃分為多個優(yōu)先級或多個服務類。

網(wǎng)絡管理者可以設置流量分類的策略，這個策略除可以包括IP報文的IP

優(yōu)先級或DSCP值、802.Ip的CoS值等帶內(nèi)信令，還可以包括輸入接口、源IP

地址、目的IP地址、MAC地址、TP協(xié)議或應用程序的端口號等。

對于網(wǎng)絡協(xié)議控制管理、語音、視頻類數(shù)據(jù)流，可以根據(jù)協(xié)議類型來進行

分類和標記。除此之外，在接入交換機側，也可以根據(jù)網(wǎng)絡的規(guī)劃，將不同的

業(yè)務數(shù)據(jù)流放入不同的VLAN之中，不同業(yè)務的1P地址空間不相同，也可以根

據(jù)源IP地址及目的IP地址，在入口處對進入網(wǎng)絡的IP報文進行分類和標記。

流量分類后就打標記。所謂標記就是根據(jù)SLA以及流分類的結果對業(yè)務流

打上類別標記。目前RFC定義了六類標準業(yè)務即:EF、AF1-AF4.BE,并且通過

定義各類業(yè)務的PHB(Per-hopBehavior)明確了這六類業(yè)務的服務實現(xiàn)要求，

即設備處理各類業(yè)務的具體實現(xiàn)要求。從業(yè)務的外在表現(xiàn)看，基本上可認為EF

流要求低時延、低抖動、低丟包率，對應于實際應用中的Video、語音、會議

電視等實時業(yè)務；AF流要求較低的延遲、低丟包率、高可靠性，對應于數(shù)據(jù)可

靠性要求高的業(yè)務如電子商務、企業(yè)VPN等；對BE流則不保證最低信息速率和

時延，對應于傳統(tǒng)互聯(lián)網(wǎng)業(yè)務。

在某些情況下需要重標記DSCPo例如在Ingress點業(yè)務流量進入以前已經(jīng)

有了DSCP標記(如上游域是DSCP域的情形，或者用戶自己進行了D5CP的標

記)，但是根據(jù)SLA,又需要對DSCP進行重新標記。

分類標記將攜帶在IP報文中，作為后續(xù)QoS處理的依據(jù)。

2.隊列技術及擁塞管理

擁塞管理是指在網(wǎng)絡發(fā)生擁塞時，如何進行管理和控制。處理的方法是使

-第13頁?

arvato

用隊列技術，具體過程包括隊列的創(chuàng)建、報文的分類、將報文送入不同的隊

列、隊列調度等。當接口沒有發(fā)生擁塞時，報文到達接口后立即被發(fā)送出去，

當報文到達的速度超過接口發(fā)送報文的速度時，接口就發(fā)生了擁塞。擁塞管理

就會將這些報文進行分類，送入不同的隊列；而隊列調度將對不同優(yōu)先級的報

文進行分別處理，優(yōu)先級高的報文會得到優(yōu)先處理。常用的隊列有FIFO、PQ、

CQ、WFQ、CBWFQ、等。

>PQ

需要先對報文進行分類，然后按報文的類別將報文送入PQ相應的隊列。在

報文出隊列的時候，PQ首先讓高優(yōu)先隊列中的報文出隊，直到高優(yōu)先隊列中的

報文發(fā)送完，才發(fā)送中優(yōu)先隊列中的報文，同樣直到發(fā)送完中優(yōu)先隊列中的報

文，才能發(fā)送低優(yōu)先隊列的報文。

這樣，分類時屬于較高優(yōu)先級隊列的報文將會得到優(yōu)先發(fā)送，而較低優(yōu)先

級的報文將會在發(fā)生摭塞時被較高優(yōu)先級的報文搶先，使得關鍵業(yè)務的報文能

夠得到優(yōu)先處理，非關鍵業(yè)務的報文在網(wǎng)絡處理完關鍵業(yè)務后的空閑中得到處

理。這樣處理既保證了關鍵業(yè)務的優(yōu)先，又充分利用了網(wǎng)絡資源。

由于PQ總是保證高優(yōu)先級的報文得到優(yōu)先轉發(fā)，所以當高優(yōu)先級的流量過

多時，可能會造成低優(yōu)先級的流量沒有轉發(fā)機會，所以使用PQ時應該合理規(guī)劃

各個優(yōu)先級的流量，適當限制高優(yōu)先級的流量，使低優(yōu)先級的流量也獲得一定

的發(fā)送機會。

>CBWHQ/LLQ

CBWFQ按照報文進入網(wǎng)絡設備的端口、報文的協(xié)議、是否匹配ACL來對報

文進行分類。每個流量類別對應一個隊列，支持64個流量類別，不同類別的報

文送入不同的隊列。走于不匹配任何類別的報文，則被送入默認隊列。隊列采

用WRR算法進行輪詢。

可以為每個流量類別定制一定的傳輸特性，如帶寬、傳輸權值、傳輸限制

等。為一個隊列指定的帶寬通常是指在帶寬擁塞時為該隊列所保證的帶寬。調

-第14頁-

arvato

度器按照分配給每個流量類別的權值保證每個隊列分配到一定的帶寬，可以對

每個隊列為每個流量類別設置長度限制，長度限制是在該類別隊列中允許的最

大分組數(shù)量，如果隊列達到了長度限制，分組丟棄策略生效，CBWFQ可以和隊

尾丟棄、WRED等丟棄機制相結合。

這樣，在端口不發(fā)生擁塞的情況下，可以使各個流量類別的報文能獲得一

定的帶寬，在端口擁塞的情況下，又可以保證屬于優(yōu)先隊列的報文不會占用超

出規(guī)定的帶寬，保護其他報文得到相應的帶寬。

CBWFQ允許為分配給每個流量類別的帶寬提供確定性的或〃硬〃的擔保。對

于高速鏈路或骨干網(wǎng)來說重點是帶寬分配的硬性也保，CBWFQ是一種功能強大

的QoS工具。

網(wǎng)絡擁塞會導致網(wǎng)絡性能的降低和帶寬得不到高效的使用，為了避免捕

塞，隊列可以通過丟棄數(shù)據(jù)包避免在任何可能的地方出現(xiàn)擁塞。隊列管理的主

要目的就是通過合理控制Buffer的使用，對可能出現(xiàn)的擁塞進行控制。其常用

的方法是采用RED/WRED算法，在Buffer的使用率超過一定門限后對部分級別

較低的報文進行早期丟棄，以避免在擁塞時直接進行末尾丟棄引起著名的TCP

全局同步問題，同時保護級別較高的業(yè)務不受擁塞的影響。

2.2.5.3.QOS部署建議

根據(jù)承載多業(yè)務要求，對不同業(yè)務需實施不同的QoS策略。

在網(wǎng)絡發(fā)生擁塞的時候，采用隊列的策略來調度每種業(yè)務，使得每種業(yè)務

獲取預先設定的服務質量參數(shù)。目前隊列調度機制有先進先出、優(yōu)先、加權輪

循以及帶有優(yōu)先隊列的加權輪循等。

為了支持多個業(yè)務等級，設備將不同等級的分組放入不同的隊列中。設備

在處理過程中，按照一定的隊列調度算法，決定從哪個隊列中取出數(shù)據(jù)分組進

行服務。隊列調度算法的好壞直接影響路由器的性能和QoS效果。

-第15頁?

arvato

2.2.6.可靠性設計

整個云平臺數(shù)據(jù)中心網(wǎng)絡的高可靠性是大規(guī)模云數(shù)據(jù)中心網(wǎng)絡建設成功的

關鍵，對于重要節(jié)點比如核心設備雙機部署，提高單點可靠性；網(wǎng)絡設備的關

鍵部件，比如防火墻、交換機等都采用冗余設計，控制層面和數(shù)據(jù)層面分離等

提高設備自身的可靠性；對于整個網(wǎng)絡，部署快速故障檢測協(xié)議，能快速感知

并自動恢復，提高整網(wǎng)的可靠性；軟件的在線升級和熱補丁是可靠性設計的重

要后盾。

2.2.6.1.設備高可靠性

以太網(wǎng)存在兩個不同的操作平面：控制平面和數(shù)據(jù)平面?？刂破矫嬷饕?/p>

指通訊協(xié)議、MAC信息和其它協(xié)議報文，還包括網(wǎng)絡設備本身的主機軟件.控

制平面用來實現(xiàn)網(wǎng)絡元素之間的通信?？刂破矫嬉话愫陀脩魯?shù)據(jù)共享通信鏈

路。

數(shù)據(jù)平面主要是指以太網(wǎng)承載的各種業(yè)務，如語音、媒體流、辦公數(shù)據(jù)等

VPN業(yè)務等。這些業(yè)務對于以太網(wǎng)是數(shù)據(jù)轉發(fā)，主要是流量的沖擊，內(nèi)部一般

不采用過多的安全控制策略。

226.2.協(xié)議高可靠性

1.鏈路聚合

鏈路聚合也稱為鏈路捆綁、端口聚集或鏈路聚集，就是將多個端口聚合在

一起形成一個匯聚組，以實現(xiàn)出/入負荷在各成員端口中的分擔。從外面看起

來，一個匯聚組好象就是一個端口。鏈路聚合的工作方式支持靜態(tài)Trunk方式

及動態(tài)LACP方式，通過配置可以實現(xiàn)多條鏈路的負載分擔及相互備份。MC-LAG

支持跨主機的鏈路捆綁，可用于雙歸場景中的主備保護。

鏈路聚合的優(yōu)點：

1）增加網(wǎng)絡帶寬，端口聚合可以將多個連接的端口捆綁成為一個邏輯連

接，捆綁后的帶寬是每個獨立端口的帶寬總和；

-第16頁-

arvato

2）提高網(wǎng)絡連接的可靠性。當一條鏈路故障，流量會自動在剩下的鏈路問

重新分配；

3）避免二層環(huán)路。

2.2.7.安全性設計

2.2.7.1.網(wǎng)路安全風險分析

據(jù)ISCA統(tǒng)計，隨著安全威脅的升級，全球每年由信息安全問題導致的殞失

約數(shù)百億美金，其中源于內(nèi)部的威脅達60乳來自外部的威脅達40機

圖3網(wǎng)絡安全威脅分析

云平臺數(shù)據(jù)中心是企業(yè)信息化系統(tǒng)的基石，是企業(yè)業(yè)務集中化部署、發(fā)

布、存儲的區(qū)域，如果數(shù)據(jù)中心不可用，公司運作可能被削弱或被完全停止。

因此，網(wǎng)絡安全對數(shù)據(jù)中心來說至關重要。但一直以來，數(shù)據(jù)中心都是一個安

全措施嚴重不足的區(qū)域。根據(jù)客戶調查、層出不窮的安全威脅和日益增長的專

利信息保護需求，企業(yè)必須為數(shù)據(jù)中心提供足夠的安全保障，防止來自內(nèi)部的

攻擊一一無論是有意還是無意導致。

云平臺數(shù)據(jù)中心主要面臨來自以下幾個方面的風險：

■數(shù)據(jù)機密風險：企業(yè)和個人數(shù)據(jù)托管后如何保證數(shù)據(jù)的機密性。

■訪問權限風險：多用戶場景下，不同用戶之間的訪問控制，以及單個用

戶的權限管理和控制。用戶行為監(jiān)控。

■管理權限風險：企業(yè)托管業(yè)務和數(shù)據(jù)的管理權限與責任劃分。

-第17頁?

arvato

■數(shù)據(jù)恢復風險：大規(guī)模數(shù)據(jù)的備份和恢復。

■應用威脅風險：多用戶多途徑接入，多種應用共存的場景下安全防批策

略有效性。

2272網(wǎng)路安全建設思路

云平臺數(shù)據(jù)中心網(wǎng)絡安全不僅僅是把安全設備簡單地疊加到整個網(wǎng)絡，網(wǎng)

絡安全是一個整體，需要把安全融合到網(wǎng)絡的每個部分。依此下面提出有一體

化、分層次、綜合全面的網(wǎng)絡安全建設思路。

思路一：網(wǎng)絡安全建設需要全局視圖，提供一體化安全解決方案。

下劃線▼接入

權限控制

管理