中國(guó)移動(dòng)MPLSVPN網(wǎng)絡(luò)-IP專用承載網(wǎng)中國(guó)移動(dòng)集團(tuán)網(wǎng)絡(luò)部黃昭銳-2-目錄中國(guó)移動(dòng)IP專用承載網(wǎng)介紹IP專網(wǎng)組網(wǎng)與路由設(shè)置IP專網(wǎng)維護(hù)手段與團(tuán)隊(duì)IP專網(wǎng)業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量2MPLSVPN業(yè)務(wù)發(fā)展的背景

客戶業(yè)務(wù)需求----從省內(nèi)業(yè)務(wù)擴(kuò)展到省際業(yè)務(wù).

IP承載網(wǎng)特性----覆蓋廣、質(zhì)量高、安全性高的網(wǎng)絡(luò)。PEIPNETPEPEPEPECEA用戶CEA用戶CEB用戶CEB用戶CEB用戶MPLSVPN可以為用戶提供不同邏輯拓?fù)溥B接的跨省業(yè)務(wù)。MPLSVPN通過(guò)不同的“虛通道”，傳遞不同用戶VPN的數(shù)據(jù)。各條“虛通道”互不干擾，保證用戶數(shù)據(jù)的隔離。Internet互聯(lián)網(wǎng)與VPN承載網(wǎng)分離，降低公眾網(wǎng)絡(luò)攻擊的風(fēng)險(xiǎn)。MPLSVPN網(wǎng)絡(luò)特點(diǎn)中國(guó)移動(dòng)IP專用承載網(wǎng)介紹

中國(guó)移動(dòng)IP專用承載網(wǎng)是中國(guó)移動(dòng)面向多種業(yè)務(wù)、能夠同時(shí)支持語(yǔ)音、視頻、數(shù)據(jù)等多業(yè)務(wù)的核心承載網(wǎng)絡(luò)，是全國(guó)性的IP網(wǎng)絡(luò)。主要面向承載中國(guó)移動(dòng)自有高服務(wù)質(zhì)量和高安全可靠性要求的電信業(yè)務(wù)（包括軟交換網(wǎng)、TD核心網(wǎng)電路域/分組域、中國(guó)移動(dòng)企業(yè)內(nèi)部支撐系統(tǒng)）和大客戶業(yè)務(wù)。網(wǎng)絡(luò)通過(guò)MPLSVPN來(lái)承載和隔離業(yè)務(wù)，保障業(yè)務(wù)信息高速、安全傳送。中國(guó)移動(dòng)IP專用承載網(wǎng)始建于2004年，經(jīng)過(guò)多次工程擴(kuò)容建設(shè)，到2013年，網(wǎng)絡(luò)已經(jīng)覆蓋全國(guó)31個(gè)省市自治區(qū)約340多個(gè)地市節(jié)點(diǎn)以及網(wǎng)管中心節(jié)點(diǎn)。-5-目錄中國(guó)移動(dòng)IP專用承載網(wǎng)介紹IP專網(wǎng)組網(wǎng)與路由設(shè)置IP專網(wǎng)維護(hù)手段與團(tuán)隊(duì)IP專網(wǎng)業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量5IP專網(wǎng)網(wǎng)絡(luò)組網(wǎng)中國(guó)移動(dòng)IP承載網(wǎng)整體網(wǎng)絡(luò)規(guī)劃定位于核心、匯聚和接入3層結(jié)構(gòu)，其中接入節(jié)點(diǎn)已經(jīng)覆蓋全國(guó)所有340余個(gè)地市，計(jì)劃建設(shè)廣州國(guó)際出口節(jié)點(diǎn)，能夠保證滿足用戶VPN業(yè)務(wù)的全國(guó)/海外接入需求；后續(xù)計(jì)劃建設(shè)北京、上海國(guó)際出口節(jié)點(diǎn)。網(wǎng)絡(luò)組網(wǎng)省會(huì)和重要城市各個(gè)地市核心城市IP專網(wǎng)網(wǎng)絡(luò)組網(wǎng)核心層：

北京、上海、廣州、沈陽(yáng)、南京、武漢、成都、西安、杭州9個(gè)城市分別配置2臺(tái)核心路由器（CR）或核心兼作匯聚路由器（CR/BR）構(gòu)成9對(duì)核心層節(jié)點(diǎn)。匯聚層

其他省省會(huì)城市及廈門、廣州、深圳、大連、無(wú)錫、青島成對(duì)配置匯聚路由器（BR），構(gòu)成27對(duì)匯聚層節(jié)點(diǎn)。接入層

全國(guó)300多地市成對(duì)配置接入路由器（AR，也稱為PE），構(gòu)成接入層節(jié)點(diǎn)。IP專網(wǎng)路由設(shè)置網(wǎng)絡(luò)整體路由組織采用扁平化原則，全網(wǎng)為單一自治域（AS域）IGP采用IS-IS路由協(xié)議，所有路由器置于Level2層中啟動(dòng)IGPISIS的快速收斂使用LDP協(xié)議分發(fā)標(biāo)簽通過(guò)MP-iBGP傳播VPN路由信息，實(shí)現(xiàn)VPN內(nèi)的互通核心層TEFRR鏈路保護(hù)91、全網(wǎng)開啟ISIS，通過(guò)metric值設(shè)置路徑選擇；全網(wǎng)為同一個(gè)AS域，AS號(hào)為24059。2、全網(wǎng)開啟MPLS，通過(guò)LDP標(biāo)簽分發(fā)協(xié)議建立LSP;通過(guò)MPLSVPN封裝業(yè)務(wù)系統(tǒng)IP專網(wǎng)路由設(shè)置103、CR之間部署流量工程TE:流量工程是控制流量如何通過(guò)本網(wǎng)絡(luò)以實(shí)現(xiàn)資源利用的最大化和提升網(wǎng)絡(luò)的表現(xiàn)力的一種手段。TEFRR收斂時(shí)間在50ms以內(nèi)。目前僅在核心層（CR之間的所有鏈路）部署TE；所有核心節(jié)點(diǎn)之間實(shí)現(xiàn)“一跳式”的保護(hù)，備用LSP僅在核心層之間實(shí)現(xiàn)；IP專網(wǎng)路由設(shè)置-11-IP承載網(wǎng)、CMNET（專線）架構(gòu)對(duì)比整個(gè)IP專網(wǎng)為一個(gè)自治域每個(gè)省網(wǎng)為一個(gè)自治域每個(gè)省網(wǎng)為一個(gè)自治域骨干層骨干網(wǎng)為一個(gè)自治域省網(wǎng)層IP專網(wǎng)CMNET硬件設(shè)備與鏈路設(shè)置路由設(shè)備全網(wǎng)采用業(yè)界上最先進(jìn)的設(shè)備構(gòu)建，具備良好的業(yè)務(wù)支持能力，具備MPLS等業(yè)務(wù)的開展能力，設(shè)備處理能力及可靠性高。中繼設(shè)置網(wǎng)絡(luò)所有中繼鏈路帶寬設(shè)置滿足全網(wǎng)任何1臺(tái)路由器宕機(jī)及任何1條中繼鏈路失效時(shí)的流量疏導(dǎo)需求。全網(wǎng)基本采用N*10G鏈路組網(wǎng)，全網(wǎng)中繼鏈路平均鏈路利用率不超過(guò)30%。全網(wǎng)為輕載網(wǎng)絡(luò)，對(duì)于服務(wù)質(zhì)量有力保證。2013年2季度，現(xiàn)網(wǎng)省際總帶寬達(dá)到1413G，省內(nèi)總帶寬12000G。華為NE5000ENE80E…思科CRSASR…JuniperT1600阿爾卡特7750SRIP專網(wǎng)的保護(hù)機(jī)制設(shè)備級(jí)鏈路級(jí)網(wǎng)絡(luò)級(jí)

設(shè)備關(guān)鍵部件冗余集中控制&分布式轉(zhuǎn)發(fā)體系構(gòu)架MPLSOAM

端口Trunk

鏈路雙歸環(huán)網(wǎng)保護(hù)IGP快速收斂

TEFRR設(shè)備級(jí)：路由器設(shè)備雙電源、雙引擎，設(shè)備故障率下降明顯；鏈路級(jí)：鏈路故障路由器快速檢測(cè)達(dá)到傳輸級(jí)別；網(wǎng)絡(luò)級(jí)：節(jié)點(diǎn)、鏈路故障快速切換保護(hù)，業(yè)務(wù)中斷時(shí)間達(dá)到電信級(jí)。-14-目錄中國(guó)移動(dòng)IP專用承載網(wǎng)介紹IP專網(wǎng)組網(wǎng)與路由設(shè)置IP專網(wǎng)維護(hù)手段與團(tuán)隊(duì)IP專網(wǎng)業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量14IP承載網(wǎng)業(yè)務(wù)情況省帶寬Gpbs省帶寬Gpbs省帶寬Gpbs省帶寬Gpbs北京340浙江200重慶40貴州20湖北370河南50天津20云南20廣東300河北40山西40西藏20上海210福建40內(nèi)蒙20甘肅33江蘇270安徽40吉林20青海23四川170山東40黑龍江20寧夏20遼寧110湖南40江西30新疆30陜西190廣西40海南20總部20出省帶寬

出省帶寬利用率在16%以下，節(jié)假日突發(fā)量約在30%左右。能夠滿足業(yè)務(wù)需求。

集團(tuán)客戶接入的業(yè)務(wù)帶寬門限在接入帶寬大小，而不是大網(wǎng)容量。出省流量（Gbps）IP專網(wǎng)網(wǎng)絡(luò)性能與技術(shù)指標(biāo)網(wǎng)絡(luò)時(shí)延PE位置平均時(shí)延城市范圍同一省內(nèi)

一級(jí)城市間60ms鄭州，長(zhǎng)沙，武漢，南昌，合肥，南京，石家莊，西安，杭州，廣州，上海，北京，天津，濟(jì)南，太原，成都二級(jí)城市間或二級(jí)至一級(jí)城市間90ms蘭州、呼和浩特、福州、南寧、西寧、重慶、海口、沈陽(yáng)、貴陽(yáng)、哈爾濱、昆明、銀川、長(zhǎng)春、烏魯木齊、拉薩、大連、無(wú)錫、深圳、無(wú)錫、廈門三級(jí)城市間或與一二級(jí)城市間125ms其他城市國(guó)際段（HK-LA-LD）

IP專網(wǎng)網(wǎng)絡(luò)性能與技術(shù)指標(biāo)丟包率與抖動(dòng)性能指標(biāo)可用率設(shè)備可用率：雙節(jié)點(diǎn)設(shè)備99.99%、單節(jié)點(diǎn)設(shè)備99.8%。鏈路可用率：雙鏈路可用率99.9%，單鏈路可用率99.7%。端到端路由器收斂時(shí)間<=3s核心區(qū)域快速重路由收斂時(shí)間<=50ms指標(biāo)（7月統(tǒng)計(jì)）丟包率抖動(dòng)平均值0.0002%0.93ms最大值0.04%5.47ms網(wǎng)絡(luò)存在丟包率的原因網(wǎng)絡(luò)特性的原因：業(yè)務(wù)流量具備隨機(jī)性、突發(fā)性的原因，某些節(jié)點(diǎn)在業(yè)務(wù)突發(fā)的情況下，轉(zhuǎn)發(fā)性能下降，存在隨機(jī)丟棄的可能性。甚至在骨干網(wǎng)中的路由切換，也會(huì)有小幾率的丟包。尤其是數(shù)據(jù)業(yè)務(wù)主要為UDP報(bào)文，本身是面對(duì)無(wú)連接的業(yè)務(wù)，一旦網(wǎng)絡(luò)略有抖動(dòng)就會(huì)產(chǎn)生丟包。傳輸性質(zhì)的原因：傳輸面對(duì)的環(huán)境和地理位置情況多種多樣，傳輸?shù)母蓴_、光功率的抖動(dòng)，傳輸路由倒換時(shí)，有可能會(huì)有小概率的丟包。網(wǎng)絡(luò)流量大的原因：在流量大的情況下，設(shè)備或板卡會(huì)根據(jù)業(yè)務(wù)的等級(jí)，丟棄一些低優(yōu)先級(jí)的數(shù)據(jù)包。例如ping包的優(yōu)先級(jí)別很低，使用ping測(cè)試網(wǎng)絡(luò)時(shí)，會(huì)可能有丟包產(chǎn)生。路由器設(shè)備安全保護(hù)機(jī)制的原因：路由器的CPU本身有保護(hù)機(jī)制，CPU工作忙、或受到攻擊、或收到大量快速大包ping時(shí)，基于對(duì)CPU的保護(hù)，有可能會(huì)丟棄一些包（/ping包）,達(dá)到路由器大腦的自我保護(hù)。行業(yè)內(nèi)的高端路由器都使用了這種保護(hù)機(jī)制，如思科、Juniper、華為等。Ping測(cè)試丟包不等于業(yè)務(wù)丟包。網(wǎng)管測(cè)試機(jī)制的原因：網(wǎng)管統(tǒng)計(jì)是一次發(fā)送60個(gè)測(cè)試ping包，所以偶有丟棄一個(gè)包時(shí)，丟包率就是1.67%。由于網(wǎng)絡(luò)及設(shè)備處理機(jī)制的緣故，存在偶發(fā)丟包現(xiàn)象，的原因如下：IP專網(wǎng)QOS情況骨干：核心/匯聚設(shè)備進(jìn)行轉(zhuǎn)發(fā)控制邊緣：在接入業(yè)務(wù)的端口進(jìn)行流分類在網(wǎng)絡(luò)入口對(duì)分組進(jìn)行分類、流量控制，設(shè)置DSCP在網(wǎng)絡(luò)中根據(jù)分組的DSCP值，進(jìn)行隊(duì)列調(diào)度、分組丟棄業(yè)務(wù)設(shè)備DiffServ域用戶設(shè)備PHBPHBPHBPHBQoS的實(shí)施分為兩個(gè)部分：骨干和邊緣。在骨干采用的技術(shù)包括：帶寬分配與擁塞避免（WRED）帶寬分配與擁塞控制（WFQ）在邊緣采用的技術(shù)包括：業(yè)務(wù)分類（Classification：IPP/DSCP,MPLSEXP）速率限制（CAR）IP專網(wǎng)QOS情況業(yè)務(wù)類型

類別

DSCPIPPEXP

CS

信令、

Iu-Ps

信令、

Gn

信令

CS7

567

7

路由協(xié)議

CS6

486

6

CS

語(yǔ)音、

PS

語(yǔ)音

EF

465

5

PS

流媒體

AF41

344

4

預(yù)留

AF31

263

3

PsInteractive

AF21

182

2

預(yù)留

AF1

101

1

Background

BE

00

0

QOS設(shè)置說(shuō)明：上圖為骨干網(wǎng)內(nèi)目前設(shè)置的QOS，客戶業(yè)務(wù)接入側(cè)的QOS根據(jù)客戶需求定制。-21-目錄中國(guó)移動(dòng)IP專用承載網(wǎng)介紹IP專網(wǎng)組網(wǎng)與路由設(shè)置IP專網(wǎng)維護(hù)手段與團(tuán)隊(duì)IP專網(wǎng)業(yè)務(wù)與網(wǎng)絡(luò)質(zhì)量21IP專網(wǎng)維護(hù)手段與團(tuán)隊(duì)人員網(wǎng)管系統(tǒng)17*24小時(shí)監(jiān)控2維護(hù)團(tuán)隊(duì)（含省）1統(tǒng)一管理-數(shù)據(jù)網(wǎng)管2VPN業(yè)務(wù)網(wǎng)管系統(tǒng)告警監(jiān)控投訴處理故障派單、督辦故障處理業(yè)務(wù)分析、預(yù)警分析月度報(bào)告網(wǎng)元監(jiān)控統(tǒng)一告警監(jiān)控故障派單質(zhì)量監(jiān)控性能統(tǒng)計(jì)SLA報(bào)告業(yè)務(wù)開通3技術(shù)支持方案制定網(wǎng)絡(luò)規(guī)劃中國(guó)移動(dòng)IP專用承載網(wǎng)介紹網(wǎng)絡(luò)管理對(duì)所有VPN設(shè)備和業(yè)務(wù)資源、業(yè)務(wù)告警、業(yè)務(wù)報(bào)表和業(yè)務(wù)申請(qǐng)流程、業(yè)務(wù)統(tǒng)計(jì)、業(yè)務(wù)數(shù)據(jù)配置、業(yè)務(wù)質(zhì)量監(jiān)控進(jìn)行管理，為網(wǎng)絡(luò)和業(yè)務(wù)統(tǒng)一管理提供有效的基礎(chǔ)管理支撐手段。功能

資源管理

拓?fù)涔芾?/p>

告警管理

性能管理

質(zhì)量管理SLA管理

業(yè)務(wù)開通

月報(bào)管理CE管理

客戶自維網(wǎng)絡(luò)概況監(jiān)控圖業(yè)務(wù)接入信息管理業(yè)務(wù)資源管理業(yè)務(wù)資源拓?fù)涑尸F(xiàn)業(yè)務(wù)告警管理業(yè)務(wù)性能管理業(yè)務(wù)流量流向管理業(yè)務(wù)質(zhì)量監(jiān)控業(yè)務(wù)開通管理總結(jié)附錄：集團(tuán)客戶VPN業(yè)務(wù)情況VPN業(yè)務(wù)量：7月新奧入網(wǎng)流量為21.2TB，博世入網(wǎng)流量為46.6TB，流量每月比較平穩(wěn)。博世租用總帶寬為1767Mbps，峰值帶寬使用1045Mbps。新奧租用總帶寬為490Mbps，峰值帶寬使用238Mbps。用戶投訴分析：7月用戶投訴共22起（新奧6起，博世16起）?？蛻粼蛞鸬耐对V總共14