上海電信數(shù)據(jù)中心SDN方案解決方案及網(wǎng)絡(luò)設(shè)計部上海電信數(shù)據(jù)中心SDN方案解決方案及網(wǎng)絡(luò)設(shè)計部目錄上海電信IDCSDN+VXLAN解決方案整體架構(gòu)托管業(yè)務(wù)方案云計算業(yè)務(wù)方案目錄上海電信IDCSDN+VXLAN解決方案整體架構(gòu)云計算業(yè)務(wù)托管業(yè)務(wù)RESTfulAPINetMatrixNovaCinderRESTfulAPINetconfNeutronPlugin/DriverSNC硬件NVE硬件NVE硬件NVE硬件NVE硬件NVE硬件NVEVxLAN-GWVxLAN-GWVirtualClusterFWvLBPoolFWIPSVXLANFabricVXLANFabricServiceRouterServiceRouterVirtualClusterRESTfulAPIOpenflowCPENVEVXLANNVENetconf/CLINetconf/CLIvSwitchVM2VM1Server1vSwitchVM2VM1Server2vSwitchVM2VM1Server3企業(yè)分支租戶網(wǎng)絡(luò)租戶SW租戶SW租戶SW上海電信IDCSDN+VXLAN網(wǎng)絡(luò)解決方案整體架構(gòu)業(yè)務(wù)呈現(xiàn)層面向運營商的Portal，提供云計算業(yè)務(wù)和托管業(yè)務(wù)的定制服務(wù)。云計算協(xié)同層采用開源OpenstackHavana版本。實現(xiàn)存儲、計算和網(wǎng)絡(luò)資源的協(xié)同。SDN網(wǎng)絡(luò)協(xié)同器&控制器由NetMatrix和SNC組成，完成網(wǎng)絡(luò)建模和網(wǎng)絡(luò)實例化。網(wǎng)絡(luò)協(xié)同器為NetMatrix，具備托管業(yè)務(wù)&云計算業(yè)務(wù)網(wǎng)絡(luò)資源調(diào)度和協(xié)同，以及VAS資源調(diào)度和協(xié)同，實現(xiàn)VAS業(yè)務(wù)自動化。網(wǎng)絡(luò)控制器為SNC，負(fù)責(zé)VXLANNVE轉(zhuǎn)發(fā)器的流表轉(zhuǎn)發(fā)控制，以及VxLAN虛擬網(wǎng)絡(luò)的自動化建立。北向支持RESTfulAPI接口，實現(xiàn)業(yè)務(wù)快速定制和自動發(fā)放。南向支持OpenFlow/Netconf/CLI等接口，控制物理和虛擬網(wǎng)絡(luò)?；A(chǔ)網(wǎng)絡(luò)基于一套物理網(wǎng)絡(luò)，通過VXLANoverlay技術(shù)構(gòu)建虛擬網(wǎng)絡(luò)，分別滿足托管業(yè)務(wù)和云計算業(yè)務(wù)的需求。面向云計算業(yè)務(wù)提供vLBPooL服務(wù)和FW/IPS服務(wù)面向托管業(yè)務(wù)提供FW和IPS服務(wù)云計算業(yè)務(wù)托管業(yè)務(wù)RESTfulAPINetMatrixN目錄上海電信IDCSDN+VXLAN解決方案整體架構(gòu)托管業(yè)務(wù)方案云計算業(yè)務(wù)方案目錄上海電信IDCSDN+VXLAN解決方案整體架構(gòu)托管業(yè)務(wù)方案整體組網(wǎng)方案托管業(yè)務(wù)場景&企業(yè)分支接入場景業(yè)務(wù)流量模型租戶主機通過虛擬網(wǎng)絡(luò)實現(xiàn)互訪QoS場景托管業(yè)務(wù)租戶L3接入公網(wǎng)場景托管業(yè)務(wù)方案整體組網(wǎng)方案上海電信IDC托管業(yè)務(wù)物理組網(wǎng)DC扁平化組網(wǎng)（VxLANGW+硬件NVE）兩臺VxLAN網(wǎng)關(guān)通過虛擬集群形成一個邏輯節(jié)點，提高可靠性接入交換機雙上聯(lián)至兩臺VxLAN網(wǎng)關(guān)NetMatrix&SNC通過主備模式提供可靠性，可以跨機房部署Service-Router對于托管類業(yè)務(wù)，ServiceRouter主要通過NetMatrix下發(fā)的引流策略實現(xiàn)租戶VAS業(yè)務(wù)引流動作NVE接入交換機做VxLAN網(wǎng)絡(luò)邊緣節(jié)點，為DC租戶提供VxLAN虛擬網(wǎng)絡(luò)接入服務(wù)CPE支持VxLAN接入，為中小企業(yè)和分支機構(gòu)提供遠(yuǎn)程接入DC的服務(wù)增值業(yè)務(wù)硬件防火墻及IPS旁掛在VxLAN-GW兩側(cè)ServiceRouterServiceRouterVirtualCluster硬件NVE硬件NVEFW硬件NVEServiceRouterServiceRouterVirtualCluster硬件NVE硬件NVEFW硬件NVEServiceRouterServiceRouterVirtualCluster硬件NVE硬件NVE硬件NVERouterRouterRouter同城跨DCVxLANoverlay虛擬網(wǎng)絡(luò)CPENVEIPMAN中小企業(yè)/分支接入DCIDC匯聚平面NetmatrixSNC增值業(yè)務(wù)設(shè)備VxLAN網(wǎng)絡(luò)設(shè)備網(wǎng)絡(luò)控制器&協(xié)同器DC-1DC-2DC-nVxLANNVERack1Rack2RacknRack1Rack2RacknRack1Rack2RacknvLBIPS上海電信IDC托管業(yè)務(wù)物理組網(wǎng)DC扁平化組網(wǎng)（VxLANGPortalDC2TORNVE3VxLAN-GWTORNVE4DC1TORNVE1VxLAN-GWTORNVE2網(wǎng)絡(luò)協(xié)同器&控制器NetMatrixSNCDC3TORNVE5VxLAN-GWTORNVE6VXLANoverlay虛擬網(wǎng)絡(luò)企業(yè)分支CPENVEFW/IPSFW/IPSOpenflowCLI1、通過Portal定制VXLAN虛擬網(wǎng)絡(luò)業(yè)務(wù)以及VAS業(yè)務(wù)2、業(yè)務(wù)模板下發(fā)至NetMatrix3、NetMatrix分配網(wǎng)絡(luò)資源，并且針對租戶需求下發(fā)FW和IPS業(yè)務(wù)配置，以及VXLANGW引流策略4、SNC通過Openflow控制轉(zhuǎn)發(fā)器并創(chuàng)建VXLAN網(wǎng)絡(luò)1234托管業(yè)務(wù)流程及方案5、TORNVE和CPENVE學(xué)習(xí)租戶主機MAC，且本地做MAC查表轉(zhuǎn)發(fā)，并依據(jù)SNC下發(fā)的廣播域做BUM報文頭端復(fù)制5PortalDC2TORNVE3VxLAN-GWTORNDC匯聚平面托管業(yè)務(wù)場景：租戶TAG透傳（運營商不感知租戶VLAN）TOR交換機1（NVE）租戶服務(wù)器1租戶服務(wù)器2租戶服務(wù)器3租戶服務(wù)器4租戶服務(wù)器5租戶服務(wù)器6租戶L3GW/L2Switch租戶L2SwitchTOR交換機2（NVE）P2P1InternetL3L2TrunkL2TrunkVLAN11VLAN12VLAN13VLAN11VLAN12VLAN13DC2DC1VLAN透傳VLAN透傳ServiceRouterServiceRouterVirtualClusterL3L3ServiceRouterServiceRouterVirtualCluster租戶服務(wù)器8租戶服務(wù)器9TOR交換機3（NVE）L2TrunkDC3VLAN透傳ServiceRouterServiceRouterVirtualClusterVNI100租戶虛擬網(wǎng)絡(luò)VXLANVXLANVXLANIP路由租戶服務(wù)器7P1P2L2TrunkVLAN透傳P2P1由租戶服務(wù)器網(wǎng)卡或虛擬交換機封裝解封裝VLAN由租戶服務(wù)器網(wǎng)卡或虛擬交換機封裝解封裝VLAN租戶自組網(wǎng)租戶自組網(wǎng)服務(wù)器機位機架資源機架資源服務(wù)器機位運營商網(wǎng)絡(luò)租戶網(wǎng)絡(luò)租服務(wù)器機位租服務(wù)器機位每租戶每VNI運營商提供VXLAN二層網(wǎng)絡(luò)，透傳租戶VLAN報文；運營商的VXLANGW做ServiceRouter，通過NetMatrix下發(fā)的引流策略實現(xiàn)租戶VAS業(yè)務(wù)引流動作；運營商分配公網(wǎng)IP或地址段給租戶；租戶自組網(wǎng)提供L3GW和L2SW，由租戶根據(jù)運營商分配的公網(wǎng)IP地址段配置自有L3GW和服務(wù)器；租戶向運營商租少量的服務(wù)器機位滿足新增服務(wù)器部署要求，并需要與租戶自組網(wǎng)互通；FWIPSTORNVEIPTORPORTVNIACL匹配VNINE40E基于ACLCAR做雙向限速DC匯聚平面托管業(yè)務(wù)場景：租戶TAG透傳（運營商不感知租戶V企業(yè)分支接入場景DC匯聚平面IPMANCPENVETORNVE1ServiceRouterServiceRouterVirtualClusterDC1TORNVE2ServiceRouterServiceRouterVirtualClusterTORNVE3DC2ServiceRouterServiceRouterVirtualClusterTORNVE4DC3企業(yè)分支CPENVE接入城域網(wǎng)，通過城域網(wǎng)與IDC實現(xiàn)IP互通CPENVE與TORNVE直接建立VXLANTunnelCPENVE和TORNVE接入側(cè)端口采用PORT與VNI映射，并支持租戶VLAN透傳Internet租戶L3GW租戶L2SWFWIPSIP路由P1P2租戶服務(wù)器租戶服務(wù)器租戶L2SW租戶網(wǎng)絡(luò)租戶網(wǎng)絡(luò)企業(yè)分支網(wǎng)絡(luò)P1P2P3P4P5P6TORNVE1TORNVE2TORNVE3TORNVE4CPENVETunnel1Tunnel2Tunnel3Tunnel4VXLAN

Fabric租戶虛擬網(wǎng)絡(luò)P7Tunnel2+VNI10Tunnel4+VNI10Tunnel3+VNI10Tunnel1+VNI10VxLANoverlay虛擬網(wǎng)絡(luò)L3NetMatrixSNC企業(yè)分支接入場景DC匯聚平面IPMANCPENVETOR租戶托管業(yè)務(wù)&企業(yè)分支網(wǎng)絡(luò)模型InternetL3L2L2L2L2L2DC1_TORNVE1DC2_TORNVE2DC2_TORNVE3DC3_TORNVE4CPENVETunnel1Tunnel2Tunnel3Tunnel4VXLAN

Fabric租戶虛擬網(wǎng)絡(luò)L2ServiceRouterL3IPFWIPSVNI100ServiceRouter通過NetMatrix來下發(fā)租戶VAS引流策略，基于租戶公網(wǎng)IP或IP五元組來做策略路由引流至VAS設(shè)備FW、IPS等增值業(yè)務(wù)設(shè)備，通過NetMatrix下發(fā)租戶VAS業(yè)務(wù)配置CPENVE接入端口與VNI橋接映射，透傳租戶VLAN；支持雙向做CARCPENVE網(wǎng)絡(luò)側(cè)通過Tunnel+VNI方式做雙向QoSCARTORNVE網(wǎng)絡(luò)側(cè)通過Tunnel+VNI方式做雙向QoSCAR租戶接入公網(wǎng)的端口，基于端口做QoSCAR，限制租戶南北向流的上下行帶寬租戶網(wǎng)絡(luò)租戶網(wǎng)絡(luò)租戶服務(wù)器租戶服務(wù)器TORNVE接入端口與VNI橋接映射，透傳租戶VLAN；支持雙向做CAR租戶網(wǎng)絡(luò)租戶SW租戶GW企業(yè)分支租戶SW租戶SW租戶托管業(yè)務(wù)&企業(yè)分支網(wǎng)絡(luò)模型InternetL3L2L2LDC匯聚平面托管類業(yè)務(wù)流量模型TOR交換機1（NVE）租戶服務(wù)器1租戶服務(wù)器2租戶服務(wù)器3租戶服務(wù)器4租戶服務(wù)器5租戶服務(wù)器6租戶L3GW/L2Switch租戶L2SwitchTOR交換機2（NVE）P2P1InternetL3L2TrunkL2TrunkVLAN11VLAN12VLAN13VLAN11VLAN12VLAN13DC2DC1VLAN透傳VLAN透傳ServiceRouterServiceRouterVirtualClusterL3L3ServiceRouterServiceRouterVirtualCluster租戶服務(wù)器8租戶服務(wù)器9TOR交換機3（NVE）L2TrunkDC3VLAN透傳ServiceRouterServiceRouterVirtualClusterVNI100租戶虛擬網(wǎng)絡(luò)VXLANVXLANVXLAN租戶服務(wù)器7P1P2L2TrunkVLAN透傳P2P1由租戶服務(wù)器網(wǎng)卡或虛擬交換機封裝解封裝VLAN由租戶服務(wù)器網(wǎng)卡或虛擬交換機封裝解封裝VLAN租戶自組網(wǎng)租戶自組網(wǎng)服務(wù)器機位機架資源機架資源服務(wù)器機位運營商網(wǎng)絡(luò)租戶網(wǎng)絡(luò)租服務(wù)器機位租服務(wù)器機位運營商提供跨DC大二層虛擬網(wǎng)絡(luò)，不感知租戶VLAN信息TORNVE之間建立P2P的VXLAN隧道運營商不向租戶提供多物理端口接入租戶自組網(wǎng)網(wǎng)絡(luò)，避免環(huán)路租戶非自組網(wǎng)場景下所接入的服務(wù)器支持VLAN的封裝與解封裝FWIPSVLAN13VLAN11VLAN12DC1的VirtualCluster路由器需要依據(jù)租戶公網(wǎng)IP或IP五元組來做增值業(yè)務(wù)引流租戶跨機房同子網(wǎng)流量需要通過VXLAN隧道實現(xiàn)互訪租戶同一個TOR下同子網(wǎng)流量經(jīng)本地TOR橋接實現(xiàn)互訪租戶跨子網(wǎng)流量需要繞行至租戶L3GW終結(jié)二層后實現(xiàn)互訪紅色標(biāo)識為租戶同子網(wǎng)服務(wù)器間的東西向流量藍(lán)色標(biāo)識為租戶服務(wù)器與Internet間的南北向流量橙色標(biāo)識為租戶跨子網(wǎng)服務(wù)器間的東西向流量DC匯聚平面托管類業(yè)務(wù)流量模型TOR交換機1（NVE）租戶服VLAN11企業(yè)分支業(yè)務(wù)流量模型DC匯聚平面IPMANCPENVETORNVE1ServiceRouterServiceRouterVirtualClusterDC1TORNVE2ServiceRouterServiceRouterVirtualClusterTORNVE3DC2ServiceRouterServiceRouterVirtualClusterTORNVE4DC3Internet租戶L3GW租戶L2SWFWIPSP1P2租戶服務(wù)器租戶服務(wù)器租戶網(wǎng)絡(luò)租戶網(wǎng)絡(luò)VxLANoverlay虛擬網(wǎng)絡(luò)分支L2SW租戶網(wǎng)絡(luò)租戶L2SWVLAN11VLAN12VLAN11VLAN12VLAN11VLAN12VLAN12L3IP路由紅色標(biāo)識為企業(yè)分支與IDC托管網(wǎng)絡(luò)同子網(wǎng)服務(wù)器間的東西向流量藍(lán)色標(biāo)識為企業(yè)分支以IDC托管網(wǎng)絡(luò)中的租戶L3GW作為三層出口網(wǎng)關(guān)，與Internet間的南北向流量企業(yè)分支CPENVE與DC中的TORNVE之間建立VxLANTunnel企業(yè)分支機構(gòu)與IDC托管業(yè)務(wù)中的租戶網(wǎng)絡(luò)共享L3GW，企業(yè)分支至Internet的流量由租戶自組網(wǎng)中的L3GW終結(jié)二層實現(xiàn)三層轉(zhuǎn)發(fā)企業(yè)分支與IDC托管業(yè)務(wù)間三層跨租戶子網(wǎng)流量，需要通過租戶自己的L3GW實現(xiàn)二層終結(jié)跨子網(wǎng)互訪VLAN11企業(yè)分支業(yè)務(wù)流量模型DC匯聚平面IPMANC租戶同子網(wǎng)主機通過VXLAN虛擬網(wǎng)絡(luò)實現(xiàn)互訪DC匯聚平面IPMANCPENVETORNVE1ServiceRouterServiceRouterVirtualClusterDC1TORNVE2TORNVE3DC2TORNVE4DC3租戶L3GW租戶L2SWFWIPSP1P2主機分支L2SW租戶L2SWVLAN11VLAN12IP路由VLAN12VLAN11主機2主機3主機6VLAN12VLAN11VLAN12VLAN11主機4主機5主機7主機8VxLANoverlay虛擬網(wǎng)絡(luò)PayloadSIP:DIP:DMAC:0xFFFFSMAC:MAC11PayloadSIP:DIP:DMAC:0xFFFFSMAC:MAC12VLAN：1112PayloadSIP:DIP:DMAC:0xFFFFSMAC:MAC13VLAN：11SIP:NVE1DIP：NVEGroupSMAC：NVE1MACDMAC：NetMACPayloadSIP:DIP:DMAC:0xFFFFSMAC:MAC15456PayloadSIP:DIP:DMAC:MAC1SMAC:MAC56VLAN：119ARP請求主機1發(fā)送ARP請求；租戶L2SW接收主機ARP學(xué)習(xí)主機1的MAC，對ARP封裝VLAN頭，然后源端口剪枝并在廣播域內(nèi)廣播；TORNVE1接收到ARP報文，根據(jù)Port與VNI的映射關(guān)系，同時查廣播域列表，然后封裝VXLAN頭做頭端復(fù)制（依據(jù)SNC提前下發(fā)的廣播域列表做頭端復(fù)制）；TORNVE3接收到NVE1發(fā)送的頭端復(fù)制報文做VXLAN解封裝，還原帶TAG的主機1發(fā)送的ARP請求報文，學(xué)習(xí)源MAC，并在BD域內(nèi)做源端剪枝廣播主機5接收ARP廣播報文，服務(wù)器網(wǎng)卡或服務(wù)器內(nèi)的虛擬交換機支持VLAN報文的解封裝，主機5對ARP報文做處理ARP應(yīng)答主機5發(fā)送ARP應(yīng)答，服務(wù)器網(wǎng)卡或服務(wù)器內(nèi)的虛擬交換機封裝VLAN頭，單播至TORNVE3TORNVE3接收到主機5發(fā)送的ARP應(yīng)答，查MAC表和NVE表獲取目的NVE1IP及出口Tunnel，封裝VXLAN頭，單播轉(zhuǎn)發(fā)至NVE1TORNVE1解封裝VXLAN頭，還原帶TAG的ARP應(yīng)答報文，學(xué)習(xí)源MAC5，同時查目的MAC獲得出接口并向租戶網(wǎng)絡(luò)轉(zhuǎn)發(fā)企業(yè)分支ARP請求ARP應(yīng)答PayloadSIP:DIP:DMAC:MAC1SMAC:MAC58VLAN：11738NVE本地進(jìn)行MAC學(xué)習(xí)，并通過SNC下發(fā)的廣播域列表，做BUM報文頭端復(fù)制ServiceRouterServiceRouterVirtualClusterPayloadSIP:DIP:DMAC:0xFFFFSMAC:MAC14VLAN：11ServiceRouterServiceRouterVirtualClusterPayloadSIP:DIP:DMAC:MAC1SMAC:MAC57VLAN：11SIP:NVE3DIP：NVE1SMAC：NVE3MACDMAC：NetMAC租戶同子網(wǎng)主機通過VXLAN虛擬網(wǎng)絡(luò)實現(xiàn)互訪DC匯聚平面IP租戶跨子網(wǎng)主機通過VXLAN虛擬網(wǎng)絡(luò)實現(xiàn)互訪DC匯聚平面IPMANCPENVETORNVE1ServiceRouterServiceRouterVirtualClusterDC1TORNVE2ServiceRouterServiceRouterVirtualClusterTORNVE3DC2ServiceRouterServiceRouterVirtualClusterTORNVE4DC3租戶L3GW租戶L2SWFWIPSP1P2主機1分支L2SW租戶L2SWVLAN11VLAN12IP路由VLAN12VLAN11主機主機3主機6VLAN12VLAN11VLAN12VLAN11主機4主機5主機7主機8VxLANoverlay虛擬網(wǎng)絡(luò)企業(yè)分支IDC托管網(wǎng)絡(luò)中的主機2屬于VLAN12，企業(yè)分支中的主機7屬于VLAN11，兩臺主機的通信需要通過租戶的L3GW實現(xiàn)跨VLAN子網(wǎng)互訪租戶跨子網(wǎng)主機通過VXLAN虛擬網(wǎng)絡(luò)實現(xiàn)互訪DC匯聚平面IPNE40EInternet租戶1租戶2CE785056781234122350NE40EInternet租戶1租戶2CE7850567812341223/30/30/30租戶3/30/24/24/24/30/30租戶3L2SwitchL3Switch托管業(yè)務(wù)租戶L3接入公網(wǎng)111111基于SW端口控制租戶L3接入的上下行帶寬LAGEth-Trunk運營商給租戶分配的公網(wǎng)地址/24/24/24紅色I(xiàn)P為租戶L3GW與運營商路由器的互聯(lián)地址藍(lán)色I(xiàn)P為分配給租戶的公網(wǎng)IP地址或地址段NE40EInternet租戶1租戶2CE78505678托管業(yè)務(wù)QoS場景ServiceRouterServiceRouterVirtualClusterServiceRouterServiceRouterVirtualClusterServiceRouterServiceRouterVirtualClusterVNI100硬件NVE硬件NVE硬件NVEVXLANVXLANVXLANNE40E：NNI側(cè)基于VNI控制租戶跨機房子網(wǎng)內(nèi)帶寬（跨機房同子網(wǎng)帶寬<=1G）NetMatrixSNC托管業(yè)務(wù)TORNVE：UNI側(cè)基于端口控制租戶接入的上下行帶寬NNI側(cè)基于VNI+NVEDIP控制跨TOR的帶寬NetconfOpenflowCPENVEVXLANDC1DC2DC3企業(yè)分支CPENVE：UNI側(cè)基于端口控制租戶接入的上下行帶寬NNI側(cè)基于VNI+NVEDIP控制跨TOR的帶寬業(yè)務(wù)流程通過Portal定制QoS業(yè)務(wù)，選擇策略控制點及帶寬參數(shù)，業(yè)務(wù)下發(fā)至NetMatrix，由NetMatrix分配資源并下發(fā)配置至SNC以及非NVE節(jié)點。SNC下發(fā)業(yè)務(wù)配置至NVE節(jié)點。QoS策略控制點Portal托管業(yè)務(wù)QoS場景ServiceRouterService目錄上海電信IDCSDN+VXLAN解決方案整體架構(gòu)托管業(yè)務(wù)方案云計算業(yè)務(wù)方案目錄上海電信IDCSDN+VXLAN解決方案整體架構(gòu)云計算業(yè)務(wù)方案整體組網(wǎng)方案VxLAN同子網(wǎng)/跨子網(wǎng)業(yè)務(wù)互訪南北向業(yè)務(wù)流程增值業(yè)務(wù)部署方案業(yè)務(wù)可靠性方案QoS方案云計算業(yè)務(wù)方案整體組網(wǎng)方案上海電信IDC云計算業(yè)務(wù)物理組網(wǎng)DC扁平化組網(wǎng)（VxLANGW+硬件NVE）兩臺VxLAN網(wǎng)關(guān)通過虛擬集群形成一個邏輯節(jié)點，提高可靠性接入交換機雙上聯(lián)至兩臺VxLAN網(wǎng)關(guān)NetMatrix&SNC通過主備模式提供可靠性，可以跨機房部署VxLAN-GW南北向VxLAN業(yè)務(wù)終結(jié)點，終結(jié)VxLAN，做L3網(wǎng)關(guān)，提供南北向的IP轉(zhuǎn)發(fā)東西向VxLAN跨子網(wǎng)業(yè)務(wù)的網(wǎng)關(guān)NVE接入交換機做VxLAN網(wǎng)絡(luò)邊緣節(jié)點，為DC租戶提供VxLAN虛擬網(wǎng)絡(luò)接入服務(wù)增值業(yè)務(wù)硬件防火墻及IPS旁掛在VxLAN-GW兩側(cè)軟件的LB部署在服務(wù)器上，形成vLB資源池，通過交換機與VxLAN-GW相連VxLAN-GWVxLAN-GWVirtualCluster硬件NVE硬件NVE硬件NVEVxLAN-GWVxLAN-GWVirtualCluster硬件NVE硬件NVEFW硬件NVEvLBPoolVxLAN-GWVxLAN-GWVirtualCluster硬件NVE硬件NVE硬件NVERouterRouterRouter同城跨DCVxLAN大二層資源池InternetIDC匯聚平面NetMatrixSNC增值業(yè)務(wù)設(shè)備VxLAN網(wǎng)絡(luò)設(shè)備網(wǎng)絡(luò)控制器&協(xié)同器DC-1DC-2DC-nVxLANNVEIPSvSwitchVM2VM1Server1vSwitchVM2VM1Server2vSwitchVM2VM1Server3vSwitchVM2VM1Server4vSwitchVM2VM1Server5vSwitchVM2VM1Server6vSwitchVM2VM1Server7vSwitchVM2VM1Server8vSwitchVM2VM1Server9上海電信IDC云計算業(yè)務(wù)物理組網(wǎng)DC扁平化組網(wǎng)（VxLAN云計算業(yè)務(wù)方案整體組網(wǎng)方案VxLAN同子網(wǎng)/跨子網(wǎng)業(yè)務(wù)互訪南北向業(yè)務(wù)流程增值業(yè)務(wù)部署方案業(yè)務(wù)可靠性方案QoS方案云計算業(yè)務(wù)方案整體組網(wǎng)方案VxLAN網(wǎng)絡(luò)同子網(wǎng)互訪ARP請求VM1發(fā)送ARP請求(SMAC：MAC1，SIP：IP1，DMAC：?，DIP：IP3），在本地VLAN內(nèi)廣播。VM1至NVE中間的vSwitch進(jìn)行MAC地址學(xué)習(xí)。ARP請求廣播到NVE1，NVE1更新本地MAC轉(zhuǎn)發(fā)表NVE1通過流表匹配，將ARP請求上送SNC。ARP應(yīng)答SNC根據(jù)目的IP，查找到對應(yīng)的MAC3及NVE2，通過NVE1發(fā)送ARP響應(yīng)報文給VM1SNC同時向NVE1下發(fā)目的地址MAC3的轉(zhuǎn)發(fā)流表，出接口為VXLANtunnelNVE2。業(yè)務(wù)轉(zhuǎn)發(fā)VM1向VM3發(fā)送業(yè)務(wù)報文。報文到NVE1后，查找MAC轉(zhuǎn)發(fā)表，找到出接口NVE2，進(jìn)行VXLAN封裝，外層目的地址為NVE2，源地址為NVE1。報文依據(jù)外層IP行路由轉(zhuǎn)發(fā)到NVE2，NVE2進(jìn)行VXLAN解封裝，然后在本地VLAN內(nèi)轉(zhuǎn)發(fā)/廣播，NVE2和VM3之間的vSwitch進(jìn)行MAC地址學(xué)習(xí)。報文到達(dá)目的地VM3。VM3訪問VM1的過程同上述VM1訪問VM3過程。VXLAN網(wǎng)絡(luò)同子網(wǎng)主機間通信VM1MAC1VM1IP1VNI1VLAN1NVE1IPVM2MAC2VM2IP2VNI2VLAN2NVE1IPVM3MAC3VM3IP3VNI1VLAN1NVE2IPVM4MAC4VM4IP4VNI2VLAN2NVE2IPPayloadSIP:DIP:DMAC:0xFFFFSMAC:MAC11PayloadSIP:DIP:DMAC:0xFFFFSMAC:MAC14OpenFlowPackinVM1MAC1VLAN1vif1.1VM3MAC3VNI1NVE25PayloadDIP:SIP:SMAC:MAC3DMAC:MAC1OpenFlowpackout6PayloadDIP:SIP:SMAC:MAC1DMAC:MAC32PayloadSIP:DIP:DMAC:MAC3SMAC:MAC17VM1MAC1VLAN1G1/0.139DCFabricL3NetworkPayloadDIP:DMAC:MAC3SMAC:MAC18DIP:NVE2SIP:NVE1SMAC:NVE1MACDMAC:NetMACSIP: SNC(控制器ARP代答)主機1主機3TORNVE2TORNVE1VM1MAC1VLAN1NVE110VxLAN網(wǎng)絡(luò)同子網(wǎng)互訪ARP請求VXLAN網(wǎng)絡(luò)同子網(wǎng)主機間VxLAN網(wǎng)絡(luò)跨子網(wǎng)互訪ARP請求VM1發(fā)送ARP請求(SMAC：MAC1，SIP：IP1，DMAC：?，DIP：IP5）VM1至NVE中間的vSwitch進(jìn)行MAC地址學(xué)習(xí)。ARP請求廣播到NVE1，NVE1更新本地MAC轉(zhuǎn)發(fā)表。NVE1通過流表匹配，將ARP請求上送SNC。ARP應(yīng)答SNC根據(jù)目的IP5，查找到對應(yīng)的MAC5及NVE3，通過NVE1發(fā)送ARP響應(yīng)報文給VM1SNC同時向NVE1下發(fā)目的地址MAC5的轉(zhuǎn)發(fā)流表，出接口為VXLANTunnelNVE3。業(yè)務(wù)轉(zhuǎn)發(fā)VM1向VM4發(fā)送業(yè)務(wù)報文。報文到NVE1后，查找MAC轉(zhuǎn)發(fā)表，找到出接口NVE3，進(jìn)行VXLAN封裝，外層目的地址為NVE3，源地址為NVE1。報文依據(jù)外層IP路由轉(zhuǎn)發(fā)到NVE3，NVE3收到報文后進(jìn)行VXLAN解封裝，查找路由，轉(zhuǎn)發(fā)報文至目的IP所在的網(wǎng)關(guān)NVE4；NVE4查找MAC轉(zhuǎn)發(fā)表，找到出接口NVE2，進(jìn)行VXLAN封裝，外層目的地址為NVE2，源地址為NVE4。報文根據(jù)外層IP路由轉(zhuǎn)發(fā)到NVE2，NVE2接收報文后，執(zhí)行VXLAN解封裝，然后本地轉(zhuǎn)發(fā)/廣播到VM4?？鏥XLAN網(wǎng)絡(luò)的主機通信：源VM—GW—目的VMDCFabricL3NetworkSNCPayloadSIP:DIP:DMAC:0xFFFFSMAC:MAC14OpenFlowPackin5PayloadDIP:SIP:SMAC:MAC5DMAC:MAC1OpenFlowPackoutVM1MAC1IP1VNI1NVE1IPVM2MAC2IP2VNI2NVE1IPVM3MAC3IP3VNI1NVE2IPVM4MAC4IP4VNI2NVE2IPGW1MAC5IP5VNI1NVE3IPGW2MAC6IP6VNI2NVE4IPPayloadSIP:DIP:DMAC:0xFFFFSMAC:MAC11VM1MAC1VLAN1vif1.1GW1MAC5VNI1NVE362PayloadSIP:DIP:DMAC:MAC5SMAC:MAC17VM1MAC1VLAN1G1/0.13PayloadSIP:DIP:SMAC:MAC1DMAC:MAC5DIP:NVE3SIP:NVE1SMAC:NVE1MACDMAC:NetMAC8PayloadDIP:SIP:DMAC:MAC4SMAC:MAC69DIP:NVE2SIP:NVE4SMAC:NVE4MACDMAC:NetMACPayloadDIP:SIP:SMAC:MAC6DMAC:MAC410TORNVE1TORNVE2主機1主機4VxLANGWNVE3NVE4VxLAN網(wǎng)絡(luò)跨子網(wǎng)互訪ARP請求跨VXLAN網(wǎng)絡(luò)的主機通信云計算業(yè)務(wù)方案整體組網(wǎng)方案VxLAN同子網(wǎng)/跨子網(wǎng)業(yè)務(wù)互訪南北向業(yè)務(wù)流程增值業(yè)務(wù)部署方案業(yè)務(wù)可靠性方案QoS方案云計算業(yè)務(wù)方案整體組網(wǎng)方案FWvLBPoolIPSDC匯聚平面南北向業(yè)務(wù)流程VxLAN-GWVxLAN-GWVirtualCluster硬件NVE1硬件NVE2WEB-AWEB-BInternetRouter用戶用戶業(yè)務(wù)流程Internet用戶至WEB流量（用戶B訪問WEB-B）業(yè)務(wù)流經(jīng)過匯聚平面路由器按目的IP轉(zhuǎn)發(fā)至VxLANGWVxLANGW依據(jù)租戶VAS業(yè)務(wù)策略匹配業(yè)務(wù)鏈流表，按照業(yè)務(wù)鏈依次向FW、IPS、LB增值業(yè)務(wù)節(jié)點引流VxLANGW將增值業(yè)務(wù)設(shè)備處理完的流量做VxLAN封裝，并發(fā)給目的NVE2NVE2解封裝VxLAN，還原用戶B的報文，查詢目的MAC轉(zhuǎn)發(fā)至WEB-BWEB至Internet用戶流量（用戶A訪問WEB-A）WEB-A流量到NVE1，由NVE1封裝VxLAN并轉(zhuǎn)發(fā)至VxLANGWWEB-A網(wǎng)關(guān)為VxLANGW，VxLANGW解封裝VxLAN，依據(jù)策略查詢業(yè)務(wù)鏈流表，并按照業(yè)務(wù)鏈依次將回程流量引導(dǎo)至增值業(yè)務(wù)設(shè)備處理VxLANGW接收VAS處理完的流量，并查詢目的IP（用戶A）向公網(wǎng)轉(zhuǎn)發(fā)WEB至Internet用戶流量Internet用戶至WEB流量VxLANIP123123非透明非透明非透明NAT4FWvLBPoolIPSDC匯聚平面南北向業(yè)務(wù)流程VxLA云計算業(yè)務(wù)方案整體組網(wǎng)方案VxLAN同子網(wǎng)/跨子網(wǎng)業(yè)務(wù)互訪南北向業(yè)務(wù)流程增值業(yè)務(wù)部署方案業(yè)務(wù)可靠性方案QoS方案云計算業(yè)務(wù)方案整體組網(wǎng)方案DC匯聚平面VAS引流方案硬件NVE1IPS硬件NVE2vLBPool硬件NVE1RouterRouterInternetVxLAN-GWVxLAN-GWVirtualClusterDC-1同城跨DCVxLANoverlay虛擬網(wǎng)絡(luò)FW跨DC大二層，與VAS設(shè)備直連的VxLANGW作為遠(yuǎn)端DC的L3網(wǎng)關(guān)DC-2RouterRouterVirtualClusterVNI100vSwitchVM2VM1Server1vSwitchVM4VM3Server2vSwitchVM6VM5Server3VNI100VNI100LBDC1VxLAN-GWDC2NVE1VM5DC匯聚平面FWDC1VxLAN-GWInternetDIP:SIP:VNI100服務(wù)器私網(wǎng)網(wǎng)關(guān)：00；解封裝VxLAN，查目的IP轉(zhuǎn)發(fā)至LB將VM5的VIP：做NAT轉(zhuǎn)換為公網(wǎng)地址：，查公網(wǎng)默認(rèn)路由以及安全策略流表進(jìn)行轉(zhuǎn)發(fā)DC1VxLAN-GWVRF_sub-if3VRF_sub-if2VRF_sub-if1VLAN到VNI映射，封裝VxLANDC1的VxLAN-GW做遠(yuǎn)端DC2中租戶主機的網(wǎng)關(guān)查公網(wǎng)路由轉(zhuǎn)發(fā)DIP:SIP：查服務(wù)器私網(wǎng)路由，封裝VxLAN轉(zhuǎn)發(fā)根據(jù)負(fù)載均衡算法調(diào)度服務(wù)器，選中VM5，查路由轉(zhuǎn)發(fā)查私網(wǎng)路由轉(zhuǎn)發(fā)，下一跳為LB查NAT流表，將公網(wǎng)地址轉(zhuǎn)換為對應(yīng)的VIP：私網(wǎng)地址，做FW安全策略，并查私網(wǎng)路由轉(zhuǎn)發(fā)VNI到VLAN映射，解封裝VxLAN查公網(wǎng)路由轉(zhuǎn)發(fā)將VM5的SIP做源地址替換為，并查私網(wǎng)默認(rèn)路由轉(zhuǎn)發(fā)查私網(wǎng)默認(rèn)路由轉(zhuǎn)發(fā)，下一跳FWVRF_sub-ifvFWvLBInternet至服務(wù)器服務(wù)器至InternetVM5IP:（私網(wǎng)）GWIP:00（私網(wǎng)）LBVIP/SelfIP:（私網(wǎng)）FWNATPublicIP:（公網(wǎng)）DC匯聚平面VAS引流方案硬件NVE1IPS硬件NVE2vLVxLAN-GWVxLAN-GWVirtualClusterFW1LB1FW2LB2硬件NVEvSwitchNVEVXLANFabricHRP心跳線Failover串口線InternetvSwitchVMVMServerVMVMServerLink-GroupLink-GroupFW2FW1VxLAN-GWVxLAN-GWVirtualClusterVxLAN-GWVxLAN-GWVirtualClusterVRRPHRP服務(wù)器側(cè)Internet側(cè)LB2LB1VxLAN-GWVxLAN-GWVirtualClusterVRRPInternet側(cè)服務(wù)器側(cè)FailoverLink-GroupLink-GroupFW部署方案FW雙臂旁掛在VXLAN-GW（虛擬集群）兩側(cè)，F(xiàn)W部署HRP雙機熱備保護(hù)。FW上下行鏈路及業(yè)務(wù)板綁定在一個Link-Group中，當(dāng)其中任意成員故障會使整個邏輯組置down，從而觸發(fā)FW主備倒換。兩臺FW的服務(wù)器側(cè)子接口部署VRRP，VRRPVIP作為VXLAN-GW的虛擬下一跳，提供可靠性；同時可以按照租戶粒度（每租戶對應(yīng)一個子接口和vFW）或租戶業(yè)務(wù)粒度（每租戶業(yè)務(wù)區(qū)對應(yīng)一個子接口和vFW）配置兩臺FW的VRRP主備關(guān)系，實現(xiàn)租戶級或租戶業(yè)務(wù)級的VRRP負(fù)載分擔(dān)。FW部署NAT做南北向流NAT網(wǎng)關(guān)，并關(guān)聯(lián)VRRP。LB部署方案LB單臂旁掛在VXLANGW（虛擬集群）兩側(cè)，并部署雙機熱備。兩臺LB與VXLAN-GW互聯(lián)的鏈路上配置子接口并部署VRRP，VRRPVIP作為VXLAN-GW的虛擬下一跳，提供可靠性；同時可以按照租戶粒度（每租戶對應(yīng)一個子接口和vFW）或租戶業(yè)務(wù)粒度（每租戶業(yè)務(wù)區(qū)對應(yīng)一個子接口和vFW）配置兩臺LB的VRRP主備關(guān)系，實現(xiàn)租戶級或租戶業(yè)務(wù)級的VRRP負(fù)載分擔(dān)。FW上行鏈路FW下行鏈路FW上行鏈路FW下行鏈路FW下行鏈路FW上行鏈路VAS（FW/LB）方案VxLAN-GWVxLAN-GWVirtualClusteServer1FW業(yè)務(wù)自動化發(fā)放InternetL3NetworkSNCPortal1.租戶通過Portal申請安全增值業(yè)務(wù)NetMatrix(Netconf)4.SNC向VXLANGW下發(fā)OpenFlow流表，將相關(guān)流量引導(dǎo)至防火墻處理2.NetMatrix向防火墻下發(fā)網(wǎng)絡(luò)安全和路由策略O(shè)penAPI(OpenFlow)3.NetMatrix通知SNC建立流表（引導(dǎo)流量至防火墻）1.租戶通過Portal申請安全增值業(yè)務(wù)。2.NetMatrix選擇增值業(yè)務(wù)的部署位置，并向該防火墻下發(fā)安全和路由策略。3.NetMatrix針對租戶定制的業(yè)務(wù)需求，進(jìn)行配置分解，并通知SNC建立相應(yīng)的OpenFlow流表。4.SNC向?qū)?yīng)的VXLANGW下發(fā)OpenFlow流表，從而將流量引至防火墻。5.VM與Internet間的流量途徑VXLANGW，在VXLANGW上命中OpenFlow流表并被轉(zhuǎn)發(fā)至FW處理。1324TORNVE2TORNVE1VxLANGW5Server2FWServer1FW業(yè)務(wù)自動化發(fā)放InternetL3NetL3NetworkVxLANGWLB業(yè)務(wù)自動化發(fā)放InternetSNC1.租戶通過Portal申請負(fù)載均衡增值業(yè)務(wù)NetMatrix(Netconf)4.SNC向VXLANGW下發(fā)OpenFlow流表，將相關(guān)流量引至LB處理2.NetMatrix向LB下發(fā)負(fù)載均衡策略O(shè)penAPI(OpenFlow)3.NetMatrix通知SNC建立流表（引導(dǎo)流量至LB）1.租戶通過Portal申請負(fù)載均衡增值業(yè)務(wù)。2.NetMatrix選擇增值業(yè)務(wù)的部署位置，并向該LB下發(fā)負(fù)載均衡和路由策略。3.Portal將租戶定制的業(yè)務(wù)下發(fā)給NetMatrix，NetMatrix針對需要引至LB處理的業(yè)務(wù)流進(jìn)行配置分解，并通知SNC建立相應(yīng)的OpenFlow流表。4.SNC向?qū)?yīng)的網(wǎng)絡(luò)設(shè)備（VXLANGW）下發(fā)OpenFlow流表，從而將流量引導(dǎo)LB。5.VM與Internet間的流量途徑VXLANGW，在VXLANGW上命中OpenFlow流表并被轉(zhuǎn)發(fā)至LB處理。PortalTORNVE1Server1Server2TORNVE2LB12345L3NetworkVxLANGWLB業(yè)務(wù)自動化發(fā)放Int云計算業(yè)務(wù)方案整體組網(wǎng)方案VxLAN同子網(wǎng)/跨子網(wǎng)業(yè)務(wù)互訪南北向業(yè)務(wù)流程增值業(yè)務(wù)部署方案業(yè)務(wù)可靠性方案QoS方案云計算業(yè)務(wù)方案整體組網(wǎng)方案DC匯聚平面VxLAN-GWVxLAN-GWVirtualClusterVxLAN-GWVxLAN-GWVirtualCluster硬件NVE硬件NVEWEB1WEB3Internet用戶1SLB12DNS解析返回域名對應(yīng)的VIP地址WEB2WEB43用戶向VIP發(fā)送業(yè)務(wù)請求4SLB依據(jù)調(diào)度算法選擇WEB服務(wù)器，將業(yè)務(wù)請求發(fā)至WEB服務(wù)器7WEB1服務(wù)器接收請求并向用戶返回業(yè)務(wù)數(shù)據(jù)DC1DC2同城跨DC大二層業(yè)務(wù)可靠性跨DC大二層VIP:用戶2用戶1請求，調(diào)度至服務(wù)器1，用戶2請求，調(diào)度至服務(wù)器4，或根據(jù)其他調(diào)度算法，實現(xiàn)負(fù)載分擔(dān)。DC匯聚平面VxLAN-GWVxLAN-GWVirtualGSLBDC匯聚平面雙活數(shù)據(jù)中心方案VxLAN-GWVxLAN-GWVirtualClusterVxLAN-GWVxLAN-GWVirtualCluster硬件NVE硬件NVEWEB1WEB3Internet用戶1SLB1SLB21423心跳和信息收集返回優(yōu)選SLB所對應(yīng)的VIP返回優(yōu)選SLB對應(yīng)的VIPWEB2WEB45用戶向VIP發(fā)送業(yè)務(wù)請求6SLB1依據(jù)調(diào)度算法選擇WEB服務(wù)器，將業(yè)務(wù)請求發(fā)至WEB服務(wù)器7WEB1服務(wù)器接收請求并向用戶返回業(yè)務(wù)數(shù)據(jù)DC1DC2用戶1請求，返回SLB1VIP，用戶2請求，返回SLB2VIP，或根據(jù)其他調(diào)度算法，實現(xiàn)雙活負(fù)載分擔(dān)。GSLB功能：1.租戶級的站點保護(hù)2.租戶業(yè)務(wù)級的站點選擇SLB功能：租戶業(yè)務(wù)級的服務(wù)器選擇VIP:VIP:用戶2GSLBDC匯聚平面雙活數(shù)據(jù)中心方案VxLAN-GWVxLASNC控制器電信級可靠性方案NSR機制控制器支持NSR,控制器內(nèi)部備組件實時備份主組件數(shù)據(jù)狀態(tài)，保持同步；主控制器內(nèi)部某個組件/進(jìn)程/節(jié)點/單板故障,業(yè)務(wù)可自動平滑切換到主控制器上的備組件，流量可保持不中斷；雙機熱備機制熱備控制器實時備份主控制器數(shù)據(jù)狀態(tài)，保持同步主控制器因為電源/地震等原因完全崩潰，業(yè)務(wù)可自動平滑切換熱備控制器上，流量可保持不中斷；控制器與轉(zhuǎn)發(fā)面可靠性控制器使用eth-trunk作為南向業(yè)務(wù)接口，主板上和備板上各出一個物理口加入該eth-trunk；交換機采用集群方式保障可靠性。轉(zhuǎn)發(fā)器和控制器連接只要保證IP可達(dá)即可。服務(wù)器1（主控制器）服務(wù)器2（備控制器）iStackLAGSNCNetwork轉(zhuǎn)發(fā)器轉(zhuǎn)發(fā)器轉(zhuǎn)發(fā)器物理服務(wù)器1和物理服務(wù)器2跨機房部署SNC控制器電信級可靠性方案NSR機制服務(wù)器1服云計算業(yè)務(wù)方案整體組網(wǎng)方案VxLAN同子網(wǎng)/跨子網(wǎng)業(yè)務(wù)互訪南北向業(yè)務(wù)流程增值業(yè)務(wù)部署方案業(yè)務(wù)可靠性方案QoS方案云計算業(yè)務(wù)方案整體組網(wǎng)方案Openstack（Neutron）云計算業(yè)務(wù)QoS場景DC匯聚平面硬件NVE1硬件NVE2硬件NVE3RouterRouterInternetVxLAN-GWVxLAN-GWVirtualClusterDC-1同城跨DCVxLANoverlay虛擬網(wǎng)絡(luò)DC-2RouterRouterVirtualClusterVxLANTunnelVxLAN

TunnelVxLANTunnelGWSubnetPortSubnetPortSubnetPortvSwitchTORNVEVxLAN-GWvSwitchVM1Server1vSwitchVM2Server2vSwitchVM3Server3VM1VM2VM3VLANVxLANIPQoS策略控制點NE40E：NNI側(cè)基于VNI控制租戶跨機房子網(wǎng)內(nèi)帶寬（跨機房同子網(wǎng)帶寬<=1G）；在VxLAN-GW上基于租戶網(wǎng)關(guān)接口控制租戶南北向流量帶寬租戶虛擬拓?fù)鋠Switch：控制VM主機帶寬NetMatrixSNC云計算業(yè)務(wù)PortalNetconfOVSPluginHWPluginOpenflowNetconfOpenstack（Neutron）云計算業(yè)務(wù)QoS場景DCThankYouThankYou上海電信數(shù)據(jù)中心SDN方案解決方案及網(wǎng)絡(luò)設(shè)計部上海電信數(shù)據(jù)中心SDN方案解決方案及網(wǎng)絡(luò)設(shè)計部目錄上海電信IDCSDN+VXLAN解決方案整體架構(gòu)托管業(yè)務(wù)方案云計算業(yè)務(wù)方案目錄上海電信IDCSDN+VXLAN解決方案整體架構(gòu)云計算業(yè)務(wù)托管業(yè)務(wù)RESTfulAPINetMatrixNovaCinderRESTfulAPINetconfNeutronPlugin/DriverSNC硬件NVE硬件NVE硬件NVE硬件NVE硬件NVE硬件NVEVxLAN-GWVxLAN-GWVirtualClusterFWvLBPoolFWIPSVXLANFabricVXLANFabricServiceRouterServiceRouterVirtualClusterRESTfulAPIOpenflowCPENVEVXLANNVENetconf/CLINetconf/CLIvSwitchVM2VM1Server1vSwitchVM2VM1Server2vSwitchVM2VM1Server3企業(yè)分支租戶網(wǎng)絡(luò)租戶SW租戶SW租戶SW上海電信IDCSDN+VXLAN網(wǎng)絡(luò)解決方案整體架構(gòu)業(yè)務(wù)呈現(xiàn)層面向運營商的Portal，提供云計算業(yè)務(wù)和托管業(yè)務(wù)的定制服務(wù)。云計算協(xié)同層采用開源OpenstackHavana版本。實現(xiàn)存儲、計算和網(wǎng)絡(luò)資源的協(xié)同。SDN網(wǎng)絡(luò)協(xié)同器&控制器由NetMatrix和SNC組成，完成網(wǎng)絡(luò)建模和網(wǎng)絡(luò)實例化。網(wǎng)絡(luò)協(xié)同器為NetMatrix，具備托管業(yè)務(wù)&云計算業(yè)務(wù)網(wǎng)絡(luò)資源調(diào)度和協(xié)同，以及VAS資源調(diào)度和協(xié)同，實現(xiàn)VAS業(yè)務(wù)自動化。網(wǎng)絡(luò)控制器為SNC，負(fù)責(zé)VXLANNVE轉(zhuǎn)發(fā)器的流表轉(zhuǎn)發(fā)控制，以及VxLAN虛擬網(wǎng)絡(luò)的自動化建立。北向支持RESTfulAPI接口，實現(xiàn)業(yè)務(wù)快速定制和自動發(fā)放。南向支持OpenFlow/Netconf/CLI等接口，控制物理和虛擬網(wǎng)絡(luò)。基礎(chǔ)網(wǎng)絡(luò)基于一套物理網(wǎng)絡(luò)，通過VXLANoverlay技術(shù)構(gòu)建虛擬網(wǎng)絡(luò)，分別滿足托管業(yè)務(wù)和云計算業(yè)務(wù)的需求。面向云計算業(yè)務(wù)提供vLBPooL服務(wù)和FW/IPS服務(wù)面向托管業(yè)務(wù)提供FW和IPS服務(wù)云計算業(yè)務(wù)托管業(yè)務(wù)RESTfulAPINetMatrixN目錄上海電信IDCSDN+VXLAN解決方案整體架構(gòu)托管業(yè)務(wù)方案云計算業(yè)務(wù)方案目錄上海電信IDCSDN+VXLAN解決方案整體架構(gòu)托管業(yè)務(wù)方案整體組網(wǎng)方案托管業(yè)務(wù)場景&企業(yè)分支接入場景業(yè)務(wù)流量模型租戶主機通過虛擬網(wǎng)絡(luò)實現(xiàn)互訪QoS場景托管業(yè)務(wù)租戶L3接入公網(wǎng)場景托管業(yè)務(wù)方案整體組網(wǎng)方案上海電信IDC托管業(yè)務(wù)物理組網(wǎng)DC扁平化組網(wǎng)（VxLANGW+硬件NVE）兩臺VxLAN網(wǎng)關(guān)通過虛擬集群形成一個邏輯節(jié)點，提高可靠性接入交換機雙上聯(lián)至兩臺VxLAN網(wǎng)關(guān)NetMatrix&SNC通過主備模式提供可靠性，可以跨機房部署Service-Router對于托管類業(yè)務(wù)，ServiceRouter主要通過NetMatrix下發(fā)的引流策略實現(xiàn)租戶VAS業(yè)務(wù)引流動作NVE接入交換機做VxLAN網(wǎng)絡(luò)邊緣節(jié)點，為DC租戶提供VxLAN虛擬網(wǎng)絡(luò)接入服務(wù)CPE支持VxLAN接入，為中小企業(yè)和分支機構(gòu)提供遠(yuǎn)程接入DC的服務(wù)增值業(yè)務(wù)硬件防火墻及IPS旁掛在VxLAN-GW兩側(cè)ServiceRouterServiceRouterVirtualCluster硬件NVE硬件NVEFW硬件NVEServiceRouterServiceRouterVirtualCluster硬件NVE硬件NVEFW硬件NVEServiceRouterServiceRouterVirtualCluster硬件NVE硬件NVE硬件NVERouterRouterRouter同城跨DCVxLANoverlay虛擬網(wǎng)絡(luò)CPENVEIPMAN中小企業(yè)/分支接入DCIDC匯聚平面NetmatrixSNC增值業(yè)務(wù)設(shè)備VxLAN網(wǎng)絡(luò)設(shè)備網(wǎng)絡(luò)控制器&協(xié)同器DC-1DC-2DC-nVxLANNVERack1Rack2RacknRack1Rack2RacknRack1Rack2RacknvLBIPS上海電信IDC托管業(yè)務(wù)物理組網(wǎng)DC扁平化組網(wǎng)（VxLANGPortalDC2TORNVE3VxLAN-GWTORNVE4DC1TORNVE1VxLAN-GWTORNVE2網(wǎng)絡(luò)協(xié)同器&控制器NetMatrixSNCDC3TORNVE5VxLAN-GWTORNVE6VXLANoverlay虛擬網(wǎng)絡(luò)企業(yè)分支CPENVEFW/IPSFW/IPSOpenflowCLI1、通過Portal定制VXLAN虛擬網(wǎng)絡(luò)業(yè)務(wù)以及VAS業(yè)務(wù)2、業(yè)務(wù)模板下發(fā)至NetMatrix3、NetMatrix分配網(wǎng)絡(luò)資源，并且針對租戶需求下發(fā)FW和IPS業(yè)務(wù)配置，以及VXLANGW引流策略4、SNC通過Openflow控制轉(zhuǎn)發(fā)器并創(chuàng)建VXLAN網(wǎng)絡(luò)1234托管業(yè)務(wù)流程及方案5、TORNVE和CPENVE學(xué)習(xí)租戶主機MAC，且本地做MAC查表轉(zhuǎn)發(fā)，并依據(jù)SNC下發(fā)的廣播域做BUM報文頭端復(fù)制5PortalDC2TORNVE3VxLAN-GWTORNDC匯聚平面托管業(yè)務(wù)場景：租戶TAG透傳（運營商不感知租戶VLAN）TOR交換機1（NVE）租戶服務(wù)器1租戶服務(wù)器2租戶服務(wù)器3租戶服務(wù)器4租戶服務(wù)器5租戶服務(wù)器6租戶L3GW/L2Switch租戶L2SwitchTOR交換機2（NVE）P2P1InternetL3L2TrunkL2TrunkVLAN11VLAN12VLAN13VLAN11VLAN12VLAN13DC2DC1VLAN透傳VLAN透傳ServiceRouterServiceRouterVirtualClusterL3L3ServiceRouterServiceRouterVirtualCluster租戶服務(wù)器8租戶服務(wù)器9TOR交換機3（NVE）L2TrunkDC3VLAN透傳ServiceRouterServiceRouterVirtualClusterVNI100租戶虛擬網(wǎng)絡(luò)VXLANVXLANVXLANIP路由租戶服務(wù)器7P1P2L2TrunkVLAN透傳P2P1由租戶服務(wù)器網(wǎng)卡或虛擬交換機封裝解封裝VLAN由租戶服務(wù)器網(wǎng)卡或虛擬交換機封裝解封裝VLAN租戶自組網(wǎng)租戶自組網(wǎng)服務(wù)器機位機架資源機架資源服務(wù)器機位運營商網(wǎng)絡(luò)租戶網(wǎng)絡(luò)租服務(wù)器機位租服務(wù)器機位每租戶每VNI運營商提供VXLAN二層網(wǎng)絡(luò)，透傳租戶VLAN報文；運營商的VXLANGW做ServiceRouter，通過NetMatrix下發(fā)的引流策略實現(xiàn)租戶VAS業(yè)務(wù)引流動作；運營商分配公網(wǎng)IP或地址段給租戶；租戶自組網(wǎng)提供L3GW和L2SW，由租戶根據(jù)運營商分配的公網(wǎng)IP地址段配置自有L3GW和服務(wù)器；租戶向運營商租少量的服務(wù)器機位滿足新增服務(wù)器部署要求，并需要與租戶自組網(wǎng)互通；FWIPSTORNVEIPTORPORTVNIACL匹配VNINE40E基于ACLCAR做雙向限速DC匯聚平面托管業(yè)務(wù)場景：租戶TAG透傳（運營商不感知租戶V企業(yè)分支接入場景DC匯聚平面IPMANCPENVETORNVE1ServiceRouterServiceRouterVirtualClusterDC1TORNVE2ServiceRouterServiceRouterVirtualClusterTORNVE3DC2ServiceRouterServiceRouterVirtualClusterTORNVE4DC3企業(yè)分支CPENVE接入城域網(wǎng)，通過城域網(wǎng)與IDC實現(xiàn)IP互通CPENVE與TORNVE直接建立VXLANTunnelCPENVE和TORNVE接入側(cè)端口采用PORT與VNI映射，并支持租戶VLAN透傳Internet租戶L3GW租戶L2SWFWIPSIP路由P1P2租戶服務(wù)器租戶服務(wù)器租戶L2SW租戶網(wǎng)絡(luò)租戶網(wǎng)絡(luò)企業(yè)分支網(wǎng)絡(luò)P1P2P3P4P5P6TORNVE1TORNVE2TORNVE3TORNVE4CPENVETunnel1Tunnel2Tunnel3Tunnel4VXLAN

Fabric租戶虛擬網(wǎng)絡(luò)P7Tunnel2+VNI10Tunnel4+VNI10Tunnel3+VNI10Tunnel1+VNI10VxLANoverlay虛擬網(wǎng)絡(luò)L3NetMatrixSNC企業(yè)分支接入場景DC匯聚平面IPMANCPENVETOR租戶托管業(yè)務(wù)&企業(yè)分支網(wǎng)絡(luò)模型InternetL3L2L2L2L2L2DC1_TORNVE1DC2_TORNVE2DC2_TORNVE3DC3_TORNVE4CPENVETunnel1Tunnel2Tunnel3Tunnel4VXLAN

Fabric租戶虛擬網(wǎng)絡(luò)L2ServiceRouterL3IPFWIPSVNI100ServiceRouter通過NetMatrix來下發(fā)租戶VAS引流策略，基于租戶公網(wǎng)IP或IP五元組來做策略路由引流至VAS設(shè)備FW、IPS等增值業(yè)務(wù)設(shè)備，通過NetMatrix下發(fā)租戶VAS業(yè)務(wù)配置CPENVE接入端口與VNI橋接映射，透傳租戶VLAN；支持雙向做CARCPENVE網(wǎng)絡(luò)側(cè)通過Tunnel+VNI方式做雙向QoSCARTORNVE網(wǎng)絡(luò)側(cè)通過Tunnel+VNI方式做雙向QoSCAR租戶接入公網(wǎng)的端口，基于端口做QoSCAR，限制租戶南北向流的上下行帶寬租戶網(wǎng)絡(luò)租戶網(wǎng)絡(luò)租戶服務(wù)器租戶服務(wù)器TORNVE接入端口與VNI橋接映射，透傳租戶VLAN；支持雙向做CAR租戶網(wǎng)絡(luò)租戶SW租戶GW企業(yè)分支租戶SW租戶SW租戶托管業(yè)務(wù)&企業(yè)分支網(wǎng)絡(luò)模型InternetL3L2L2LDC匯聚平面托管類業(yè)務(wù)流量模型TOR交換機1（NVE）租戶服務(wù)器1租戶服務(wù)器2租戶服務(wù)器3租戶服務(wù)器4租戶服務(wù)器5租戶服務(wù)器6租戶L3GW/L2Switch租戶L2SwitchTOR交換機2（NVE）P2P1InternetL3L2TrunkL2TrunkVLAN11VLAN12VLAN13VLAN11VLAN12VLAN13DC2DC1VLAN透傳VLAN透傳ServiceRouterServiceRouterVirtualClusterL3L3ServiceRouterServiceRouterVirtualCluster租戶服務(wù)器8租戶服務(wù)器9TOR交換機3（NVE）L2TrunkDC3VLAN透傳ServiceRouterServiceRouterVirtualClusterVNI100租戶虛擬網(wǎng)絡(luò)VXLANVXLANVXLAN租戶服務(wù)器7P1P2L2TrunkVLAN透傳P2P1由租戶服務(wù)器網(wǎng)卡或虛擬交換機封裝解封裝VLAN由租戶服務(wù)器網(wǎng)卡或虛擬交換機封裝解封裝VLAN租戶自組網(wǎng)租戶自組網(wǎng)服務(wù)器機位機架資源機架資源服務(wù)器機位運營商網(wǎng)絡(luò)租戶網(wǎng)絡(luò)租服務(wù)器機位租服務(wù)器機位運營商提供跨DC大二層虛擬網(wǎng)絡(luò)，不感知租戶VLAN信息TORNVE之間建立P2P的VXLAN隧道運營商不向租戶提供多物理端口接入租戶自組網(wǎng)網(wǎng)絡(luò)，避免環(huán)路租戶非自組網(wǎng)場景下所接入的服務(wù)器支持VLAN的封裝與解封裝FWIPSVLAN13VLAN11VLAN12DC1的VirtualCluster路由器需要依據(jù)租戶公網(wǎng)IP或IP五元組來做增值業(yè)務(wù)引流租戶跨機房同子網(wǎng)流量需要通過VXLAN隧道實現(xiàn)互訪租戶同一個TOR下同子網(wǎng)流量經(jīng)本地TOR橋接實現(xiàn)互訪租戶跨子網(wǎng)流量需要繞行至租戶L3GW終結(jié)二層后實現(xiàn)互訪紅色標(biāo)識為租戶同子網(wǎng)服務(wù)器間的東西向流量藍(lán)色標(biāo)識為租戶服務(wù)器與Internet間的南北向流量橙色標(biāo)識為租戶跨子網(wǎng)服務(wù)器間的東西向流量DC匯聚平面托管類業(yè)務(wù)流量模型TOR交換機1（NVE）租戶服VLAN11企業(yè)分支業(yè)務(wù)流量模型DC匯聚平面IPMANCPENVETORNVE1ServiceRouterServiceRouterVirtualClusterDC1TORNVE2ServiceRouterServiceRouterVirtualClusterTORNVE3DC2ServiceRouterServiceRouterVirtualClusterTORNVE4DC3Internet租戶L3GW租戶L2SWFWIPSP1P2租戶服務(wù)器租戶服務(wù)器租戶網(wǎng)絡(luò)租戶網(wǎng)絡(luò)VxLANoverlay虛擬網(wǎng)絡(luò)分支L2SW租戶網(wǎng)絡(luò)租戶L2SWVLAN11VLAN12VLAN11VLAN12VLAN11VLAN12VLAN12L3IP路由紅色標(biāo)識為企業(yè)分支與IDC托管網(wǎng)絡(luò)同子網(wǎng)服務(wù)器間的東西向流量藍(lán)色標(biāo)識為企業(yè)分支以IDC托管網(wǎng)絡(luò)中的租戶L3GW作為三層出口網(wǎng)關(guān)，與Internet間的南北向流量企業(yè)分支CPENVE與DC中的TORNVE之間建立VxLANTunnel企業(yè)分支機構(gòu)與IDC托管業(yè)務(wù)中的租戶網(wǎng)絡(luò)共享L3GW，企業(yè)分支至Internet的流量由租戶自組網(wǎng)中的L3GW終結(jié)二層實現(xiàn)三層轉(zhuǎn)發(fā)企業(yè)分支與IDC托管業(yè)務(wù)間三層跨租戶子網(wǎng)流量，需要通過租戶自己的L3GW實現(xiàn)二層終結(jié)跨子網(wǎng)互訪VLAN11企業(yè)分支業(yè)務(wù)流量模型DC匯聚平面IPMANC租戶同子網(wǎng)主機通過VXL