數(shù)據(jù)中心網(wǎng)絡(luò)流量分析技術(shù)數(shù)據(jù)中心網(wǎng)絡(luò)流量分析技術(shù)白皮書數(shù)據(jù)中心網(wǎng)絡(luò)流量分析技術(shù)白皮書目錄網(wǎng)絡(luò)流分析求和場(chǎng)景 1流量路可視術(shù) 2鏡技術(shù) 2探報(bào)文技術(shù) 3隨檢測(cè)術(shù) 5INT技術(shù) 6In-situOAM技術(shù) 9IFA12Inband-OAM技術(shù) 16丟包可技術(shù) 17染技術(shù) 17丟原因技術(shù) 18下一步作建議 19參考文獻(xiàn) 20i數(shù)據(jù)中心網(wǎng)絡(luò)流量分析技術(shù)白皮書（中文版）數(shù)據(jù)中心網(wǎng)絡(luò)流量分析技術(shù)白皮書（中文版）PAGEPAGE10數(shù)據(jù)中心網(wǎng)絡(luò)流量分析技術(shù)白皮書網(wǎng)絡(luò)流量分析需求和場(chǎng)景現(xiàn)在業(yè)務(wù)難感知、問題難自證和故障難定位。和配置感知難度。精準(zhǔn)度差，網(wǎng)絡(luò)難以自證清白。發(fā)路徑成為故障定位的前提條件。展示應(yīng)用級(jí)別的網(wǎng)絡(luò)質(zhì)量,便于實(shí)現(xiàn)網(wǎng)絡(luò)精細(xì)化管理和故障精準(zhǔn)定位。逐流級(jí)別提升整網(wǎng)的運(yùn)維能力具有重要意義。場(chǎng)景一：流量路徑可視化流量路徑可視化指的是業(yè)務(wù)報(bào)文轉(zhuǎn)發(fā)路徑可視化，在網(wǎng)絡(luò)拓?fù)渖厦枥L出業(yè)務(wù)中業(yè)務(wù)流量真實(shí)轉(zhuǎn)發(fā)路徑由業(yè)務(wù)流經(jīng)過的每一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)以及其出入端口信息組成，流量路徑質(zhì)量信息包含時(shí)延信息等。場(chǎng)景二：丟包情況可視化TCP的業(yè)務(wù)TCPHTTP1%HTTP10%流量路徑可視技術(shù)Spine-LeafVxLAN網(wǎng)絡(luò)內(nèi)轉(zhuǎn)發(fā)的逐跳設(shè)備及出/入物理端口。鏡像技術(shù)ERSPANVLAN將復(fù)制的報(bào)文發(fā)送到遠(yuǎn)程數(shù)據(jù)監(jiān)測(cè)設(shè)備，遠(yuǎn)程數(shù)據(jù)監(jiān)測(cè)平臺(tái)根據(jù)采集到的ERSPAN絡(luò)監(jiān)控。圖1ERSPAN技術(shù)示意圖以BM1訪問BM2為例，整個(gè)過程如下：Leaf1BM1Spine1Leaf1BM1出的報(bào)文；Leaf2Spine1報(bào)文。IP報(bào)文在網(wǎng)絡(luò)設(shè)備中進(jìn)行三層轉(zhuǎn)發(fā)時(shí)，IPTTLTCPTCPTCPTTLTCP發(fā)路徑。ERSPAN技術(shù)適用于TCP、RDMA等會(huì)話可視化，當(dāng)前未能覆蓋數(shù)據(jù)中心所有業(yè)務(wù)報(bào)文通信場(chǎng)景。探測(cè)報(bào)文構(gòu)造技術(shù)SDNSDN整合處理，繪制流量路徑。圖2通過探測(cè)報(bào)文構(gòu)造技術(shù)繪制路徑信息過程如下：SDNDSCPSDN控制器；SDNOpenFlowpacket-out發(fā)送給探測(cè)起始設(shè)備即首跳設(shè)備，探測(cè)報(bào)文攜帶特征值；首跳設(shè)備根據(jù)轉(zhuǎn)發(fā)信息將探測(cè)報(bào)文轉(zhuǎn)發(fā)給下一跳設(shè)備；DSCPOpenFlowpacket-in報(bào)文上SDNSDNOpenFlowpacketin算得到轉(zhuǎn)發(fā)路徑。探測(cè)報(bào)文構(gòu)造技術(shù)能夠顯示源到目的的路徑信息，成為SDN網(wǎng)絡(luò)運(yùn)維手段之一，但該技術(shù)繪制出的路徑信息為探測(cè)報(bào)文路徑，可能和真實(shí)信息存在偏差。隨流檢測(cè)技術(shù)隨流檢測(cè)技術(shù)是一種將流量信息直接封裝在數(shù)據(jù)報(bào)文中實(shí)現(xiàn)以數(shù)據(jù)報(bào)文為粒度的流量可視技術(shù)。當(dāng)前業(yè)界主流的隨流檢測(cè)技術(shù)包含INT、In-situOAM、IFAInband-OAM行分析和處理，實(shí)現(xiàn)流量路徑可視。依據(jù)數(shù)據(jù)上送模式，分為護(hù)照模式（PP，Passport）和明信片模式（PC，Postcard）兩種。明信片模式指業(yè)務(wù)路徑上每個(gè)節(jié)點(diǎn)將采集的本地流量數(shù)據(jù)封裝成獨(dú)立報(bào)文關(guān)聯(lián)一條流端到端的質(zhì)量信息數(shù)據(jù)。表1INTIn-situOAMIFAInbandOAMMDMXXDIOAMDEX上報(bào)模式PPPCPCPPPCPP&PCPC報(bào)文修改（每節(jié)點(diǎn)/頭節(jié)點(diǎn)）每節(jié)點(diǎn)頭節(jié)點(diǎn)無修改每節(jié)點(diǎn)頭節(jié)點(diǎn)均可頭節(jié)點(diǎn)檢測(cè)方式隨路/復(fù)制檢測(cè)隨路/復(fù)制檢測(cè)隨路/復(fù)制檢測(cè)隨路檢測(cè)丟包統(tǒng)計(jì)不支持不支持不支持支持路徑可視支持支持支持支持測(cè)量信息較多較多較多少技術(shù)代表Intel、盛科等思科等博通等華為等INT技術(shù)INT技術(shù)是Intel為主導(dǎo)提出的一種新的遙測(cè)技術(shù)，通過在數(shù)據(jù)層面收集網(wǎng)絡(luò)狀態(tài)并上報(bào)來實(shí)現(xiàn)網(wǎng)絡(luò)狀態(tài)的監(jiān)控。INT報(bào)文頭插在4層報(bào)文頭以下，具體的報(bào)文格式如下：圖3INT報(bào)文頭格式示意圖表2INT報(bào)文頭各字段及含義表屬性比特?cái)?shù)含義Ver4版本號(hào)D1置位后，尾節(jié)點(diǎn)（SinkNode)在提取MD信息后，丟棄該報(bào)文E1MaxHopCountexceeded，若節(jié)點(diǎn)由于剩余跳數(shù)為0，無法添加自己的元數(shù)據(jù)，則必須置位。源節(jié)點(diǎn)（SourceNode)sha應(yīng)置0M1MTUexceededHopML5每跳MD的長(zhǎng)度RemainingHopCount8允許將其元數(shù)據(jù)添加到包中的剩余跳數(shù)InstructionBitmapDomainSpecificID1616Metadata數(shù)據(jù)的具體內(nèi)容INT域的唯一標(biāo)識(shí)，如果域特定ID與此節(jié)點(diǎn)已知的任何域ID匹配，則需對(duì)域特定標(biāo)志（DS標(biāo)志）和域特定指令（DS指令）進(jìn)行額外處理DSInstruction16由domainspecificID標(biāo)識(shí)的INT域的指令位圖。每個(gè)被設(shè)置的位都要求在插入校驗(yàn)和補(bǔ)碼之前將域特定元數(shù)據(jù)附加到基線元數(shù)據(jù)INT-MX（eMbedinstructions）、INT-XD(eXportData)等。INT-MD技術(shù)INT-MD是經(jīng)典的內(nèi)嵌式帶內(nèi)遙測(cè)技術(shù)，采用護(hù)照模式上送。在該模式下，INT域中含有三類主要功能節(jié)點(diǎn)：INT源節(jié)點(diǎn)（INTSourceNode)、INT尾節(jié)點(diǎn)（INTSinkNode)INT（INTTransitSourceINTSink是遙測(cè)線路的起點(diǎn)和終點(diǎn)，起點(diǎn)負(fù)責(zé)指出需要收集信息的流量和收集的信INTTransitHop技術(shù)的所有設(shè)備。圖4INT-MD示意圖SourceINThdNTinstrutionNThadr（NTMtadtINTMetadata中，并隨報(bào)文一起送到下一節(jié)點(diǎn)。INTTransit節(jié)點(diǎn)在原有的INTinstruction和Metadata后添加本節(jié)點(diǎn)Metadata信息，并送往下一節(jié)點(diǎn)。INTSinkINTMetadataMetadataINT報(bào)文上送數(shù)據(jù)檢測(cè)平臺(tái)。INT-MX技術(shù)INT-MX有三類主要功能節(jié)點(diǎn)：INT源節(jié)點(diǎn)（INTSourceNode)、INT尾節(jié)點(diǎn)（INTSinkNodNT（ITTnsitNodI-MD有一定差異，只在INTSource節(jié)點(diǎn)修改原始報(bào)文。圖5INT-MX示意圖SourceINTheader），INTinstructionMetadataINT報(bào)文直接上送數(shù)據(jù)監(jiān)測(cè)平臺(tái)。INTTransitINTinstructionMetadataINT報(bào)文上送數(shù)據(jù)監(jiān)測(cè)平臺(tái)。INTSinkINTinstructionMetadata，上送至數(shù)據(jù)INTheaderINTinstruction信息。INT-XD技術(shù)INT-XDINTSource節(jié)點(diǎn)、INTTransitINTSinkINT節(jié)點(diǎn)都具備同樣MetadataINTINT報(bào)文做任何修改。圖6INT-XD示意圖INTINT特定路徑上的某些數(shù)據(jù)包流量數(shù)據(jù)。In-situOAM技術(shù)In-situOAM(IOAM)是由以思科為主導(dǎo)的一種隨路檢測(cè)技術(shù)，和INT類似，IOAM同樣借助于數(shù)據(jù)面業(yè)務(wù)進(jìn)行網(wǎng)絡(luò)狀況的收集、攜帶、整理、上報(bào)，不使用單獨(dú)的控制面。IOAMIPv4/IPv6IOAM報(bào)文格式如下：圖7IOAM報(bào)文頭格式示意圖表3IOAM報(bào)文頭各字段及含義表屬性比特?cái)?shù)含義Namespace-ID16默認(rèn)為0；用于節(jié)點(diǎn)匹配判斷NodeLen5必須設(shè)置，4字節(jié)倍數(shù)標(biāo)識(shí)每節(jié)點(diǎn)數(shù)據(jù)長(zhǎng)度Flags4Bit0的副本發(fā)送回源；Bit2置位表示是一個(gè)活動(dòng)的OAM數(shù)置位表示每個(gè)支持IOAM的節(jié)點(diǎn)立即導(dǎo)出IOAM數(shù)據(jù)字段，不添加到數(shù)據(jù)包中RemainingLen7在節(jié)點(diǎn)數(shù)據(jù)列表被認(rèn)為溢出之前，此字段以4字節(jié)的倍數(shù)指定用于記錄節(jié)點(diǎn)數(shù)據(jù)的數(shù)據(jù)空間IOAM-Trace-Type24用于指定在此節(jié)點(diǎn)數(shù)據(jù)列表中使用的數(shù)據(jù)類型Reserved8預(yù)留字段IOAM（EncapsulatingNode)（DecapsulatingNode)IOAMIOAM-DEX模式。IOAMIOAM信息采用逐跳累加轉(zhuǎn)發(fā)信息并以護(hù)照模式進(jìn)行上報(bào)。IOAMIPOAM4情況下，對(duì)設(shè)備和網(wǎng)絡(luò)帶寬資源消耗大。圖8標(biāo)準(zhǔn)IOAM示意圖在報(bào)文轉(zhuǎn)發(fā)過程中，Encapsulating節(jié)點(diǎn)給指定業(yè)務(wù)報(bào)文增加IOAMinstructionIOAMMetadata到下一節(jié)點(diǎn)。TransitMetadataMetadata節(jié)點(diǎn)。DecapsulatingMetadataMetadata信息封裝成IOAM報(bào)文上送數(shù)據(jù)檢測(cè)平臺(tái)。IOAM-DEXIOAM-DEX采用非逐跳累加，以明信片模式上報(bào)。圖9IOAM-DEX示意圖在報(bào)文轉(zhuǎn)發(fā)過程中，Encapsulating節(jié)點(diǎn)給指定報(bào)文添加IOAMinstruction，將本節(jié)點(diǎn)的Metadata封裝成IOAM報(bào)文直接上送數(shù)據(jù)監(jiān)測(cè)平臺(tái)。TransitIOAMMetadataIOAM報(bào)文上送數(shù)據(jù)監(jiān)測(cè)平臺(tái)。Decapsulating節(jié)點(diǎn)根據(jù)IOAMinstruction生成本節(jié)點(diǎn)的Metadata，上送至數(shù)據(jù)檢測(cè)平臺(tái)，同時(shí)剝離掉IOAMinstruction信息。IOAMIOAMIPv4/IPv6optionoptionCPUCPU資源消耗較大。技術(shù)IFAIFAIFA送數(shù)據(jù)檢測(cè)平臺(tái)。IFALayer3Layer4IPIP頭IFAIFANextHdrIFAHeader定義格式如下：圖10IFA報(bào)文頭格式示意圖表4IFA報(bào)文頭各字段及含義表屬性比特?cái)?shù)含義Ver4指定IFAGNS4全局命名空間，指定IFA區(qū)域范圍IFAMetadata的命名空間NextHdrRMFTSITAC8311111IPHeader協(xié)議類型，從IP頭復(fù)制保留位,傳輸時(shí)必須初始化為0，并且收到時(shí)被忽略Initiator節(jié)點(diǎn)負(fù)MF尾印。表示IFA區(qū)域需要對(duì)Metadata進(jìn)行尾部操作帶內(nèi)。表示這是live流量環(huán)回。表示該IFA報(bào)文需要在Termination節(jié)點(diǎn)上發(fā)回給原IP地MaxLength8指定Metadata棧最大允許長(zhǎng)度，為4個(gè)八位字節(jié)的倍數(shù)。由與最大長(zhǎng)度，如果當(dāng)前長(zhǎng)度等于或超過最大長(zhǎng)度，節(jié)點(diǎn)停止插與最大長(zhǎng)度，如果當(dāng)前長(zhǎng)度等于或超過最大長(zhǎng)度，節(jié)點(diǎn)停止插入MetadataIFAMetadata4如下：圖11IFAMetadata頭格式示意圖表5IFAMetadata頭各字段及含義表屬性比特?cái)?shù)含義RequestVector8可作為GNS的擴(kuò)展ActionVector8定義對(duì)屬性比特?cái)?shù)含義RequestVector8可作為GNS的擴(kuò)展ActionVector8定義對(duì)輸時(shí)必須初始化為0，并且收到時(shí)被忽略HopLimit8指定IFA域中最大跳數(shù)。該值由Initiator節(jié)點(diǎn)負(fù)責(zé)初始前節(jié)點(diǎn)不再插入Metadata；0xFF表示可忽略HopLimit檢測(cè)CurrentLength8指定當(dāng)前Metadata長(zhǎng)度圖12IFA尾節(jié)點(diǎn)上報(bào)示意圖IFA（IFAheader）IFA（Metadata）同樣會(huì)流經(jīng)相同的轉(zhuǎn)發(fā)路徑。IFAMetadata。IFAIFA復(fù)制的數(shù)據(jù)報(bào)文直接上送或截取元數(shù)據(jù)信息上送數(shù)據(jù)檢測(cè)平臺(tái)。IFA技術(shù)依賴于芯片處理能力，可通過策略配置實(shí)現(xiàn)流量自定義和按需部署，具備一定靈活性。作為數(shù)據(jù)中心交換機(jī)的主流芯片，博通芯片新系列天然支持IFA技術(shù)，為數(shù)據(jù)中心流量可視化提供基礎(chǔ)設(shè)施的支持。到丟包統(tǒng)計(jì)。Inband-OAM技術(shù)Inband-OAM頭解封裝。IPV6IPv6頭的“選項(xiàng)數(shù)據(jù)”字段中，具體封裝格式如下：圖13基于IPv6IOAM表6基于IPv6屬性比特?cái)?shù)含義Optiontype8option類型標(biāo)識(shí)OptDataLen8option數(shù)據(jù)長(zhǎng)度（字節(jié)數(shù)）FlowMonID20業(yè)務(wù)流標(biāo)識(shí)，設(shè)備內(nèi)唯一LFlag1業(yè)務(wù)流標(biāo)識(shí)，設(shè)備內(nèi)唯一，丟包測(cè)量染色標(biāo)識(shí)DFlag1時(shí)延測(cè)量染色標(biāo)識(shí)，置1時(shí)，要求向分析器上報(bào)時(shí)間戳信息HTI8標(biāo)識(shí)擴(kuò)展頭的類型。取值如下：0：保留；1-15：私有擴(kuò)展；16-255：標(biāo)準(zhǔn)擴(kuò)展。本規(guī)范定義的擴(kuò)展類型取值為16NodeMonIDFFlagPTExtFMType2013216設(shè)備節(jié)點(diǎn)標(biāo)識(shí)，檢測(cè)系統(tǒng)內(nèi)唯一1011:60s；100:300s；其他：預(yù)留11：預(yù)留擴(kuò)展流檢測(cè)類型標(biāo)識(shí)，通過bitmap標(biāo)識(shí)，取值定義暫時(shí)預(yù)留Inband-OAM域含有三類主要功能節(jié)點(diǎn)：封裝節(jié)點(diǎn)，轉(zhuǎn)發(fā)節(jié)點(diǎn)，解封裝節(jié)點(diǎn)。IPID（FlowID），對(duì)特?cái)?shù)據(jù)中心網(wǎng)絡(luò)流量分析技術(shù)白皮書（中文版）數(shù)據(jù)中心網(wǎng)絡(luò)流量分析技術(shù)白皮書（中文版）PAGEPAGE17定報(bào)文進(jìn)行染色。Flow據(jù)檢測(cè)平臺(tái)。Flow數(shù)據(jù)檢測(cè)平臺(tái)，同時(shí)刪除封裝頭信息，恢復(fù)原始報(bào)文。Inband-OAM精準(zhǔn)且只產(chǎn)生少量的測(cè)量數(shù)據(jù)。丟包可視技術(shù)（多個(gè)周期內(nèi)技術(shù)為染色技術(shù)，丟包原因分析主要借助于芯片的能力實(shí)現(xiàn)。染色技術(shù)圖14記字段交替染色，同時(shí)統(tǒng)計(jì)本周期發(fā)送的染色報(bào)文數(shù)，并上報(bào)給管控系統(tǒng)。1~2和接收端之間的時(shí)間偏差，同時(shí)保證亂序報(bào)文可被正確統(tǒng)計(jì)。IngressEgress周期的統(tǒng)計(jì)信息進(jìn)行比較，計(jì)算每條流在節(jié)點(diǎn)內(nèi)的丟包情況。EgressIngress流表基線比較，計(jì)算每條流在設(shè)備間的丟包情況。i務(wù)流的丟包數(shù)和丟包比例。丟包原因分析技術(shù)術(shù)主要依賴于芯片能力。目前丟包原因分析能夠?qū)崿F(xiàn)丟棄報(bào)文的特征分析和丟棄原因分析。丟棄報(bào)文數(shù)據(jù)中心網(wǎng)絡(luò)流量分析技術(shù)白皮書（中文版）數(shù)據(jù)中心網(wǎng)絡(luò)流量分析技術(shù)白皮書（中文版）PAGEPAGE19MACMACVLANIP地址、IP地址、源端口號(hào)、目的端口號(hào)、原始報(bào)文頭、丟棄報(bào)文的源端口名稱、IPv4IP未命IPVLANIPv4CPU網(wǎng)絡(luò)情況、快速定位。CPUCPUCPUPHYMAC生的丟包等，還需借助其他工具和手段進(jìn)行。下一步工作建議封閉性特點(diǎn)，無法互操作，需進(jìn)一步提升標(biāo)準(zhǔn)化水平和開放性。智慧化水平。參考文獻(xiàn)IETFRFC8321Alternate-MarkingMethodforPassiveandHybridPerformanceMonitoring.IETFdraft-kumar-ippm-ifa-02帶內(nèi)隨流分析技(inbandFlowAnalyzer).ICTExpressIn-bandNetworkTelemetry(INT)DataplaneSpecification帶內(nèi)網(wǎng)絡(luò)遙測(cè)(INT)數(shù)據(jù)平面規(guī)范.IET