流控和應(yīng)用識別技術(shù)詳解2017年3月22日

張茂流控和應(yīng)用識別技術(shù)詳解2017年3月22日 張茂流控技術(shù)概述1.應(yīng)用識別2.流量控制ACE/EG四種應(yīng)用識別技術(shù)：DPI技術(shù)DFI技術(shù)流控基本概念帶寬租用帶寬嵌套雙速三色令牌桶算法流控技術(shù)概述1.應(yīng)用識別2.流量控制ACE/EG四種應(yīng)用識別基于特征字的DPI識別技術(shù)不同的應(yīng)用通常會采用不同的協(xié)議，而各種協(xié)議都有其特殊的指紋，這些指紋可能是特定的端口、特定的字符串或者特定的Bit序列。基于特征字的識別技術(shù)，正是通過識別數(shù)據(jù)報(bào)文中的指紋信息來確定業(yè)務(wù)流所承載的應(yīng)用。通過對指紋信息的升級，基于特征字的識別技術(shù)可以很方便地?cái)U(kuò)展到對新協(xié)議的檢測。下面以Bittorrent協(xié)議的識別為例可以對Bittorrent協(xié)議的對等協(xié)議進(jìn)行分析來識別，所謂對等協(xié)議指的是peer與peer之間交換信息的一種協(xié)議。對等協(xié)議總是由一個(gè)“握手”開始，后面是循環(huán)的消息流，每個(gè)消息的前面，都有一個(gè)數(shù)字來表示消息的長度。協(xié)議規(guī)范中定義：握手是必需進(jìn)行的，它是由客戶端發(fā)送的第一條消息。基于特征字的DPI識別技術(shù)不同的應(yīng)用通常會采用不同的協(xié)議，而Bittorrent協(xié)議“握手”消息分析由于對等協(xié)議消息是由每個(gè)消息的前面一個(gè)數(shù)字來表示消息的長度，可以確定“19BitTorrentProtocol”就是Bittorrent協(xié)議的特征字。因此只要匹配“19BitTorrentProtocol”關(guān)鍵字符串的數(shù)據(jù)流就可以識別為BitTorrent協(xié)議。Bittorrent協(xié)議“握手”消息分析由于對等協(xié)議消息是由DPI識別原理分析DPI識別本身分多個(gè)階段來完成的日常特征收集更新專門的特征收集團(tuán)隊(duì)實(shí)時(shí)跟蹤所有要識別的應(yīng)用，關(guān)注應(yīng)用特征是否變更，并生成新特征庫進(jìn)行發(fā)布。設(shè)備上會自動(dòng)更新最新的特征庫設(shè)備起機(jī)初始化階段設(shè)備在起機(jī)后，會解析特征庫，將所有的特征加入AC狀態(tài)機(jī)。同時(shí)每個(gè)特征的私有描述符也會形成我司特有的精確匹配狀態(tài)機(jī)用于精確匹配設(shè)備轉(zhuǎn)發(fā)識別階段針對進(jìn)來的報(bào)文，首先通過AC狀態(tài)機(jī)匹配，找出多條在特征字符上相匹配的特征針對找出的特征進(jìn)行精確匹配，確定最終命中的規(guī)則。例如：特征字符的位置，同一報(bào)文中多個(gè)不同特征字符的相對位置等DPI識別原理分析DPI識別本身分多個(gè)階段來完成的DPI識別原理分析針對前頁“19BitTorrentProtocol”特征字的過程如下日常特征收集階段分析BT的報(bào)文找到改特征，加入特征庫在這個(gè)階段，可能有多個(gè)應(yīng)用有類似的特征，例如還有迅雷、電驢也有類似特征。假定區(qū)別如下BT的這個(gè)特征偏移在UDP載荷的前面，偏移為0的位置迅雷的這個(gè)特征在UDP載荷中，偏移10的位置電驢的這個(gè)特征在偏移20的位置將上述所有特征用私有描述符寫成規(guī)則。設(shè)備起機(jī)初始化階段設(shè)備在起機(jī)后，會解析特征庫，將所有的特征加入AC狀態(tài)機(jī)。同時(shí)每個(gè)特征的私有描述符也會形成我司特有的精確匹配狀態(tài)機(jī)用于精確匹配設(shè)備轉(zhuǎn)發(fā)識別階段在AC狀態(tài)機(jī)中會匹配命中三條規(guī)則在精確匹配階段，會逐一按照描述符對報(bào)文內(nèi)容進(jìn)行比對，最終發(fā)現(xiàn)特征位置在偏移0的位置，所以命中BT的規(guī)則，最終識別成BT。DPI識別原理分析針對前頁“19BitTorrentPro內(nèi)頁:標(biāo)題前紅色豎條可自由移動(dòng)標(biāo)題(1級):22-24pt標(biāo)題(2-5級):20-22pt正文:12-18pt顏色:R89G89B89中文字體:微軟雅黑英文字體:Arial配色參考方案：建議同一頁面內(nèi)不超過三種顏色，以下是10組配色方案，同一頁面內(nèi)只選擇一組使用。（僅供參考）插曲-正則表達(dá)式正則表達(dá)式是指一個(gè)用來描述或者匹配一系列符合某個(gè)句法規(guī)則的字符串的單個(gè)字符串正則表達(dá)式可以用來檢查一個(gè)串是否含有某種子串、將匹配的子串做替換或者從某個(gè)串中取出符合某個(gè)條件的子串等舉例1：如果你想查找某個(gè)目錄下的所有的Word文檔的話，你會搜索*.doc。在這里*會被解釋成任意的字符串。舉例2：查找所有電話號碼\b0\d\d\d?-\d\d\d\d\d\d\d\d?\b以0開頭，然后是兩或三個(gè)數(shù)字，然后是一個(gè)連字號“-”，最后是7或8個(gè)數(shù)字配色參考方案：插曲-正則表達(dá)式正則表達(dá)式是指一個(gè)用來描述或者內(nèi)頁:標(biāo)題前紅色豎條可自由移動(dòng)標(biāo)題(1級):22-24pt標(biāo)題(2-5級):20-22pt正文:12-18pt顏色:R89G89B89中文字體:微軟雅黑英文字體:Arial配色參考方案：建議同一頁面內(nèi)不超過三種顏色，以下是10組配色方案，同一頁面內(nèi)只選擇一組使用。（僅供參考）DFI技術(shù)與DPI進(jìn)行應(yīng)用層的載荷匹配不同，DFI采用的是一種基于流量行為的應(yīng)用識別技術(shù)，即不同的應(yīng)用類型體現(xiàn)在會話連接或數(shù)據(jù)流上的狀態(tài)各有不同。例如，網(wǎng)上IP語音流量體現(xiàn)在流狀態(tài)上的特征就非常明顯：RTP流的包長相對固定，一般在130～220byte，連接速率較低，為20～84kbit/s，同時(shí)會話持續(xù)時(shí)間也相對較長。DFI識別技術(shù)是通過分析應(yīng)用流量的特征，從流量行為模型特征庫中查找匹配相應(yīng)的規(guī)則，從而識別具體應(yīng)用。流量模型的建立有兩種方法：人工經(jīng)驗(yàn)建模、機(jī)器學(xué)習(xí)建模。人工經(jīng)驗(yàn)建模即通過人去觀察、分析數(shù)據(jù)流的統(tǒng)計(jì)特征，然后手工建立起數(shù)學(xué)模型來識別數(shù)據(jù)流。機(jī)器學(xué)校建模，即基于機(jī)器學(xué)習(xí)的識別研究的識別規(guī)則都是從訓(xùn)練數(shù)據(jù)中自動(dòng)學(xué)習(xí)得到，該類方法有比較堅(jiān)實(shí)的理論基礎(chǔ)，同時(shí)避免了人工經(jīng)驗(yàn)的主觀性以及觀察能力的局限性。配色參考方案：DFI技術(shù)與DPI進(jìn)行應(yīng)用層的載荷匹配不同，D內(nèi)頁:標(biāo)題前紅色豎條可自由移動(dòng)標(biāo)題(1級):22-24pt標(biāo)題(2-5級):20-22pt正文:12-18pt顏色:R89G89B89中文字體:微軟雅黑英文字體:Arial配色參考方案：建議同一頁面內(nèi)不超過三種顏色，以下是10組配色方案，同一頁面內(nèi)只選擇一組使用。（僅供參考）DFI識別過程DFI識別，是分析數(shù)據(jù)流的統(tǒng)計(jì)特征，通過機(jī)器學(xué)習(xí)的方法建立起數(shù)學(xué)模型，然后該模型對未知數(shù)據(jù)流做出相應(yīng)的判別。主要分為如下幾個(gè)過程：把已識別數(shù)據(jù)流作為樣本，進(jìn)行樣本數(shù)據(jù)采集，提取已識別數(shù)據(jù)流統(tǒng)計(jì)特征。對樣本數(shù)據(jù)進(jìn)行訓(xùn)練，產(chǎn)生分類器。根據(jù)訓(xùn)練產(chǎn)生的分類器對實(shí)際數(shù)據(jù)流進(jìn)行分類，實(shí)現(xiàn)對P2P下載流，加密語音流等數(shù)據(jù)流的模糊識別。配色參考方案：DFI識別過程DFI識別，是分析數(shù)據(jù)流的統(tǒng)計(jì)特DPI與DFI識別對比由于DPI技術(shù)與DFI技術(shù)實(shí)現(xiàn)機(jī)制不同，故它們在實(shí)現(xiàn)效果上各有優(yōu)點(diǎn)，表現(xiàn)在如下幾個(gè)方面：DFI處理速度相對快：采用DPI技術(shù)由于要逐包進(jìn)行拆包操作，并與后臺數(shù)據(jù)庫進(jìn)行匹配對比；采用DFI技術(shù)進(jìn)行流量分析僅需將流量特征與后臺流量模型比較即可。DFI維護(hù)成本相對較低：基于DPI技術(shù)的帶寬管理系統(tǒng)，總是滯后新應(yīng)用，需要緊跟新協(xié)議和新型應(yīng)用的產(chǎn)生而不斷升級后臺應(yīng)用數(shù)據(jù)庫，否則就不能有效識別、管理新技術(shù)下的帶寬，提高模式匹配效率；而基于DFI技術(shù)的系統(tǒng)在管理維護(hù)上的工作量要少于DPI系統(tǒng)，因?yàn)橥活愋偷男聭?yīng)用與舊應(yīng)用的流量特征不會出現(xiàn)大的變化，因此不需要頻繁升級流量行為模型。識別準(zhǔn)確率方面各有千秋：由于DPI采用逐包分析、模式匹配技術(shù)，因此，可以對流量中的具體應(yīng)用類型和協(xié)議做到比較準(zhǔn)確的識別；而DFI僅對流量行為分析，因此只能對應(yīng)用類型進(jìn)行籠統(tǒng)分類，如對滿足P2P流量模型的應(yīng)用統(tǒng)一識別為P2P流量。如果數(shù)據(jù)包是經(jīng)過加密傳輸?shù)?，則采用DPI方式的流控技術(shù)則不能識別其具體應(yīng)用，而DFI方式的流控技術(shù)則不受影響，因?yàn)閼?yīng)用流的狀態(tài)行為特征不會因加密而根本改變。DPI與DFI識別對比由于DPI技術(shù)與DFI技術(shù)實(shí)現(xiàn)機(jī)制不同流控基本概念流控通道設(shè)備端口、用戶組、用戶和應(yīng)用在流控中都被抽象為一個(gè)流控通道，上下級流控通道是父子關(guān)系，所有流控通道組成一棵分層的流控通道樹，設(shè)備端口作為抽象出來的頂級流控通道稱為根通道。流控通道是流控的基本單位，其一方面是一個(gè)緩存隊(duì)列，用于緩存網(wǎng)絡(luò)流量，另外一方面可以配置帶寬參數(shù)，從而決定網(wǎng)絡(luò)流量的轉(zhuǎn)發(fā)量(取決帶寬配置)和轉(zhuǎn)發(fā)處理順序(取決流控通道優(yōu)先級)。承諾帶寬承諾帶寬(CommitInformationRate,CIR)為分配給流控通道的帶寬額度，即便在擁塞情況下也能保證的帶寬大小。子流控通道的承諾帶寬之和不能大于父流控通道的承諾帶寬，例如某企業(yè)出口帶寬10M，分配到各個(gè)部門后，各個(gè)部門的承諾帶寬之和不能大于10M。峰值帶寬峰值帶寬(PeakInformationRate,PIR)為流控通道最大可以達(dá)到的帶寬，必須大于等于承諾帶寬。如果峰值帶寬大于承諾帶寬，大于承諾帶寬部分即可以借用的帶寬大小。共享池流控通道可以加入和退出共享池，而共享池可以配置帶寬限速，用于限制加入共享池的流控通道帶寬。對流控通道而言，共享池是除承諾帶寬和峰值帶寬外，額外的一種帶寬限制機(jī)制。由于處于不同分組的流控通道可以加入同一個(gè)共享池，給流控的帶寬限制增加了極大的靈活性。流控通道調(diào)度算法流控通道調(diào)度用于決定各個(gè)流控通道是否允許轉(zhuǎn)發(fā)報(bào)文，以及轉(zhuǎn)發(fā)報(bào)文的順序。流控通道調(diào)度基于兩個(gè)原則：先保證承諾帶寬，然后再進(jìn)行帶寬借用；高優(yōu)先級流控通道優(yōu)先調(diào)度，相同優(yōu)先級流控通道輪轉(zhuǎn)調(diào)度。流控基本概念流控通道帶寬租用用戶/應(yīng)用A（不在線）用戶/應(yīng)用B用戶/應(yīng)用A用戶/應(yīng)用B用戶/應(yīng)用B用戶/應(yīng)用A用戶/應(yīng)用B1、當(dāng)用戶/應(yīng)用A不在線，B可以租用ACE為A保留的帶寬！2、用戶/應(yīng)用A上線，B將之前租用A的帶寬返還給A！帶寬租用用戶/應(yīng)用A（不在線）用戶/應(yīng)用B用戶/應(yīng)用A用戶/一個(gè)帶寬租用的例子某企業(yè)出口10M，內(nèi)部劃分部門一和部門二，要求：保證每個(gè)部門基本可用帶寬5M；不希望出現(xiàn)帶寬的浪費(fèi)，部門一未使用網(wǎng)絡(luò)，或者流量未達(dá)到5M時(shí)，部門二能夠充分利用部門一未使用的帶寬；一個(gè)帶寬租用的例子某企業(yè)出口10M，內(nèi)部劃分部門一和部門二，帶寬嵌套解決限速后，全速迅雷下載時(shí)，網(wǎng)頁基本打不開的問題網(wǎng)頁瀏覽100K迅雷下載900K全網(wǎng)100M帶寬（CIR/PIR：100M/100M）二級嵌套：組內(nèi)每個(gè)用戶1M保證帶寬（CIR/PIR：1M/20M）一級嵌套：用戶組分配10M保證帶寬（CIR/PIR：10M/100M）三級嵌套：網(wǎng)頁瀏覽保證帶寬100K（CIR/PIR：100K/2M），迅雷下載保證帶寬900K（CIR/PIR：900K/2M）帶寬嵌套網(wǎng)頁瀏覽100K迅雷下載900K全網(wǎng)100M帶寬二級雙速三色令牌桶雙速三色令牌桶算法是銳捷改進(jìn)后的流控技術(shù)：

雙速

雙速的含義是指流控支持兩個(gè)速度設(shè)置，CIR(CommitInformationRate)，承諾帶寬，為分配給流控通道的帶寬額度，即便在擁塞情況下也能保證的帶寬大小。PIR(PeakInformationRate)，峰值帶寬，為流控通道最大可以達(dá)到的帶寬，必須大于等于承諾帶寬。三色三色的含義是指RFC2698定義的通道顏色標(biāo)記方法，當(dāng)接收到報(bào)文的時(shí)候，根據(jù)報(bào)文的字節(jié)長度和當(dāng)前通道的令牌情況，給通道打上不同的顏色標(biāo)記，根據(jù)不同的顏色標(biāo)記將當(dāng)前這個(gè)報(bào)文放入不同的發(fā)包隊(duì)列。最終呈現(xiàn)的效果是對報(bào)文的優(yōu)先級進(jìn)行分類，不同報(bào)文在發(fā)送的時(shí)候優(yōu)先級不一樣。流控通道狀態(tài)綠、黃、紅，分別代表CIR和PIR劃分的三個(gè)區(qū)間：綠色狀態(tài)：通道速率小于承諾帶寬；黃色狀態(tài)：通道速率大于等于承諾帶寬，但小于峰值帶寬；紅色狀態(tài)：通道速率大于等于峰值帶寬；雙速三色令牌桶雙速三色令牌桶算法是銳捷改進(jìn)后的流控技術(shù)：雙速三色令牌桶實(shí)現(xiàn)原理銳捷改進(jìn)后的算法中，令牌桶和通道是一個(gè)類似的概念，算法的核心就是流控通道的調(diào)度調(diào)度原則

先保證承諾帶寬，再允許帶寬借用內(nèi)部實(shí)現(xiàn)的大概要點(diǎn)通道狀態(tài)綠、黃、紅，分別代表CIR和PIR劃分的三個(gè)區(qū)間流控樹為一棵倒掛的樹，葉子通道為Level0，根通道為Level7，每層都有一個(gè)發(fā)包鏈表，鏈接該層綠色狀態(tài)，且有報(bào)文需要發(fā)送的通道只有葉子通道緩存報(bào)文，因此所有調(diào)度最終需要走到葉子通道黃色通道下發(fā)包鏈表，加入父通道的令牌借用鏈表，然后父通道根據(jù)本身狀態(tài)加入發(fā)包鏈表或者祖父的令牌借用鏈表紅色通道既不在