地址610000四川省成都市高新區(qū)天府大有限公司51390審查員張麗萍一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)余彌距離相無(wú)監(jiān)督相似不同協(xié)議頂!特有字段錄a不同流屬協(xié)秒平均字!注注助在獲本發(fā)明公開了一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量21.一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)注方法，其特征在于，包括以下步驟：S1:多平臺(tái)網(wǎng)絡(luò)流量采集和解析；采集網(wǎng)絡(luò)設(shè)備的流量的數(shù)據(jù)包或離線PCAP的數(shù)據(jù)包，對(duì)數(shù)據(jù)包所屬網(wǎng)絡(luò)層、傳輸層和應(yīng)用層的協(xié)議進(jìn)行解析提取，進(jìn)一步解析提取各協(xié)議關(guān)于數(shù)據(jù)包的屬性字段；S2:流量數(shù)據(jù)歸并和特征值計(jì)算；對(duì)捕獲的數(shù)據(jù)包按照時(shí)間閾值和數(shù)量閾值進(jìn)行歸并，當(dāng)任一流量結(jié)束后，獲取屬于該流量的所有數(shù)據(jù)包，并進(jìn)行流級(jí)統(tǒng)計(jì)特征計(jì)算，流級(jí)統(tǒng)計(jì)特征包含該流量中所有數(shù)據(jù)包的屬性統(tǒng)計(jì)信息；S3:基于深度解析的網(wǎng)絡(luò)流量協(xié)議標(biāo)注；判別每條流量所屬應(yīng)用層協(xié)議，根據(jù)流量所屬應(yīng)用層協(xié)議，對(duì)未加密的流量進(jìn)行進(jìn)一步解析，提取流量應(yīng)用層協(xié)議特有字段并進(jìn)行不同流量協(xié)議特有標(biāo)簽的標(biāo)注；S4:基于無(wú)監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)流量分組標(biāo)注；通過(guò)設(shè)置的閾值對(duì)前序n條流量進(jìn)行流量統(tǒng)計(jì)特征和不同流量協(xié)議特有標(biāo)簽的數(shù)值化表示，然后基于數(shù)值化表示通過(guò)無(wú)監(jiān)督算法將流量進(jìn)行分組，將相似度及分組結(jié)果作為無(wú)監(jiān)督相似度分組標(biāo)簽對(duì)每條流量進(jìn)行標(biāo)注；S5:基于特征規(guī)則的網(wǎng)絡(luò)流量標(biāo)注；設(shè)定基于特征匹配的標(biāo)注規(guī)則，標(biāo)注規(guī)則可基于S2、S3和S4產(chǎn)生的任意特征字段或標(biāo)簽字段對(duì)流量進(jìn)行匹配，根據(jù)匹配結(jié)果對(duì)流量進(jìn)行特征規(guī)則匹配標(biāo)簽的標(biāo)注；S6:基于圖規(guī)則的網(wǎng)絡(luò)流量標(biāo)注；采集歷史流量的IP地址和通信端口信息構(gòu)建實(shí)體和通聯(lián)關(guān)系，生成用于描述流量時(shí)間序列上通信關(guān)系的知識(shí)圖譜，通過(guò)指定通信實(shí)體、通聯(lián)關(guān)系及通信時(shí)序，設(shè)定基于知識(shí)圖譜的圖標(biāo)注規(guī)則，根據(jù)圖標(biāo)注規(guī)則從歷史流量知識(shí)圖譜中檢索符合條件的節(jié)點(diǎn)，對(duì)其按圖標(biāo)注規(guī)則定義的標(biāo)簽進(jìn)行圖規(guī)則匹配標(biāo)簽的標(biāo)注；S7:基于智能體的網(wǎng)絡(luò)流量自動(dòng)生成和標(biāo)注；基于大模型構(gòu)建自然語(yǔ)言及視覺(jué)融合智實(shí)現(xiàn)基于智能體的網(wǎng)絡(luò)流量數(shù)據(jù)自動(dòng)化可擴(kuò)展標(biāo)注。2.根據(jù)權(quán)利要求1所述的一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)注方法，其特征在3.根據(jù)權(quán)利要求2所述的一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)注方法，其特征在于，在S2中，屬性統(tǒng)計(jì)信息包括每秒包數(shù)量、包總字節(jié)數(shù)和每4.根據(jù)權(quán)利要求1所述的一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)注方法，其特征在5.根據(jù)權(quán)利要求1所述的一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)注方法，其特征在于，S4中，無(wú)監(jiān)督學(xué)習(xí)分組標(biāo)注的組別包括相似度和聚類，無(wú)監(jiān)督分組標(biāo)注算法包括余弦距6.根據(jù)權(quán)利要求1所述的一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)注方法，其特征在于，S5中，標(biāo)注規(guī)則包含規(guī)則表達(dá)式及所屬標(biāo)簽列表，所屬標(biāo)簽列表中包含多個(gè)標(biāo)簽，規(guī)則表達(dá)式支持以前n條流量或前m秒內(nèi)的流量整體作為匹配目標(biāo)進(jìn)行規(guī)則匹配，若匹配成功，則對(duì)該流量輸出對(duì)應(yīng)標(biāo)簽列表中的所有標(biāo)簽作為特征規(guī)則匹配標(biāo)簽。7.根據(jù)權(quán)利要求1所述的一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)注方法，其特征在于，S7具體為：智能體對(duì)標(biāo)注過(guò)程進(jìn)行規(guī)劃，根據(jù)用戶的標(biāo)注要求編寫標(biāo)注擴(kuò)展功能代碼及標(biāo)注規(guī)則并加載到標(biāo)注過(guò)程，然后智能體根據(jù)規(guī)劃啟動(dòng)流量捕獲及標(biāo)注功能，基于視覺(jué)或3語(yǔ)言理解調(diào)用網(wǎng)絡(luò)工具函數(shù)進(jìn)行流量生成，最后依據(jù)編寫的標(biāo)注規(guī)則對(duì)流量進(jìn)行匹配和標(biāo)注，實(shí)現(xiàn)基于智能體的網(wǎng)絡(luò)流量數(shù)據(jù)自動(dòng)化可擴(kuò)展標(biāo)注。4一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)注方法技術(shù)領(lǐng)域[0001]本發(fā)明屬于網(wǎng)絡(luò)通信、網(wǎng)絡(luò)安全及人工智能技術(shù)領(lǐng)域，具體涉及一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)注方法。背景技術(shù)[0002]在人工智能技術(shù)的加持下，網(wǎng)絡(luò)攻防領(lǐng)域不斷發(fā)展，有許多基于深度學(xué)習(xí)的網(wǎng)絡(luò)流量威脅檢測(cè)方法出現(xiàn)。[0003]然而，網(wǎng)絡(luò)攻擊種類繁多、復(fù)雜多變，難以對(duì)所有網(wǎng)絡(luò)流量類別進(jìn)行采集和標(biāo)注，導(dǎo)致用于網(wǎng)絡(luò)流量威脅檢測(cè)的包括檢測(cè)、識(shí)別、分類、蒸餾、多標(biāo)簽學(xué)習(xí)的多種任務(wù)模型難以有效訓(xùn)練和泛化。發(fā)明內(nèi)容[0004]為解決上述背景技術(shù)中提出的問(wèn)題，本發(fā)明提供一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)注方法，以解決現(xiàn)有技術(shù)難以對(duì)所有網(wǎng)絡(luò)流量類別進(jìn)行采集和標(biāo)注，導(dǎo)致用于網(wǎng)絡(luò)流量威脅檢測(cè)的包括檢測(cè)、識(shí)別、分類、蒸餾、多標(biāo)簽學(xué)習(xí)的多種任務(wù)模型難以有效訓(xùn)練和泛化的問(wèn)題。[0006]一種自動(dòng)化可擴(kuò)展網(wǎng)絡(luò)流量數(shù)據(jù)多方式標(biāo)注方法，包括以下步驟：[0007]S1:多平臺(tái)網(wǎng)絡(luò)流量采集和解析；采集網(wǎng)絡(luò)設(shè)備的流量的數(shù)據(jù)包或離線PCAP的數(shù)據(jù)包，對(duì)數(shù)據(jù)包所屬網(wǎng)絡(luò)層、傳輸層和應(yīng)用層的協(xié)議進(jìn)行解析提取，進(jìn)一步解析提取各協(xié)議關(guān)于數(shù)據(jù)包的屬性字段；[0008]S2:流量數(shù)據(jù)歸并和特征值計(jì)算；對(duì)捕獲的數(shù)據(jù)包按照時(shí)間閾值和數(shù)量閾值進(jìn)行歸并，當(dāng)任一流量結(jié)束后，獲取屬于該流量的所有數(shù)據(jù)包，并進(jìn)行流級(jí)統(tǒng)計(jì)特征計(jì)算，流級(jí)統(tǒng)計(jì)特征包含該流量中所有數(shù)據(jù)包的屬性統(tǒng)計(jì)信息；[0009]S3:基于深度解析的網(wǎng)絡(luò)流量協(xié)議標(biāo)注；判別每條流量所屬應(yīng)用層協(xié)議，根據(jù)流量所屬應(yīng)用層協(xié)議，對(duì)未加密的流量進(jìn)行進(jìn)一步解析，提取流量應(yīng)用層協(xié)議特有字段并進(jìn)行不同流量協(xié)議特有標(biāo)簽的標(biāo)注；[0010]S4:基于無(wú)監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)流量分組標(biāo)注；通過(guò)設(shè)置的閾值對(duì)前序n條流量進(jìn)行流量統(tǒng)計(jì)特征和不同流量協(xié)議特有標(biāo)簽的數(shù)值化表示，然后基于數(shù)值化表示通過(guò)無(wú)監(jiān)督算法將流量進(jìn)行分組，將相似度及分組結(jié)果作為無(wú)監(jiān)督相似度分組標(biāo)簽對(duì)每條流量進(jìn)行標(biāo)注；[0011]S5:基于特征規(guī)則的網(wǎng)絡(luò)流量標(biāo)注；設(shè)定基于特征匹配的標(biāo)注規(guī)則，標(biāo)注規(guī)則可基于S2、S3和S4產(chǎn)生的任意特征字段或標(biāo)簽字段對(duì)流量進(jìn)行匹配，根據(jù)匹配結(jié)果對(duì)流量進(jìn)行特征規(guī)則匹配標(biāo)簽的標(biāo)注；[0012]S6:基于圖規(guī)則的網(wǎng)絡(luò)流量標(biāo)注；采集歷史流量的IP地址和通信端口信息構(gòu)建實(shí)體和通聯(lián)關(guān)系，生成用于描述流量時(shí)間序列上通信關(guān)系的知識(shí)圖譜，通過(guò)指定通信實(shí)體、通聯(lián)關(guān)系及通信時(shí)序，設(shè)定基于知識(shí)圖譜的圖標(biāo)注規(guī)則，根據(jù)圖標(biāo)注規(guī)則從歷史流量知識(shí)圖5譜中檢索符合條件的節(jié)點(diǎn)，對(duì)其按圖標(biāo)注規(guī)則定義的標(biāo)簽進(jìn)行圖規(guī)則匹配標(biāo)簽的標(biāo)注；[0013]S7:基于智能體的網(wǎng)絡(luò)流量自動(dòng)生成和標(biāo)注；基于大模型構(gòu)建自然語(yǔ)言及視覺(jué)融功能，實(shí)現(xiàn)基于智能體的網(wǎng)絡(luò)流量數(shù)據(jù)自動(dòng)化可擴(kuò)展標(biāo)注。[0014]優(yōu)選的，在S1中，網(wǎng)絡(luò)設(shè)備包括終端和路由，屬性字段包括包頭、包體和包到達(dá)時(shí)[0015]優(yōu)選的，在S2中，屬性統(tǒng)計(jì)信息包括[0017]優(yōu)選的，S4中，無(wú)監(jiān)督學(xué)習(xí)分組標(biāo)注的組別包括相似度和聚類，無(wú)監(jiān)督分組標(biāo)注算[0018]優(yōu)選的，S5中，標(biāo)注規(guī)則包含規(guī)則表達(dá)式及所屬標(biāo)簽列表，所屬標(biāo)簽列表中包含多個(gè)標(biāo)簽，規(guī)則表達(dá)式支持以前n條流量或前m秒內(nèi)的流量整體作為匹配目標(biāo)進(jìn)行規(guī)則匹配，若匹配成功，則對(duì)該流量輸出對(duì)應(yīng)標(biāo)簽列表中的所有標(biāo)簽作為特征規(guī)則匹配標(biāo)簽。[0019]優(yōu)選的，S7具體為：智能體對(duì)標(biāo)注過(guò)程進(jìn)行規(guī)劃，根據(jù)用戶的標(biāo)注要求編寫標(biāo)注擴(kuò)展功能代碼及標(biāo)注規(guī)則并加載到標(biāo)注過(guò)程，然后智能體根據(jù)規(guī)劃啟動(dòng)流量捕獲及標(biāo)注功能，基于視覺(jué)或語(yǔ)言理解調(diào)用網(wǎng)絡(luò)工具函數(shù)進(jìn)行流量生成，最后依據(jù)編寫的標(biāo)注規(guī)則對(duì)流量進(jìn)行匹配和標(biāo)注，實(shí)現(xiàn)基于智能體的網(wǎng)絡(luò)流量數(shù)據(jù)自動(dòng)化可擴(kuò)展標(biāo)注。[0021]本申請(qǐng)支持協(xié)議標(biāo)注、無(wú)監(jiān)督標(biāo)注、特征規(guī)則標(biāo)注、圖規(guī)則標(biāo)注及智能體標(biāo)注等多種標(biāo)注方法，且標(biāo)注方法可擴(kuò)展，專家能夠根據(jù)需要定制標(biāo)注規(guī)則及智能體標(biāo)注行為，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)流量數(shù)據(jù)的自定義多標(biāo)簽標(biāo)注，本申請(qǐng)適用于多種不同平臺(tái)、不同場(chǎng)景下的明文和任務(wù)模型的有效訓(xùn)練和泛化。附圖說(shuō)明[0022]圖1為本申請(qǐng)的流程示意圖。具體實(shí)施方式[0023]為便于本領(lǐng)域技術(shù)人員理解本發(fā)明的技術(shù)內(nèi)容，以下結(jié)合附圖和具體的實(shí)例對(duì)本發(fā)明作進(jìn)一步地詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。[0024]實(shí)施例1[0026]S1:多平臺(tái)網(wǎng)絡(luò)流量采集和解析；本申請(qǐng)通過(guò)采集終端、路由等網(wǎng)絡(luò)設(shè)備的網(wǎng)絡(luò)流量數(shù)據(jù)，或通過(guò)解析離線PCAP數(shù)據(jù)文件，獲取數(shù)據(jù)包并進(jìn)行解析，提取數(shù)據(jù)包所屬網(wǎng)絡(luò)層、到的數(shù)據(jù)包進(jìn)行緩存存儲(chǔ)，便于后續(xù)歸并流級(jí)數(shù)據(jù)。[0027]S2:流量數(shù)據(jù)歸并和特征值計(jì)算；對(duì)捕獲的數(shù)據(jù)包按時(shí)間閾值、數(shù)量閾值、Flag等6字段進(jìn)行歸并，判別流量是否結(jié)束，在流量結(jié)束后，從緩存空間獲取屬于該流量的所有數(shù)據(jù)包，計(jì)算流級(jí)統(tǒng)計(jì)特征，流級(jí)統(tǒng)計(jì)特征包含對(duì)該流量中所有數(shù)據(jù)包的統(tǒng)計(jì)信息，包括每秒包數(shù)量、包總字節(jié)數(shù)、每秒平均字節(jié)數(shù)等多個(gè)統(tǒng)計(jì)特征字段，流級(jí)統(tǒng)計(jì)特征維度支持自定義擴(kuò)展，以適用于不同的流量深度學(xué)習(xí)模型訓(xùn)練場(chǎng)景，使流級(jí)特征能夠充分表示不同場(chǎng)景下的[0028]S3:基于深度解析的網(wǎng)絡(luò)流量協(xié)議標(biāo)注；基于流量解析結(jié)果，自動(dòng)判別當(dāng)前流量所述應(yīng)用層協(xié)議，根據(jù)流量所屬應(yīng)用層協(xié)議，對(duì)未加密流量進(jìn)行進(jìn)一步解析，自動(dòng)提取流量應(yīng)用層協(xié)議特有字段，包括DNS解析記錄、HTTP協(xié)議頭字段、FTP協(xié)議指令等，流量協(xié)議標(biāo)注可通過(guò)支持更多的應(yīng)用層協(xié)議進(jìn)行擴(kuò)展，使生成的流量標(biāo)注數(shù)據(jù)攜帶不同流量協(xié)議特有標(biāo)簽，幫助深度學(xué)習(xí)模型掌握相關(guān)流量含義、流量指紋等信息。[0029]S4:基于無(wú)監(jiān)督學(xué)習(xí)的網(wǎng)絡(luò)流量分組標(biāo)注；通過(guò)設(shè)置的閾值對(duì)前序n條流量進(jìn)行流量統(tǒng)計(jì)特征和不同流量協(xié)議特有標(biāo)簽的數(shù)值化表示，然后通過(guò)無(wú)監(jiān)督算法對(duì)流量進(jìn)行相似相似度及分組結(jié)果作為標(biāo)簽對(duì)每條流量進(jìn)行標(biāo)注，使流量信息具備分組、社群、多流間相似度和相關(guān)性等信息，幫助相關(guān)深度學(xué)習(xí)方法進(jìn)一步分析和學(xué)習(xí)。[0030]S5:基于特征規(guī)則的網(wǎng)絡(luò)流量標(biāo)注；能夠根據(jù)專家知識(shí)編寫基于特征匹配的標(biāo)注規(guī)則，根據(jù)匹配結(jié)果對(duì)流量標(biāo)注規(guī)則標(biāo)簽，標(biāo)注規(guī)則能夠基于所述S2、S3和S4方法產(chǎn)生的任意特征字段或標(biāo)簽字段對(duì)流量進(jìn)行匹配，根據(jù)匹配結(jié)果對(duì)流量進(jìn)行標(biāo)注，本申請(qǐng)?jiān)O(shè)計(jì)了一種可視化、結(jié)構(gòu)化的規(guī)則配置，每一條規(guī)則包含通用規(guī)則表達(dá)式及所屬標(biāo)簽列表，所屬標(biāo)簽列表中可以包含多個(gè)標(biāo)簽值，規(guī)則表達(dá)式支持以前n條流量或前m秒內(nèi)的流量整體作為匹配目標(biāo)進(jìn)行規(guī)則匹配，在標(biāo)注時(shí)加載規(guī)則配置，對(duì)一條或多條流量進(jìn)行匹配，若符合規(guī)則，則對(duì)該流量輸出對(duì)應(yīng)規(guī)則標(biāo)簽列表中的所有標(biāo)簽；[0031]S6:基于圖規(guī)則的網(wǎng)絡(luò)流量標(biāo)注；基于S1中采集歷史流量的IP地址、通信端口信息構(gòu)建實(shí)體和通聯(lián)關(guān)系，生成時(shí)序知識(shí)圖譜G以描述S1中采集流量在時(shí)間序列上的通信關(guān)系網(wǎng)絡(luò)。專家能夠?qū)χR(shí)圖譜G中的流量編寫標(biāo)注規(guī)則R,R包括檢索條件和標(biāo)簽兩個(gè)部分，檢接到IP1和IP2的節(jié)點(diǎn)的流量”,然后將知識(shí)圖譜G中所有符合條件的流量標(biāo)注為規(guī)則給定的標(biāo)簽，使流量數(shù)據(jù)能夠進(jìn)一步攜帶基于特定通聯(lián)關(guān)系的標(biāo)簽信息；綜合S1-S6步驟功能，編寫并形成流量采集和標(biāo)注程序。[0032]S7:基于大語(yǔ)言模型的流量標(biāo)注智能體構(gòu)建：[0033]本申請(qǐng)基于大語(yǔ)言模型構(gòu)建針對(duì)流量標(biāo)注任務(wù)的專用智能體。首先選取基座大模段、流量標(biāo)注方法和流量標(biāo)注規(guī)則編寫規(guī)范等構(gòu)建為提示詞，使大模型能夠根據(jù)給定的規(guī)范編寫流量特征計(jì)算函數(shù)、流量標(biāo)注規(guī)則，并能夠根據(jù)任務(wù)需求配置流量標(biāo)注程序應(yīng)使用的無(wú)監(jiān)督流量分組算法等；然后，將nmap、browser_use等流量生成自動(dòng)化軟件的命令行或API接口規(guī)范構(gòu)建為提示詞并告知大模型，使大模型具備指定工具或函數(shù)的調(diào)用能力，以及操作瀏覽器瀏覽指定網(wǎng)站的能力，從而產(chǎn)生特定的流量數(shù)據(jù)；最后，通過(guò)提示詞示例告知大模型流量標(biāo)注的方法流程，使大模型具備流量標(biāo)注任務(wù)的規(guī)劃能力?；谏鲜龇椒?，大模型7能夠理解流量標(biāo)注任務(wù)的意圖，根據(jù)已知規(guī)范、工具接口和工作流程，對(duì)標(biāo)注任務(wù)進(jìn)行規(guī)劃，提出流量標(biāo)注任務(wù)的步驟，并按步驟依次執(zhí)行標(biāo)注規(guī)則編寫、標(biāo)注程序啟動(dòng)、流量生成以及停止標(biāo)注等任務(wù)。[0034]基于智能體的網(wǎng)絡(luò)流量自動(dòng)生成和標(biāo)注；基于構(gòu)建的流量標(biāo)注智能體，實(shí)現(xiàn)對(duì)具體流量標(biāo)注任務(wù)的自動(dòng)化規(guī)劃和執(zhí)行，極大降低流量標(biāo)注工作的人工成本。首先，專家將具體標(biāo)注任務(wù)編寫為提示詞，智能體根據(jù)專家要求和提示詞，結(jié)合智能體掌握的標(biāo)注規(guī)則及工具，對(duì)標(biāo)注過(guò)程進(jìn)行規(guī)劃并輸出標(biāo)注步驟；其次，智能體根據(jù)標(biāo)注要求，自動(dòng)編寫標(biāo)注擴(kuò)展功能代碼及標(biāo)注規(guī)則加載到標(biāo)注過(guò)程，根據(jù)規(guī)劃啟動(dòng)S1-S6所述流量捕獲及標(biāo)注功能程采集到智能體調(diào)用工具所生成的流量，并根智能體編寫的標(biāo)注規(guī)則對(duì)流量進(jìn)行匹配和標(biāo)注，實(shí)現(xiàn)基于智能體的網(wǎng)絡(luò)流量數(shù)據(jù)自動(dòng)化可擴(kuò)展標(biāo)注，智能體包括存儲(chǔ)介質(zhì)、處理器和計(jì)算機(jī)程序，所述計(jì)算機(jī)程序存儲(chǔ)在存儲(chǔ)介質(zhì)中，處理器用于運(yùn)行計(jì)算機(jī)