CN114035789B 日志解析模板的生成方法、日志解析方法、裝置及設(shè)備 (北京天融信網(wǎng)絡(luò)安全技術(shù)有限公司)_第1頁
CN114035789B 日志解析模板的生成方法、日志解析方法、裝置及設(shè)備 (北京天融信網(wǎng)絡(luò)安全技術(shù)有限公司)_第2頁
CN114035789B 日志解析模板的生成方法、日志解析方法、裝置及設(shè)備 (北京天融信網(wǎng)絡(luò)安全技術(shù)有限公司)_第3頁
CN114035789B 日志解析模板的生成方法、日志解析方法、裝置及設(shè)備 (北京天融信網(wǎng)絡(luò)安全技術(shù)有限公司)_第4頁
CN114035789B 日志解析模板的生成方法、日志解析方法、裝置及設(shè)備 (北京天融信網(wǎng)絡(luò)安全技術(shù)有限公司)_第5頁
已閱讀5頁,還剩26頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

(12)發(fā)明專利司3號(hào)樓四層專利權(quán)人北京天融信科技有限公司限公司11710GO6F40/186(2020.01)審查員黃帷本公開涉及一種日志解析模板的生成方法、確定目標(biāo)日志的格式和目標(biāo)日志的一個(gè)或多個(gè)特征字段基于一個(gè)或多個(gè)特征字段,確定初始解析模板2獲取待解析的目標(biāo)日志;確定所述目標(biāo)日志的格式和所述目標(biāo)日志的一個(gè)或多個(gè)特征字段,其中,所述目標(biāo)日志的格式包括kv格少一種;基于所述一個(gè)或多個(gè)特征字段,確定初始解析模板;基于所述格式修正所述初始解析模板,得到日志解析模板;所述基于所述一個(gè)或多個(gè)特征字段,確定初始解析模板包括:確定所述一個(gè)或多個(gè)特征字段預(yù)設(shè)的字段解析模板;選擇至少一個(gè)字段解析模板解析對(duì)應(yīng)的特征字段,得到至少一個(gè)特征值;將未選擇的各字段解析模板合并為初始解析模板;建立所述初始解析模板與所述至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系;所述基于所述格式修正所述初始解析模板,得到日志解析模板包括:當(dāng)所述格式為長文本格式時(shí),通過在初始解析模板中增加正則提取命令得到所述日志解析模板;當(dāng)所述格式為kv格式或json格式時(shí),在所述日志解析模板中增加地理位置信息和資產(chǎn)當(dāng)所述格式為syslog格式或長文本格式中特征字段為ip時(shí),在所述日志解析模板中增加地理位置信息和資產(chǎn)信息。2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述確定所述目標(biāo)日志的格式包括:基于Java第三方類庫判斷所述目標(biāo)日志的格式是否為kv格式或json格式;若否,則基于RFC3164數(shù)據(jù)標(biāo)準(zhǔn)判斷所述目標(biāo)日志的格式是否為syslog格式;若否,則確定所述目標(biāo)日志的格式為長文本格式。3.根據(jù)權(quán)利要求2所述的方法,其特征在于,基于所述格式修正所述初始解析模板,得到日志解析模板包括:基于所述格式為長文本格式,使用預(yù)先設(shè)置的一個(gè)或多個(gè)正則表達(dá)式,與所述目標(biāo)日志進(jìn)行正則匹配,得到匹配成功的一個(gè)或多個(gè)目標(biāo)正則表達(dá)式;在所述初始解析模板中增加正則提取命令,得到日志解析模板;其中,所述正則提取命令用于:基于所述一個(gè)或多個(gè)目標(biāo)正則表達(dá)式,與所述目標(biāo)日志進(jìn)行正則匹配,將匹配成功的日志數(shù)據(jù)的字段名稱標(biāo)記為對(duì)應(yīng)的目標(biāo)正則表達(dá)式所標(biāo)識(shí)的特征字段名稱。4.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述基于所述格式修正所述初始解析?;谒龈袷綖閗v格式或json格式,在所述日志解析模板中增加地理位置信息和資產(chǎn)信息獲取命令;其中,所述地理位置信息和資產(chǎn)信息獲取命令被配置為在所述正則提取命令之后執(zhí)行;且所述地理位置信息和資產(chǎn)信息獲取命令被配置為:將所述一個(gè)或多個(gè)特征字段的名稱與字符串‘ip匹配,對(duì)匹配的特征字段的特征值進(jìn)行ip格式正則校驗(yàn),若校驗(yàn)通過,則基于該特征值獲取對(duì)應(yīng)的地理位置信息和資產(chǎn)信息。5.根據(jù)權(quán)利要求3所述的方法,其特征在于,所述基于所述格式修正所述初始解析模3基于所述格式為syslog格式或長文本格式,在所述日志解析模板中增加地理位置信息其中,所述地理位置信息和資產(chǎn)信息獲取命令被配置為在所述正則提取命令之后執(zhí)行;且所述地理位置信息和資產(chǎn)信息獲取命令被配置為:基于特征字段為ip字段所對(duì)應(yīng)的特征值獲取對(duì)應(yīng)的地理位置信息和資產(chǎn)信息。6.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述方法還包括:基于所述初始解析模板與所述至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系,建立所述日志解析模板、日志格式和所述至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系。獲取待解析的目標(biāo)日志;確定所述目標(biāo)日志的格式和所述目標(biāo)日志的一個(gè)或多個(gè)特征值,其中,所述目標(biāo)日志的格式包括kv格式、json格式、syslog格式和長文本格式中的至少一種;基于所述格式、所述一個(gè)或多個(gè)特征值和預(yù)先建立的關(guān)聯(lián)關(guān)系,選擇日志解析模板;其中,所述關(guān)聯(lián)關(guān)系為日志解析模板、日志格式和至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系;基于所述日志解析模板對(duì)所述目標(biāo)日志進(jìn)行解析;所述基于所述格式、所述一個(gè)或多個(gè)特征值和預(yù)先建立的關(guān)聯(lián)關(guān)系,選擇日志解析模板包括:確定所述一個(gè)或多個(gè)特征字段預(yù)設(shè)的字段解析模板;選擇至少一個(gè)字段解析模板解析對(duì)應(yīng)的特征字段,得到至少一個(gè)特征值;將未選擇的各字段解析模板合并為初始解析模板;建立所述初始解析模板與所述至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系;當(dāng)所述格式為長文本格式時(shí),通過在初始解析模板中增加正則提取命令得到所述日志解析模板;當(dāng)所述格式為kv格式或json格式時(shí),在所述日志解析模板中增加地理位置信息和資產(chǎn)當(dāng)所述格式為syslog格式或長文本格式中特征字段為ip時(shí),在所述日志解析模板中增加地理位置信息和資產(chǎn)信息。獲取單元,用于獲取待解析的目標(biāo)日志;第一確定單元,用于確定所述目標(biāo)日志的格式和所述目標(biāo)日志的一個(gè)或多個(gè)特征字一種;第二確定單元,用于基于所述一個(gè)或多個(gè)特征字段,確定初始解析模板;修正單元,用于基于所述格式修正所述初始解析模板,得到日志解析模板;所述基于所述一個(gè)或多個(gè)特征字段,確定初始解析模板包括:確定所述一個(gè)或多個(gè)特征字段預(yù)設(shè)的字段解析模板;選擇至少一個(gè)字段解析模板解析對(duì)應(yīng)的特征字段,得到至少一個(gè)特征值;將未選擇的各字段解析模板合并為初始解析模板;4建立所述初始解析模板與所述至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系;所述基于所述格式修正所述初始解析模板,得到日志解析模板包括:當(dāng)所述格式為長文本格式時(shí),通過在初始解析模板中增加正則提取命令得到所述日志解析模板;當(dāng)所述格式為kv格式或json格式時(shí),在所述日志解析模板中增加地理位置信息和資產(chǎn)信息;當(dāng)所述格式為syslog格式或長文本格式中特征字段為ip時(shí),在所述日志解析模板中增加地理位置信息和資產(chǎn)信息。9.一種日志解析裝置,其特征在于,包括:獲取單元,用于獲取待解析的目標(biāo)日志;第一確定單元,用于確定所述目標(biāo)日志的格式和所述目標(biāo)日志的一個(gè)或多個(gè)特征值,其中,所述目標(biāo)日志的格式包括kv格式、json格式、syslog格式和長文本格式中的至少一選擇單元,用于基于所述格式、所述一個(gè)或多個(gè)特征值和預(yù)先建立的關(guān)聯(lián)關(guān)系,選擇日志解析模板;其中,所述關(guān)聯(lián)關(guān)系為日志解析模板、日志格式和至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系;解析單元,用于基于所述日志解析模板對(duì)所述目標(biāo)日志進(jìn)行解析;所述基于所述格式、所述一個(gè)或多個(gè)特征值和預(yù)先建立的關(guān)聯(lián)關(guān)系,選擇日志解析模板包括:確定所述一個(gè)或多個(gè)特征字段預(yù)設(shè)的字段解析模板;選擇至少一個(gè)字段解析模板解析對(duì)應(yīng)的特征字段,得到至少一個(gè)特征值;將未選擇的各字段解析模板合并為初始解析模板;建立所述初始解析模板與所述至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系;當(dāng)所述格式為長文本格式時(shí),通過在初始解析模板中增加正則提取命令得到所述日志解析模板;當(dāng)所述格式為kv格式或json格式時(shí),在所述日志解析模板中增加地理位置信息和資產(chǎn)信息;當(dāng)所述格式為syslog格式或長文本格式中特征字段為ip時(shí),在所述日志解析模板中增加地理位置信息和資產(chǎn)信息。10.一種電子設(shè)備,其特征在于,包括:存儲(chǔ)器;計(jì)算機(jī)程序;其中,所述計(jì)算機(jī)程序存儲(chǔ)在所述存儲(chǔ)器中,并被配置為由所述處理器執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的日志解析模板的生成方法或如權(quán)利要求7所述的日志解析方5技術(shù)領(lǐng)域[0001]本公開涉及計(jì)算機(jī)技術(shù)領(lǐng)域,尤其涉及一種日志解析模板的生成方法、日志解析方法、裝置及設(shè)備。背景技術(shù)[0002]隨著大數(shù)據(jù)技術(shù)的不斷成熟,大數(shù)據(jù)日志審計(jì)系統(tǒng)越來越流行。大數(shù)據(jù)日志審計(jì)系統(tǒng)可以實(shí)時(shí)地采集用戶網(wǎng)絡(luò)中各種不同廠商的網(wǎng)絡(luò)設(shè)備、安全設(shè)備、主機(jī)、操作系統(tǒng)、以及各類應(yīng)用系統(tǒng)產(chǎn)生的日志但對(duì)此類信息需要進(jìn)行一定的轉(zhuǎn)義編碼,形成特定的數(shù)據(jù)格式以便用戶可以在分析平臺(tái)上對(duì)采集到的解析日志進(jìn)行查詢、統(tǒng)計(jì)、關(guān)聯(lián)分析等處理使用。由于現(xiàn)在的系統(tǒng)相對(duì)復(fù)雜且體量巨大,一個(gè)系統(tǒng)所包含的設(shè)備種類較多,因此日志源信息的數(shù)據(jù)格式也就花樣繁多。傳統(tǒng)的做法是針對(duì)每一種類型的設(shè)備,編寫一套相應(yīng)的解析代碼,將日志源信息轉(zhuǎn)成展示層能使用的數(shù)據(jù)格式。[0003]通常情況下,日志解析人員經(jīng)?;ㄙM(fèi)大量的精力編寫該類日志源信息的解析并作調(diào)試,以便能將日志接入平臺(tái)中做進(jìn)一步的使用,但編寫過的解析規(guī)則沒有集中管理,對(duì)于同類的數(shù)據(jù)都需要重新編寫該規(guī)則完成解析,無法復(fù)用。發(fā)明內(nèi)容[0004]為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題,本公開提供了一種日志解析模板的生成方法、日志解析方法、裝置及設(shè)備,以減少日志解析人員的編寫成本,提高了編寫效率。[0005]第一方面,本公開實(shí)施例提供一種日志解析模板的生成方法,其特征在于,包括:[0006]獲取待解析的目標(biāo)日志;[0007]確定所述目標(biāo)日志的格式和所述目標(biāo)日志的一個(gè)或多個(gè)特征字段;[0008]基于所述一個(gè)或多個(gè)特征字段,確定初始解析模板;[0009]基于所述格式修正所述初始解析模板,得到日志解析模板。[0010]第二方面,本公開實(shí)施例提供一種日志解析方法,其特征在于,包括:[0011]獲取待解析的目標(biāo)日志;[0012]確定所述目標(biāo)日志的格式和所述目標(biāo)日志的一個(gè)或多個(gè)特征值;[0013]基于所述格式、所述一個(gè)或多個(gè)特征值和預(yù)先建立的關(guān)聯(lián)關(guān)系,選擇日志解析模板;其中,所述關(guān)聯(lián)關(guān)系為日志解析模板、日志格式和至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系;[0014]基于所述日志解析模板對(duì)所述目標(biāo)日志進(jìn)行解析。[0015]第三方面,本公開實(shí)施例提供一種日志解析模板的生成裝置,其特征在于,包括:[0016]獲取單元,用于獲取待解析的目標(biāo)日志;[0017]第一確定單元,用于確定所述目標(biāo)日志的格式和所述目標(biāo)日志的一個(gè)或多個(gè)特征字段;[0018]第二確定單元,用于基于所述一個(gè)或多個(gè)特征字段,確定初始解析模板;6[0019]修正單元,用于基于所述格式修正所述初始解析模板,得到日志解析模板。[0020]第四方面,本公開實(shí)施例提供一種日志解析裝置,其特征在于,包括:[0021]獲取單元,用于獲取待解析的目標(biāo)日志;[0022]第一確定單元,用于確定所述目標(biāo)日志的格式和所述目標(biāo)日志的一個(gè)或多個(gè)特征[0023]選擇單元,用于基于所述格式、所述一個(gè)或多個(gè)特征值和預(yù)先建立的關(guān)聯(lián)關(guān)系,選擇日志解析模板;其中,所述關(guān)聯(lián)關(guān)系為日志解析模板、日志格式和至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系;[0024]解析單元,用于基于所述日志解析模板對(duì)所述目標(biāo)日志進(jìn)行解析。[0025]第五方面,本公開實(shí)施例提供一種電子設(shè)備,包括:[0026]存儲(chǔ)器;[0027]處理器;以及[0028]計(jì)算機(jī)程序;[0029]其中,所述計(jì)算機(jī)程序存儲(chǔ)在所述存儲(chǔ)器中,并被配置為由所述處理器執(zhí)行以實(shí)現(xiàn)如第一方面和第二方面所述的方法。[0030]本公開實(shí)施例提供的一種日志解析模板的生成方法、日志解析方法、裝置及設(shè)備,通過確定目標(biāo)日志的格式和目標(biāo)日志的一個(gè)或多個(gè)特征字段,基于一個(gè)或多個(gè)特征字段,確定初始解析模板,用于完成對(duì)不同格式日志的解析工作,并基于目標(biāo)日志的格式修正初始解析模板,使得初始解析模板更加完善,相同格式的日志能夠更加快速的完成解析,減少日志解析人員的編寫成本,提高了編寫效率,降低了后期的運(yùn)維成本。附圖說明[0031]此處的附圖被并入說明書中并構(gòu)成本說明書的一部分,示出了符合本公開的實(shí)施例,并與說明書一起用于解釋本公開的原理。[0032]為了更清楚地說明本公開實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,對(duì)于本領(lǐng)域普通技術(shù)人員而言,在不付出創(chuàng)造性勞動(dòng)性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。[0033]圖1為本公開實(shí)施例提供的一種日志解析模板的生成方法流程示意圖;[0034]圖2為本公開實(shí)施例提供的一種判斷目標(biāo)日志的格式的流程示意圖;[0035]圖3為本公開實(shí)施例提供的一種確定初始解析模板的流程示意圖;[0036]圖4為本公開實(shí)施例提供的一種修正初始解析模板的流程示意圖;[0037]圖5為本公開實(shí)施例提供的一種日志解析方法的流程示意圖;[0038]圖6為本公開實(shí)施例提供的一種日志解析模板生成的裝置示意圖;[0039]圖7為本公開實(shí)施例提供的日志解析的裝置示意圖;[0040]圖8為本公開實(shí)施例提供的電子設(shè)備的結(jié)構(gòu)示意圖。具體實(shí)施方式[0041]為了能夠更清楚地理解本公開的上述目的、特征和優(yōu)點(diǎn),下面將對(duì)本公開的方案進(jìn)行進(jìn)一步描述。需要說明的是,在不沖突的情況下,本公開的實(shí)施例及實(shí)施例中的特征可7以相互組合。[0042]在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本公開,但本公開還可以采用其他不同于在此描述的方式來實(shí)施;顯然,說明書中的實(shí)施例只是本公開的一部分實(shí)施[0043]Logstash是一個(gè)開源的服務(wù)器端數(shù)據(jù)處理管道,可以同時(shí)從多個(gè)數(shù)據(jù)源獲取數(shù)(Elasticsearch,分布式全文搜索引擎)或不同類型的數(shù)據(jù)庫中。[0044]數(shù)據(jù)從源端傳輸?shù)酱鎯?chǔ)位置的過程中,Logstash中的過濾器能夠解析各個(gè)事件,志和警報(bào)等信息。Logstash中的過濾器解析事件后可以識(shí)別已命名的字段以構(gòu)建結(jié)構(gòu),并將它們轉(zhuǎn)換成通用格式,以便提高分析數(shù)據(jù)的效率。[0045]Logstash能夠動(dòng)態(tài)地轉(zhuǎn)換和解析數(shù)據(jù),不受格式或復(fù)雜度的影響。具體步驟如下1)至4):(JavaScriptObjectNotation,JS對(duì)象簡譜)、xml(ExtensibleMarkup標(biāo)記語言)等類型數(shù)據(jù)派生出結(jié)構(gòu);[0047]2)人工根據(jù)已提取出結(jié)構(gòu)的數(shù)據(jù)找出IP類型字段的數(shù)據(jù)(例如“172.16.213.132”),并再次通過配置的方式獲取其他地理位置信息;[0048]3)對(duì)于時(shí)間類型字段需要轉(zhuǎn)換為標(biāo)準(zhǔn)格式;[0049]4)完成該類數(shù)據(jù)的解析。[0051]1)當(dāng)使用Logstash的過濾器編寫數(shù)據(jù)解析時(shí),需要在互聯(lián)網(wǎng)查詢相關(guān)文檔,若要對(duì)json類型的數(shù)據(jù)做提取時(shí),需要按照Logstash所提供的方式進(jìn)行配置,如設(shè)置數(shù)據(jù)的字[0052]2)編寫過的過濾器規(guī)則沒有集中管理,對(duì)于同類的數(shù)據(jù)都需要重新編寫該規(guī)則完[0053]3)人工成本高,需要不斷的進(jìn)行調(diào)試才能得出想要的日志結(jié)果。[0054]因此,本公開至少一個(gè)實(shí)施例提供了一種日志解析模板的生成方法、日志解析方法、裝置及設(shè)備,通過確定目標(biāo)日志的格式和目標(biāo)日志的一個(gè)或多個(gè)特征字段,基于一個(gè)或多個(gè)特征字段,確定初始解析模板,用于完成對(duì)不同格式日志的解析工作,并基于目標(biāo)日志的格式修正初始解析模板,使得初始解析模板更加完善,相同格式的日志能夠更加快速的完成解析,減少日志解析人員的編寫成本,提高了編寫效率,降低了后期[0055]圖1為本公開實(shí)施例提供的一種日志解析模板的生成方法流程示意圖。如圖1所示,該日志解析模板的生成方法包括但不限于如下步驟S101至S104:[0057]網(wǎng)絡(luò)設(shè)備、系統(tǒng)及服務(wù)程序等,在運(yùn)作時(shí)都會(huì)產(chǎn)生日志(log),日志用于記錄事件;每一行日志都記載著日期、時(shí)間、使用者及動(dòng)作等相關(guān)操作的描述。[0058]網(wǎng)絡(luò)操作系統(tǒng)都設(shè)計(jì)有各種各樣的日志文件,如應(yīng)用程序日志,安全日志、系統(tǒng)日8(WorldWideWeb,萬維網(wǎng))日志、DNS(DomainNameSystem,域名系統(tǒng))服務(wù)些根據(jù)系統(tǒng)開啟的服務(wù)的不同而有所不同。在系統(tǒng)上進(jìn)行操作時(shí),日志文件通常會(huì)記錄下操作的一些相關(guān)內(nèi)容。[0059]可選的,日志可以是結(jié)構(gòu)化類數(shù)據(jù),也可以是非結(jié)構(gòu)化類數(shù)據(jù)。[0060]S102、確定目標(biāo)日志的格式和目標(biāo)日志的一個(gè)或多個(gè)特征字段。和長文本格式。當(dāng)獲取到待解析的目標(biāo)日志時(shí),可以確定該目標(biāo)日志的格式和其包含的一個(gè)或多個(gè)特征字段?!?94.2.3.2”,可以確定日志的格式為kv格式,其包含的特征字段有設(shè)備類型(devicetype[0064]在現(xiàn)有技術(shù)中,為了便于解析不同的特征字段的特征值,對(duì)每個(gè)特征字段設(shè)置有對(duì)應(yīng)的字段解析模板,字段解析模板用于解析對(duì)應(yīng)的特征字段的特征值,因此,在確定目標(biāo)日志的一個(gè)或多個(gè)特征字段后,可以基于這些特征字段各自對(duì)應(yīng)的字段解析模板,得到用于解析目標(biāo)日志的初始解析模板。在一些實(shí)施例中,初始解析模板為一個(gè)或多個(gè)特征字段各自對(duì)應(yīng)的字段解析模板合并得到的模板?!?94.2.3.2”。該日志的特征字段為dev_type、tim應(yīng)的字段解析模板合并為初始解析模板,當(dāng)再次接收到的日志中包括特征字段:dev_type、time和ip,則可以使用該初始解析模板進(jìn)行解析。[0067]考慮到與日志相關(guān)的其他信息(例如地理位置信息、資產(chǎn)信息等)可以與日志解析結(jié)果一并提供給運(yùn)維人員,而不同的日志格式獲取日志相關(guān)的其他信息的方式可能不同,因此,需要基于日志格式修正初始解析模板,得到日志解析模板,日志解析模板不僅能夠解析日志本身包含的信息,而且能夠解析日志相關(guān)的信息。[0068]可見,本公開實(shí)施例通過獲取待解析的目標(biāo)日志;確定目標(biāo)日志的格式和目標(biāo)日志的一個(gè)或多個(gè)特征字段;基于一個(gè)或多個(gè)特征字段,確定初始解析模板,從而完成對(duì)不同格式日志的解析工作,并基于該格式修正初始解析模板,使得初始解析模板更加完善,后續(xù)相同格式的日志可以直接使用日志解析模板進(jìn)行解析,從而減少日志解析人員的代碼工作[0069]圖2為本公開實(shí)施例提供的一種判斷目標(biāo)日志的格式的流程示意圖,如圖2所示,確定目標(biāo)日志的格式包括如下步驟S201至S203:[0070]S201、基于Java(計(jì)算機(jī)編程語言)第三方類庫判斷目標(biāo)日志的格式是否為關(guān)鍵值(Key-Value,kv)格式或JS對(duì)象簡譜(JavaScriptObjectNotation,json)格式;若否,則執(zhí)行步驟S202;[0071]S202、基于RFC3164數(shù)據(jù)標(biāo)準(zhǔn)判斷目標(biāo)日志的格式是否為系統(tǒng)日志(syslog)格式;[0072]S203、確定目標(biāo)日志的格式為長文本格式。9斷目標(biāo)日志的格式屬于哪種格式,先用現(xiàn)有的java第三方類庫判斷是否為kv格式或json格式,若是則標(biāo)記為kv格式或json格式結(jié)束步驟;若否,則用RFC3164數(shù)據(jù)標(biāo)準(zhǔn)判斷是否為syslog格式,若是則標(biāo)記為syslog格式結(jié)束步驟,若否,則志的格式種類能夠快速的找到相對(duì)應(yīng)的模板,基于其格式及其包含的特征完成解析,提高了解析效率。[0074]圖3為本公開實(shí)施例提供的一種確定初始解析模板的流程示意圖,該流程可以應(yīng)用于圖1中的步驟103,如圖3所示,基于一個(gè)或多個(gè)特征字段,確定初始解析模板包括如下步驟S301至S304:[0075]S301、確定一個(gè)或多個(gè)特征字段預(yù)設(shè)的字段解析模板。[0076]在現(xiàn)有技術(shù)中,為了便于解析不同的特征字段的特征值,對(duì)每個(gè)特征字段設(shè)置有對(duì)應(yīng)的字段解析模板,字段解析模板用于解析對(duì)應(yīng)的特征字段的特征值。征字段dev_type對(duì)應(yīng)的字段解析模板可以解析該特征字段,得到的特征值為waf;特征字段time對(duì)應(yīng)的字段解析模板可以解析該特征字段,得到的特征值為:2021/08/0133:12:11;特征字段ip對(duì)應(yīng)的字段解析模板可以解析該特征字段,得到的特征值為:194.2.3.2。[0078]S302、選擇至少一個(gè)字段解析模板解析對(duì)應(yīng)的特征字段,得到至少一個(gè)特征值?!?94.2.3.2”。該日志的特征字段為dev_type(設(shè)備類型)、time(時(shí)間)和ip征字段dev_type對(duì)應(yīng)的字段解析模板解析該特征字段,得到的特征值為waf。[0080]S303、將未選擇的各字段解析模板合并為初始解析模板?!?94.2.3.2”。該日志的特征字段為dev_type(設(shè)備類型)、time(時(shí)間)和ip(地特征字段dev_type,則未選擇的特征字段為time和ip,因此,將特征字段time對(duì)應(yīng)的字段解析模板和特征字段ip對(duì)應(yīng)的字段解析模板合并為初始解析模板;同理,若選擇特征字段dev_type和特征字段ip,則未選擇的特征字段為time,因此,將特征字段time對(duì)應(yīng)的字段解析模板作為初始解析模板。[0082]S304、建立初始解析模板與至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系。[0084]在一些實(shí)施例中,若選擇特征字段dev_type對(duì)應(yīng)的字段解析模板解析該特征字段,得到的特征值為waf,則未選擇的特征字段為time和ip,因此,將特征字段time對(duì)應(yīng)的字段解析模板和特征字段ip對(duì)應(yīng)的字段解析模板合并為初始解析模板,進(jìn)而建立該初始解析模板與特征字段dev_type的特征值waf之間的關(guān)聯(lián)關(guān)系。[0085]相應(yīng)地,后續(xù)獲取新的日志,若該日志包括特征字段dev_type且對(duì)應(yīng)的特征值為waf,則可以基于已建立的waf與初始解析模板之間的關(guān)聯(lián)關(guān)系,直接選擇waf關(guān)聯(lián)的初始解[0086]在另一些實(shí)施例中,若選擇特征字段dev_type對(duì)應(yīng)的字段解析模板解析該特征字段,得到的特征值為waf,并且選擇特征字段ip對(duì)應(yīng)的字段解析模板解析該特征字段,得到的特征值為194.2.3.2,則未選擇的特征字段為time,因此,將特征字段time對(duì)應(yīng)的字段解析模板作為初始解析模板,進(jìn)而建立該初始解析模板與特征值waf和特征值194.2.3.2之間的關(guān)聯(lián)關(guān)系。[0087]相應(yīng)地,后續(xù)獲取新的日志,若該日志包括特征字段dev_type和ip,且對(duì)應(yīng)的特征值分別為waf和194.2.3.2,則可以基于已建立的waf、194.2.3.2與初始解析模板之間的關(guān)聯(lián)關(guān)系,直接選擇waf、194.2.3.2關(guān)聯(lián)的初始解析模板,快速解析該日志,無需再次確定該[0088]可見,本實(shí)施例通過建立一個(gè)或多個(gè)特征值與初始解析模板的關(guān)聯(lián)關(guān)系,以便后續(xù)獲取新的日志后,直接基于一個(gè)或多個(gè)特征值選擇關(guān)聯(lián)的初始解析模板,快速解析該日志,無需再次確定該日志的初始解析模板,提[0089]圖4為本公開實(shí)施例提供的一種修正初始解析模板的流程示意圖,如圖4所示,基于格式修正初始解析模板,得到日志解析模板可以包括但不限于以下步驟S401和S402:[0090]S401、基于格式為長文本格式,使用預(yù)先設(shè)置的一個(gè)或多個(gè)正則表達(dá)式,與目標(biāo)日志進(jìn)行正則匹配,得到匹配成功的一個(gè)或多個(gè)目標(biāo)正則表達(dá)式。[0091]其中,正則表達(dá)式(RegularExpression,用于描述一匹配特定的字符串。通過特殊字符+普通字符來進(jìn)行模式描述,從而達(dá)到文本匹配目的工具)。MAC(MediaAccessControl,介質(zhì)訪問控制)地址和端口等,通過使用一個(gè)或多個(gè)正則表達(dá)式與目標(biāo)日志進(jìn)行正則匹配,可以得到匹配成功的一個(gè)或多個(gè)目標(biāo)正則表達(dá)式。[0094]其中,正則提取命令用于:基于一個(gè)或多個(gè)目標(biāo)正則表達(dá)式,與目標(biāo)日志進(jìn)行正則匹配,將匹配成功的日志數(shù)據(jù)的字段名稱標(biāo)記為對(duì)應(yīng)的目標(biāo)正則表達(dá)式所標(biāo)識(shí)的特征字段[0095]例如,當(dāng)目標(biāo)日志為長文本格式的日志時(shí),先使用預(yù)先設(shè)置的一個(gè)或多個(gè)正則表達(dá)式與目標(biāo)日志進(jìn)行正則匹配(如進(jìn)行時(shí)間、主機(jī)、ip、MAC、端口等正則匹配),得到匹配成功的一個(gè)或多個(gè)目標(biāo)正則表達(dá)式;在初始解析模板中增加這些正則提取的命令,使得長文本格式日志與上述正則表達(dá)式進(jìn)行正則匹配,并將匹配成功的日志數(shù)據(jù)的字段名稱標(biāo)記為對(duì)應(yīng)的目標(biāo)正則表達(dá)式所標(biāo)識(shí)的特征字段名稱,得到日志解析模板。[0096]可見,本實(shí)施例中,對(duì)于格式為長文本格式的日志,通過在初始解析模板中增加正則提取命令得到日志解析模板,這樣,后續(xù)獲取新的長文本格式的日志后,使用日志解析模板解析該日志時(shí),可以執(zhí)行正則提取命令,實(shí)現(xiàn)與該日志的正則匹配,得到該日志更多的特[0097]在一些實(shí)施例中,圖4所示的修正初始解析模板的流程還可以包括圖4中未示出的步驟S403:[0098]S403、基于格式為kv格式或json格式,在日志解析模板中增加地理位置信息和資產(chǎn)信息獲取命令;其中,地理位置信息和資產(chǎn)信息獲取命令被配置為在正則提取命令之后執(zhí)行;且地理位置信息和資產(chǎn)信息獲取命令被配置為:將一個(gè)或多個(gè)特征字段的名稱與字11符串‘ip'匹配,對(duì)匹配的特征字段的特征值進(jìn)行ip格式正則校驗(yàn),若校驗(yàn)通過,則基于該特征值獲取對(duì)應(yīng)的地理位置信息和資產(chǎn)信息。[0099]本實(shí)施例通過對(duì)kv格式或json格式中特征字段ip進(jìn)行正則檢驗(yàn)后,補(bǔ)充地理位置信息和資產(chǎn)信息,便于后續(xù)分析使用該日志,提高了日志分析效率。[0100]在一些實(shí)施例中,圖4所示的修正初始解析模板的流程還可以包括圖4中未示出的步驟S404:[0101]S404、基于格式為syslog格式或長文本格式,在日志解析模板中增加地理位置信息和資產(chǎn)信息獲取命令;其中,地理位置信息和資產(chǎn)信息獲取命令被配置為在正則提取命令之后執(zhí)行;且該地理位置信息和資產(chǎn)信息獲取命令被配置為:基于特征字段為ip字段所對(duì)應(yīng)的特征值獲取對(duì)應(yīng)的地理位置信息和資產(chǎn)信息。[0102]本實(shí)施例通過對(duì)syslog格式或長文本格式中特征字段為ip時(shí),補(bǔ)充地理位置信息和資產(chǎn)信息,便于后續(xù)分析使用該日志,提高了日志分析效率。[0103]在一些實(shí)施例中,日志解析模板的生成方法還可以包括:基于初始解析模板與至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系,建立日志解析模板、日志格式和至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系。時(shí),日志解析模板、kv格式和特征值waf之間的關(guān)聯(lián)關(guān)系是可以建立的,因?yàn)樵撊罩居?個(gè)特征值,所以,特征值也可以是三個(gè)值中任意一個(gè),也可以是兩兩組合,還可以是全部的三個(gè)值。[0105]可見,本實(shí)施例通過建立日志解析模板、日志格式和至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系,后續(xù)對(duì)相同日志格式且包括相同特征值的日志,可以根據(jù)該關(guān)聯(lián)關(guān)系,直接選擇日志解析模板,快速解析該日志,無需再次確定該日志的日志解析模板,提[0106]圖5為本公開實(shí)施例提供的一種日志解析方法的流程示意圖。該方法可以包括但不限于以下步驟S501至S504:[0108]S501和上述的5101的實(shí)現(xiàn)原理和具體方法是一致的,此處不再贅述。[0109]S502、確定目標(biāo)日志的格式和目標(biāo)日志的一個(gè)或多個(gè)特征值;[0110]當(dāng)獲取到待解析的日志時(shí),確定該日志的格式和其包含的一個(gè)或多個(gè)特征。例如:日志為:dev_type=“waf”time=“2021/08[0111]S503、基于格式、一個(gè)或多個(gè)特征值和預(yù)先建立的關(guān)聯(lián)關(guān)系,選擇日志解析模板;其中,關(guān)聯(lián)關(guān)系為日志解析模板、日志格式和至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系。模板的關(guān)聯(lián)關(guān)系。那么,若獲取新的日志為:dev_type=“waf"time=“2021/08/011"ip=“194.2.3.2”,可以確定日志格式為kv,且dev_type的特征值為waf,那么基于前述的關(guān)聯(lián)關(guān)系,可以直接確定該新的日志所使用的日志解析模板。[0114]本公開實(shí)施例通過獲取待解析的目標(biāo)日志;確定目標(biāo)日志的格式和目標(biāo)日志的一個(gè)或多個(gè)特征值;基于格式、一個(gè)或多個(gè)特征值和預(yù)先建立的關(guān)聯(lián)關(guān)系,選擇日志解析模板;其中,關(guān)聯(lián)關(guān)系為日志解析模板、日志格式和至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系;基于日志解析模板對(duì)目標(biāo)日志進(jìn)行解析,完成了對(duì)目標(biāo)日志的解析工作,無需再次確定該日志的[0115]圖6為本公開實(shí)施例提供的日志解析模板的生成裝置示意圖。該日志解析模板的生成裝置可以執(zhí)行日志解析模板的生成方法實(shí)施例提供的處理流程,如圖6所示,日志解析模板的生成裝置60包括:獲取單元61、第一確定單元62、第二確定單元63和修正單元64;其中,獲取單元61用于獲取待解析的目標(biāo)日志;第一確定單元62用于確定目標(biāo)日志的格式和目標(biāo)日志的一個(gè)或多個(gè)特征字段;第二確定單元63用于基于一個(gè)或多個(gè)特征字段,確定初始解析模板;修正單元64用于基于格式修正初始解析模板,得到日志解析模板。[0116]可選的,第一確定單元62確定目標(biāo)日志的格式包括:基于Java第三方類庫判斷目標(biāo)日志的格式是否為kv格式或json格式;若否,則基于RFC3164數(shù)據(jù)標(biāo)準(zhǔn)判斷目標(biāo)日志的格[0117]可選的,第二確定單元63用于:確定一個(gè)或多個(gè)特征字段預(yù)設(shè)的字段解析模板;選擇至少一個(gè)字段解析模板解析對(duì)應(yīng)的特征字段,得到至少一個(gè)特征值;將未選擇的各字段解析模板合并為初始解析模板;建立初始解析模板與至少一個(gè)特征值之間的關(guān)聯(lián)關(guān)系。[0118]可選的,修正單元64用于:基于格式為長文本格式,使用預(yù)先設(shè)置的一個(gè)或多個(gè)正則表達(dá)式,與目標(biāo)日志進(jìn)行正則匹配,得到匹配成功的一個(gè)或多個(gè)目標(biāo)正則表達(dá)式;在初始解析模板中增加正則提取命令,得到日志解析模板;其中,正則提取命令用于:基于一個(gè)或多個(gè)目標(biāo)正則表達(dá)式,與目標(biāo)日志進(jìn)行正則匹配,將匹配成功的日志數(shù)據(jù)的字段名稱標(biāo)記為對(duì)應(yīng)的目標(biāo)正則表達(dá)式所標(biāo)識(shí)的特征字段名稱。[0119]可選的,修正單元64還用于:基于格式為kv格式或json格式,在日志解析模板中增加地理位置信息和資產(chǎn)信息獲取命令;其中,地理位置信息和資產(chǎn)信息獲取命令被配置為在正則提取命令之后執(zhí)行;且地理位置信息和資產(chǎn)信息獲取命令被配置為:將一個(gè)或多個(gè)特征字段的名稱與字符串“ip”匹配,對(duì)匹配的特征字段的特征值進(jìn)行ip格式正則校驗(yàn),若校驗(yàn)通過,則基于該特征值獲取對(duì)應(yīng)的地理位置信息和資產(chǎn)信息。[0120]可選的,修正單元64還用于:基于格式為syslog格式或長文本格式,在日志解析模板中增加地理位置信息和資產(chǎn)信息獲取命令;其中,地理位置信息和資產(chǎn)信息獲取命令被配置為在正則提取

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論