使用日志的異常檢測(cè)陳海宇;曾德勝【摘要】Theuseofloganalysisoftheoutlierwasproposed,onthelogdatapreprocessingtoestablishtheappropriateminingsize,withdepictinganormalmode.Theimprovedmethodcanbeusedforthelarge-scaleanomalousdetectionofdatasets,reducingthefalsealarmrate,whilegreatlyimprovingthedetectionratetoachievethedesiredtimeefficiency.Thesystemcanbewiththeregularanalysisoftheuserlogs,toautomaticallyfindthesuspectfromthelog,inatimelymannertopreventordealwiththeillegaloperation,inordertomakethedetectionsystemmoreintelligent,accurateandefficient.%提出了使用日志的孤立點(diǎn)分析方法，對(duì)日志數(shù)據(jù)進(jìn)行預(yù)處理，確立合適的挖掘粒度，刻畫出正常模式.改進(jìn)的方法可對(duì)規(guī)模較大的數(shù)據(jù)集進(jìn)行異常檢測(cè)時(shí)，在降低誤報(bào)率的同時(shí),大大提高了檢測(cè)率,并達(dá)到理想的時(shí)間效率.使系統(tǒng)定期分析用戶日志，從其自動(dòng)找到可疑的日志，及時(shí)預(yù)防或者處理非法操作的現(xiàn)象，提高檢測(cè)系統(tǒng)的智能化、準(zhǔn)確性和檢測(cè)效率.【期刊名稱】《計(jì)算機(jī)系統(tǒng)應(yīng)用》【年(卷)，期】2011(020)009【總頁數(shù)】5頁(P90-94)【關(guān)鍵詞】日志;數(shù)據(jù)挖掘;分類模型;孤立點(diǎn);高維數(shù)據(jù)【作者】陳海宇;曾德勝【作者單位】羅定職業(yè)技術(shù)學(xué)院電子信息系，羅定527200；羅定職業(yè)技術(shù)學(xué)院電子信息系，羅定527200【正文語種】中文1背景為了維護(hù)系統(tǒng)資源的運(yùn)行狀況，每個(gè)系統(tǒng)都會(huì)有相應(yīng)的日志記錄系統(tǒng)，記錄著有關(guān)日常用戶操作的各種信息，并可從記錄的日志中抽取出各種正常以及異常的操作如:誤操作警報(bào)的日期、時(shí)間戳信息等。當(dāng)發(fā)現(xiàn)系統(tǒng)的異常癥狀后不容易或不能找到非法用戶對(duì)系統(tǒng)造成的傷害。針對(duì)以上的行為，目前常用的方法就是在系統(tǒng)中增加日志功能，記錄所有用戶的狀態(tài)信息以及對(duì)系統(tǒng)所做的操作。由于日志數(shù)據(jù)十分龐大，某些異常行為難以被直接發(fā)現(xiàn)，地域信息已經(jīng)不再是發(fā)現(xiàn)可疑信息的線索。孤立點(diǎn)檢測(cè)的任務(wù)就是從大量的復(fù)雜的數(shù)據(jù)集中發(fā)現(xiàn)小部分異常數(shù)據(jù)所隱含的、與常規(guī)數(shù)據(jù)模式不同的數(shù)據(jù)模式［1］。基于系統(tǒng)日志使用數(shù)據(jù)挖掘中異常點(diǎn)分析的技術(shù)，就可以從海量日志中得到正常和異常的行為模式。該方法首先對(duì)日志數(shù)據(jù)進(jìn)行預(yù)處理，確定合適的挖掘粒度，得到以用戶使用會(huì)話為單位的日志數(shù)據(jù)，使用統(tǒng)計(jì)的方法，統(tǒng)計(jì)出可以表現(xiàn)用戶行為特征的屬性值，使用多種聚類算法對(duì)不同的特性值進(jìn)行實(shí)驗(yàn)，找到對(duì)于聚類算法效果最好的特征值組，最后建立聚類模型。2相關(guān)研究及技術(shù)分析日志就是程序運(yùn)行時(shí)為了記錄當(dāng)前狀態(tài)而產(chǎn)生信息，它由軟件設(shè)計(jì)者根據(jù)具體需求設(shè)置具體內(nèi)容，如可以記錄錯(cuò)誤，程序當(dāng)前狀態(tài)等，用戶訪問信息等。模型檢測(cè)技術(shù)主要有誤用檢測(cè)和異常檢測(cè)，異常檢測(cè)是指使用已建立的正常模式，通過判斷當(dāng)前模式與正常模式之間的偏差來識(shí)別入侵［2］。主機(jī)的異常檢測(cè)是要檢測(cè)主機(jī)或系統(tǒng)的數(shù)據(jù)，它對(duì)系統(tǒng)的審計(jì)日志、系統(tǒng)的行為數(shù)據(jù)或受保護(hù)系統(tǒng)的文件系統(tǒng)等進(jìn)行分析，發(fā)現(xiàn)異?；蛟綑?quán)行為，從而引起系統(tǒng)管理員的注意。異常檢測(cè)是通過統(tǒng)計(jì)正常情況下的用戶行為規(guī)律，運(yùn)用預(yù)測(cè)模式生成技術(shù)，生成用戶每種行為下一步的行為概率，若某種正常情況下概率極小的行為發(fā)生，認(rèn)為該用戶有異常行為，實(shí)質(zhì)上是對(duì)系統(tǒng)運(yùn)行日志進(jìn)行挖掘。用戶行為異常檢測(cè)的關(guān)鍵在于分類模型的建立，而分類模型的準(zhǔn)確度與覆蓋度取決于分類特征的選擇。目前有關(guān)日志挖掘的研究主要有:軟件數(shù)據(jù)挖掘，web使用挖掘，工作流挖掘等。2.1軟件挖掘軟件挖掘就是對(duì)軟件生命期中產(chǎn)生的數(shù)據(jù)使用數(shù)據(jù)挖掘的方法找到有趣的模式從而輔助軟件的各個(gè)階段的需求。軟件數(shù)據(jù)挖掘?qū)\(yùn)行時(shí)系統(tǒng)數(shù)據(jù)的研究從其目的上分為：系統(tǒng)完善與重構(gòu)；源代碼潛在錯(cuò)誤檢測(cè)，逆向工程等。其中主要研究有：S.Breu分析程序產(chǎn)生的日志信息，尋找被重復(fù)執(zhí)行的函數(shù)，從而找到程序的切面。在挖掘方向中，分析程序日志是一個(gè)主要的研究方法。Liu在他的文章中記錄測(cè)試程序函數(shù)調(diào)用的日志，然后繪制出函數(shù)調(diào)用的頻繁圖，在圖中抽出主要特性構(gòu)造出基于svm的分類器，來檢測(cè)異常程序。El-Ramly使用遺留系統(tǒng)中嵌入特定日志記錄功能，使用頻繁序列挖掘的方法找到了用戶使用老系統(tǒng)的交互模式，然后根據(jù)找到的模式在新系統(tǒng)開發(fā)中用于自動(dòng)生成用戶的圖形界面。本文的研究工作也屬于軟件挖掘，其目的就是增強(qiáng)系統(tǒng)在執(zhí)行階段的安全性。是數(shù)據(jù)挖掘技術(shù)在軟件領(lǐng)域的一次應(yīng)用。2.2Web使用挖掘Web使用挖掘就是利用數(shù)據(jù)挖掘技術(shù)對(duì)Web日志信息進(jìn)行分析從而找到瀏覽者的使用模式?？捎糜诜治鼍W(wǎng)站流量模式，發(fā)現(xiàn)系統(tǒng)性能瓶頸，優(yōu)化站點(diǎn)結(jié)構(gòu)、提高站點(diǎn)效率，提高用戶訪問的有效性，發(fā)現(xiàn)用戶的需要和興趣等。但是傳統(tǒng)的Web日志很難還原會(huì)話狀態(tài)這一信息，雖然Tanasa提出了一個(gè)方法來還原用戶會(huì)話，以角色用戶行為模式分析對(duì)傳統(tǒng)的Web日志挖掘還是很困難的，主要的研究有Web服務(wù)器性能改進(jìn)，包括：頁面緩存，預(yù)讀取，交換；定制訪問者會(huì)話服務(wù)，分類瀏覽者等，主要使用數(shù)據(jù)挖掘的方法是：基于數(shù)據(jù)結(jié)構(gòu)WAS樹的算法，頻繁模式和分類［3,4］。2.3工作流挖掘工作流挖掘的大體流程是：各種事務(wù)信息系統(tǒng)，例如客戶關(guān)系管理(CRM)，企業(yè)資源計(jì)劃(ERP)運(yùn)行過程中都產(chǎn)生一些日志數(shù)據(jù)，為了對(duì)不同系統(tǒng)異構(gòu)的日志數(shù)據(jù)進(jìn)行挖掘，需要將這些日志數(shù)據(jù)統(tǒng)一轉(zhuǎn)換成XML格式，然后將日志文件數(shù)據(jù)儲(chǔ)存到日志數(shù)據(jù)倉庫中。通過各種流程挖掘技術(shù)或者工具對(duì)數(shù)據(jù)倉庫中的日志數(shù)據(jù)進(jìn)行處理，挖掘出實(shí)際運(yùn)行的流程模型，然后將其與期望的流程模型或者預(yù)先設(shè)計(jì)好的流程模型進(jìn)行一致性測(cè)試，并且將測(cè)試的結(jié)果用以改進(jìn)流程設(shè)計(jì)。工作流挖掘中的日志也是要求還原出用戶的會(huì)話狀態(tài)來追蹤其流程的步驟。系統(tǒng)日志就是系統(tǒng)運(yùn)行時(shí)狀態(tài)的記錄，充分利用系統(tǒng)日志，可以最大程度地對(duì)潛在的惡意操作做出記錄和預(yù)測(cè)，而日志挖掘就是利用數(shù)據(jù)挖掘方法通過分析系統(tǒng)運(yùn)行時(shí)狀態(tài)尋找系統(tǒng)運(yùn)行時(shí)的有趣模式。本文綜合以上的研究與技術(shù)，深入分析日志數(shù)據(jù)，通過對(duì)日志的合適處理，并通過統(tǒng)計(jì)建日志數(shù)據(jù)模型，采用基于密度的聚類方法，可以過濾〃澡聲”數(shù)據(jù)，發(fā)現(xiàn)任意形狀的簇。3異常行為模型的建立3.1日志數(shù)據(jù)預(yù)處理預(yù)處理過程經(jīng)過四個(gè)步驟：數(shù)據(jù)凈化、用戶識(shí)別、會(huì)話識(shí)別和事務(wù)識(shí)別。會(huì)話是日志數(shù)據(jù)挖掘中一些常被采用的粒度，在構(gòu)造日志函數(shù)時(shí)，主要是考慮到不同用戶的會(huì)話狀態(tài)和用戶在同頁面對(duì)數(shù)據(jù)庫執(zhí)行的操作。在原有模型的基礎(chǔ)上給運(yùn)行系統(tǒng)引入專門的日志切面，其關(guān)注點(diǎn)是系統(tǒng)中業(yè)務(wù)邏輯層中的每個(gè)函數(shù)。系統(tǒng)及網(wǎng)絡(luò)中的日志內(nèi)容是由干若特征屬性描述的多個(gè)事件的數(shù)據(jù)對(duì)象E的集合如：n為會(huì)話中日志的數(shù)目。集合E中的每個(gè)對(duì)象是由m個(gè)特征屬性描述，即會(huì)話定義如下：因此，集合E中任一個(gè)事件可表示為一個(gè)m維空間的特征向量其中fij為特征Fi的一個(gè)具體值，如(T1,S1,USER_ADMIN,P1,C1.F1)等。得到如表1所示形式的日志內(nèi)容：如表2中所示，其中SID用來追蹤用戶的會(huì)話長(zhǎng)度，對(duì)于C/S模式，這個(gè)屬性也是需要的。有時(shí)，數(shù)據(jù)日志并不能反應(yīng)用戶的真實(shí)行為，用戶在使用系統(tǒng)時(shí)，必然會(huì)經(jīng)過登錄頁面還有一些不進(jìn)行任何操作的信息頁面，如：利用客戶端的Cookies和后退按鈕，用戶可以方便地瀏覽網(wǎng)頁，所以這樣的頁面是沒有價(jià)值的，根據(jù)Page屬性將其過濾掉。普通類型用戶不是研究的范圍，可以根據(jù)UserType屬性將其過濾掉，剩下管理類型的用戶的日志信息。完成數(shù)據(jù)清洗后，便很容易根據(jù)SID統(tǒng)計(jì)出某個(gè)管理類型用戶的會(huì)話數(shù)據(jù)：表1日志數(shù)據(jù)集時(shí)間(T)會(huì)話標(biāo)識(shí)符(SID)用戶類型(UserType)用戶界面(Page)執(zhí)行的函數(shù)(Fun)T1S1USER_ADMINP1C1.F1T2S2USER_ADMINP2C2.F4T3S3sUSER_ADMINP2C2.F5T4S1USER_ADMINP7C2.F4T5S2USER_ADMINP4C1.F2表2預(yù)處理后的日志數(shù)據(jù)集會(huì)話標(biāo)識(shí)符(SID)時(shí)間(T)用戶類型(UserType)用戶界面(Page)執(zhí)行的函數(shù)(Fun)S1T1USER_ADMINP1C1.F1S1T2USER_ADMINP1C1.F1S1T3USER_ADMINP2C1.F1S1T4USER_ADMINP2C1.F1S1T4USER_ADMINP4C1.F1然后我們對(duì)每個(gè)SID的數(shù)據(jù)計(jì)算如下數(shù)據(jù)：表3統(tǒng)計(jì)處理后的日志數(shù)據(jù)集SIDUserTypeTPNFNT/FS1ADMIN420s612T1S2ADMIN730s834T2S3ADMIN100s24T3S4ADMIN450s823T4S5ADMIN600s77T4T：會(huì)話總時(shí)間PN:會(huì)話中遍歷的頁面數(shù)FN:會(huì)話中執(zhí)行的業(yè)務(wù)邏輯函數(shù)總數(shù)T/F:每次操作的平均時(shí)間間隔人為構(gòu)造屬性如下：F/PN:每個(gè)頁面的操作數(shù)T/PN:每個(gè)頁面停留的平均時(shí)間3.2實(shí)驗(yàn)算法介紹離群點(diǎn)通常被當(dāng)作聚類挖掘的副產(chǎn)物，許多聚類挖掘算法都將其作為噪聲刪除。一個(gè)離群點(diǎn)是這樣的數(shù)據(jù)點(diǎn)，基于某種度量，該數(shù)據(jù)點(diǎn)與數(shù)據(jù)集中其他的數(shù)據(jù)點(diǎn)有著明顯的不同。離群點(diǎn)檢測(cè)的目的是為了發(fā)現(xiàn)數(shù)據(jù)集中的一小部分對(duì)象，與數(shù)據(jù)集中其余的大部分對(duì)象相比，這一小部分對(duì)象有著特殊的行為或者具有反常的屬性[5,6]。Knorr和Ngr提出基于距離的離群點(diǎn)數(shù)據(jù)挖掘方法，但是這種方法中的距離難以確定，而且沒有離群數(shù)據(jù)的離群衡量測(cè)度。密度的定義是DBSCAN聚類算法中的密度的定義，即數(shù)據(jù)對(duì)象的密度就是該數(shù)據(jù)對(duì)象領(lǐng)域半徑內(nèi)的數(shù)據(jù)對(duì)象的數(shù)量?；诿芏鹊碾x群點(diǎn)概念由Breuning等人提出，基于密度的離群點(diǎn)算法(DBOMA，Density-BasedOutlierMiningAlgorithm)可以發(fā)現(xiàn)任意形狀的數(shù)據(jù)布局中的離群數(shù)據(jù)，它的基本思想是：對(duì)于數(shù)據(jù)集中的每一個(gè)離群數(shù)據(jù)對(duì)象，不能包含任何一個(gè)給定半徑和該半徑領(lǐng)域內(nèi)包含指定數(shù)據(jù)對(duì)象數(shù)目的核心對(duì)象的領(lǐng)域內(nèi)?；诿芏鹊碾x群數(shù)據(jù)挖掘?yàn)榱税l(fā)現(xiàn)所有的離群數(shù)據(jù)，需要對(duì)每個(gè)數(shù)據(jù)進(jìn)行處理。首先，從數(shù)據(jù)集D中任意找一個(gè)數(shù)據(jù)對(duì)象p，并查找出D中p的關(guān)于半徑領(lǐng)域內(nèi)包含的所有的領(lǐng)域?qū)ο螅魀的￡領(lǐng)域內(nèi)某一個(gè)數(shù)據(jù)對(duì)象的￡領(lǐng)域內(nèi)包含Minpts或多于Minpts個(gè)數(shù)據(jù)對(duì)象，即p的領(lǐng)域內(nèi)存在一核心數(shù)據(jù)對(duì)象，則p不是離群數(shù)據(jù)，反之，若p的￡領(lǐng)域內(nèi)所有數(shù)據(jù)對(duì)象的￡領(lǐng)域內(nèi)包含的數(shù)據(jù)對(duì)象個(gè)數(shù)都少于Minpts個(gè)或者p的￡領(lǐng)域內(nèi)沒有數(shù)據(jù)對(duì)象即p是數(shù)據(jù)集D中關(guān)于￡領(lǐng)域的孤立點(diǎn)，則p是離群數(shù)據(jù)；接著處理數(shù)據(jù)集中的下一個(gè)數(shù)據(jù)，直至數(shù)據(jù)集中的所有數(shù)據(jù)都被處理完［7,8］。DBSCAN算法是一個(gè)有代表的基于密度的方法，它根據(jù)一個(gè)密度域值來控制簇的增長(zhǎng)。OPTICS算法是另一個(gè)基于密度的方法，它為自動(dòng)和交互的聚類分析計(jì)算一個(gè)聚類循序。本文在綜合考慮基于密度的離群點(diǎn)算法DBSCAN和CURE算法、OPTICS算法的基礎(chǔ)上，對(duì)其進(jìn)行改進(jìn)：計(jì)算一個(gè)數(shù)據(jù)對(duì)象的領(lǐng)域時(shí)，當(dāng)發(fā)現(xiàn)它是密集的，則不必對(duì)其鄰居進(jìn)行領(lǐng)域計(jì)算，從而提高效率，可以采用該算法來選擇離群點(diǎn)。通過以上表1可以看出描述日志的特征通常包括數(shù)值特征，也包含符號(hào)特征，為了有效計(jì)算涉及多種不同類型描述的數(shù)據(jù)對(duì)象間的距離，可以利用特征相關(guān)性作為計(jì)算數(shù)據(jù)對(duì)象之關(guān)的距離的依據(jù)。首先把數(shù)據(jù)對(duì)象的特征集F分為兩個(gè)不相交的子集Fs和Fr，F(xiàn)s為符號(hào)特征集，F(xiàn)r為數(shù)值特征集。為了能準(zhǔn)確判斷兩個(gè)對(duì)象之間的距離，對(duì)數(shù)據(jù)集作如下處理：1） 計(jì)算所有數(shù)據(jù)對(duì)象的Fs特征集的平均值：2） 計(jì)算平均的絕對(duì)偏差：3） 計(jì)算標(biāo)準(zhǔn)化度量值：經(jīng)過上述處理后兩對(duì)象間的距離為：對(duì)于符號(hào)變量，則將不同類型的變量組合在單個(gè)相異度矩陣中，數(shù)據(jù)對(duì)象之間的相異度為：如果fjf或fjf為空或fjf=fjf=0且變量f是不對(duì)稱的二元變量則指示項(xiàng)變量f對(duì)i和j之間的相異度的計(jì)算方式與其具體類型有關(guān)：1） 當(dāng)f是標(biāo)稱變量時(shí),若否貝u2） 當(dāng)f是區(qū)間標(biāo)度變量時(shí)：根據(jù)上述公式，可得任意兩件事件的距離為：其中，a為權(quán)重因子，利用a權(quán)重因子可以更好地表達(dá)符號(hào)特征子集和數(shù)值特征子集在計(jì)算數(shù)據(jù)對(duì)象之間差異（或距離）時(shí)所起的不同作用。算法的基本思路分兩步驟，第一，粗選，將每個(gè)單元的數(shù)據(jù)對(duì)象集D置為空，S為空，再將數(shù)據(jù)集的每個(gè)數(shù)據(jù)對(duì)象映射到一個(gè)單元內(nèi)，如f（d（d1,d2,...dm））->U。如果U.D>Minpts,不是離群數(shù)據(jù)；否則為離群數(shù)據(jù)。第二，精選，對(duì)第一步暫定為離群數(shù)據(jù)的單元進(jìn)行處理。若U的鄰居為空單元，那么該單元內(nèi)的數(shù)據(jù)為離群數(shù)據(jù)；若U的鄰居為非空單元，則進(jìn)一步計(jì)算其偏離指數(shù)，如果偏離指數(shù)小于指定的閾值，則該數(shù)據(jù)對(duì)象不是離群數(shù)據(jù)，否則為離群數(shù)據(jù)。該算法的描述如下：3.3實(shí)驗(yàn)結(jié)果根據(jù)以上算法原理，利用VC++6.0編程實(shí)現(xiàn)，測(cè)試程序在PentiumDual1.73GHz,1G內(nèi)存，120Gbyte硬盤，Windows2000XP上運(yùn)行的，實(shí)驗(yàn)數(shù)據(jù)來自網(wǎng)絡(luò)中心某臺(tái)服務(wù)器2010年3月12日一天的日志記錄，實(shí)驗(yàn)結(jié)果如下表4所示。檢測(cè)率為實(shí)際檢測(cè)到的異常數(shù)目與數(shù)據(jù)集中包含異常的數(shù)目之比；誤報(bào)率（包括假報(bào)、漏報(bào)）為誤報(bào)的數(shù)據(jù)與正常行為的數(shù)目之比。其中，DOS為拒絕服務(wù)異常；IntrusionAttempt（企圖攻擊），嘗試猜測(cè)口令或企圖越權(quán)操作而導(dǎo)致操作異常；Penetration（合法用戶的攻擊），本地用戶權(quán)限提升異常，一般會(huì)訪問那些原來不允許的數(shù)據(jù)庫或數(shù)據(jù)庫對(duì)象；R2L為遠(yuǎn)程異常。4結(jié)語以上采用的聚類屬性是人為構(gòu)造的，這樣并不能確定那一個(gè)屬性的效果更好，所以需要使用反復(fù)實(shí)驗(yàn)的方法找到更好的聚類屬性。本文對(duì)日志文件進(jìn)行充分分析的基礎(chǔ)上，先對(duì)系統(tǒng)日志數(shù)據(jù)進(jìn)行事務(wù)還原處理，找到代表每次事務(wù)的特征屬性，然后使用聚類算法找到孤立點(diǎn)，而這個(gè)孤立點(diǎn)就代表了對(duì)系統(tǒng)進(jìn)行異常操作的用戶。以上方法只是檢測(cè)異常用戶，即用戶在單一會(huì)話中的異常行為檢測(cè)，對(duì)于那些多會(huì)話的異常行為是無能為力的。而大多數(shù)系統(tǒng)使用者本身的操作行為，必然存在很多有趣的行為模式，如熟練用戶與不熟練用戶的操作模式一定是不同的，經(jīng)常偷懶的使用者和積極的工作者在實(shí)用系統(tǒng)中也必然存在巨大的差異，什么樣的使用者會(huì)使系統(tǒng)出現(xiàn)更多的異常。下一階段將在現(xiàn)有的模式上建立系統(tǒng)使用者的行為模型，當(dāng)挖掘出用戶的使用模式后，可以使用svm等方法對(duì)以上描述類用戶的使用模式建立一個(gè)模型，然后使用這個(gè)模型區(qū)分出不同類型的用戶，準(zhǔn)確地預(yù)測(cè)非法用戶的入侵。表4測(cè)試結(jié)果數(shù)據(jù)