中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵撿捌模型構(gòu)建 論文題目： 專業(yè)： 碩士生： 指導教師： 基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 計算機軟件與理論 魏碩 梁華金副教授 摘要 隨著計算機網(wǎng)絡(luò)應(yīng)用的普及和網(wǎng)上商務(wù)活動的日益頻繁，計算機系統(tǒng)的安全 問題越來越突出。攻擊事件發(fā)生的數(shù)量逐年增加，近幾年的上升幅度更為明顯。 同時這些安全事故給社會造成了巨大的經(jīng)濟損失。通常使用入侵避免技術(shù)，例如 用戶身份認證、避免程序錯誤等技術(shù)來作為防御攻擊的第一道防線。但是光有入 侵避免技術(shù)還不足以完全防止入侵，例如無法防止局域網(wǎng)內(nèi)部的攻擊。需要入侵 檢測技術(shù)來作為防御攻擊的第二道防線。作為計算機安全領(lǐng)域的一個重要技術(shù)， 入侵檢測技術(shù)的研究逐漸受到人們的重視。這幾年我國政府也對入侵檢測研究投 入了較大的重視。然而，傳統(tǒng)的入侵檢測系統(tǒng)在有效性、適應(yīng)性和可擴展性方面 都存在不足，尤其是在遇到新的入侵類型時變得無能為力。針對這些不足，本文 將從數(shù)據(jù)處理的角度，用數(shù)據(jù)挖掘的方法根據(jù)海量審計數(shù)據(jù)建立描述入侵行為的 模型。我們從審計日志中歸納學習出分類規(guī)則，并以此作為描述入侵行為的工具。 建立入侵模型的過程中需要為訓練數(shù)據(jù)添加適當?shù)慕y(tǒng)計屬性，以使分類模型能夠 更有效的描述入侵行為。 本文首先對入侵檢測系統(tǒng)的技術(shù)背景進行了簡要的說明和歸類，針對傳統(tǒng)入 侵檢測技術(shù)的不足之處，將主要研究方向定在入侵檢測模型的構(gòu)建上，使用數(shù)據(jù) 挖掘技術(shù)開發(fā)一套自動化、系統(tǒng)化的構(gòu)建入侵檢測系統(tǒng)的方法。 接下來講述分類問題，實現(xiàn)了c 4 5 分類算法，并應(yīng)用分類算法進行實驗，從 審計數(shù)據(jù)電建立分類模型，以此研究特征屬性的構(gòu)造對分類模型準確性的影響， 根據(jù)對實驗結(jié)果的分析，為入侵模型添加了一定數(shù)量的特征屬性，并證明利用分 類算法建立入侵檢鋇口模型的可行性。 隨后根據(jù)d a r p a 提供的用于入侵檢測系統(tǒng)性能評估的t c p d 啪p 日志，建立誤 用入侵檢測模型。實驗將t c p d u m p 日志重組成網(wǎng)絡(luò)連接紀錄，在入侵行為和網(wǎng)絡(luò) 協(xié)議維上進行概念分層，進行訓練數(shù)據(jù)的預(yù)處理稈特征構(gòu)造，最終建立了具有較 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 好效果的分類模型。模型建立完成之后，根據(jù)現(xiàn)有入侵檢測系統(tǒng)n f r 的入侵描述 語言，將生成的入侵規(guī)則進行了轉(zhuǎn)化工作，并闡述了與模型建立相對應(yīng)的檢測過 程，指出建立實時檢測系統(tǒng)所需要解決的問題。 最后，對今后的研究方向作了展望，指出檢測新的入侵行為必須借助于異常 檢測，同時也在提高實時檢測系統(tǒng)的檢測效率方面提出了一些可行的思路。 關(guān)鍵字：入侵檢測，數(shù)據(jù)挖掘，分類，特征構(gòu)造，概念分層 i i 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 t i t l e ：c o n s t r u c t i o ni n t r u s i o nd e t e c t i o nm o d e l su s i n gd a t am i n i n gt e c h n i q u e s m a j o r ：c o m p m e rs o f t w a r ea n dt h e o r y n a n l e ：w e i s h u o s u p e r v i s o r ：v i c e p r o f e s s o rl i a n gh u a j i n a b s t r a c t w i t ht h ep o p u l a r i z a t i o no f t h ea p p l i c a t i o n so f n e t w o r k b a s e dc o m p u t e rs y s t e m s a n dt h ei n c r e a s i n gf r e q u e n c yo fe c o m m e r c e ，s e c u r i t yi s s u e sb e c o m em o r ea n dm o r e o u t s t a n d i n g t h e r ea r ei n c r e a s i n ga m o u n to f a t t a c k sy e a ra f t e ry e a r w i lm o r e i n c r e a s i n gr a t ei nt h er e c e n ty e a r s t h e s es e c u r i t ya c c i d e n t sr e s u l ti nt r e m e n d o u s d a m a g e st oo u rs o c i e t y i n t r u s i o np r e v e n t i o nt e c h n i q u e s ，s u c ha su s e ra u t h e n t i c a t i o n ， a v o i d i n gp r o g r a m m i n ge r r o r s ，a n di n f o r m a t i o np r o t e c t i o nh a v eb e e nu s e dt op r o t e c t c o m p e e rs y s t e m sa saf i r s tl i n eo fd e f e n s e i n t r u s i o np r e v e n t i o na l o n ei sn o ts u f f i c i e n t f o r e x a m p l e ，t h e yc a n n o ta v o i da t t a c k si n s i d e i n t r u s i o nd e t e c t i o ni st h e r e f o r en e e d e d a sa n o t h e rw a l lt op r o t e c tc o m p u t e rs y s t e m s t h e s ey e a r s ，o u rg o v e r n m e n ta l s ol a y s m u c hs t r e s so nt h er e s e a r c ho fi n t r u s i o nd e t e c t i o n h o w e v e r c u r r e n ti n t r u s i o n d e t e c t i o ns y s t e m sl a c ke f f e c t i v e n e s s ，a d a p t a b i l i t ya n de x t e n s i b i l i t y ，a n de s p e c i a l l y ， t h e yb e c o m ei n e f f e c t i v ei nt h ef a c eo f n e wk i n do f a t t a c k s a i m e da tt h e s e s h o r t c o m i n g s ，t h i st h e s i st a k e sa d a t a c e n t r i cv i e wt oi d sa n dd e s c r i b e saf r a m e w o r k f o rc o n s t r u c t i n gi n t r u s i o nd e t e c t i o nm o d e lb ym i n i n ga u d i td a t a c l a s s i f i c a t i o nr o l e s a r ei n d u c t i v e l yl e a r n e df r o ma u d i tr e c o r d sa n du s e da si n t r u s i o nd e t e c t i o nm o d e l s a c r i t i c a lr e q u i r e m e n tf o rt h er u l e st ob ee f f e c t i v ed e t e c t i o nm o d e l si st h a tl i d _ a p p r o p r i a t e s e to f f e a t u r e sn e e d st ob ef i r s tc o n s t r u c t e da n di n c l u d e di nt h ea u d i tr e c o r d s t h i st h e s i sf i r s tp r o v i d e dt h eb a c k g r o u n do ni d s a i m e da tt h es h o r t c o m i n g so f c u r r e n tt e c h n i q u e so f i n t r u s i o nd e t e c t i o n ，w ef o c u s e do nt h ec o n s t r u c t i o no fi n t r u s i o n d e t e c t i o nm o d e l s t h eg o a lo f t h i st h e s i sr e s e a r c hi st h e r e f o r et od e v e l o paf m m e w o r k i i i 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 m a tf a c i l i t a t e sa u t o m a t i ca n ds y s t e m a t i cc o n s t r u c t i o no fi d s w et h e nd i s c u s s e dt h ep r o b l e mo f c l a s s i f i c a t i o n a f t e rt h ei m p l e m e m a t i o no f c 4 5a l g o r i t h m w eu s e di ta sat o o lf o re x p e r i m e n t w ed i s c u s s e dt h a tf o rb u i l d i n g c l a s s i f i c a t i o nm o d e l sf r o ma u d i td a t a t h em o s ti m p o r t a n ti s s u ei st oc o n s t r u c tas e to f p r o p e rf e a t u r e s b a s e do na n a l y s i st ot h er e s u l t s ，w ec o n s t r u c t e ds e v e r a lf e a t u r e sf o r t h ei n t r u s i o nd e t e c t i o nm o d e l sa n dp r o v e dt h ef e a s i b i l i t yo fb u i l d i n gi n t r u s i o nm o d e l u s i n gc l a s s i f i c a t i o n ，cn e x td e s c r i b e dt h ep r o c e s so f b u i l d i n gm i s u s ei n t r u s i o nd e t e c t i o nm o d e l s f r o mt c p d u m pd a t ap r o v i d e db yd a r p af o ri n t r u s i o nd e t e c t i o ne v a l u a t i o n t c p d u m p d a t ai sr e c o m b i n e di n t oc o n n e c t i o nr e c o r d si nt h ed a t ap r e p r o c e s s i n gp r o c e s s w et h e n h i e r a r c h yt h ed a t ao nt h ed i m e n s i o no fi n t r u s i o nt y p ea n dn e t w o r kp r o t o c o l ， c o n s t r u c t e das e to ff e a t u r e sf o r t h et r a i n i n gd a t at of i n i s ht h ee s t a b l i s h m e n to f c l a s s i f i c a t i o nm o d e l w en e x ti n c o r p o r a t eo u rl e a r n e dm o d e l si n t or e a l - t i m ei d s sw i t h n f r w ea l s od i s c u s s e dt h ed e t e c t i o np r o c e s sc o r r e s p o n d i n gt ot h eb u i l d i n gp r o c e s s a n dp o i n t e do u tt h ep r o b l e m sa s s o c i a t e dw i t ht h ei m p l e m e n t a t i o no fr e a l t i m e i n t r u s i o nd e t e c t i o n a tl a s t ，w ep r o v i d e do u rf u t u r ed i r e c t i o n s w ei n d i c a t e dt h a ta n o m a l yd e t e c t i o ni s n e c e s s a r yt od e t e c tn e wa t t a c k s w ea l s op r o v i d e ds o m ef e a s i b l ei d e af o ri m p r o v i n g d e t e c t i o ne f f e c t i v e n e s so f r e a l t i m ei d s k e yw o r d s ：i n t r u s i o nd e t e c t i o n ，d a t am i n i n g ，c l a s s i f i c a t i o n ，f e a t u r e c o n s t r u c t i o n ，c o n c e p th i e r a r c h y 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 第1 章緒論 隨著i n t e r n e t 應(yīng)用的普及，信息系統(tǒng)安全問題越來越突出。c e r t c c ( c o m p u t e r e m e r g e n c yr e s p o n s et e a m c o o r d i n a t i o nc e n t e r ) 對過去1 4 年間發(fā)生的網(wǎng)絡(luò)攻擊事 件進行了統(tǒng)計( 見表1 1 ) 【1 】，結(jié)果表明攻擊事件發(fā)生的數(shù)量逐年增加，近幾年的 上升幅度更為明顯。同時這些安全事故給社會造成了巨大的經(jīng)濟損失，根據(jù)計算 機世界網(wǎng)消息，近日公布的“全美第七次電腦犯罪和安全年度調(diào)查”表明，美國 由于網(wǎng)絡(luò)安全事故造成的損失在2 0 0 1 年繼續(xù)增加，達到4 5 6 億美元，而2 0 0 0 年這 一數(shù)字為3 7 8 億美元。 表1 - 1c e r t1 9 8 8 2 0 0 1 網(wǎng)絡(luò)攻擊事件報告 年度 1 9 8 81 9 8 91 9 9 01 9 9 l1 9 9 21 9 9 31 9 9 41 9 9 5 事件數(shù)量 61 3 22 5 24 0 67 7 3 1 ，3 3 4 2 ，3 4 02 4 1 2 年度 1 9 9 61 9 9 71 9 9 81 9 9 92 0 0 02 0 0 l 事件數(shù)量 2 5 7 3 2 1 3 4 3 ，7 3 49 ，8 5 9 2 1 7 5 65 2 ，6 5 8 由于信息系統(tǒng)安全威脅越來越嚴重，并且造成的社會經(jīng)濟損失越來越大，因 此信息安全技術(shù)研究逐漸引起了人們的高度重視，并成為信息技術(shù)中一個非常活 躍的研究領(lǐng)域。 起初信息系統(tǒng)安全機制的研究主要是基于1 9 8 5 年美國國防部( d o d ) 國家 計算機安全中心( n c s c ) 公布的可信計算機安全評估準貝, i j t c s e c ( t r u s t e d c o m p u t e rs y s t e me v a l u a t i o nc r i t e r i a ) 1 2 】，其特點是在信息系統(tǒng)安全處理上主要 集中在系統(tǒng)自身的加固和防護上。例如采用多級安全權(quán)限的安全操作系統(tǒng)和安全 數(shù)據(jù)庫、在網(wǎng)絡(luò)出口配置防火墻、在信息傳輸和存儲中采用加密技術(shù)、并采用身 份認證等。然而隨著信息技術(shù)的發(fā)展，基于t c s e c 的靜態(tài)安全模型和安全協(xié)議標 準已經(jīng)不能適應(yīng)當前安全需求，無法完全反應(yīng)分布的、動態(tài)的i n t e m e t 安全問題， 這種單純利用防護安全理論和技術(shù)構(gòu)建的安全防護機制逐漸暴露出以下不足： 單純防護技術(shù)容易導致系統(tǒng)安全機制的盲目建設(shè)：僅單純采用防護技 中山大學碩士學位論文 基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 術(shù)，使人們很難詳細了解信息系統(tǒng)當前的安全威脅和安全現(xiàn)狀，引起系 統(tǒng)安全的盲目建設(shè)，從而造成安全投入大而又沒有真正抓住安全的關(guān)鍵 環(huán)節(jié)，導致不必要的浪費。 防火墻在防范惡意攻擊方面有明顯的局限性：首先防火墻的主要功能是 保護內(nèi)部網(wǎng)絡(luò)免受外部攻擊，因此它無法防范來自內(nèi)部的惡意攻擊；其 次隨著網(wǎng)絡(luò)應(yīng)用的發(fā)展，內(nèi)部網(wǎng)絡(luò)與外部網(wǎng)絡(luò)的信息交互越來越多，這 一方面增強了網(wǎng)上應(yīng)用的開發(fā)能力，另一方面也使得內(nèi)部網(wǎng)絡(luò)與外部公 共網(wǎng)絡(luò)的信息交換更加難以控制，因此制訂一套合適的防火墻安全策略 非常困難。 經(jīng)典安全理論和技術(shù)無法完全保證信息系統(tǒng)的安全：“存取控制”或“訪 問控制”是經(jīng)典和現(xiàn)代安全理論中保障信息系統(tǒng)安全的重要手段，然而 迄今為止，軟件工程技術(shù)還無法做至i j t e s e c 中信息系統(tǒng)a 2 級安全要求， 即形式證明一個系統(tǒng)的安全性。因此無論是在理論上還是在實踐中，都 不能完全保證信息系統(tǒng)的安全性，同時也沒有一種切實可行的方法解決 合法用戶在通過“身份鑒別”后濫用特權(quán)的問題。 針對基于t c s e c 構(gòu)建的安全機制存在的不足，安全專家提出了可適應(yīng)動態(tài)安 全模型p 2 d r ， 該模型主要包含4 個組成部分：安全策略( p o l i c y ) 、防護 ( p r o t e c t i o n ) 、檢測( d e t e c t i o n ) 和響應(yīng)( r e s p o n s e ) 。p 2 d r 模型是在安全 策略的控制和指導下，在綜合運用防護工具( p r o t e c t i o n ，如防火墻、操作系統(tǒng)身 份認證、加密等手段) 的同時，利用檢測工具( d e t e c t i o n ，如入侵檢測和漏洞掃 描等) 了解和評估系統(tǒng)的安全狀態(tài)，通過適當?shù)捻憫?yīng)( r e s p o n s e ) 將系統(tǒng)調(diào)整到 “最安全”的狀態(tài)。防護、檢測和響應(yīng)一起構(gòu)成一個完整、動態(tài)的安全循環(huán)， 它們之間的相互關(guān)系見圖1 1 。 中山大學碩士學位論文 基于數(shù)據(jù)挖捅技術(shù)的入侵檢測模型構(gòu)建 圖1 一lp 2 d r 安全模型 在p 2 d r 模型中檢測是一個非常重要的操作環(huán)節(jié)，是動態(tài)響應(yīng)和加強防護的 依據(jù)，只有通過不斷地檢測和監(jiān)控網(wǎng)絡(luò)和系統(tǒng)，才能發(fā)現(xiàn)新的威脅和弱點，并通 過循環(huán)反饋來及時做出有效的響應(yīng)處理，因此近年來入侵檢測技術(shù)研究逐漸受到 學界和工業(yè)界的重視。 l ，1 入侵檢測 1 1 1 入侵檢測的含義及其分類 8 0 年代早期a d e n r s o n 曾使用“威脅”這一概念性術(shù)語將入侵企圖定義為未經(jīng) 授權(quán)而蓄意嘗試訪問和篡改信息，使系統(tǒng)不可靠或不能使用 3 j ；后來h e a d y 給出 入侵的另外解釋，入侵是指有關(guān)試圖破壞資源的完整性、機密性及可用性的活動 集合1 4 j ：而s m a h a 貝j 從分類的角度指出入侵包括嘗試性闖入、偽裝攻擊、安全控 制系統(tǒng)滲透、泄露、拒絕服務(wù)、惡意使用6 種類型f 卦。實際上入侵檢測是繼“數(shù) 據(jù)加密”、“防火墻”等安全保護技術(shù)之后，人們提出的又一種安全技術(shù)，它通 過對信息系統(tǒng)中各種狀態(tài)和行為的歸納分析，一方面檢測來自外部的入侵行為， 另一方面還能夠監(jiān)督內(nèi)部用戶的未授權(quán)活動。 按照信息源來分類，入侵檢測系統(tǒng)可以分為基于主機的( h o s tb a s e d ) 入侵 檢測系統(tǒng)和基于網(wǎng)絡(luò)( n e t w o r kb a s e d ) 的入侵檢測系統(tǒng)： 基于主機的入侵檢測系統(tǒng)：為早期的入侵檢測系統(tǒng)結(jié)構(gòu)，其檢測的目標主 要是主機系統(tǒng)和系統(tǒng)本地用戶，檢測原理是根據(jù)主機的審計數(shù)據(jù)和系統(tǒng)的 中山大學碩士學位論文 基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 日志發(fā)現(xiàn)可疑事件，檢測系統(tǒng)可以運行在被檢測的主機或單獨的主機上， 這種系統(tǒng)的優(yōu)點是可咀精確的判斷入侵事件，可以檢測網(wǎng)絡(luò)i d s 檢測不到的 攻擊；不受網(wǎng)絡(luò)信息流的加密和交換網(wǎng)絡(luò)使用的影響；還可以檢測到特洛 伊木馬和其他破壞軟件完整性的攻擊。但也存在以下的不足：占用所監(jiān)視 主機寶貴的資源，要影響所監(jiān)視主機的工作性能；需要系統(tǒng)提供大的存儲 空間；會遭受拒絕服務(wù)攻擊( d o s ) 而失效：不能檢測針對網(wǎng)絡(luò)發(fā)起的多 點攻擊；本身容易受到攻擊；難于管理。 基于網(wǎng)絡(luò)的入侵檢測系統(tǒng)：根據(jù)網(wǎng)絡(luò)流量、協(xié)議分析、簡單網(wǎng)絡(luò)管理協(xié)議 ( s n m p ) 等數(shù)據(jù)檢測入侵，目前商業(yè)的入侵檢測系統(tǒng)大都屬于這種類型。 這種方法的優(yōu)點是可以提供實時的網(wǎng)絡(luò)監(jiān)視；它們的部署對現(xiàn)有網(wǎng)絡(luò)的影 響很?。槐旧淼目构粜院?，缺點是對大而忙的網(wǎng)絡(luò)存在處理上的困難， 可以考慮使用硬件或提高數(shù)據(jù)包的分析速度和能力來解決此問題；在現(xiàn)代 的交換網(wǎng)絡(luò)下它們的很多優(yōu)點都不適用。不能分析加密的信息，在越來越 多的組織使用虛擬專用網(wǎng)時，這個問題將變得突出；檢測精確度較差；對 付不了諸如碎片攻擊，這種畸形的數(shù)據(jù)包可能導致i d s 系統(tǒng)運行的不穩(wěn)定甚 至崩潰。 按照分析方法入侵檢測系統(tǒng)可以被分為兩大類：誤用入侵檢測( m i s u s e i n t r u s i o nd e t e c t i o n ) 和異常入侵檢測( a n o m a l yi n t r u s i o nd e t e c t i o n ) 。它們的具 體含義如下： 誤用入侵檢測：誤用入侵檢測假設(shè)具有能夠被精確地按照某種方式編碼的 攻擊，并可以通過捕獲攻擊及重新整理，確認入侵活動是基于同一弱點進 行攻擊的入侵方法的變種。例女l j i n t e m e t 蠕蟲攻擊就是使用t f i n g e r 和 s e n d m a i l 的錯誤，然后通過按照預(yù)先定義好的入侵模式以及觀察到入侵發(fā)生 情況迸行模式匹配來檢測。入侵模式說明了那些導致安全突破或其他誤用 的事件的特征、條件、排列和關(guān)系。目前已提出的誤用入侵檢測方法有很 多，如基于狀態(tài)遷移分析的誤用入侵檢測方法s t a t 6 1 和u s t a t 7 1 、基于 專家系統(tǒng)和模型誤用推理的誤用入侵檢測方法j 等。 異常入侵檢測：異常入侵檢測的前提條件是將入侵行為作為異常行為的子 集，理想狀況是異常行為集合與入侵活動集合等同，這樣若能夠檢測所有 4 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 的異常行為，則就可檢測到所有的入侵行為。然而入侵行為并不總是與異 常行為相符合，它們之間存在以下四種關(guān)系：( 1 ) 入侵而非異常； ( 2 ) 非入侵且異常；( 3 ) 入侵且異常；( 4 ) 非入侵且非異常。異常入侵檢測 要解決的問題就是構(gòu)造異常行為集合并從中發(fā)現(xiàn)入侵行為。異常入侵檢測 方法依賴于異常檢測模型的建立，不同模型構(gòu)成不同的檢測方法，目前提 出的異常檢測技術(shù)有基于模式預(yù)測的異常檢測方法【1 0 1 、基于統(tǒng)計的異常檢 測方法【i 等。 目前有關(guān)這兩種入侵檢測技術(shù)的評價是各有利弊：異常入侵檢測能夠檢測出未 知攻擊，然而誤檢測率較高；誤用入侵檢測的檢測準確度較好，但其只能對已知 攻擊行為進行檢測。 1 1 2 入侵檢測原理 雖然入侵檢測技術(shù)被分成異常入侵檢測和誤用入侵檢測兩大類，然而它們的 實現(xiàn)原理卻基本一樣( 見圖1 2 ) 。 圖1 ，2 入侵檢測原理 入侵檢測的目的是蜷統(tǒng)行為中分鰳墨蝴入犀行為，為i 達到這一目的首 先必須對系統(tǒng)行為特征有一個溱天 系統(tǒng)的理解，對系統(tǒng)行為深入、系統(tǒng)理解的 中山大學碩士學位論文 基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 最好方法就是利用數(shù)學工具描述系統(tǒng)行為特征，即建立系統(tǒng)行為數(shù)學模型。目前 入侵檢測領(lǐng)域提出的系統(tǒng)行為模型主要有兩類：異常行為檢測模型和攻擊行為檢 測模型。其中異常行為檢測模型用于異常入侵檢測，攻擊行為檢測模型則用于誤 用入侵檢測。在建立起系統(tǒng)行為模型后，就可以利用系統(tǒng)行為模型對系統(tǒng)行為進 行分析，由于系統(tǒng)行為通常都是記錄在系統(tǒng)日志中，因此利用系統(tǒng)行為模型對系 統(tǒng)行為進行分析檢測實質(zhì)上就是利用系統(tǒng)行為模型分析系統(tǒng)日志，為了保證能夠 檢測到入侵行為，還必須保證采集到的系統(tǒng)日志能夠蘊涵入侵行為，否則好的檢 測模型也無法檢測到入侵行為。 1 2 現(xiàn)有入侵檢測系統(tǒng)存在的問題 評估入侵檢測系統(tǒng)有這樣一些指標：有效性、適應(yīng)性和可擴展性。有效性指 i d s 同時具有高檢測率和低誤報率：適應(yīng)性指一個i d s 可以在已知入侵行為發(fā)生 細微改變后仍舊能將其檢測出來，并能在新的入侵行為出現(xiàn)后迅速升級將其檢測 出來；可擴展性指i d s 可以與其他入侵模型結(jié)合起來，并能按照用戶的網(wǎng)絡(luò)配置 進行定制。 目前的入侵檢測系統(tǒng)在有效性、適應(yīng)性和可擴展性方面都存在不足： 在有效性方面，手工書寫的入侵規(guī)則、模式以及靜態(tài)選取的關(guān)于系統(tǒng)特征 屬性是由安全專家的知識得來的，隨著操作系統(tǒng)的日益復雜化和網(wǎng)絡(luò)數(shù)據(jù) 流量的急劇同一類膨脹，導致了安全審計數(shù)據(jù)同樣以驚人的速度遞增。攻 擊手段不斷變化，入侵檢測系統(tǒng)難以及時更新，即使是安全專家也很難在 一個系統(tǒng)中對所有的攻擊方法進行特征編碼，這些知識往往是不完整和不 準確的。 窿活晦性療面，當前的入侵檢測系統(tǒng)也不夠完善，安全專家們把主要注意 力集中在分析現(xiàn)有的( 已知的) 入侵方法以及系統(tǒng)的脆弱性上，i f | i 使得 d s 無法有效的檢測出為止的攻擊。開發(fā)新的入侵模塊由于固有的學習曲線變 得緩慢。 在可擴展性方面，當前的入侵檢測系統(tǒng)也有所欠缺。由于專家制訂的規(guī)則 以及描述系統(tǒng)的特征屬性都是與環(huán)境榭關(guān)的，所以在新的計算環(huán)境對i d s 進行重用或者定制都冠得比較困難。而當前大多數(shù)入侵檢測系統(tǒng)都是集中 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 式的，對其補充新的檢測模塊將變得異常困難。 當前一些入侵檢測系統(tǒng)已經(jīng)在可擴展性和定制化方面做了一些工作，如 b r o 1 2 】和n f r 1 3 1 ，它們將網(wǎng)絡(luò)業(yè)務(wù)流解析成為一系列的事件，并執(zhí)行相應(yīng)的腳本 語言來對事件進行處理，例如b r o 的策略腳本和n f r 的n c o d e ，它們都包含了與 網(wǎng)絡(luò)節(jié)點相關(guān)的事件處理機制。這就需要系統(tǒng)管理人員既充當安全專家的角色， 又充當i d s 構(gòu)建者的角色，他們必須為處理事件書寫正確的函數(shù)。這就產(chǎn)生了許 多不足，如規(guī)則書寫工作量大、由于書寫錯誤( 沒有合適的規(guī)則調(diào)試工具) 或制 定規(guī)則的安全專家的考慮不周而引起檢測精確度降低。需要建立一套更加系統(tǒng) 化、自動化的方法來進行i d s 的構(gòu)建。 這些與攻擊密切相關(guān)的信息就隱藏在激增的數(shù)據(jù)背后，人們希望能夠?qū)@些 數(shù)據(jù)進行更高抽象層次的分析，以便能更好的利用這些數(shù)據(jù)。目前的審計系統(tǒng)可 以高效的實現(xiàn)安全審計數(shù)據(jù)的輸入、查詢、統(tǒng)計等功能，但無法發(fā)現(xiàn)數(shù)據(jù)中存在 的關(guān)聯(lián)、關(guān)系和規(guī)則，缺乏挖掘數(shù)據(jù)背后隱藏的知識的手段，導致了“數(shù)據(jù)爆炸 但知識貧乏”的現(xiàn)象。針對這些問題，人們開始利用機器學習、數(shù)據(jù)挖掘、和 概率統(tǒng)計等理論來研究入侵檢測規(guī)則自動生成技術(shù)。 如何在海量的審計數(shù)據(jù)中提取出具有代表性的系統(tǒng)特征模式，用于對程序或 用戶行為做出描述，是實現(xiàn)入侵檢測系統(tǒng)的關(guān)鍵。為了對審計數(shù)據(jù)進行全面、高 速和準確的分析，需要利用如數(shù)據(jù)挖掘( d a t am i n i n g ) 、機器學習( m a c h i n e l e a r n i n g ) 等智能方法來處理安全事件數(shù)據(jù)，從包含大量冗余信息的數(shù)據(jù)中提取 出盡可能多的隱藏的安全信息，這些知識是隱含的、事先未知的、潛在的有用信 息，提取的知識表示為概念、規(guī)則、規(guī)律、模式等形式 1 4 , 1 5 l ，并可用這些知識 去檢測異常入侵和已知的入侵。我們的目標是利用數(shù)據(jù)挖掘技術(shù)，從數(shù)據(jù)分析的 角度對誤用檢測和異常檢測、基于主機和基于網(wǎng)絡(luò)的系統(tǒng)用統(tǒng)一的方法來進行處 理，力求用一種自動和系統(tǒng)的手段建立一套自適應(yīng)的，具備良好擴展性的入侵檢 測系統(tǒng)。 1 3 本文的結(jié)構(gòu)和內(nèi)容 本文篇章如下安排： 第一章對入侵檢測進行概述和歸類，并指出當前入侵檢測系統(tǒng)存在的問題 中山大學碩士學位論文 基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 概括本文的研究重點。 第二章講述入侵檢測模式學習技術(shù)研究的理論基礎(chǔ)數(shù)據(jù)挖掘，基于數(shù)據(jù) 挖掘理論對入侵檢測模式學習技術(shù)依次進行介紹，并且給出使用數(shù)據(jù)挖掘技術(shù)的 入侵檢測系統(tǒng)的一般模型。 第三章著重講述構(gòu)建入侵模式的工具分類算法，并通過實現(xiàn)c 4 5 分類算 法以及根據(jù)審計數(shù)據(jù)得到分類模型的實驗，得出結(jié)論：影響入侵檢測分類模型準 確性的重要因素在于對特征屬性的合理選?。粎⒖碱I(lǐng)域知識，從時間上對審計數(shù) 據(jù)進行統(tǒng)計，可以得到所需的特征屬性，以改善分類模型。 第四章在d a r p a 提供的用于入侵檢測評估的t c p d u m p 日志數(shù)據(jù)上，使用預(yù)處 理技術(shù)，特征構(gòu)造和分類算法進行入侵模型的構(gòu)建，構(gòu)建過程中對訓練數(shù)據(jù)進行 概念分層，提高分類模型的準確率。 第五章對全文進行總結(jié)，并提出后續(xù)工作方向。 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 第2 章數(shù)據(jù)挖掘 本章首先介紹入侵檢測模式學習技術(shù)研究的理論基礎(chǔ)數(shù)據(jù)挖掘，其次基 于數(shù)據(jù)挖掘理論對入侵檢測模式學習技術(shù)進行分類介紹，最后給出使用數(shù)據(jù)挖掘 技術(shù)的入侵檢測系統(tǒng)的一般模型。 2 1 數(shù)據(jù)挖掘過程 簡單的說數(shù)據(jù)挖掘是從海量數(shù)據(jù)中提取或挖掘知識，很多情況下等同于另一 個常用的術(shù)語：數(shù)據(jù)庫中的知識發(fā)現(xiàn)( k d d ，k n o w l e d g e d i s c o v e r y i n d a t a b a s e ) 。 這些模式或知識可以用來做出預(yù)測。在知曉了一定的領(lǐng)域知識之后，數(shù)據(jù)挖掘過 程大體可以被劃分為3 個基本環(huán)節(jié)( 見圖2 1 ) 。 匝圈_ 匝墮一 匠 圖2 - 1 數(shù)據(jù)挖掘基本過程 以下對圖2 1 中數(shù)據(jù)挖掘的3 個基本環(huán)節(jié)進行介紹說明。 - 訓練數(shù)據(jù)采集 訓練數(shù)據(jù)采集是數(shù)據(jù)挖掘的第1 步，要求采集到的訓練數(shù)據(jù)盡可能覆蓋所要 構(gòu)造數(shù)據(jù)模式的信息，否則構(gòu)造出的數(shù)據(jù)模式就不能很好的對數(shù)據(jù)進行處理，因 此訓練數(shù)據(jù)的質(zhì)量對數(shù)據(jù)模式的構(gòu)造有著至關(guān)重要的影響，在誤用入侵檢測模型 的建造過程中需要保證采集到的日志數(shù)據(jù)包含的信息足夠描述入侵行為。 i 7 i l 練數(shù)據(jù)預(yù)處理 由于現(xiàn)實世界中的數(shù)據(jù)多半是不完整的、有噪音的和不一致的，因此需要通 過對訓練數(shù)據(jù)進行預(yù)處理來提高訓練數(shù)據(jù)質(zhì)量。訓練數(shù)據(jù)預(yù)處理主要包括數(shù)據(jù)清 理、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)歸約4 種，處理過程這4 種處理過程的具體含義如 下： 數(shù)據(jù)清理的目的主要是用于清除訓練數(shù)據(jù)中的噪音，修正數(shù)據(jù)中的不一 致和空缺值的處理： 數(shù)據(jù)集成則是將來自多個數(shù)據(jù)源的數(shù)據(jù)進行合并處理： 數(shù)據(jù)變換是將數(shù)據(jù)轉(zhuǎn)換成適合模式學習的形式，例7 l h i ) l l 練數(shù)據(jù)特征屬性 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 的抽取，即通過對訓練數(shù)據(jù)進行統(tǒng)計分析構(gòu)造出新的數(shù)據(jù)特征屬性，以 便更有利于數(shù)據(jù)模式的構(gòu)造； 數(shù)據(jù)歸約的目的是通過刪除訓練數(shù)據(jù)中的冗余特征屬性或采用聚類等方 法來壓縮訓練數(shù)據(jù)的數(shù)量，以降低數(shù)據(jù)分析的復雜度和縮短數(shù)據(jù)模式構(gòu) 造的處理時間，例如特征選擇就屬于數(shù)據(jù)歸約技術(shù)的一種。 訓練學習 訓練學習就是在選用的特征屬性空間中，利用數(shù)理統(tǒng)計的方法把被識別對象 進行歸類，基本做法是在樣本數(shù)據(jù)實例訓練集基礎(chǔ)上確定某個判決規(guī)則，使按這 種判決規(guī)則對被識別對象進行分類所造成的錯誤率最小。 2 2 數(shù)據(jù)挖掘算法 數(shù)據(jù)挖掘功能用于指定數(shù)據(jù)挖掘任務(wù)中要尋找的模式類型。數(shù)據(jù)挖掘任務(wù)一 般可以分為兩類：描述和預(yù)測。描述性挖掘任務(wù)刻畫數(shù)據(jù)庫中數(shù)據(jù)的一般特性； 預(yù)測性挖掘任務(wù)在當前數(shù)據(jù)上進行推斷以進行預(yù)測。 在某些情況下用戶不知道他們的數(shù)據(jù)中什么類型的模式是有趣的，因此可能 想并行的搜索多種不同的模式。這樣，重要的是數(shù)據(jù)挖掘系統(tǒng)要能夠挖掘多種類 型的模式，以適應(yīng)不同的用戶需求或不同的應(yīng)用。此外數(shù)據(jù)挖掘系統(tǒng)應(yīng)當能夠發(fā) 現(xiàn)各種粒度( 即不同的抽象層) 的模式。數(shù)據(jù)挖掘系統(tǒng)應(yīng)當允許用戶給出提示， 指導或聚焦有趣模式的搜索。由于有些模式并非對數(shù)據(jù)庫中的所有數(shù)據(jù)都成立， 通常每個被發(fā)現(xiàn)的模式帶上一個確定性或可信性度量，建立入侵檢測模型比較合 適的挖掘類型如下： 關(guān)聯(lián)分析 關(guān)聯(lián)分析【1 6 】( a s s o c i a t i o na n a l y s i s ) 發(fā)現(xiàn)關(guān)聯(lián)規(guī)則( a s s o c i a t i o nr u l e s ) ， 這些規(guī)則展示屬性值頻繁的、在給定數(shù)據(jù)集中一起出現(xiàn)的條件。關(guān)聯(lián)分析廣 泛用于購物籃或事務(wù)數(shù)據(jù)分析，更形式的關(guān)聯(lián)規(guī)則是形如x = y 即 “a l “a 2 “a 。= b l b 2 “b ?！钡囊?guī)則，其中a i ( i 1 ，m ) ) ，b j ( j 1 ，n ) 是屬性一值對。關(guān)聯(lián)規(guī)則x = y 解釋為“滿足x 中條件的數(shù)據(jù)庫元 組多半也滿足y 中的條件”。例如給定一個關(guān)于公司顧客的關(guān)系數(shù)據(jù)庫，一 個數(shù)據(jù)挖掘系統(tǒng)可能發(fā)現(xiàn)如下形式的關(guān)聯(lián)規(guī)則： 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 a g e ( x ，“2 0 2 9 ”) “i n c o m e ( x ，“2 0 k 2 9 k ”) = b u y s ( x ，“c d _ p l a y e r ”) 【s u p p o r t = 2 ，c o n f i d e n c e 2 6 0 其中x 是變量，代表顧客。該規(guī)則說明，所研究的數(shù)據(jù)庫中顧客2 ( 支持度 在2 0 2 9 歲) ，年收入2 0 k 一2 9 k ，并且在該公司購買c d 機。這個年齡和收入組的 顧客購買c d 機的可能性有6 0 ( 置信度或可信性) 。這是一個以上屬性或謂詞 之間的關(guān)聯(lián)，采用多維數(shù)據(jù)庫使用的術(shù)語，每個屬性稱為一維，上面的規(guī)則可以 稱作多維關(guān)聯(lián)規(guī)則。 假定作為該公司的市場部經(jīng)理，想知道一個事務(wù)中哪些商品經(jīng)常被一塊購 買，這種規(guī)則的一個例子是 c o n t a i n s ( t ，”c o m p u t e r = c o n t a i n s ( t ，”s o f t w a r e ”) 【s u p p o r t = - 1 ，c o n f i d e n c e = 5 0 該規(guī)則說明，如果事務(wù)t 包含c o m p u t e r ，則它也包含s o f t w a r e 的可能性有5 0 ， 并且所有事務(wù)的1 包含二者。這條規(guī)則涉及單個重復的屬性或謂詞( 即 c o n t a i n s ) 。包含單個謂詞的關(guān)聯(lián)規(guī)則稱作單維關(guān)聯(lián)規(guī)則。去掉謂詞符號，上面 的規(guī)則可以簡單寫成c o m p u t e r = s o f t w a r e 1 ，5 0 】。 分類和預(yù)測 分類( c l a s s i f i c a t i o n ) 找出描述并區(qū)分數(shù)據(jù)類或概念的模型( 或函數(shù)) ， 以便能夠使用模型預(yù)測類標記未知的對象類。導出模型是基于對訓練數(shù)據(jù)集 ( 即其類標記一致的數(shù)據(jù)對象) 的分析。 導出模式可以用多種形式表示，如分類i f t h e n 規(guī)則、決策樹【1 7 】、數(shù)學公 式或神經(jīng)網(wǎng)絡(luò)1 8 】。決策樹是一個類似于流程圖的樹結(jié)構(gòu)，每個節(jié)點代表一個 屬性值上的測試，每個分枝代表測試的一個輸出，樹葉代表類或類分布。決 策樹容易轉(zhuǎn)換為分類規(guī)則。當用于分類時，神經(jīng)網(wǎng)絡(luò)是一組類似于神經(jīng)元的 處理單元與單元之間加權(quán)連接。 分類可以用來預(yù)測數(shù)據(jù)對象的類標記，然而在某些應(yīng)用中，人們可能希 望預(yù)測某些空缺的或未知的數(shù)據(jù)值，而不是類標記。當被預(yù)測的值是數(shù)值數(shù) 據(jù)時，通常稱之為預(yù)測。預(yù)測也包含基于可用數(shù)據(jù)的分布趨勢識別。分類的 詳細步驟在第三章介紹。 一聚類分析 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 與分類和預(yù)測不同，聚類( c l u s t e r i n g ) 分析數(shù)據(jù)對象而不考慮己知的類標 記。一般情況下，訓練數(shù)據(jù)中不提供類標記，因為不知道從何開始。聚類可以用 于產(chǎn)生這種標記。對象根據(jù)最大化類內(nèi)的相似性、最小化類問的相似性的原則進 行聚類或分組。即對象的簇在形成過程中，使得在一個簇中的對象具有很高的相 似性，而與其他簇中的對象很不相似。所形成的每個簇可以看作一個對象類。由 它可以導出規(guī)則。聚類也便于分類編制，將觀察到的內(nèi)容組織成類分層結(jié)構(gòu)，把 類似的事件組織在一起。 2 3 通過數(shù)據(jù)挖掘建立入侵檢測模型 基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng)d m i d s 的系統(tǒng)結(jié)構(gòu)示意圖如圖2 3 所示，其 中左列為系統(tǒng)的訓練階段，根據(jù)歷史審計數(shù)據(jù)生成入侵檢測的知識庫：右列為實 際的入侵檢測過程。 訓l 練階段： 圖2 3 基于數(shù)據(jù)挖掘的入侵檢測系統(tǒng)一般流程 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 數(shù)據(jù)源：按照需要的不同，數(shù)據(jù)源可以是網(wǎng)絡(luò)數(shù)據(jù)，也可以是主機數(shù)據(jù)。 當網(wǎng)絡(luò)數(shù)據(jù)流在網(wǎng)段中傳輸時，采用特殊的數(shù)據(jù)提取技術(shù)收集網(wǎng)絡(luò)中傳 輸?shù)臄?shù)據(jù)，作為入侵檢測中的網(wǎng)絡(luò)數(shù)據(jù)源?；谥鳈C的數(shù)據(jù)源主要包括 以下兩種類型：操作系統(tǒng)的歷史審計記錄和系統(tǒng)日志，還包括基于應(yīng)用 的審計信息和基于目標的對象信息。1 9 9 9 年美國國防部高級計劃署 d a r p a 提供了用于基于網(wǎng)絡(luò)的入侵檢測系統(tǒng)評估的數(shù)據(jù)【2 0 l 包括了7 個 星期中大約5 0 0 萬次會話，其中包含上百次攻擊。同時該數(shù)據(jù)中也包含了 大量的t e l n e t 會話記錄，也為生成基于s h e l l 命令的用戶行為異常檢測提供 了數(shù)據(jù)源。另外，u n m 和c e r t 提供了大量的有關(guān)主機系統(tǒng)調(diào)用序列的數(shù) 據(jù)【2 “。我們的研究工作中使用d a r p a 訓練數(shù)據(jù)的8 0 的來進行規(guī)則庫的 生成維護，其余2 0 的數(shù)據(jù)用來對該系統(tǒng)進行實驗評估。 數(shù)據(jù)預(yù)處理及特征屬性提?。簩⑷罩局械木W(wǎng)絡(luò)的數(shù)據(jù)包還原成基于傳輸 層的連接記錄，從中提取出可以用于對傳輸層連接記錄進行分類的特征 屬性( f e a t u r e s ) 。對于在傳輸層無法判斷的連接記錄，則進行高層的協(xié) 議解析，按照服務(wù)類型分解成相應(yīng)的會話( 例如f t pt e l n e t 等) ，針對每一 種高層協(xié)議，提取出可以用于判斷的特征屬性，得到用來生成規(guī)則的訓 練數(shù)據(jù)。對于主機審計數(shù)據(jù)，則可以不用協(xié)議解析這一步，審計數(shù)據(jù)可 以直接用來進行關(guān)聯(lián)分析和序列分析。 數(shù)據(jù)挖掘：針對不同的用途，采用不同的數(shù)據(jù)挖掘算法，生成可用于入 侵檢測的規(guī)則，用來描述用戶的正常行為、異常行為以及入侵行為。目 前存在許多現(xiàn)成的k d d 算法可以使用，但是這些都是通用算法，未考慮 任何領(lǐng)域知識，如果算法不加修改，運行會產(chǎn)生大量無意義的結(jié)果。實 際應(yīng)用的時候應(yīng)根據(jù)具體需求將基本算法進行擴展，使結(jié)果合理化。美 國哥倫比亞大學w l e e 研究組根據(jù)先驗知識，在控制挖掘過程中，從t c p 會話記錄中的各變量劃分為軸心變量和參考變量 2 2 , 2 3 i ，用來對生成的規(guī) 則進行初步篩選。對于新發(fā)現(xiàn)的規(guī)則，除了判定其是否描述了攻擊之外， 還需要根據(jù)它與規(guī)則庫中已存在的規(guī)則之間的相似性度量閩值來決定是 否對規(guī)則庫進行更新。我們采用c 4 5r u l e 算法對訓練數(shù)據(jù)進行分類，并 對控制算法的過程進行了進一步的修正，改支持度為相對支持度( 針對 中山大學碩士學位論文基于數(shù)據(jù)挖掘技術(shù)的入侵檢測模型構(gòu)建 某一變量而言) ，避免了遺漏一些出現(xiàn)頻率低但是比較重要的變量所對應(yīng) 的規(guī)則。 入侵檢測階段： 數(shù)據(jù)源：對基于網(wǎng)絡(luò)數(shù)據(jù)的入侵檢測系統(tǒng)，通常用l i b p c a p 接口從鏈路 層獲取數(shù)據(jù)幀，作為下一步處理的數(shù)據(jù)源?；谥鳈C的數(shù)據(jù)源是操作系統(tǒng)的當前 審計記錄和系統(tǒng)日志。 數(shù)據(jù)預(yù)處理及特征屬性提?。号c訓練階段的過程相同，該過程的輸出結(jié) 果是用戶的當前行為模式，并作為下一步入侵檢測的輸入。 入侵檢測：將當前行為模式與根據(jù)訓練階段得到的正常、異常模式以及 入侵規(guī)則進行比較，判斷出入侵是否發(fā)生，以及發(fā)生的是何種入侵。目 前各種分析技術(shù)都有發(fā)展，s n o r t $ 口b r o 系統(tǒng)采用的是簡單模式匹配； n i d e sd i d s 和c m d s 等采用專家系統(tǒng)；而u s t a tn s t a t 等實現(xiàn)了狀態(tài) 轉(zhuǎn)移法，i d i o t 系統(tǒng)使用了著色p e t r i 網(wǎng)。而n f r 系統(tǒng)則實現(xiàn)了基于語言 應(yīng)用程序接口的檢測模型( n c o d e 語言) 。u n m 的s t e p h a n i ef o r r e s t 研究 組進行的針對主機系統(tǒng)調(diào)用的審計數(shù)據(jù)分析處理，提出短序列匹配算法 進行當前行為模式與歷史行為模式的比較。 響應(yīng)：系統(tǒng)作出報警、采取防護措施防止進一步入侵，以及記錄日志等 不同的響應(yīng)方法。同時，系統(tǒng)繼續(xù)對當前用戶行為或者