入侵檢測系統(tǒng)評估第1頁，課件共31頁，創(chuàng)作于2023年2月

6.1入侵檢測系統(tǒng)的主要性能參數(shù)

在對入侵檢測系統(tǒng)的性能進行分析時，應重點考慮檢測的有效性、效率和可用性。

有效性：研究檢測機制的檢測精確度和系統(tǒng)報警的可信度，它是開發(fā)設計和應用IDS的前提和目的，是測試評估IDS的主要指標。

效率：從檢測機制處理數(shù)據(jù)的速度以及經(jīng)濟角度來考慮，側重檢測機制性能價格比的改進。第2頁，課件共31頁，創(chuàng)作于2023年2月6.1.1檢測率、虛報率與報警可信度

人們希望檢測系統(tǒng)能夠最大限度地把系統(tǒng)中的入侵行為與正常行為區(qū)分開來，這就涉及到入侵檢測系統(tǒng)對系統(tǒng)正常行為（或入侵行為）的描述方式、檢測模型與檢測算法的選擇。

如果檢測系統(tǒng)不能夠精確地描述系統(tǒng)的正常行為（或入侵行為），那么，系統(tǒng)必然會出現(xiàn)各種誤報。如果檢測系統(tǒng)把系統(tǒng)的“正常行為”作為“異常行為”進行報警，這種情況就是虛報（FalsePositive）。如果檢測系統(tǒng)對部分針對系統(tǒng)的入侵活動不能識別、報警，這種情況被稱做漏報（FalseNegative）。第3頁，課件共31頁，創(chuàng)作于2023年2月

1.檢測率與虛報率

可以用貝葉斯理論來分析基于異常性檢測的入侵檢測系統(tǒng)的檢測率、虛報率與報警可信度之間的關系，并在此基礎上分析它們對異常性檢測算法性能的影響。

入侵檢測問題可看做是一個簡單的二值假設檢驗問題。首先給出一系列相關的定義和符號：

假設I與I分別表示入侵行為和目標系統(tǒng)的正常行為，A代表檢測系統(tǒng)發(fā)出入侵報警，A表示檢測系統(tǒng)沒有報警。

檢測率：被監(jiān)控系統(tǒng)受到入侵攻擊時，檢測系統(tǒng)能夠正確報警的概率，可表示為P(A/I)。通常利用已知入侵攻擊的實驗數(shù)據(jù)集合來測試入侵檢測系統(tǒng)的檢測率。第4頁，課件共31頁，創(chuàng)作于2023年2月虛報率：指檢測系統(tǒng)在檢測時出現(xiàn)虛報警的概率，可表示為P(A/I)?？衫靡阎南到y(tǒng)正常行為作為實驗數(shù)據(jù)集，通過系統(tǒng)仿真獲得檢測系統(tǒng)的近似虛報率。

另外，概率P(A/I)代表檢測系統(tǒng)的漏報率，P(A/I)則指目標系統(tǒng)正常（沒有入侵攻擊）的情況下，檢測系統(tǒng)不報警的概率。顯然有第5頁，課件共31頁，創(chuàng)作于2023年2月在實際應用中，主要關注的是一個入侵檢測系統(tǒng)的報警結果能否正確地反映目標系統(tǒng)的安全狀態(tài)。下面的兩個參數(shù)則從報警信息的可信度方面考慮檢測系統(tǒng)的性能：

P(A/I)給出了檢測系統(tǒng)報警信息的可信度，即檢測系統(tǒng)報警時，目標系統(tǒng)正受到入侵攻擊的概率。

P(A/I)給出了檢測系統(tǒng)未發(fā)出報警信息的可信度，即檢測系統(tǒng)未報警時，目標系統(tǒng)未受到入侵攻擊的概率。

為使入侵檢測系統(tǒng)更有效，系統(tǒng)的這兩個參數(shù)的值越大越好。根據(jù)貝葉斯定理可以得出這兩個參數(shù)的計算公式：（6.1）第6頁，課件共31頁，創(chuàng)作于2023年2月同理：（6.2）第7頁，課件共31頁，創(chuàng)作于2023年2月在實際應用過程中，檢測率的好壞是由IDS的兩個部分決定的。一是IDS的抓包能力，二是IDS的檢測引擎。為了達到100％的檢測率，IDS首先要把需要的數(shù)據(jù)包全部抓上來，送給檢測引擎。在網(wǎng)絡流量相同的情況下，數(shù)據(jù)包越小，數(shù)據(jù)包的個數(shù)就越多，IDS的抓包引擎是對數(shù)據(jù)包一個一個進行處理的，因此數(shù)據(jù)包越小，抓包引擎能處理的網(wǎng)絡流量就越小。相比之下，數(shù)據(jù)包的大小對IDS檢測引擎的影響程度較小，因為雖然檢測引擎對每個數(shù)據(jù)包都要解析數(shù)據(jù)包頭，但它同樣要檢測每個數(shù)據(jù)包的內容，總量是一樣的，因此數(shù)據(jù)包的大小對檢測引擎基本沒有影響。第8頁，課件共31頁，創(chuàng)作于2023年2月數(shù)據(jù)包抓上來之后，需要經(jīng)過檢測引擎的檢測才能引發(fā)告警。在檢測引擎的處理過程中，數(shù)據(jù)包的各種因素都會影響檢測引擎的效率。不同的IDS產(chǎn)品因為其檢測引擎中對數(shù)據(jù)包的處理有側重點，因此不同內容的背景數(shù)據(jù)流會嚴重影響產(chǎn)品的檢測率。當通過不同內容的背景數(shù)據(jù)流，可以判斷出IDS檢測引擎在某些方面的優(yōu)劣。數(shù)據(jù)包中的數(shù)據(jù)內容也很關鍵，如果背景數(shù)據(jù)流中包含大量敏感的關鍵字，能引發(fā)一種IDS產(chǎn)品告警，而對另一種IDS產(chǎn)品可能并不引發(fā)告警，這樣的數(shù)據(jù)包內容就影響了引擎的效率。即使在不引發(fā)告警的條件下，背景數(shù)據(jù)流的數(shù)據(jù)內容也對檢測引擎影響很大。第9頁，課件共31頁，創(chuàng)作于2023年2月實際上IDS的實現(xiàn)總是在檢測率和虛報率之間徘徊，檢測率高了，虛報率就會提高；同樣,虛報率降低了，檢測率也就會降低。一般地，IDS產(chǎn)品會在兩者中取一個折中，并且能夠進行調整，以適應不同的網(wǎng)絡環(huán)境。美國的林肯實驗室用接收器特性(ReceiverOperatingCharacteristic,ROC)曲線來描述IDS的性能。該曲線準確刻畫了IDS的檢測率與虛報率之間的變化關系。ROC廣泛用于輸入不確定的系統(tǒng)的評估。根據(jù)一個IDS在不同的條件(在允許范圍內變化的閾值，例如異常檢測系統(tǒng)的報警門限等參數(shù))下的虛報率和檢測率，分別把虛報率和檢測率作為橫坐標和縱坐標，就可做出對應于該IDS的ROC曲線。ROC曲線與IDS的檢測門限具有對應的關系。第10頁，課件共31頁，創(chuàng)作于2023年2月在現(xiàn)實中，虛報不會引起什么危害，因為事件本身是一個正常的事件。虛報的壞處可能就是浪費了安全管理員的一些閱讀和檢查的時間；而漏報則是一個很嚴重的錯誤。實際上，漏報就等于入侵事件沒有被檢測出來，對系統(tǒng)可能會引起很大的危害。

通常來講，如果一個系統(tǒng)的虛報越多，它的漏報就越少。反過來，如果虛報越少，漏報則可能會越多。這是因為，虛報越多表示入侵檢測系統(tǒng)對事件的警覺程度越高，這樣，它忽略入侵的事件造成漏報的可能性就越小。從檢測技術的角度來看，入侵檢測系統(tǒng)對事件的警覺程度越高意味著檢測算法對入侵事件的約束條件越緊；如果虛報越少，表示入侵檢測系統(tǒng)對事件的警覺程度越低，這樣，它忽略入侵事件的可能性就越大，也就是說，入侵檢測系統(tǒng)對事件的警覺程度越低，意味著檢測算法對入侵事件的約束條件越寬松。所以，誤用檢測技術所造成的虛報并不高，但很可能會漏掉一些入侵事件，特別是新的入侵類型。第11頁，課件共31頁，創(chuàng)作于2023年2月

2.ROC曲線

ROC曲線以圖形方式來表示正確報告率和誤報率的關系。ROC曲線是基于正確報告率和誤報率的關系來描述的。這樣的圖稱為諾模圖（Nomo－gram），它在數(shù)學領域用于表示數(shù)字化的關系。選好一個臨界點（CutoffPoint）之后，就可以從圖中確定IDS的正確報告率和誤報率。曲線的形狀直接反映了IDS產(chǎn)品的準確性和總體品質。如果一條直線向上，然后向右方以45°角延伸，就是一個非常失敗的IDS，它毫無用處；相反，ROC曲線下方的區(qū)域越大，IDS的準確率越高。如圖6.1所示，IDSB的準確性高于IDSC，類似地，IDSA在所有的IDS中具有最高的準確性。第12頁，課件共31頁，創(chuàng)作于2023年2月圖6.1

ROC曲線第13頁，課件共31頁，創(chuàng)作于2023年2月在測試評估IDS的具體實施過程中，除了要IDS的檢測率和虛報率之外，往往還會單獨考慮與這兩個指標密切相關的一些因素，比如能檢測的入侵特征數(shù)量、IP碎片重組能力、TCP流重組能力。顯然，能檢測的入侵特征數(shù)量越多，檢測率也就越高。此外，由于攻擊者為了加大檢測的難度甚至繞過IDS的檢測，常常會發(fā)送一些特別設計的分組。為了提高IDS的檢測率，降低IDS的虛報率，IDS常常需要采取一些相應的措施，比如IP碎片能力、TCP流重組。由于分析單個的數(shù)據(jù)分組會導致許多誤報和漏報，所以IP碎片的重組可以提高檢測的精確度。IP碎片重組的評測標準有三個性能參數(shù):能重組的最大IP分片數(shù)、能同時重組的IP分組數(shù)、能進行重組的最大IP數(shù)據(jù)分組的長度。TCP流重組是為了對完整的網(wǎng)絡對話進行分析，它是網(wǎng)絡IDS對應用層進行分析的基礎，如檢查郵件內容和附件、檢查FTP傳輸?shù)臄?shù)據(jù)、禁止訪問有害網(wǎng)站、判斷非法HTTP請求等。這些因素都會直接影響IDS的檢測可信度。第14頁，課件共31頁，創(chuàng)作于2023年2月6.1.2抗攻擊能力

和其它系統(tǒng)一樣，IDS本身也往往存在安全漏洞。若對IDS攻擊成功，則直接導致其報警失靈，入侵者在其后所作的行為將無法被記錄，因此IDS首先必須保證自己的安全性。IDS本身的抗攻擊能力也就是IDS的可靠性，用于衡量IDS對那些經(jīng)過特別設計直接以IDS為攻擊目標的攻擊的抵抗能力。它主要體現(xiàn)在兩個方面：一是程序本身在各種網(wǎng)絡環(huán)境下能夠正常工作；二是程序各個模塊之間的通信能夠不被破壞，不可仿冒，此外要特別考慮抵御拒絕服務攻擊的能力。如果IDS本身不能正常運行，也就失去了它的保護意義。而如果系統(tǒng)各模塊間的通信遭到破壞，那系統(tǒng)的報警之類的檢測結果也就值得懷疑，應該有一個良好的通信機制保證模塊間通信的安全并能在出問題時能夠迅速恢復。第15頁，課件共31頁，創(chuàng)作于2023年2月6.1.3其它性能指標

1.延遲時間

檢測延遲指的是在攻擊發(fā)生至IDS檢測到入侵之間的延遲時間。延遲時間的長短直接關系著入侵攻擊破壞的程度。

2.資源的占用情況

資源的占用情況是指系統(tǒng)在達到某種檢測有效性時對資源的需求情況。通常，在同等檢測有效性的前提下，對資源的要求越低，IDS的性能越好，檢測入侵的能力也就越強。第16頁，課件共31頁，創(chuàng)作于2023年2月

3.負荷能力

IDS有其設計的負荷能力，在超出負荷能力的情況下，性能會出現(xiàn)不同程度的下降。比如，在正常情況下IDS可檢測到某攻擊,但在負荷大的情況下可能就檢測不出該攻擊。考察檢測系統(tǒng)的負荷能力就是觀察不同大小的網(wǎng)絡流量、不同強度的CPU內存等系統(tǒng)資源的使用對IDS的關鍵指標（比如檢測率、虛警率）的影響。第17頁，課件共31頁，創(chuàng)作于2023年2月

4.日志、報警、報告以及響應能力

日志能力是指檢測系統(tǒng)保存日志的能力,按照特定要求選取日志內容的能力。報警能力是指在檢測到入侵后，向特權部件、人員發(fā)送報警信號的能力以及在報警中附加信息的能力。報告能力是指產(chǎn)生入侵行為報告、提供查詢報告、創(chuàng)建和保存報告的能力。響應能力是指在檢測到入侵后進一步處理的能力，這包括阻斷入侵、跟蹤入侵者、記錄入侵證據(jù)等。

5.系統(tǒng)的可用性

系統(tǒng)的可用性主要是指系統(tǒng)安裝、配置、管理、使用的方便程度，系統(tǒng)界面的友好程度，攻擊規(guī)則庫維護的簡易程度等方面。第18頁，課件共31頁，創(chuàng)作于2023年2月

6.檢測范圍

通常情況下，一個IDS能檢測到的攻擊是有一定范圍的。檢測范圍的考察，就是在一定的攻擊分類標準下，考察IDS對不同類型攻擊的檢測能力。

由此可以看出，IDS是個比較復雜的系統(tǒng)，對IDS進行測試和評估不僅和IDS本身有關，還與應用IDS的環(huán)境有關。測試過程中涉及到操作環(huán)境、網(wǎng)絡環(huán)境、工具、軟件、硬件等方面，既要考慮入侵檢測的效果如何，也要考慮應用該系統(tǒng)后它對實際系統(tǒng)的影響，有時要折中考慮這兩種因素。綜合起來，入侵檢測系統(tǒng)性能的參數(shù)主要有：檢測率、虛報率、漏報率、不報率等，從而可以由此計算出檢測系統(tǒng)報警信息的可信度。第19頁，課件共31頁，創(chuàng)作于2023年2月

6.2入侵檢測系統(tǒng)評估標準

6.2.1準確性（Accuracy）

準確性指入侵檢測系統(tǒng)能在各種行為中正確地檢測出系統(tǒng)入侵活動的能力。當一個入侵檢測系統(tǒng)的檢測不準確時，它就可能把系統(tǒng)中的合法活動當作入侵行為并標識為異常（虛警現(xiàn)象）。

準確性主要是指研究檢測機制的精確度和系統(tǒng)檢測結果的可信度。準確性包含幾個指標，即報警準確度（又稱檢測率、靈敏度）、誤警率、檢測可信度。這些指標既是開發(fā)和應用IDS的前提和目的，又是測試評估的主要指標。其中，第20頁，課件共31頁，創(chuàng)作于2023年2月具備較高的報警準確率是IDS的關鍵，是否智能、準確地報告非法入侵行為成為衡量一個入侵檢測產(chǎn)品優(yōu)劣的首要內容。誤警率指錯誤報警或未報警的比率，包括虛警率和漏報率，其中，報警準確率和誤警率是衡量IDS效率的兩個重要指標。誤警率和漏報率應盡量低。檢測可信度指某一次報警是真實的報警（正確檢測）的概率，反映的是檢測系統(tǒng)檢測結果的可信程度，也是IDS的重要指標，其取值與報警的次數(shù)、報警已逝去的時間等都有關系。第21頁，課件共31頁，創(chuàng)作于2023年2月評估IDS的準確性除了要考察以上指標外，還應該單獨考慮如下指標（但這些指標并不僅僅只反映IDS的準確性）：是否支持事件特征自定義、是否支持多級分布式結構和事件歸并、能檢測的入侵特征數(shù)量、IP碎片重組能力、TCP流重組能力、IDS對網(wǎng)絡流量的分析是否能達到足夠的抽樣比例、系統(tǒng)對變形攻擊的檢測能力、系統(tǒng)對碎片重組的檢測能力、系統(tǒng)對未發(fā)現(xiàn)漏洞特征的預報警能力、是否具有較低的漏報率、系統(tǒng)是否采取有效措施降低誤報率、是否具有高的報警成功率、在線升級和入侵檢測規(guī)則庫的更新是否快捷有效等。第22頁，課件共31頁，創(chuàng)作于2023年2月6.2.2完備性（Completeness）

完備性是指入侵檢測系統(tǒng)能夠檢測出所有攻擊行為的能力。如果存在一個攻擊行為，無法被入侵檢測系統(tǒng)檢測出來，那么該入侵檢測系統(tǒng)就不具有檢測完備性。由于在一般情況下，很難得到關于攻擊行為以及對系統(tǒng)特權濫用行為的所有知識，所以關于入侵檢測系統(tǒng)的檢測完備性的評估要相對困難得多。

由于通常不可能存在具有檢測完備性的IDS，因此提出一個新的概念：完備度。第23頁，課件共31頁，創(chuàng)作于2023年2月6.2.3容錯性（FaultTolerance）

IDS本身也是會存在安全漏洞的，若對入侵檢測系統(tǒng)攻擊成功，則會直接導致IDS報警失靈，系統(tǒng)將無法記錄入侵者在其后的所作所為。因此要求檢測系統(tǒng)必須是可容錯的，即使系統(tǒng)崩潰，檢測系統(tǒng)本身必須能保留下來，而不必重啟系統(tǒng)時必須重建知識庫。入侵檢測系統(tǒng)自身必須能夠抵御對它自身的攻擊，特別是拒絕服務攻擊（DenialOfService）。拒絕服務攻擊是指攻擊者通過某種手段，有意地造成計算機或網(wǎng)絡不能正常運轉從而不能向合法用戶提供所需要的服務或者降低其提供的服務質量。由于大多數(shù)入侵檢測系統(tǒng)是運行在極易遭受攻擊的操作系統(tǒng)和硬件平臺上，這就使得系統(tǒng)的容錯性變得特別重要，在設計入侵檢測系統(tǒng)時必須考慮。第24頁，課件共31頁，創(chuàng)作于2023年2月6.2.4及時性（Timeliness）

系統(tǒng)必須及時發(fā)現(xiàn)各種入侵行為，理想情況是事先發(fā)現(xiàn)攻擊企圖，比較現(xiàn)實的情況則是在攻擊行為發(fā)生的過程中檢測到攻擊行為。及時性要求系統(tǒng)必須盡快地分析數(shù)據(jù)并把分析結果傳播出去，以使系統(tǒng)安全管理者能夠在入侵攻擊尚未造成更大危害以前做出反應，阻止攻擊者顛覆審計系統(tǒng)甚至入侵檢測系統(tǒng)的企圖。如果是事后才發(fā)現(xiàn)攻擊的結果則必須保證時效性，因為一個已經(jīng)被攻擊過的系統(tǒng)往往意味著后門引入以及后續(xù)的攻擊行為。和上面的處理性能因素相比，及時性要求更高。它不僅要求入侵檢測系統(tǒng)的處理速度要盡可能地快，而且要求傳播、反應檢測結果信息的時間盡可能少。反映及時性的幾個重要指標是延遲時間、檢測時間、分析和關聯(lián)時間、響應時間等。第25頁，課件共31頁，創(chuàng)作于2023年2月6.2.5處理性能（Performance）

處理性能是指一個入侵檢測系統(tǒng)處理審計數(shù)據(jù)的速度。顯然，當入侵檢測系統(tǒng)的處理性能較差時，它就不可能實現(xiàn)實時的入侵檢測。

此外，一個完整的入侵檢測系統(tǒng)必須具備下列特點：

（1）經(jīng)濟性。為了保證系統(tǒng)安全策略的實施而引入的入侵檢測系統(tǒng)必須不妨礙系統(tǒng)的正常運行。

（2）安全性。入侵檢測系統(tǒng)自身必須安全，如果入侵檢測系統(tǒng)自身的安全性得不到保障，則意味著信息的無效，更為嚴重的是，入侵者控制了入侵檢測系統(tǒng)即獲得了對系統(tǒng)的控制權，因為一般情況下，入侵檢測系統(tǒng)都是以特權狀態(tài)運行的。第26頁，課件共31頁，創(chuàng)作于2023年2月（3）可擴展性?？蓴U展性有兩方面的意義：一是機制與數(shù)據(jù)的分離，在現(xiàn)在機制不變的前提下能夠對新的攻擊進行檢測，例如，使用特征碼來表示攻擊特性；二是體系結構的可擴展性，在有必要的時候可以在不對系統(tǒng)的整體結構進行修改的前提下加強檢測手段，以保證能夠檢測到新的攻擊，如AAFID系統(tǒng)的代謝機制。

IDS系統(tǒng)最終是要為用戶服務的，基于用戶的角度，可以簡單羅列出以下幾方面來評估IDS是否滿足用戶的需要：第27頁，課件共31頁，創(chuàng)作于2023年2月（1）IDS產(chǎn)品標識。

（2）IDS系統(tǒng)的文檔和技術支持。

（3）IDS系統(tǒng)功能。

（4）IDS的報告和審計能力。

（5）IDS系統(tǒng)的檢測和響應。

（6）IDS的安全管理能力。

（7）產(chǎn)品安裝和服務支持。第28頁，課件共31頁，創(chuàng)作于2023年2月評估入侵檢測系統(tǒng)非常困難，涉及到操作系統(tǒng)、網(wǎng)絡環(huán)境、工具、軟件、硬件和數(shù)據(jù)庫等技術方面的問題。IDS目前沒有工業(yè)標準可參考來評測，由于入侵檢測技術太新，為了跟上市場的增長步伐，商業(yè)的IDS新產(chǎn)品周期更新非常快。市場化的IDS產(chǎn)品很少去說明如何發(fā)現(xiàn)入侵者和日常運行所