1、基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化系統(tǒng)V1.0 技術研究報告北京郵電大學目錄第一章 基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化系統(tǒng)研究背景11.1 基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化系統(tǒng)研究背景及意義11.2 基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化技術現(xiàn)狀31.2.1基于網(wǎng)絡數(shù)據(jù)流量的網(wǎng)絡安全可視化31.2.2基于端口信息的網(wǎng)絡安全可視化31.2.3基于入侵檢測技術的網(wǎng)絡安全可視化41.2.4基于防火墻事件的網(wǎng)絡安全可視化41.2.5其它51.3 本章小結5第二章 基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化系統(tǒng)概述62.1 基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化的基本形式62.2 常用的八種數(shù)據(jù)可視化方法72.3 本章小結12第三章 基于大

2、數(shù)據(jù)的網(wǎng)絡安全信息可視化系統(tǒng)關鍵技術133.1用戶接口與體驗133.2圖像閉塞性的降低143.3 端口映射算法183.4 網(wǎng)絡安全態(tài)勢的評估與入侵分析193.5 本章小結21第一章 基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化系統(tǒng)研究背景1.1 基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化系統(tǒng)研究背景及意義隨著網(wǎng)絡的普及，互聯(lián)網(wǎng)上的各種應用得到了飛速發(fā)展，而諸多應用對網(wǎng)絡安全提出了更高的要求，網(wǎng)絡入侵給全球經(jīng)濟造成的損失也在逐年增長。然而目前網(wǎng)絡安全分析人員只能依靠一些網(wǎng)絡安全產(chǎn)品來分析大量的日志數(shù)據(jù)，從而分析和處理異常。但隨著網(wǎng)絡數(shù)據(jù)量的急劇增大，攻擊類型和復雜度的提升，這種傳統(tǒng)的分析方式已經(jīng)不再有效。如何幫助網(wǎng)絡安全

3、分析人員通過繁雜高維數(shù)據(jù)信息快速分析網(wǎng)絡狀況已經(jīng)成為網(wǎng)絡安全領域一個十分重要且迫切的問題。網(wǎng)絡安全可視化技術就是在這種情況下產(chǎn)生的。它將海量高維數(shù)據(jù)以圖形圖像的方式表現(xiàn)出來，通過在人與數(shù)據(jù)之間實現(xiàn)圖像通信，使人們能觀察到網(wǎng)絡安全數(shù)據(jù)中隱含的模式，能快速發(fā)現(xiàn)規(guī)律并發(fā)現(xiàn)潛在的安全威脅。網(wǎng)絡安全可視化的必要性一個安全系統(tǒng)至少應該滿足用戶系統(tǒng)的保密性、完整性及可用性要求。但是隨著網(wǎng)絡連接的迅速擴展，越來越多的系統(tǒng)遭受到入侵攻擊的威脅。而網(wǎng)絡安全產(chǎn)品是人們目前主要依賴的防入侵工具。網(wǎng)絡分析人員在使用網(wǎng)絡安全產(chǎn)品時，通常通過監(jiān)視和分析相應的網(wǎng)絡日志信息，找出可疑的事件做進一步診斷，最后對確定的異常和攻擊做

4、出回應。但是網(wǎng)絡分析人員分析如下問題時，通常會遇到如下困難：1）認知負擔過重。以入侵檢測系統(tǒng)為例，部署與喬治亞州技術學院的IDS傳感器平均每天要產(chǎn)生50000個報警，通過傳統(tǒng)分析日志信息的方式分析人員在一天有限的時間內(nèi)很難對這些報警逐一做出詳盡的分析和判斷。2）交互性不夠。當發(fā)現(xiàn)可疑事件時，現(xiàn)有的分析方式不能夠提供相關數(shù)據(jù)過濾、事件細節(jié)顯示等功能以幫助分析人員做出進一步有效的判斷。3）缺乏對網(wǎng)絡全局信息的認識。分析人員看到的往往都是單一的數(shù)據(jù)記錄，缺乏對網(wǎng)絡整體信息的了解，這使得他們很難識別出一些復雜的、協(xié)作式的和周期漫長的網(wǎng)絡異常事件。4）不能提前防御、預測攻擊。通過日志分析的方式很難發(fā)現(xiàn)一

5、些新的攻擊模式，也很難對攻擊的趨勢做出預測或者提前進行防范。因此，面對網(wǎng)絡安全所面臨的種種問題，必須尋求新的方法幫助安全分析人員更快速有效地識別網(wǎng)絡中的攻擊和異常事件。一個實用的方法是，將網(wǎng)絡數(shù)據(jù)以圖形圖像的方式表現(xiàn)出來，利用人們的視覺功能處理這些大量的數(shù)據(jù)信息，即將可視化技術引入到網(wǎng)絡安全領域?？梢暬ㄒ卜Q數(shù)據(jù)可視化）是一種計算和處理的方法，他將抽象的符號表示成具體的幾何關系，使研究者能親眼看見他們所模擬和計算的結果，使用戶以圖形圖像的方式重新分析數(shù)據(jù)。將可視化技術引入到網(wǎng)絡安全領域是對現(xiàn)有網(wǎng)絡安全研究分析方法的重大變革：1）可視化技術能使人們更容易感知網(wǎng)絡數(shù)據(jù)信息，且每次感知更多信息；2）

6、可以快速識別數(shù)據(jù)模式和數(shù)據(jù)差異、發(fā)現(xiàn)數(shù)據(jù)的異常值或錯誤；3）識別聚類，便于對網(wǎng)絡入侵事件進行分類；4）能從中發(fā)現(xiàn)新的攻擊模式，做到提前防御，對攻擊趨勢做出預測，等。網(wǎng)絡安全可視化的概念及研究步驟數(shù)據(jù)可視化（Data Visualization）包括科學計算可視化（Scientific Visualization）和信息可視化（Information Visualization）。其中科學計算可視化是指運用計算機圖形學和圖像處理技術，將科學計算、工程計算及測量工程產(chǎn)生的數(shù)據(jù)轉化為圖形或圖像，在屏幕上顯示出來并進行交互處理的理論、方法和技術。而信息可視化是用可交互的視覺表達方式來表現(xiàn)抽象的、非物理

7、的數(shù)據(jù)來增強對數(shù)據(jù)本質的認識。信息可視化涉及到人類認知學、人機交互、計算機圖形學、圖像技術、數(shù)據(jù)挖掘、模式識別等多學科的理論和方法，是一個新興的研究領域。信息可視化不僅用圖像來顯示多維的非空間數(shù)據(jù)，使用戶加深對數(shù)據(jù)含義的理解。而且用形象直觀的圖像來指引檢索過程,加快檢索速度。信息可視化目標是幫助人們增強認知能力，顯示的對象主要是多維的標量數(shù)據(jù)，重點在于設計和選擇什么樣的顯示方式，才能便于用戶了解龐大的多維數(shù)據(jù)和他們相互之間的關系。網(wǎng)絡安全可視化（Network Security Visualization）是信息可視化中的一個新興研究領域，它利用人類視覺對模型和結構的獲取能力，將抽象的網(wǎng)絡和系

8、統(tǒng)數(shù)據(jù)以圖形圖像的方式展現(xiàn)出來,幫助分析人員分析網(wǎng)絡狀況,識別網(wǎng)絡異常、入侵,預測網(wǎng)絡安全事件發(fā)展趨勢舊。它不僅能有效解決傳統(tǒng)分析方法在處理海量信息時面臨的認知負擔過重、缺乏對網(wǎng)絡安全全局的認識、交互性不強、不能對網(wǎng)絡安全事件提前預測和防御等一系列問題,而且通過在人與數(shù)據(jù)之間實現(xiàn)圖像通信,使人們能觀察到網(wǎng)絡安全數(shù)據(jù)中隱含的模式,為揭示規(guī)律和發(fā)現(xiàn)潛在的安全威脅提供有力的支持。網(wǎng)絡安全可視化要處理的往往是高維、無結構化的多變量數(shù)據(jù),同時這些數(shù)據(jù)具有規(guī)模大、非數(shù)值型等特點;在數(shù)據(jù)的關聯(lián)關系上面臨著關系隱式化、時間依賴性強、類型多等困難;在繪制方面也沒有統(tǒng)一的顯示模型。早在1995年mchar A.B

9、ecker就提出對網(wǎng)絡數(shù)據(jù)(網(wǎng)絡流量狀況)而非其拓撲結構進行信息可視化的概念。之后L.Gimrdin和R.F.Erbacher又分別研究了防火墻日志、IDs報警信息的可視化。隨著網(wǎng)絡安全技術尤其是網(wǎng)絡監(jiān)控、殺毒軟件、防火墻和入侵檢測系統(tǒng)的不斷發(fā)展,對網(wǎng)絡安全可視化的需求也越來越迫切,從2004年開始, 學術界和工業(yè)界每年召開一次網(wǎng)絡安全可視化國際會議（Visualization for Computer Security，VizSEC），這標志著網(wǎng)絡安全信息可視化真正得到大家重視。網(wǎng)絡安全可視化的研究,首先是數(shù)據(jù)源的選取。網(wǎng)絡安全可視化技術無論從早期針對網(wǎng)絡數(shù)據(jù)、入侵檢測系統(tǒng)、主機日志的可視化

10、,還是到現(xiàn)在針對網(wǎng)絡攻擊工具、DNs攻擊、無線網(wǎng)絡安全事件的可視化,解決不同的問題,均需要選擇不同的數(shù)據(jù)源。其次,可視化結構的選取。網(wǎng)絡安全可視化技術的一個關鍵技術是發(fā)現(xiàn)新穎的可視化結構來表示數(shù)據(jù)信息, 建立數(shù)據(jù)到可視化結構的映射。第三,網(wǎng)絡安全信息可視化的實時性、全局和局部信息(Context+Focus)并發(fā)顯示的設計。目前諸多網(wǎng)絡安全產(chǎn)品已有一定的實時功能,但通常只能提供給人們普通的日志信息,網(wǎng)絡安全可視化通過對全局和局部信息的并發(fā)顯示提供給人們更感興趣的信息。第四, 網(wǎng)絡安全可視化的人機交互設計階段。網(wǎng)絡安全可視化技術的視圖放縮、聚焦、關聯(lián)數(shù)據(jù)顯示、數(shù)據(jù)選擇和回放、歷史數(shù)據(jù)比較、與防火

11、墻進行聯(lián)動響應等人機交互功能將使得網(wǎng)絡安全產(chǎn)品更加易定制、易操作。1.2 基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化技術現(xiàn)狀1.2.1基于網(wǎng)絡數(shù)據(jù)流量的網(wǎng)絡安全可視化由于端口掃描、蠕蟲擴散以及拒絕服務攻擊等安全事件在流量方面具有明顯的一對一、一對多或多對一的特征,因此此類攻擊事件往往在流量方面出現(xiàn)明顯的異常,顯示網(wǎng)絡流量可以幫助網(wǎng)路安全分析人員快速發(fā)現(xiàn)網(wǎng)絡攻擊,更好地防范和抵御網(wǎng)絡入侵事件。通常,基于網(wǎng)絡數(shù)據(jù)流量的網(wǎng)絡安全可視化技術所使用的網(wǎng)絡數(shù)據(jù)包屬性主要有源IP、目的lP、源端口、目的端口、協(xié)議和時間等。如NVision將網(wǎng)絡數(shù)據(jù)通過分層方式予以顯示,可以檢測出一個B級網(wǎng)絡內(nèi)所有主機的流量信息。Vis

12、FlowConnection采用平行軸坐標技術表現(xiàn)連接信息,可以詳細顯示某一個域內(nèi)所有機器的詳細流量,也可以顯示內(nèi)部之間流量,這對檢測來自內(nèi)部的攻擊是非常有用的。單純分析大量網(wǎng)絡日志信息,雖然能分析出針對某臺主機的掃描事件,但不能同時發(fā)現(xiàn)某一網(wǎng)段的掃描事件。PGVis3D技術綜合利用了IP Matrix的2D和3D技術來表現(xiàn)網(wǎng)絡內(nèi)部和外部、內(nèi)部和內(nèi)部之間的流量狀況?？梢酝瑫r顯示出針對某臺主機和某一網(wǎng)段的掃描事件?；诰W(wǎng)絡數(shù)據(jù)流量的網(wǎng)絡安全可視化技術在顯示與流量相關的安全事件方面有較強優(yōu)勢,但是顯示數(shù)據(jù)信息較多時,線條易交叉重疊,這增加了分析人員的認知負擔,使得一些模式的發(fā)現(xiàn)變得困難。所以在使用

13、該技術顯示大規(guī)模數(shù)據(jù)時還應輔助其他方法,如采用顏色映射表示不同類型攻擊事件等。 1.2.2基于端口信息的網(wǎng)絡安全可視化在黑客實施網(wǎng)絡攻擊或者入侵之前通常先要進行信息收集,通過對目標主機或者網(wǎng)絡進行掃描確定目標主機系統(tǒng)是否在活動,確定哪些服務在運行,檢測目標操作系統(tǒng)類型,試圖發(fā)現(xiàn)目標系統(tǒng)的漏洞。因此針對端口的掃描是眾多攻擊中最普遍的一種。用基于網(wǎng)絡數(shù)據(jù)流量的網(wǎng)絡安全可視化方法可檢測出某些特定類型的端口掃描,但對于強動態(tài)性、強隨機性和強隱蔽性的與端口有關的安全事件如DDos、蠕蟲病毒、木馬等用此方法效果并不好,并且從大量模糊信息中發(fā)現(xiàn)令人感興趣的網(wǎng)絡安全信息本身也是比較困難的。因此,必須尋求新的方

14、法能從模糊信息中揭示核心的、隱蔽性強的、令人感興趣的安全事件。通常,這類問題的數(shù)據(jù)源只含有端口、時間等少量信息,要想高度概括這類信息所隱含的模式,必須在顯示數(shù)據(jù)信息本身的同時,輔助一些其他手段,如用多層次界面設計.全局和局部信息的交互顯示,顏色映射等。如Portvis就是采取多視圖、利用全局和局部信息交互方式供分析人員監(jiān)測和識別網(wǎng)絡中潛在的安全事件的一種網(wǎng)絡安全可視化技術。Portvis可以幫助分析人員識別出跟端口信息緊密相關的網(wǎng)絡安全事件,如端口掃描、特洛伊木馬等。上節(jié)所提及的NVisionIP也是此方法的典型用例。但是,基于端口信息的網(wǎng)絡安全可視化技術由于受所使用數(shù)據(jù)源的限制,往往提供給分

15、析人員的重要信息有限,在發(fā)現(xiàn)感興趣模式后仍無法獲知如IP地址、TCP標志位等重要細節(jié)信息。如何通過有限的粗糙網(wǎng)絡數(shù)據(jù)獲取盡可能多的關鍵信息仍是網(wǎng)絡安全可視化領域待攻克的一個難點。1.2.3基于入侵檢測技術的網(wǎng)絡安全可視化目前網(wǎng)絡分析人員通常使用基于網(wǎng)絡的入侵檢測系統(tǒng)識別和抵御DDos攻擊、網(wǎng)絡蠕蟲及木馬等網(wǎng)絡攻擊。它實時地將當前網(wǎng)絡數(shù)據(jù)包與已存儲的已有的攻擊類型簽名數(shù)據(jù)庫信息對比,通過匹配與否決定是否產(chǎn)生報警。雖然入侵檢測系統(tǒng)存儲了大量攻擊類型的簽名信息,但若匹配規(guī)則選取不當很容易使得入侵檢測系統(tǒng)產(chǎn)生誤報和漏報,并且,基于網(wǎng)絡的入侵檢測系統(tǒng)往往需要安全分析人員具有高深的分析日志信息的能力和技巧

16、。因此,為降低網(wǎng)絡分析人員的認知負擔, 降低入侵檢測系統(tǒng)的誤報和漏報率,將可視化技術應用于入侵檢測系統(tǒng)?；谌肭謾z測技術的網(wǎng)絡安全可視化技術不僅能從單個日志信息中挖掘數(shù)據(jù)模式,并能從多個不同的日志信息對比中發(fā)現(xiàn)一些隱藏的數(shù)據(jù)模式,這利于及時發(fā)現(xiàn)新型網(wǎng)絡攻擊并提前做出防范。如SnortView運用圖元方法實時地對snort報警信息進行分等級顯示,降低入侵檢測系統(tǒng)的誤報率。通過顯示不同的日志信息表征整個局域網(wǎng)內(nèi)網(wǎng)絡狀況,幫助人們提前分析復雜的可疑網(wǎng)絡安全事件。雖然基于入侵檢測技術的網(wǎng)絡安全可視化技術集合了散點圖和顏色映射的優(yōu)點,可以表現(xiàn)多維網(wǎng)絡數(shù)據(jù)信息,但在將多個屬性變量映射成可視圖元時缺乏規(guī)范和

17、標準, 這容易導致繪制結果差異較大,對分析攻擊模式造成困難。1.2.4基于防火墻事件的網(wǎng)絡安全可視化在網(wǎng)絡安全分析人員使用防火墻分析網(wǎng)絡安全事件時, 通常需逐行分析復雜眾多的日志信息,如防火墻記錄的內(nèi)外通信發(fā)生的時間和進行的操作等。但由于網(wǎng)絡安全分析人員對每個日志信息的細節(jié)過于考慮而往往忽略整體所隱含的模式,并且當發(fā)現(xiàn)并采取措施抵御這些攻擊時,網(wǎng)絡入侵可能已經(jīng)停止。因此應設計一種實時處理和評定全局網(wǎng)絡信息的基于防火墻事件的新網(wǎng)絡安全研究方法?；诜阑饓Φ木W(wǎng)絡安全可視化技術就是在此需要下產(chǎn)生的。它通過運用多重視圖實時顯示網(wǎng)絡通信的特殊細節(jié)信息,通過聚類顯示各細節(jié)間的相似與異同之處,而這些視圖信息

18、又能一致地反映目前整個網(wǎng)絡的運行狀態(tài)。如XX采用散列圖來顯示防火墻事件,用小方塊表示主機,方塊的顏色表示不同的協(xié)議類型。通過此方法用戶可觀測出哪些進程剛被啟動、哪些請求是可疑事件。文獻27能很好地監(jiān)控防火墻的運作,無論對有經(jīng)驗的網(wǎng)絡分析人員還是初學者均易上手操作。通常基于防火墻事件的網(wǎng)絡安全可視化技術適用于大規(guī)模網(wǎng)絡異構數(shù)據(jù)的顯示,但由于點、線重疊,使得關鍵信息易丟失、重要信息被隱藏、不易于理解。1.2.5其它隨著網(wǎng)絡安全事件類型的增多,不同的網(wǎng)絡安全可視化技術也隨之涌現(xiàn)出來。如InSeon Yoo提出的自組織映射（Self-Organizing Maps技術），它利用計算機病毒獨特的特征信息

19、幫助用戶發(fā)現(xiàn)及抵御嵌入在可執(zhí)行文件中的病毒信息;SIFT研究小組運用Nessus的掃描結果作為數(shù)據(jù)源,設計出針對Nessus掃描器的可視化分析工具NvisionNessus；通過顯示DNs相關查詢信息,幫助分析潛在的DNS攻擊事件的Flying Term技術等。目前國外已設計出了一些軟件原型系統(tǒng)如NIVA、Snortsnarg、PortVis、SnortView、NVisionIP、VisFlowConnection、IDGraph、VisualFirewall等。國內(nèi)雖然在網(wǎng)絡安全的理論和工程實踐方面都取得了很大進展,但在網(wǎng)絡安全可視化關鍵技術研究方面依然是空白。1.3 本章小結網(wǎng)絡安全可視

20、化的研究工作尚處于初級階段,一些方法與理論正在形成之中,構建完整實用的網(wǎng)絡安全可視化系統(tǒng)還存在許多困難。面臨的挑戰(zhàn)主要是:1、如何有效地實時顯示處理大規(guī)模網(wǎng)絡數(shù)據(jù)。網(wǎng)絡中龐大的數(shù)據(jù)流量、數(shù)據(jù)的實時預處理分析以及系統(tǒng)對交互設計的快速響應等都對如何實時顯示和處理大規(guī)模網(wǎng)絡數(shù)據(jù)提出了高要求。2、如何集成自動報警和防御功能。從降低網(wǎng)絡分析人員的認知負擔考慮,安全可視化工具應該具備自動識別網(wǎng)絡異常并報警、當確認異常事件后能對其進行防范抵御的能力。現(xiàn)有技術方法均不具備該功能。3、如何用一整套理論指導網(wǎng)絡安全可視化研究。由于網(wǎng)絡安全信息可視化缺少數(shù)學模型、可視化方法研究主觀性強、難于進行有效驗證和評估等,網(wǎng)

21、絡安全信息可視化相關基礎理論研究迫在眉睫?？梢暬夹g已經(jīng)給很多學科的研究帶來深遠影響,隨著上述理論和關鍵技術問題的解決,網(wǎng)絡安全可視化技術應用前景廣闊。第二章 基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化系統(tǒng)概述2.1 基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化的基本形式網(wǎng)絡拓撲圖可視化是信息可視化研究的一個方面，由點-線圖來表達和分析網(wǎng)絡的。而在網(wǎng)管系統(tǒng)中可視化的網(wǎng)絡拓撲更是必不可少的，因為點-線圖展現(xiàn)了網(wǎng)絡拓撲結構的直觀形態(tài)，為路由分析、網(wǎng)絡監(jiān)控等方面提供了可視化展現(xiàn)方法。大規(guī)模拓撲網(wǎng)絡可視化是信息可視化在網(wǎng)絡拓撲數(shù)據(jù)集上的具體應用，凡是信息可視化中的方法都可以應用到拓撲的繪制當中。通用類型的拓撲可視化工具一般能提

22、供開放的數(shù)據(jù)接口，比如SNMP、NwtFlow或者MRTG等。這類拓撲顯示工具可復用性較高，接口比較獨立。網(wǎng)絡測量領域的著名研究組織CAIDA，the Cooperative Association for Internet Data Analysis（因特網(wǎng)數(shù)據(jù)分析協(xié)會）也已經(jīng)開發(fā)出了一系列的相關拓撲顯示工具，比如Otter是CAIDA組織開發(fā)的一種通用拓撲繪圖軟件，他具有豐富的圖形交互功能，允許調(diào)節(jié)節(jié)點位置、圖形的縮放、根據(jù)圖形屬性進行染色等。同時，CAIDA組織針對不同層次的網(wǎng)絡拓撲還開發(fā)了相關拓撲顯示工具，比如說Jaspvi主要關注于AS級拓撲。除了CAIDA，美國的NLANR和希臘的

23、GRNET等相關實驗室也從自身所管理的網(wǎng)絡出發(fā)，對網(wǎng)絡的可視化工作進行了相關的研究。拓撲可視化工具按顯示方式可分為平面顯示與三維顯示。（一） 平面拓撲工具1、GTrace工具GTrace是一個以地理位置為基礎的traceroute工具。這個工具可以得到traceroute返回節(jié)點的地理位置信息，并最后根據(jù)地理位置的信息把tracerouter的路徑上的節(jié)點顯示在地圖上。2、Skitter工具Skitter是一個可以對因特網(wǎng)進行動態(tài)探測的工具，采集到的數(shù)據(jù)可以用作分析網(wǎng)絡的拓撲結構以及網(wǎng)絡的性能，以達到分析拓撲和性能的目的的工具。Skitter工具會以圓心為中點，并根據(jù)以下的公式計算出節(jié)點的角度

24、和半徑：半徑=1-log（出度（AS） + 1） /最大出度+1）= 節(jié)點的經(jīng)度值（二）三維的拓撲顯示工具1、Walrus工具Warlus是一個在三維空間中以交互式的方式顯示大型定向拓撲圖像的工具，他在三維空間上用樹形布局算法可以顯示超過100萬個具有層次化關系的節(jié)點。2、HyperViewer工具HyperViewer工具可以迅速地處理最多達到個楞邊，而且最大限度的防止了混亂節(jié)點的產(chǎn)生；當一個節(jié)點得到焦點時，HyperView允許用戶看到更多這個焦點節(jié)點周圍的內(nèi)容。3、Otter工具Otter是CAIDA用來把網(wǎng)絡數(shù)據(jù)可視化的工具。能把那些可以表示為一些節(jié)點、鏈接或者路徑的數(shù)據(jù)可視化。他具有

25、豐富的圖形交互功能，允許整節(jié)點位置，圖形的縮放，根據(jù)圖形屬性進行染色等。2.2 常用的八種數(shù)據(jù)可視化方法大數(shù)據(jù)時代大數(shù)據(jù)本身的安全成為一個新的安全挑戰(zhàn)，但與此同時大數(shù)據(jù)技術也為信息安全技術的發(fā)展起到極大推動作用，例如數(shù)據(jù)可視化技術和方法的引入可以大大提高信息安全的預防、偵測和事件響應等環(huán)節(jié)的效率。俗話說一圖抵萬言，本文我們將介紹高效信息安全團隊常用的八種數(shù)據(jù)可視化方法。一、層級樹狀圖（Hierarchical Tree Map）層級樹狀圖能以空間順序非常直觀地展現(xiàn)排名，例如展示IP地址和面向對象設計的類庫等。層級樹狀圖的單元通過顏色、尺寸和位置的不同體現(xiàn)排名。WatchGuard通過以上這個層

26、級樹狀圖來高亮流量中有關活躍用戶及其連接最關鍵的信息，而且還能進一步細分和過濾。二、關系圖 Link Charts關系圖的繁簡程度視具體需要而定，主要功能是用于展示不同實體之間的關系，這在分析網(wǎng)狀關系時非常有用。在安全分析領域，關系圖能夠有助更好地理解欺詐交易和網(wǎng)絡監(jiān)控數(shù)據(jù)。三、圖形匹配（Graph Pattern Matching）圖形匹配能快速發(fā)現(xiàn)行為趨勢。例如在21CT的這張可視圖表中，惡意數(shù)據(jù)抽取行為一目了然，外部機器（標記為旗幟）試圖訪問的內(nèi)部機器（藍色終端）閃電圖形將觸發(fā)警報。四、3D可視化3D可視化能夠直觀展示復雜攻擊關系，大大節(jié)省安全分析人員的事件。例如，OpenDNS的研究人

27、員通過3D建模觀察贖金木馬Cryptolocker的多個域，來判斷該木馬造成的危害范圍。五、時間線取證專家在分析事件時可借助時間線這種可視化方式更好地了解時間按的發(fā)展進程。雖然并非安全專用工具，但是i2的Analyst Notebook產(chǎn)品，提供了時間線功能（上圖），以及其他一系列可視化工具。事實上i2的很多可視化工具完全可以為網(wǎng)絡安全專家和情報專家在分析中使用。六、地理信息可視化基于地圖的可視化方法有助于安全運營中心和研究人員標記地理攻擊模式。例如Arbor網(wǎng)絡的DDoS攻擊地圖，通過與Google Ideas的合作，以可視化互動的方式展示DDoS攻擊的歷史和趨勢（數(shù)據(jù)來自Arbor網(wǎng)絡的A

28、TLAS全球威脅監(jiān)控系統(tǒng)）。七、平行坐標標記（Parallel Coordinate Plots）平行坐標標記能有效處理網(wǎng)絡分析產(chǎn)生的大數(shù)據(jù)集，是非常強大的網(wǎng)絡數(shù)據(jù)的可視化方法。上圖是安全可視化專家Raffeal Marty繪制的網(wǎng)絡日志數(shù)據(jù)圖。八、標準圖表雖然可視化技術聽上去很酷，但是普通的標準圖表的影響力不容忽視，例如柱狀圖、餅圖、流程圖等等，靈活使用也能發(fā)揮巨大作用。2.3 本章小結 本章詳細介紹了網(wǎng)絡信息安全可視化的8種常用形式，并在此基礎上給出了網(wǎng)絡信息安全可視化系統(tǒng)的設計方案流程圖，說明了網(wǎng)絡信息安全可視化的具體步驟。第三章 基于大數(shù)據(jù)的網(wǎng)絡安全信息可視化系統(tǒng)關鍵技術本章對基于大數(shù)

29、據(jù)的網(wǎng)絡安全信息可視化系統(tǒng)做了詳細的分析和設計。簡要概述了本系統(tǒng)的設計原則。然后對本系統(tǒng)結構設計做了簡單描述，本系統(tǒng)基于MVC設計模式，實現(xiàn)了各模塊間的低耦合，便于擴展。3.1用戶接口與體驗用戶接口視覺效果的好壞，直接影響用戶的體驗，視覺效果設計涉及屏幕的布局、色彩的使用、信息的安排等。3.1.1主界面設計本文設計的可視化網(wǎng)絡系統(tǒng)IDS View 的界面，在圖形選擇上采用了近年來流行的輻射狀面板：(1)系統(tǒng)由輻射面板和內(nèi)部的曲線2 個主要部分構成。輻射面板由2 個弧構成，左側弧用于顯示網(wǎng)絡警報分類和警報，右側較大區(qū)域用于顯示子網(wǎng)(或自定義分組)和主機?；〉膶挾缺硎舅|發(fā)該警報類型的數(shù)量，弧度越

30、大表示該警報數(shù)越多。(2)環(huán)內(nèi)的曲線用于顯示警報細節(jié)，曲線的一端指向警報，另一端指向有關聯(lián)的主機，環(huán)內(nèi)曲線的粗細表示某種攻擊對應具體主機的警報數(shù)量，曲線越粗，表示該種攻擊的數(shù)量越多。(3)右邊3 個輻射面板是對主視圖的補充，分別顯示本地主機端口所受攻擊的源IP、源端口和警報類型信息。(4)所有的用戶交互提示不會直接顯示在輻射圖上，當用戶鼠標單擊圓上的弧時，提示會出現(xiàn)在左側的Alert Message 編輯框中。3.1.2色彩的選擇與混和色彩選擇主要與眼睛的分辨能力和視覺疲勞有關，實驗證明，在視野范圍內(nèi)，人的視覺能力對有色彩對比時較僅有亮度對比時要強些，通常選擇色彩對比時以色調(diào)對比為主，最容易引

31、起視覺疲勞顏色是藍色和紫色(色調(diào)1)，其次是紅色和橙色(色調(diào)2)，而黃色、綠色、藍綠色、淡青色(色調(diào)3)等色調(diào)不易引起視覺疲勞，為了減輕視覺疲勞，還應該在視野范圍中保持均勻的色彩明亮度。本文系統(tǒng)中對不同的警報類型用不同的色調(diào)表示，隸屬于同一警報類型的警報用該色系不同亮度的顏色表示。主機弧的顏色由該主機所觸發(fā)警報顏色共同混色決定，主機的顏色越接近某種警報的顏色，那么它受該種攻擊數(shù)量就越多。這里有個顏色混合和視覺疲勞的矛盾，紅綠藍分別處于不同的視覺疲勞3 個等級中，如果安排上采用不易引起視覺疲勞的色調(diào)3，混色后的主機顏色同為該色系，不同的警報和主機從顏色上難以分辨，折中的方法是應用統(tǒng)計的方法，將警

32、報數(shù)量多的警報類型用色調(diào)3，警報數(shù)量少的警報類型用色調(diào)1，這樣既考慮了視覺疲勞因素又滿足了顏色混色需要?；焐惴ㄈ缦拢杭僭O選擇紅綠藍(RGB)顏色模式，警報種類有N 種，警報顏色矩陣A 可表示為：其中，AiR、AiG、AiB 分別表示第i 警報的紅綠藍三分量，主機有M 臺，主機顏色矩陣H 可表示為：其中，HjR、HjG、HjB 分別表示第j 臺主機的紅綠藍三分量。當前的警報矩陣為C，Cij 表示攻擊第j 臺主機的第i 種警報的次數(shù)。主機顏色矩陣H 為：3.2圖像閉塞性的降低隨著警報時間段的增加，警報數(shù)量也大幅度提升，圖形數(shù)據(jù)量激增，當達到1 h 及以上時間段時，圖上數(shù)據(jù)擁擠、閉塞，難以發(fā)現(xiàn)數(shù)據(jù)

33、隱含的價值。本文主要從曲線的選擇和數(shù)據(jù)預處理2 個方面進行設計。3.2.1曲線的選擇為了保證圖形的美觀，環(huán)內(nèi)弧線采用的是貝塞爾曲線，定義如下：本文系統(tǒng)中采用的是3 次曲線k=3，當時間段內(nèi)警報數(shù)量較少時，圖形顯示清楚美觀，容易區(qū)分，但如果警報數(shù)量激增，3 次曲線反而會因為圖形過于均勻而造成圖像閉塞擁擠。圖1(a)時間段為5 min，圖1(b)時間段為1 h，圖1(c)時間段為12 h，此時警報信息已很難區(qū)分清楚了，圖1(d)為改進后的三次曲線，時間段同為12 h。圖1 三次貝塞爾曲線改進的方法是：對警報源相同的警報在環(huán)的左側進行匯聚，對主機相同的警報在環(huán)的右側進行匯聚處理，曲線采用了多段擬合三

34、次貝塞爾曲線。曲線繪制的關鍵在控制點的選擇上，如果當前主機(警報)的中點角度為，當前子網(wǎng)(警報類)中點的角度為，圓半徑為r，警報區(qū)(主機區(qū))匯聚高度為h，匯聚寬度為d，當前圓心坐標為(0, 0)(可通過二維坐標變化得到)，則：相鄰的兩段三次貝塞爾曲線前段P3 和后段P0 重合，前段P2 點和后段P1 點的選擇為經(jīng)過前段P3 點(后段P0 點)貝塞爾曲線的切線上，如圖2 所示。圖2 多段三次曲線擬合3.2.2 數(shù)據(jù)預處理雖然在圖形上采用了多段擬合曲線，但當時間段達到1 天以上時，圖上數(shù)據(jù)還是較擁擠。根本解決辦法是數(shù)據(jù)預處理，文獻9-11分別采用了啟發(fā)式算法、主原因分析算法和信息熵算法，本文系統(tǒng)中

35、采用的是主機警報優(yōu)先權加權算法，算法中考慮到源(目的)地址和端口、協(xié)議、時間戳、數(shù)據(jù)包、攻擊數(shù)量、攻擊危害等多方面因子。WS_IP、WD_IP 為源IP 地址和目的IP 地址的加權因子，如果關注某段主機，則可以提高這些區(qū)域的權重；WS_port、WD_port 為源端口和目的端口的加權因子，端口是計算機和外部網(wǎng)絡相連的邏輯接口，關注不同的端口一般可用于區(qū)分不同的攻擊類型；WLength 為數(shù)據(jù)包長度加權因子，某些特定網(wǎng)絡攻擊總是偽造過長或較短的數(shù)據(jù)包；WAlarm 為警報危害級別加權因子，可以從傳統(tǒng)的IDS 系統(tǒng)中獲取相關系數(shù)；Abs 為本時間段中該主機所遭受絕對攻擊數(shù)量，Abs 為本時間段中

36、全部攻擊數(shù)量，Rel 為本時間該主機所遭受攻擊數(shù)量相對于前次變化數(shù)量，Rel 為本時間段相對前段的全部變化數(shù)，因此，可得到：根據(jù)式(6)，按照關注點不同，可設計出不同的安全觀察策略，滿足不同觀察角度的需要。圖3 為提高了絕對攻擊數(shù)量權重處理后的圖形。圖3 主機警報優(yōu)先權加權圖3.3 端口映射算法病毒、木馬攻擊的方式是多種多樣的，計算機端口更是各類入侵“攻占”的重點部位，經(jīng)過統(tǒng)計分析發(fā)現(xiàn)，攻擊主要集中在2 個部分：(1)傳統(tǒng)的端口01024，如80 端口Web 網(wǎng)站服務，21 端口FTP 服務，25 端口E-mail SMTP服務，110 端口E-mail POP3 服務等，這些服務是由來已久；

37、(2)高位端口1024 及以上，一些新的服務，如1433 端口SQL服務器，3389 端口遠程服務，一些流行病毒的后門端口，如 TCP 2745、2946、3127、4168、5554、6129 端口，同樣是入侵重點部位。同時發(fā)現(xiàn)，在固定時間段內(nèi)，對高位端口的攻擊是較為集中、連續(xù)的，所以在輔助圖表現(xiàn)本地主機端口遭受攻擊視圖時，對低位端口和高位端口角度的計算采用了不同的處理算法，本地主機被攻擊端口范圍為6359464223?？紤]低位端口范圍不寬，主要為傳統(tǒng)服務端口，攻擊端口的概率分布符合均勻分布，對每個端口平等對待；高端口范圍較廣，而在固定時間內(nèi)對某主機的攻擊端口集中在一段區(qū)域，符合正太分布特點。假設高(低)端口開始角度為，高(低)端口結束角度為，port 為本次攻擊端口號，portH、portL 為固定時間段內(nèi)攻擊端口的最大值和最小值，P(x)為攻擊的概率密度，則攻擊目的主機端口角度F(port)見式(7)：3.4 網(wǎng)絡安全態(tài)勢的評估與入侵分析網(wǎng)絡安全態(tài)勢是指在獲取海量網(wǎng)絡安全數(shù)據(jù)信息的基礎上，通過解析信息之間的關聯(lián)性對其進行融合，獲取宏觀的網(wǎng)