網(wǎng)絡(luò)安全測試工具原理介紹與分析概述目錄TOC\o"1-3"\h\u262網(wǎng)絡(luò)安全測試工具原理介紹與分析概述 3519481.1入侵檢測評估數(shù)據(jù)集 35322291.1.1入侵檢測評估數(shù)據(jù)集（CIC-IDS2017） 3541211.1.2入侵檢測評估數(shù)據(jù)集2018（CSE-CIC-IDS2018） 371921.2Scapy 40260341.3Boofuzz 41194831.3.1模糊測試 41274751.3.2模糊測試階段 4181301.3.2模糊測試工具 431.1入侵檢測評估數(shù)據(jù)集入侵檢測系統(tǒng)(IDSs)和入侵防御系統(tǒng)(IPSs)是抵御日益復(fù)雜和日益增長的網(wǎng)絡(luò)攻擊的重要防御工具。由于缺乏可靠的測試和驗證數(shù)據(jù)集，基于異常的入侵檢測方法的性能一致性和準(zhǔn)確性受到影響。1.1.1入侵檢測評估數(shù)據(jù)集（CIC-IDS2017）加拿大網(wǎng)絡(luò)安全研究所對1998年以來現(xiàn)有的十一個數(shù)據(jù)集的評估顯示，大多數(shù)數(shù)據(jù)都過時且不可靠。這些數(shù)據(jù)集中有些缺乏流量的多樣性和容量，有些不包括已知攻擊的種類，而其他的數(shù)據(jù)包有效載荷數(shù)據(jù)的匿名化，這不能反映當(dāng)前的趨勢。有些還缺少特性集和元數(shù)據(jù)。CICIDS2017是同時包含無害的良性攻擊和近些年來最新出現(xiàn)的攻擊的數(shù)據(jù)集，這與真實世界的數(shù)據(jù)(pcap)相似。基于收發(fā)時間和郵戳、源和其他目標(biāo)間的ip、來自源和其他目標(biāo)間的端口、協(xié)議及其他(csv)網(wǎng)絡(luò)攻擊(csv文件)，利用流量標(biāo)記數(shù)據(jù)流的方式cicvampire對用戶網(wǎng)絡(luò)流量使用情況數(shù)據(jù)進(jìn)行了流量分析。提取的特征定義也是可用的。其首要的目的是生成真實的背景流量。該環(huán)境研究所已經(jīng)充分利用了為sharafaldin等(2016年)成人提出的一種b-橫向縱剖面環(huán)境模型分析系統(tǒng)(sharafaldin等的成人)可用來準(zhǔn)確地分析描述各種與其他人類環(huán)境交互作用的自然抽象環(huán)境行為，并在其中不斷產(chǎn)生一種能夠適應(yīng)人類大自然環(huán)境優(yōu)勢的良性環(huán)境背景信息流量。對于這個抽象數(shù)據(jù)集，基于一個http、https、ftp、ssh和一個電子郵件使用協(xié)議，它們分別構(gòu)建了25個不同類型用戶的數(shù)據(jù)抽象使用行為。數(shù)據(jù)集一共花了五天的時間進(jìn)行采集制作。第一天捕獲的數(shù)據(jù)較為常規(guī)，只包括良性的網(wǎng)絡(luò)流量。實現(xiàn)的攻擊包括蠻力FTP(BruteForceFTP)，蠻力SSH(BruteForceSSH)，DoS，心臟出血(Heartbleed)，網(wǎng)絡(luò)攻擊，滲透，僵尸網(wǎng)絡(luò)(Botnet)和DDoS。他們在之后四天的上午和下午被施行。在其最近的數(shù)據(jù)集評估框架中(Gharibetal.，2016)，已經(jīng)確定了建立一個可靠的基準(zhǔn)數(shù)據(jù)集所必需的十一個標(biāo)準(zhǔn)。以前的IDS數(shù)據(jù)集中沒有一個能夠涵蓋所有11個標(biāo)準(zhǔn)。在下文中，簡要概述了這些標(biāo)準(zhǔn)：完整的網(wǎng)絡(luò)配置：要想配備一個完整的配置，軟件層面上需要配備操作系統(tǒng)，如Windows，macos和linux的各種發(fā)行版，硬件層面上需要包含調(diào)制解調(diào)器、交換機(jī)、路由器。以此來組整一個完整的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。完整的流量:在Victim-Network只有一臺用戶分析代理和12臺不同的計算機(jī)，并且包含來自攻擊網(wǎng)絡(luò)的真正攻擊。標(biāo)記數(shù)據(jù)集:表xxxxx顯示了每天的良性和攻擊標(biāo)簽。完全交互:通過擁有兩個不同的網(wǎng)絡(luò)和Internet通信，涵蓋了內(nèi)部LAN和內(nèi)部LAN之間的交互。完全捕獲:因為使用了鏡像端口，例如竊聽系統(tǒng)，所有的業(yè)務(wù)都被捕獲并記錄在存儲服務(wù)器上。攻擊多樣性:包括基于2016年McAfee報告的最常見的攻擊，比如蠻力FTP（BruteForceFTP），蠻力SSH（BruteForceSSH），DoS，心臟出血（Heartbleed），網(wǎng)絡(luò)攻擊，滲透，僵尸網(wǎng)絡(luò)（Botnet）和DDoS。異構(gòu)性:在攻擊操作的間隔間，捕獲來自主交換機(jī)和內(nèi)存轉(zhuǎn)儲的網(wǎng)絡(luò)流量以及來自所有受害機(jī)器的系統(tǒng)調(diào)用。特征集:利用cicvampire從生成的網(wǎng)絡(luò)流量中提取80多個網(wǎng)絡(luò)流量特征，并將網(wǎng)絡(luò)流量數(shù)據(jù)集作為CSV文件提交。元數(shù)據(jù):完整地解釋了發(fā)表論文中的時間、攻擊、流量和標(biāo)簽等數(shù)據(jù)集。概述數(shù)據(jù)集細(xì)節(jié)及其基本原則的完整研究報告:表xxxxxx日期描述含有的攻擊及工具大小(GB)星期一正?；顒覤ENIGN(正常人類活動)11.0G星期二攻擊+正常活動BENIGN(正常人類活動)FTP-PatatorSSH-Patator11G星期三攻擊+正?；顒覤ENIGN(正常人類活動)DoSslowlorisDoSSlowhttptestDoSHulkDoSGoldenEyeHeartbleedPort44413G星期四攻擊+正常活動BENIGN(正常人類活動)Web攻擊-暴力破解Web攻擊-XSSWeb攻擊-Sql注入滲透7.8G星期五攻擊+正?；顒覤ENIGN(正常人類活動)BotnetARES端口掃描DDoSLOIT（LowOrbitIonCanon）8.3G1.1.2入侵檢測評估數(shù)據(jù)集2018（CSE-CIC-IDS2018）入侵檢測評估數(shù)據(jù)集2018是通信安全機(jī)構(gòu)(CSE)和加拿大網(wǎng)絡(luò)安全研究所(CIC)之間的合作項目。由于其在檢測新型攻擊方面的潛力，異常檢測已經(jīng)成為許多研究者關(guān)注的焦點。然而，由于系統(tǒng)的復(fù)雜性，它在實際應(yīng)用中的應(yīng)用受到了阻礙，因為這些系統(tǒng)在部署之前需要進(jìn)行大量的測試、評估和調(diào)優(yōu)。通過一系列廣泛而全面的入侵和異常行為，將這些系統(tǒng)運(yùn)行在實際標(biāo)記的網(wǎng)絡(luò)跟蹤上，是最理想的測試和評估方法。這本身就是一個重大的挑戰(zhàn)，因為數(shù)據(jù)集的可用性是極其罕見的，因為一方面，許多這樣的數(shù)據(jù)集是內(nèi)部的，由于隱私問題不能共享，另一方面，其他的數(shù)據(jù)集是嚴(yán)重匿名的，不反映當(dāng)前的趨勢，或者他們?nèi)狈δ承┙y(tǒng)計特征，所以一個完美的數(shù)據(jù)集尚未存在。因此，研究人員必須求助于往往是次優(yōu)的數(shù)據(jù)集。隨著互聯(lián)網(wǎng)網(wǎng)絡(luò)的行為和模式的更新與改變和入侵的進(jìn)步與發(fā)展，由傳統(tǒng)的靜態(tài)和一次性的數(shù)據(jù)集到動態(tài)產(chǎn)生的數(shù)據(jù)集轉(zhuǎn)變已經(jīng)顯得非常必要，這些數(shù)據(jù)集不但反映了當(dāng)時的流量構(gòu)成和入侵，而且都是可以被修改、可擴(kuò)充和可以被重復(fù)使用。為了克服這些缺點，CSE和CIC設(shè)計了一種系統(tǒng)的方法來生成數(shù)據(jù)集來分析、測試和評估入侵檢測系統(tǒng)，重點是基于網(wǎng)絡(luò)的異常檢測器。該項目的主要目標(biāo)是開發(fā)一種系統(tǒng)方法，在創(chuàng)建用戶配置文件的基礎(chǔ)上，生成用于入侵檢測的多樣和全面的基準(zhǔn)數(shù)據(jù)集，這些用戶配置文件包含在網(wǎng)絡(luò)上看到的事件和行為的抽象表示。這些概要文件將被組合起來，以生成一組不同的數(shù)據(jù)集，每個數(shù)據(jù)集都有一組獨特的特性，這些特性涵蓋了評估領(lǐng)域的一部分。最后的數(shù)據(jù)集包括了7種不同的攻擊場景:蠻力攻擊（Bruete-force）、Heartbleed攻擊、僵尸網(wǎng)絡(luò)（Botnet）攻擊、拒絕服務(wù)攻擊、Web攻擊和滲透（Infiltration）。攻擊基礎(chǔ)設(shè)施包括50臺機(jī)器，受害組織有5個部門，包括420臺機(jī)器和30臺服務(wù)器。數(shù)據(jù)集包括捕獲網(wǎng)絡(luò)流量和每臺機(jī)器的系統(tǒng)日志，以及使用CICFlowMeter-V3從捕獲的流量中提取的80個特征。在CSE-CIC-IDS2018數(shù)據(jù)集中，使用一個基本概要結(jié)構(gòu)化的分布數(shù)學(xué)分析技術(shù)模型來進(jìn)行系統(tǒng)地設(shè)計生成一個分布數(shù)據(jù)集，其中它們通常包含了關(guān)于應(yīng)用程序、協(xié)議或者其他低層分布網(wǎng)絡(luò)基礎(chǔ)實體的信息入侵和數(shù)據(jù)抽象以及分布網(wǎng)絡(luò)模型等等的相關(guān)技術(shù)信息。這些配置文件可以被代理或人工操作員用來在網(wǎng)絡(luò)上生成事件。由于生成的概要文件的抽象性質(zhì)，將它們應(yīng)用于具有不同拓?fù)浣Y(jié)構(gòu)的各種網(wǎng)絡(luò)協(xié)議。配置文檔可以共同使用來制作出某些特殊需要的數(shù)據(jù)集，構(gòu)建兩個不同的概要文件類別:B-profiles:使用各種機(jī)器學(xué)習(xí)和統(tǒng)計分析技術(shù)(如K-Means、RandomForest、SVM和J48)封裝用戶的實體行為。封裝的特性包括協(xié)議的分組大小分布、每流的分組數(shù)目、有效負(fù)載中的某些模式、有效負(fù)載的大小以及協(xié)議的請求時間分布。下面的協(xié)議將在我們的測試環(huán)境中進(jìn)行模擬:HTTPS、HTTP、SMTP、POP3、IMAP、SSH和FTP?；谟^察，大部分的流量是HTTP和HTTPS。M-Profiles:實現(xiàn)七個攻擊場景。對于每一次攻擊，根據(jù)實現(xiàn)的攻擊網(wǎng)絡(luò)拓?fù)涠x一個場景，然后從目標(biāo)網(wǎng)絡(luò)之外的一臺或多臺機(jī)器上執(zhí)行攻擊。圖1顯示了實現(xiàn)的網(wǎng)絡(luò)，這是AWS計算平臺上的一個公共局域網(wǎng)/網(wǎng)絡(luò)拓?fù)洹榱藫碛蓄愃朴诂F(xiàn)實世界網(wǎng)絡(luò)的多樣化機(jī)器，安裝了5個子網(wǎng)，即研發(fā)部(dep-1)、管理部(dep-2)、技術(shù)部(dep-3)、業(yè)務(wù)部(dep-4)、信息技術(shù)部(dep-5)和服務(wù)器室。除了IT部門，為所有部門都安裝不同的MSWindows操作系統(tǒng)(Windows8.1和Windows10)，IT部門的所有計算機(jī)都是Ubuntu。對于服務(wù)器機(jī)房，實現(xiàn)不同的MSWindows服務(wù)器，如2012年和2016年。網(wǎng)絡(luò)拓?fù)淙鐖Dxxxx所示：基于上述的所有攻擊和定義的場景，實現(xiàn)基礎(chǔ)設(shè)施并執(zhí)行了攻擊場景。表2顯示了攻擊時間，攻擊名稱和流量大小。日期攻擊名稱大小(GB)2018-02-14星期三FTP-BruteForceSSH-BruteForce37.2G2018-02-15星期四DoS-GoldenEyeDoS-Slowloris38.4G2018-02-16星期五DoS-SlowHTTPTestDoS-Hulk35.9G2018-02-20星期二DDoS-LOIC-HTTPDDoS-LOIC-UDP41.3G2018-02-21星期三DDOS-LOIC-UDPDDOS-HOIC49.8G2018-02-22星期四BruteForce-WebBruteForce-XSSSQL注入46.8G2018-02-23星期五BruteForce-WebBruteForce-XSSSQL注入55.0G2018-02-28星期三Infiltration滲透攻擊49.6G2018-03-01星期四Infiltration滲透攻擊48.8G2018-03-02星期五Bot僵尸網(wǎng)絡(luò)41.7G總大小為452.8GB1.2ScapyScapy是一款功能強(qiáng)大的專門用于交互式網(wǎng)絡(luò)數(shù)據(jù)開發(fā)包網(wǎng)絡(luò)信號采集處理通用工具、數(shù)據(jù)開發(fā)包信號產(chǎn)生器、網(wǎng)絡(luò)信號掃描儀、網(wǎng)路信號發(fā)現(xiàn)器和數(shù)據(jù)包信號嗅探的通用工具。它通常可以用于提供各種類型的交互式封包產(chǎn)品例如生成的用戶數(shù)據(jù)的封包或者可能是其他產(chǎn)品數(shù)據(jù)的封包的一個集合、針對這些產(chǎn)品數(shù)據(jù)的封包的響應(yīng)操作、輸出輸入數(shù)據(jù)的封包、信號包的發(fā)射、信號包的嗅探、回應(yīng)和參與反饋包的匹配等。Scapy有一些特定的目標(biāo)，這些工具就是為它而設(shè)計的。這些目標(biāo)不應(yīng)該有任何偏差。如果不同的目標(biāo)需要從其他工具，有必要開發(fā)不同的應(yīng)用程序，以完成這一需求。其他工具無法充分區(qū)分編碼和解碼。其他工具在哪些機(jī)器適合編碼和解碼的意義上是混淆的。即使是它們也不能解碼它們所接收到的足夠的信息。Scapy試圖克服這些問題。Scapy是一個在所有任意限制下都可以工作的靈活模型?？梢宰杂傻卦谌魏巫侄沃蟹胖萌魏涡枰闹?，然后按照自己的意愿堆疊它們。事實上，scapy可以同時滿足所有的應(yīng)用程序需求。Scapy的解釋能力非常強(qiáng)大。它能夠在解碼后有效地解釋信息。1.3Boofuzz1.3.1模糊測試模糊測試（fuzztesting，fuzzing）技術(shù)是從基于軟件的模糊測試發(fā)展出的測試方法。這種技術(shù)的核心理念之一就是預(yù)先構(gòu)造或隨機(jī)構(gòu)造一個測試集，并采取隨機(jī)或者半隨機(jī)的方式發(fā)送給待測試對象，然后通過自動監(jiān)控應(yīng)用程序的異常測試結(jié)果，并快速發(fā)現(xiàn)它們所存在的潛在應(yīng)用程序設(shè)計錯誤。模糊度的測試主要是應(yīng)用于以下的文本、網(wǎng)絡(luò)數(shù)據(jù)或是本地輸入以其他對外部輸入數(shù)據(jù)依賴較大的軟件。其優(yōu)點有:原理簡單，執(zhí)行所需計算量較少，相關(guān)工具較為成熟，可以很方便地應(yīng)用于大型軟件的測試中等。模糊性測試通常被用來檢測一個軟件或者是電腦系統(tǒng)中的一個安全漏洞。模糊測試的應(yīng)用非常廣泛，根據(jù)輸入的不同，在文件、網(wǎng)絡(luò)協(xié)議、IO事件中都有用武之地。1.3.2模糊測試階段模糊性的檢驗由于方法的選擇，其技術(shù)相關(guān)性和操作復(fù)雜度的巨大差異，可能會使其發(fā)生巨大的改變。目前并未能夠找到一種絕對公平正確的模糊質(zhì)量檢驗法的方法。模糊分析測試方法的格式選擇完全可以是由一個目標(biāo)企業(yè)應(yīng)用程序、研發(fā)工作人員的專業(yè)技術(shù)水平，和所有那些需要被模糊測試的大型數(shù)據(jù)庫所采用的各種格式標(biāo)準(zhǔn)來進(jìn)行決定。然而，無論我們是否確定要對什么樣的測試模型應(yīng)該進(jìn)行模糊測試，也不管我們是否能夠確定我們在一個模型中應(yīng)該選擇哪種測試方法，模糊測試的執(zhí)行流程主要有幾個基礎(chǔ)性的階段:識別測試目標(biāo)確定了明確的測試對象，才可以決定所采取的模糊檢測工具或技術(shù)。就是比如我們需要通過選擇一個應(yīng)用所包含的特定文件或者數(shù)據(jù)庫來作為一個測試的目標(biāo)，我們就需要把他們的注意力集中在多臺應(yīng)用程序之間可以分別共享的那些二進(jìn)制源代碼上。因為假設(shè)如果這些分享的二進(jìn)制源代碼中都是存在著一些安全性的漏洞，將會導(dǎo)致有非常多的客戶受到其影響，因此可能的風(fēng)險更大。識別輸入絕大多數(shù)應(yīng)用可被廣泛利用的網(wǎng)絡(luò)安全漏洞可能是因為這些應(yīng)用不能對一個使用者的所有輸入輸出信號設(shè)置進(jìn)行精確校驗或者可能是對其他用戶信號進(jìn)行不必要的或或違規(guī)限制輸入和輸出操作。能不能夠準(zhǔn)確找到所有的模糊輸入信號矢量(inputvector)，這就是決定模糊信號檢測器是否有用的重要因素。生成模糊測試數(shù)據(jù)大多數(shù)關(guān)于模糊系統(tǒng)測試的科學(xué)研究工作方法都主要是通過對應(yīng)的目標(biāo)軟件系統(tǒng)不斷地收集輸入一些極有可能甚至?xí)苯诱T發(fā)各種類型軟件系統(tǒng)性質(zhì)存在缺陷的模糊測試結(jié)果數(shù)據(jù)，因而模糊測試結(jié)果數(shù)據(jù)的正確產(chǎn)生與否都一直是模糊系統(tǒng)測試非常重要而且必須嚴(yán)格遵循的一個環(huán)節(jié)，主要因素取決于模糊測試數(shù)據(jù)對象及其所在目標(biāo)系統(tǒng)的軟件性質(zhì)及其測試數(shù)據(jù)庫的格式。執(zhí)行模糊測試數(shù)據(jù)自動化地向被測的系統(tǒng)發(fā)送數(shù)據(jù)包、打開文件、或是執(zhí)行被測應(yīng)用的過程。這個階段一般與生成測試數(shù)據(jù)并行進(jìn)行。監(jiān)視異常對于監(jiān)控不正確與錯誤進(jìn)行失真是模糊測試中一個非常重要卻又容易被人們所忽略的一個步驟。模糊檢測需要依靠被測量的應(yīng)用及其對象所作出決策而采取的模糊檢測類型進(jìn)行設(shè)置。判定發(fā)現(xiàn)的漏洞是否可被利用在模糊測試中如果發(fā)現(xiàn)一個有問題的錯誤，就需要先判斷該個被檢測到的錯誤是否為一個有問題且可被挖掘和利用。這種預(yù)警判斷的過程既然可以讓模糊檢測的執(zhí)行人員自己去做，也有可能直接交給安全檢測的專家。無論是否采用了什么樣的模糊測試，以上每一階段的先后次序及其側(cè)重點都可以根據(jù)本研究人員的目標(biāo)需要進(jìn)行更改。雖然模糊測試的功能性較強(qiáng)，但是絕不會意味著針對任何一個被測程序都可以發(fā)現(xiàn)其存在的百分之百的錯誤。1.3.2模糊測試工具SulleySulley，是一款用于python等語言進(jìn)行實現(xiàn)的開源軟件fuzztesting的軟件框架，由PedramAMINI和AaronPortnoy設(shè)計。它們主要適合應(yīng)用于對網(wǎng)絡(luò)協(xié)議進(jìn)行測試。事實上，在sulley之前，這兩種技術(shù)方面的工具就已經(jīng)開始出現(xiàn)了一些，但當(dāng)時我們所采用的工具大多都是把它們集中到"數(shù)據(jù)生成"的部分，所以sulley設(shè)計的最