崔琳1,楊黎斌1,何清林2,王夢涵1,馬建峰3摘要網(wǎng)絡(luò)空間新生威脅日趨復(fù)雜多變,傳統(tǒng)安全防御手段已經(jīng)捉肘見襟。網(wǎng)絡(luò)安全威脅情報作為直接或潛在安全威脅的外部信息資源,可幫助安全人員快速甄別惡意威脅攻擊并及時作出響應(yīng)防御。開源威脅情報挖掘技術(shù)可從多方開源情報中獲取高質(zhì)量情報,極大彌補了傳統(tǒng)威脅情報挖掘信息量單薄等不足。美國及歐洲是最早在政府層面開展開源情報挖掘技術(shù)研究的國家和地區(qū),并將其作為政府的常規(guī)情報搜集手段。近年我國也在廣泛采集整理網(wǎng)絡(luò)開源威脅信息,并拓展開源威脅情報的應(yīng)用。本文深入分析了近6年來開源威脅情報挖掘的一百多篇相關(guān)文獻,系統(tǒng)梳理了威脅情報挖掘相關(guān)文獻的技術(shù)理論以及在網(wǎng)絡(luò)安全檢測中的應(yīng)用場景,歸納總結(jié)出了開源威脅情報挖掘的一般流程框架模型,并針對開源威脅情報采集與識別提取,開源威脅情報融合評價以及開源威脅情報關(guān)聯(lián)應(yīng)用三個關(guān)鍵場景進行了分析和論述,系統(tǒng)評述了這三部分研究工作中的細分熱點方向,并從技術(shù)應(yīng)用場景,所使用的技術(shù),性能評估以及優(yōu)缺點評價對各解決方案做了系統(tǒng)優(yōu)劣勢分析;最后分析總結(jié)了當前我國開源威脅情報挖掘中尚待解決的共性問題,并指出了未來的研究趨勢與下一步研究方向。本文期望通過研究和分析已有的開源威脅情報研究概況,推進我國開源威脅情報挖掘分析工作的發(fā)展,提升國家網(wǎng)絡(luò)安全的整體防御能力。CUILin1,YANGLibin1,HEQinglin2,WANGMenghan1,MAJianfeng31SchoolofCyberspaceSecurity,NorthwesternPolytechnicalUniversity,Xi’an710129,China2NationalInternetEmergencyCenter,Beijing100029,China3SchoolofCyberEngineering,XidianUniversity,Xi’an710071,ChinaAbstractTraditionalsecuritydefensemeasuresarestrugglitoolsandmethodologies.Theemergingofnetworksecuritythreatintelligenceisapromisingapproaliciouslyattacks,byprovidingadditionalinformationtodepictfullpictureofthefast-evolvingcyberthreatsituasourcecyberthreatintelligence(OSCTI)miningtechnosourceintelligence,whichmakesupforthedeficiencyoftraditiEuropemakeeffortstoimplementrelevantstrategiesforthesakeofestablisheddtently,Chinaalsotendstoexpandtheminingandapplicaritydefensesystem,suchassituaWeinvestigatehundredsofliteraturesonopensourcethreatintelligenceminisystematicallyclassifytheprocessofOSCTIminingasthreekeyperspectivesonidentificationandextraevaluation,correlationanalysis.WesketchthemainideaandhighlightthestrecomingsofopensourcethreatintelligenceminingandapplicationresearchinChinaatprallowingforadeeperandbnerswithusefulandvaluablereferencesforcombatingseriouscyber-attack,respondingtotheincreassecuritysituation,andthereforesecuringinternetecosystem.收稿日期:2021-05-21;修改日期:2021-08-20;定稿日期:Keywordsopensourcecyberthreatintelligence;recognitionandextraction;fusionandevaluation;c隨著萬物互聯(lián)的時代到來,互聯(lián)網(wǎng)由于其固有的多源異構(gòu),泛在開放等特性,使其在享受“云大物移智”等新型技術(shù)便利的同時,其所面臨的新生網(wǎng)絡(luò)威脅也日趨復(fù)雜多變,各種新型安全攻擊“火焰”、“毒區(qū)”等高級可持續(xù)威脅(AdvancedPersistentThreat,APT)攻擊陸續(xù)出現(xiàn),當前網(wǎng)絡(luò)空間的安全威脅問題日益嚴峻。根據(jù)CNCERT的研究,近年來我國逐漸成為各類網(wǎng)絡(luò)攻擊的重災(zāi)區(qū),而其中以APT和DDoS為代表的新型攻擊所占的比重越來越大。表1列出了近年來的一些新型網(wǎng)絡(luò)安全威脅類型。Table1Emergingt類型描述特點意圖APT攻擊者通過構(gòu)造一種長時間,分階段的復(fù)雜網(wǎng)絡(luò)攻擊,嘗試獲得網(wǎng)絡(luò)系統(tǒng)的訪問權(quán),并在很長一段時間內(nèi)保持不被發(fā)現(xiàn)[1]。多向和多階段威脅竊取數(shù)據(jù)多態(tài)威脅木馬或病毒通過加密或壓縮等方式實現(xiàn)自我隱藏,保持對目標的威脅攻擊。通過修改程序特性改變自身形態(tài)網(wǎng)絡(luò)權(quán)限提升零日威脅利用尚未公開披露或供應(yīng)商尚未發(fā)現(xiàn)及未修補的漏洞,對系統(tǒng)和應(yīng)用程序進行威脅攻擊。利用尚未修復(fù)未公開披露的漏洞使系統(tǒng)失能復(fù)合威脅聯(lián)合技術(shù)工具和社會工程技術(shù)來獲得系統(tǒng)特權(quán)信息。句法攻擊和語義攻擊的結(jié)合獲取網(wǎng)絡(luò)系統(tǒng)主機權(quán)限可以看出,隨著目標場景變化,惡意攻擊者將網(wǎng)絡(luò)空間攻擊的復(fù)雜性和影響力提升到前所未有的播方式,且可在網(wǎng)絡(luò)系統(tǒng)中相互滲透,以捕獲有價優(yōu)勢,這也對現(xiàn)今網(wǎng)絡(luò)空間的威脅防護提出了新的挑戰(zhàn)。傳統(tǒng)安全防御方法大多依靠部署于邊界或特于啟發(fā)式和簽名等靜態(tài)檢測方法,將每個攻擊向量視為一個單獨路徑進行分階段獨立檢查,而缺少全針對網(wǎng)絡(luò)空間所面臨的新型安全威脅,一個重要的防護手段是深度挖掘網(wǎng)絡(luò)威脅的情報信息,并將其引入至安全檢測全周期中,從而主動發(fā)現(xiàn)并防般來說,威脅情報是指可用于解決威脅或應(yīng)對危害特點,能夠為安全分析的各個階段提供有力的數(shù)據(jù)根據(jù)來源不同,威脅情報一般可分為內(nèi)部威脅報一般來源于目標系統(tǒng)中的內(nèi)部安全事件信息,可通過入侵檢測系統(tǒng)(IDS)等安全設(shè)備中的相關(guān)信息提純獲得。外部來源的威脅情報包括:(1)商業(yè)威脅情報,即安全廠商以產(chǎn)品形式出售或分享的商業(yè)威脅信息;(2)開源威脅情報(Open近些年由于網(wǎng)絡(luò)威脅攻擊形式迭代更新頻繁,開源威脅情報突破了其他威脅情報形式來源少,情報特作為網(wǎng)絡(luò)防御的重要資源,在眾多實際情景中得到防御體系、與私營部門的信息共享方面都制定了相情報挖掘技術(shù)研究的國家,并將其作為政府的常規(guī)情報搜集手段。當前美國已建立起了覆蓋地方、企著眼于開源威脅情報的挖掘技術(shù)研究及深度利用。方資源的統(tǒng)一開源威脅情報挖掘共享中心,強調(diào)擴大網(wǎng)絡(luò)威脅情報的收集范圍,包括來自相關(guān)學(xué)科的崔琳等:基于開源信息平臺的威脅情報挖掘綜述Figure1Thesourcesofthreat事件信息,并將這些數(shù)據(jù)的收集、存儲和分析標準的開源威脅情報平臺,能夠?qū)崟r采集整理網(wǎng)絡(luò)開源威脅信息,并拓展開源威脅情報的應(yīng)用,使其成為我國網(wǎng)絡(luò)安全防御體系的關(guān)鍵組成部分,貫穿于態(tài)勢感知平臺、下一代防火墻、入侵檢測系統(tǒng)等眾多好,其中威脅情報安全服務(wù)提供商的收入也在連年起步階段,雖然涌現(xiàn)了一批較為出色的威脅情報公體來看,其開發(fā)及應(yīng)用主要集中于商業(yè)威脅情報,基于開源威脅情報的網(wǎng)絡(luò)安全分析技術(shù)也較為落后,沒有形成情報挖掘分析、評價與利用為一體的威脅情報綜合服務(wù)平臺。盡管開源威脅情報已成為安全行業(yè)的研究及應(yīng)用熱點,但仍然存在許多制約開源威脅情報產(chǎn)業(yè)鏈發(fā)展的關(guān)鍵問題尚待解決,包括開源威脅情報挖掘關(guān)聯(lián)、質(zhì)量評價、落地應(yīng)用等關(guān)鍵前沿技術(shù)對這些關(guān)鍵技術(shù)問題進行了深入研究探域已持續(xù)受到關(guān)注,研究和分析已有的開源威脅情報研究概況,對于進一步推進我國開源威脅情報挖掘分析工作的發(fā)展,提高國家網(wǎng)絡(luò)安全的整體防御威脅情報挖掘及應(yīng)用領(lǐng)域當前的研究成果并指出該Figure2ThedistributionofOSCTIminingdomentsbasedonopensourceinformationplatform(1)深入分析了開源威脅情報挖掘的一百多篇相關(guān)文獻,系統(tǒng)梳理了開源威脅情報挖掘相關(guān)文獻的技術(shù)理論以及在網(wǎng)絡(luò)安全檢測中的應(yīng)用場景,歸(2)首次從開源威脅情報采集與識別提取,開源威脅情報融合評價和開源威脅情報關(guān)聯(lián)分析等三個方面對開源威脅情報所面臨的問題以及對應(yīng)的研究現(xiàn)狀進行了梳理總結(jié),并從技術(shù)應(yīng)用場景,所使用的技術(shù)及性能評估等方面對相關(guān)文獻進行了詳細解析;(3)分析了當前我國開源威脅情報挖掘及應(yīng)用研究中的不足,總結(jié)了面臨的四大機遇與挑戰(zhàn),并根據(jù)《網(wǎng)絡(luò)威脅情報權(quán)威指南》中給出的定義,威脅情報是指對企業(yè)可能產(chǎn)生潛在或直接危害的信助企業(yè)研判面臨的威脅并做出正確應(yīng)對,以保護企報在挖掘并應(yīng)用到關(guān)鍵資產(chǎn)保護時,其安全應(yīng)用場Figure3OSCTIminingframeworkbasedonopensourceinformatio開源威脅情報挖掘的整體框架自頂向下可歸納為開源威脅情報采集識別、融合評價和關(guān)聯(lián)分析等三大關(guān)鍵研究子方向。其中各子方向功能介紹如下:該研究子方向主要針對不同開源情報信息載體,用動態(tài)爬蟲與檢測更新等方法,獲取威脅情報的基礎(chǔ)信息;由于開源信息平臺其數(shù)據(jù)內(nèi)容通常是文本表示形式,開源情報信息獲取時一般需要通過IOC(IndicatorofCompromise)提取等技術(shù)手段,將其轉(zhuǎn)換成非標準化或OpenIOC(OpenIndicatorofCom-sion)等標準化開源威脅情報格式,而后分別應(yīng)用于由于開源威脅情報來源的開放性,使其挖掘得到的情報信息也具有多源異構(gòu)性,對應(yīng)情報的質(zhì)量及可信性也參差不齊,這將阻礙開源威脅情報的存異構(gòu)的開源威脅情報信息進行融合評價處理。開源威脅情報融合評價主要是針對多源異構(gòu)開源威脅情崔琳等:基于開源信息平臺的威脅情報挖掘綜述質(zhì)量評價指標對開源威脅情報的質(zhì)量及可信性進行評價,為后續(xù)威脅情報和威脅攻擊的關(guān)聯(lián)挖掘提供這部分研究主要針對開源威脅情報的落地應(yīng)用,息網(wǎng)絡(luò)等模型,在不同應(yīng)用場景中結(jié)合已有開源威挖掘揭示出隱含的攻擊鏈條等威脅信息等。以開源威脅情報為應(yīng)用核心的關(guān)聯(lián)分析研究工作在當前較以上是開源威脅情報挖掘的一般流程框架模型,涵蓋了開源威脅情報挖掘中較為重要的研究方向,具有一定的普適性和通用性。通過梳理該流程框架,可幫助初涉此方向的研究者對開源威脅情報挖掘研究領(lǐng)域做整體把握,也可輔助細分方向的研究者予接下來論述中,將按照此框架模型,依次針對開源威脅情報采集與識別提取,開源威脅情報融合評價和開源威脅情報關(guān)聯(lián)分析三大研究子方向進行詳細3開源威脅情報采集與識別提取傳統(tǒng)的威脅情報采集與識別一般具有固定獲取途徑,主要依賴從安全廠商過往的網(wǎng)絡(luò)威脅攻擊數(shù)測設(shè)備或高交互蜜罐中產(chǎn)生的日志數(shù)據(jù),也有一大部分威脅情報來源于訂閱的安全廠商、行業(yè)組織收集的威脅數(shù)據(jù)等。隨著網(wǎng)絡(luò)攻擊的數(shù)量和復(fù)雜度迅速增加[3],基于傳統(tǒng)途徑的內(nèi)部威脅情報收集手段和方式[4-10]難以從根本解決威脅情報來源單一等不出的開源威脅情報自動獲取和識別技術(shù)為解決傳統(tǒng)威脅情報的固有弊端提供了行之有效的新路徑。從技術(shù)方法來看,現(xiàn)有開源威脅情報采集研究工作主要集中于研究設(shè)計自動化爬蟲及解析技術(shù),從安全依據(jù)開源情報信息載體的不同,將其劃分為技術(shù)博個開源威脅情報識別提取平臺并依此篩選分析代表性的相關(guān)研究工作,接下來,針對這開源威脅情報采集是指從多個不同來源的開源數(shù)據(jù)選取目標開源信息(如目標博客網(wǎng)站內(nèi)容)作為輸入,輸出可被進一步處理的開源威脅情報基礎(chǔ)信取主要通過動態(tài)爬蟲,更新檢測及話題檢測等技術(shù)的信息動態(tài)完整抓取下來并存儲。近些年來隨著各大網(wǎng)站反爬蟲機制不斷加強,開源威脅情報采集技網(wǎng)絡(luò)(ConvolutionalNeuralNetworks,論壇和博客等平臺獲得非結(jié)構(gòu)化語義文本數(shù)據(jù),并脅情報自動提取和評估框架TIMiner。在該框架中,利用爬蟲技術(shù)從博客、黑客論壇帖子等不同社交媒體平臺收集威脅相關(guān)數(shù)據(jù),并利用自然語言處理(NaturalLanguageProc究如文獻[20-23]等將動態(tài)更新及話題檢測應(yīng)用至動研究工作大都先利用爬蟲技術(shù)獲取目標數(shù)據(jù),并結(jié)內(nèi)容,在實際部署中還利用了動態(tài)檢測更新技術(shù)實中話題檢測技術(shù)是開源情報信息采集的關(guān)鍵技術(shù),近年來較為常用的技術(shù)方法主要采用命名實體識別(NamedEntityRecognition,NER)結(jié)合支持向量機(SupportVectorMaRegression,LR)、隨機森林(Rand上述研究工作將開源威脅情報采集通過動態(tài)爬蟲與檢測更新以及話題檢測流程技術(shù)實現(xiàn),為落地實現(xiàn)開源威脅情報采集應(yīng)用提供了很多有益借鑒。開源威脅情報采集只是威脅情報挖掘的基礎(chǔ),需要進一步展開標準化或非標準化開源威脅情報的識別開源威脅情報識別提取是開源威脅情報挖掘的核心工作之一,主要以非結(jié)構(gòu)化開源威脅情報基礎(chǔ)信息數(shù)據(jù)作為輸入,輸出是標準化或者非標準化開源威脅情報,涵蓋了IOC提取術(shù)環(huán)節(jié)。由于不同的開源信息平臺中披露的開源威脅情報內(nèi)容結(jié)構(gòu)存在較大差異,其對應(yīng)的威脅情報識別提取方法也存在區(qū)別。接下來本節(jié)以不同開源威脅信息平臺源為劃分依據(jù),對開源威脅情報識別3.2.1技術(shù)博客技術(shù)博客是面向廣大較專業(yè)人員的技術(shù)問題、經(jīng)驗等分享交流學(xué)習平臺。相較于社交媒體微博等,其面向人群廣度和內(nèi)容傳播時效較低,但內(nèi)容更為豐富且具有一定深度,一般具有較強的專業(yè)性,通常能夠以更規(guī)范的形式為對象提供內(nèi)容信息支撐。安全相關(guān)博客文章是開源威脅情報內(nèi)容的重要載體之一,其發(fā)布安全領(lǐng)域相關(guān)知識信息對預(yù)測現(xiàn)實世針對安全相關(guān)的技術(shù)博客,文獻[24]提出了一種神經(jīng)網(wǎng)絡(luò)序列標記的端到端模型,用于從網(wǎng)絡(luò)安全言處理的序列標記技術(shù)從網(wǎng)絡(luò)安全技術(shù)文章中收集本地代碼,同時結(jié)合多路聚焦(Self-attention)技術(shù)以更好地從網(wǎng)絡(luò)安全技術(shù)文章文本中收集出上下文信性能,顯著優(yōu)于其他模型。文獻[21]設(shè)計實現(xiàn)了基于大規(guī)?，F(xiàn)場數(shù)據(jù)處理模型,用于從安全相關(guān)技開發(fā)、安裝和指揮控制等階段。通過實際大規(guī)?，F(xiàn)段時均具有良好的性能。但不能以自動化方式記錄IOC語義等信息,因此安全人員需要手動提取和報上下文的關(guān)系,當標記間的語法連接與通常表達如,惡意zip文件)和其上下文(例如,從外部來源下義特征并配合捕獲實體間關(guān)系的圖挖掘技術(shù)來提升影響力。以上研究文獻針對從技術(shù)博客中安全技術(shù)文章上定向識別提取開源威脅情報,在可處理的信卷積神經(jīng)網(wǎng)絡(luò)的模型,能夠從安全方向技術(shù)博客中的所有非結(jié)構(gòu)化數(shù)據(jù)中自動識別開源威脅情報,突破單一的安全技術(shù)文章內(nèi)容形式。該模型利用網(wǎng)絡(luò)爬蟲技術(shù)獲得非結(jié)構(gòu)化語義文本數(shù)據(jù),對獲取到的語義文本進行預(yù)處理并輸入到單詞嵌入模型中用于提取特征向量,最后應(yīng)用CNN分類模型來識別OSCTI實體。經(jīng)驗證該模型在多個核心指標上優(yōu)于召回率不高,存在容易混淆某些術(shù)語的問題。文獻[26]提出了另外一種利用深度學(xué)習方法從安全技術(shù)該方法中,作者綜合利用了NLP等一系列技術(shù),有助減少人工干預(yù),使網(wǎng)絡(luò)安全專業(yè)人員更好地配置3.2.2社區(qū)論壇社區(qū)論壇是面向所有網(wǎng)民群體的交流平臺,雖區(qū)論壇為黑客等提供一個自由言論的交流平臺,其中可能經(jīng)常涉及大量有價值的威脅情報信息。鑒于此,來自佛羅里達大西洋大學(xué)的團隊[27]首先提出了一種針對暗網(wǎng)信息內(nèi)容的預(yù)處理概率模型,能夠識別并過濾錯誤配置的流量以提高暗網(wǎng)數(shù)據(jù)純度,有效提升開源威脅情報的獲取及存儲效率。來自美國亞利桑那州立大學(xué)的團隊[28]又提出了一種從暗網(wǎng)和深網(wǎng)上的站點收集開源網(wǎng)絡(luò)威脅情報的原型系統(tǒng),該系統(tǒng)能有效收集高質(zhì)量的網(wǎng)絡(luò)威脅警告,這些威脅警告包括關(guān)于新開發(fā)的惡意軟件和尚未在網(wǎng)絡(luò)攻擊中部署的漏洞的信息,可幫助安全專家進行更好的威脅分析應(yīng)對。來自挪威科技大學(xué)的團隊[29]為幫助信息安全響應(yīng)團隊將其審查重點放在最具情報價值帖子上,提出了一種利用監(jiān)督機器學(xué)習算法對黑客論壇帖子進行分類的方法,以快速篩選出黑客論壇中不同類型的高質(zhì)量開源威脅情報。為提高開源情報識別精度,該團隊[30]又進一步提出了一種基于狄利克雷分配(LatentDirichlet合機器學(xué)習模型對情報信息內(nèi)容的聚類效果進行改該方法可快速準確地提取相關(guān)可操作情報。上述四項研究工作有助于安全人員更具有針對性地高效從暗網(wǎng)深網(wǎng)中識別提取高質(zhì)量開源威脅情報。不同于脅情報到新威脅情報的循環(huán)提純過程,并設(shè)計實現(xiàn)域作為后續(xù)檢索輸入,并在檢索過程中自動判定提取目標是否和輸入指標保持一致,以實現(xiàn)開源IOC崔琳等:基于開源信息平臺的威脅情報挖掘綜述開源威脅情報挖掘是一種可行技術(shù)。但由于暗網(wǎng)等社區(qū)論壇用戶交互的匿名性,使其發(fā)布的情報信息質(zhì)量上也存在較大的不確定性,需要大量的后期質(zhì)3.2.3社交媒體戶群,是典型的開放信息內(nèi)容自然聚合器之一,且由于其依附于社交網(wǎng)絡(luò),平臺信息內(nèi)容天然具有交互性高,覆蓋廣泛,時效性強等特性,且能夠匯集大量與網(wǎng)絡(luò)安全相關(guān)的資源?；谏缃幻襟w的這些特性,近年有大量研究工作基于社交媒體平臺進行威了社交媒體是安全相關(guān)事件信息的寶貴資源,同時,來幫助安全分析師及時獲取威脅新事件,識別提取開源威脅情報。Sceller等人[16]提出了一個針對Twitter流的自我學(xué)習框架SONAR,可用于實時檢安全分析師快速識別提取開源威脅情報。來自里斯到端模型。該模型使用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)開源威脅信息接收處理和安全實體識別提取,以幫助減少安全分析師自動化過濾大量不相關(guān)信息,提高開源威脅情報識別提取效率。來自馬里蘭大學(xué)的團隊[14]提出了一個從Twitter等社交媒體信息流中識別分析從實時更新的社交媒體信息中獲得各種可能的開源提取與安全漏洞相關(guān)的術(shù)語,將提取的情報以資源描述框架[33](ResourceDescriptionFra三元組的形式存儲在網(wǎng)絡(luò)安全知識庫中,并使用語義Web規(guī)則語言(SemanticWebRuleLanguage,SWRL)規(guī)則來推理提取的情報。上述三項研究工作均能幫助安全人員在從社交媒體數(shù)據(jù)中識別提取開源威脅情報時避免冗雜的工作,但在提取效率上存在缺陷。為了進一步提升開源威脅情報識別應(yīng)用效率,Zhao等人[19]提出了一種基于社交媒體數(shù)型帶域標簽的OSCTI自動提取和評估的框架使用戶只關(guān)注他們自己領(lǐng)域中的威脅信息,可減少無關(guān)信息對用戶的干擾,而使其專注于對與威脅最相關(guān)信息的分析,有利于安全專家聚焦于特定領(lǐng)域來看,Twitter等社交媒體已成為開源威脅情報的重要來源,但社交媒體中數(shù)據(jù)龐雜,質(zhì)量良莠不齊,情報數(shù)據(jù)提純、威脅事件發(fā)現(xiàn)技術(shù)等有助于提升開源3.2.4公共報告公共報告是指發(fā)布于網(wǎng)絡(luò)平臺中可被公開獲取的涵蓋安全、漏洞或威脅等主題的報告。公共報告通常由專業(yè)人員發(fā)布,雖然時效性較差,但在形式與內(nèi)容上都具有很強的專業(yè)性,直接或間接覆蓋大并研究了漏洞報告,并開發(fā)了一種自動從互聯(lián)網(wǎng)上收集物聯(lián)網(wǎng)漏洞報告的工具IoTShi工具實際收集和分析了分布在博客、論壇和郵件列告中識別提取開源威脅情報具有一定指導(dǎo)價值。南京大學(xué)的Mu等人[35]認為現(xiàn)有在重要威脅信息覆蓋率不高等不足,提出利用開放平臺中不同用戶人群的報告來彌補公共漏洞報告中信息不足的缺陷。以上兩個工作主要針對漏洞報告收集,分析以及對信息彌合的方法進行研究,有助于專業(yè)人員從公共漏洞報告中識別提取高質(zhì)量開源威脅情報,但上述研究未實現(xiàn)從公共漏洞報告中識別提取開源威脅情報的完整流程,來自馬里蘭大學(xué)挖掘關(guān)于開源項目和庫的開源威脅情報的方法,并對客戶機上已安裝軟件的庫和項目依賴關(guān)系進行跟蹤。該方法能夠在安全知識圖中表示并存儲開源威脅情報和軟件依賴關(guān)系,用于幫助安全分析師和開發(fā)人員在發(fā)現(xiàn)有關(guān)產(chǎn)品中使用的鏈接庫和項目的任卡羅來納大學(xué)的團隊[40]提出了一種從非結(jié)構(gòu)化的威利用NLP和信息檢索(InformationRetri術(shù)從非結(jié)構(gòu)化的威脅報告中自動提取威脅動作并以STIX格式構(gòu)建戰(zhàn)術(shù)威脅情報(Tctics,Techniques&Procedures,TTP)。隨后該團隊[41]又提出了一種自動將非結(jié)構(gòu)化威脅報告轉(zhuǎn)換為結(jié)構(gòu)化開源威脅情報的熵和互信息(MutualInformation,MI)度量這兩種技術(shù)。相比僅使用斯坦福(Stanford)依賴解析器,Ac-tionMiner方法在提取網(wǎng)絡(luò)威脅威脅情報已經(jīng)成為開源威脅情報的主要來源之一。但公共報告通常存在信息不足的問題,現(xiàn)有大部分研究還需要不斷拓展新的技術(shù)方法,用于提升從公共開源報告中挖掘高質(zhì)量開源威脅情報的效率,以3.2.5通用方法另外還有一些研究工作如文獻[42-45]通過綜合應(yīng)用NLP、機器學(xué)習、數(shù)據(jù)挖掘等技術(shù)實現(xiàn)從非結(jié)構(gòu)化信息中提取開源威脅情報。這些研究成果并沒有針對區(qū)分某個特定開源威脅情報平臺,其技術(shù)方報的方法。該方法綜合運用了目標利用、話題跟蹤脅情報的大規(guī)模提取。崇實大學(xué)的團隊[43]提出了一種基于NLP、虛擬化結(jié)構(gòu)和分布式處理技術(shù)的OSCTI提取分析系統(tǒng)。該系統(tǒng)還可使用所產(chǎn)生的數(shù)據(jù)作為輸入值來遞歸地提取更多的數(shù)據(jù)。通過保存和管理提取數(shù)據(jù)之間的關(guān)系,用以幫助安全人員使作者綜合利用NLP、機器學(xué)習和數(shù)據(jù)挖掘等多種技術(shù)進行研究實現(xiàn)。后一年,在文獻[45]中,作者提出了一種輕量級可擴展的在線框架IoCMiner,用以自者結(jié)合使用了圖論、機器學(xué)習和文本挖掘等技術(shù)。總體來看,上述研究中介紹的通用方法雖然具有較好的平臺覆蓋性,但由于在開源情報信息識別處理時沒有充分考慮各信息平臺的特點,其處理效率上采集識別環(huán)節(jié)中最核心的研究要點,主要研究從開源情報數(shù)據(jù)中提取威脅情報實體,并根據(jù)安全含義,完整其上下文和戰(zhàn)略信息,填補不一致帶來的歧義預(yù)處理后的非結(jié)構(gòu)文本信息進行遍歷定位出IOC,并應(yīng)用機器挖掘技術(shù)獲取目標實體關(guān)系,最終根據(jù)實際需要進行標準化威脅情報格式輸出。開源威脅情報采集及識別有助于提升情報信息的廣度及厚度,加快從漏洞發(fā)現(xiàn)到針對檢測的防護周期,可更好應(yīng)用于威脅狩獵,惡意檢測等深度挖掘分析防本節(jié)將開源威脅情報識別提取研究工作劃分為技術(shù)博客,社區(qū)論壇,社交媒體,公開報告,通用方法五個平臺,并對這些平臺的開源威脅情報識別提代表一項研究工作,第1列代表該項研究的主要提列是為實現(xiàn)該研究所應(yīng)用的技術(shù)方法;第5列為性能評估;第6列為通過總結(jié)優(yōu)缺點對該項研究工作表2開源威脅情報識別提取相關(guān)文獻分Table2Classification,summaryandcomparisonofr分類文獻技術(shù)應(yīng)用場景NLPNER其他提取方法性能評估評價關(guān)系模型構(gòu)造圖其他SVM機器學(xué)習其他優(yōu)點缺點神經(jīng)其他正則表達式其他識別技術(shù)文章[24]中識別技術(shù)文章[24]■序列BiLSTM多頭意力機制精確率＞81%召回率＞80%F1＞81%在IOC識別任務(wù)中表現(xiàn)更好;優(yōu)于其他序列標簽?zāi)Ｐ蛢H能處理英語和漢語;未集成語言上下文特征術(shù)博客提取IOC并將[21]其分類到相應(yīng)活動階段■StanfordCoreNLPword2vec詞嵌入精確率≥78.2%召回率≥80.7%覆蓋率86.2%可自動重構(gòu)活動語義;研究數(shù)據(jù)開源精確率有待進一步提高;不能自動化記錄IOC語義等信息崔琳等:基于開源信息平臺的威脅情報挖掘綜述分類文獻技術(shù)應(yīng)用場景NLPNER提取方法關(guān)系模型構(gòu)造其他圖其他性能評估評價機器學(xué)習其他優(yōu)點缺點SVM神經(jīng)其他正則表達式其他提取IOC并生[25]成OpenIOC開源威脅情報■LSTM(BiLSTM)+CRFStanford依賴解析構(gòu)建TextRank精確率95%覆蓋率90%準確率IOC生成性能優(yōu)異;可提供攻擊實例間內(nèi)在聯(lián)系處理語言單一,僅支持英語中OSCTI識別技術(shù)博客中OSCTIBert詞嵌入TextCNN90.38%精確率89.78%召回率92.59%F191.16%率和F1方面優(yōu)于其他模型訓(xùn)練集較小,召回率不高;存在某些容易混淆的術(shù)語提取生成技術(shù)[26]博客中STIX格式OSCTI■StanfordNLP■精確率70%代碼穩(wěn)定;監(jiān)督模型開源;工作可復(fù)制且可擴展召回率不如預(yù)期;訓(xùn)練數(shù)據(jù)集過小提升暗網(wǎng)數(shù)據(jù)[27]純度與OSCTI提取效率概率模型FNR0%不依賴任何硬閾值,提供單獨的可能性模型,獨立于流量源性質(zhì)用以模型選擇的概率估計差異未得到很好評估;未大量測量數(shù)據(jù)精確率中OSCTI收集暗網(wǎng)深網(wǎng)中OSCTI■RF≥78%召回率≥68%覆蓋率可收集新型惡用于數(shù)據(jù)收集的意軟件和潛在漏洞的信息開源平臺有待擴展社≥80%區(qū)準確率＞論壇[29]快速篩選黑客論壇中OSCTI詞向量表、word2vec、GloVe■CNN■96.9%精確率＞97.6%召回率＞5.2%F1≥96%高準確率,高性能,低復(fù)雜度未探索其他神經(jīng)網(wǎng)絡(luò)效果;只能處理英語帖子提取黑客論壇未能發(fā)現(xiàn)零日攻[30]中OSCTI并聚類黑客帖子至LDA主題建?！鰷蚀_率98.82%提取快速,更擊帖子信息;數(shù)高效靈活據(jù)來源不廣泛;討論主題數(shù)據(jù)量不充足連續(xù)提取網(wǎng)絡(luò)[22]社區(qū)論壇中IOC■HTML文件轉(zhuǎn)化準確率91%F190.46%離線狀態(tài)下性能可連續(xù)生成不佳;挖掘指標可連續(xù)生成IOC類型單一社交證實社交媒體[31]是安全相關(guān)信息的寶貴資源■半監(jiān)督學(xué)習在現(xiàn)實世界數(shù)據(jù)的實驗中優(yōu)于大多數(shù)以前工作在未標記數(shù)據(jù)集中性能一般媒體自動檢測、定[16]位和分類網(wǎng)絡(luò)安全事件關(guān)鍵字列表查詢GloVe全事件;擴展定制性強容易被有組織的用戶群濫用,捕獲“假事件”分類文獻社交媒體公共報告通用方法分類文獻社交媒體公共報告通用方法提取方法評價機器學(xué)習NLP關(guān)系模型機器學(xué)習NLP構(gòu)造NER技術(shù)應(yīng)用場景NERVM神經(jīng)其他VM神經(jīng)其他正則表達式其他性能評估其他優(yōu)點缺點[32][14][19][34][35][36][40][41][42][43]處理開源威脅信息并識別提取安全實體OSCTI識別分析抽取IOC并提■取評估新型帶■域OSCTI■收集分析漏洞■報告證明漏洞報告普遍缺少信息并提出彌合漏洞報告差距的建議提取OSCTI并跟蹤客戶機上特定關(guān)系提取STIX標準OSCTI提取結(jié)構(gòu)化OSCTI提取OSCTI提取OSCTI■■CNN、■■BiLSTM網(wǎng)絡(luò)安全本體UCO[46]、語義網(wǎng)絡(luò)RDF與SWRLBiLSTM+CRFStanford蜜罐Stanford蜜罐CoreNLP人工經(jīng)驗測量驗證網(wǎng)絡(luò)安■全本體UCO詞性標記TF-IDF算法詞性標記詞性標注熵和詞性標注互信息■■Basilisk算法[47]■■虛擬機、■分布式處理技術(shù)■TPR94%TNR91%F192%準確率＞86%準確率＞84%召回率92%F193%精確率≥97%召回率≥83%FPR≤0.06%運行時間0.75s整體成功率>23%漏洞重現(xiàn)率95.9%精確率≥84%召回率≥82%F1≥76%精確率92%召回率93%精確率＞50%召回率＞80%專注性高;性能優(yōu)異實時性強產(chǎn)生帶有域標簽的OSCTI;有效識別未知IOC時間成本低;攻擊成功的門檻較為容易部分數(shù)據(jù)集可共享;能有效實現(xiàn)內(nèi)存錯誤漏洞信息彌合可進行安全知識圖推理并生成警報可自動提取豐富的TTP信息精度和召回率優(yōu)于斯坦福類型依賴解析器自動化處理程度高數(shù)據(jù)來源廣泛;數(shù)據(jù)處理能力強在基于非安全相關(guān)文本預(yù)先訓(xùn)練的嵌入向量時性能一般數(shù)據(jù)來源不廣泛;測試數(shù)據(jù)量不充足;生成的網(wǎng)絡(luò)安全警報的質(zhì)量有待提高IOC抽取方法基于非監(jiān)督方法,依賴于大量數(shù)據(jù)系統(tǒng)性能嚴重依賴于漏洞庫;蜜罐數(shù)據(jù)的質(zhì)量不佳需要進一步研究來檢驗統(tǒng)計結(jié)果如何推廣到其他類型漏洞開源挖掘代碼庫支撐不足NLP解析器性能和準確性有待提高各種威脅動作表達式不可自動解析處理不同非結(jié)構(gòu)化文檔之間的精度差異大數(shù)據(jù)分析非自動化分類文獻技術(shù)應(yīng)用場景提取方法評價NLP關(guān)系模型構(gòu)造機器學(xué)習NER其他圖其他SVM神經(jīng)其他其他性能評估優(yōu)點缺點正則表達式其他[44]生成分析OSCTI■StanfordNLP圖■TF-IDF、TextRank精確率≥76.9%召回率≥75%在數(shù)據(jù)過濾和信息提取方面具有良好的性能實驗數(shù)據(jù)集不充分[45]提取IOC■■RF準確率＞97%輕量級;可有效提取未被披露的新IOC處理時間較長,實時性不強情報的獲取及識別提取研究文獻大多綜合利用術(shù)博客、社區(qū)論壇,社交媒體,公開報告等平臺中實現(xiàn)威脅情報信息提取,本質(zhì)上是基于數(shù)據(jù)多研究文獻在實體識別時更傾向于選擇易實現(xiàn)的正則表達式。在關(guān)系模型構(gòu)建時,多運用圖,絡(luò)由于具有自學(xué)習、聯(lián)想存儲功能與高速尋找優(yōu)化解等優(yōu)勢,可以預(yù)見其未來在針對開源威脅情報挖掘中的應(yīng)用占比會進一步擴大。本節(jié)以上內(nèi)容有助于研究學(xué)者和相關(guān)從業(yè)人員快速了解開源威脅情報的識別提取,同時促進在未來的研究工作中根據(jù)性能和優(yōu)缺點等更準確高效的選擇適當?shù)姆椒◤膶?yīng)平臺和技術(shù)應(yīng)用場景中識別提取開源威脅情報,完成目標安全求解問題。研究開源威脅情報識別提取技術(shù),有利于解決傳統(tǒng)威脅情報開發(fā)的局限,擴充商業(yè)威脅情報的數(shù)據(jù)維度,為深入理解威脅攻擊提采集來源廣泛混雜,情報質(zhì)量不一,需要強化開源威脅情報融合評價的研究,以提高開源威脅情報的4開源威脅情報融合評價高質(zhì)量威脅情報一般具備時效性、準確性、完整性、豐富性、可操作性、場景相關(guān)性等特征。現(xiàn)有開源威脅情報大多呈多源異構(gòu)性,情報質(zhì)量良莠不齊,這也阻礙了開源威脅情報的存儲和共享,應(yīng)用于實際場景檢測時也可能引發(fā)漏報、誤報等不可控問題。開源威脅情報的融合評價為甄選高質(zhì)量的開源威脅情報提供了數(shù)據(jù)融合方法與質(zhì)量評價機制,可滿足威脅檢測等現(xiàn)實需求。本節(jié)從開源威脅情報數(shù)據(jù)融合和質(zhì)量評價兩個方向展開文獻收集,并重點依據(jù)質(zhì)量評價的定性評價方法和定量評價方法進行文獻甄選和分析。其中當前威脅情報的數(shù)據(jù)融合研究工作多采用針對開源威脅情報的基礎(chǔ)信息數(shù)據(jù),運用多源異構(gòu)情報的一致性分析[48]和去偽去重等粗粒度數(shù)據(jù)融合方法,通過拓展情報信息維度等操作,實現(xiàn)對分析研判后的開源威脅情報歸一化封裝輸出。開源威脅情報的質(zhì)量評價研究是針對開源威脅情報的可信性及可用性等指標進行評估,一般包括定性評價方法和定量評價方法。接下來我們對開源威脅情報數(shù)據(jù)融合和質(zhì)量評價研究工作進行具開源威脅情報由于情報來源的開放性,也導(dǎo)致其情報產(chǎn)出具有顯著多源異構(gòu)性,該固有弊端也阻礙了開源威脅情報的存儲、共享和應(yīng)用。開源威脅情報的融合處理是情報能夠有效利用的前提,近年來眾多學(xué)者也對該方向做了大量研究,目前已有研究主要通過對多來源本體相同的開源威脅情報進行一致性分析、去偽去重及數(shù)據(jù)融合分析等操作進行4.1.1一致性分析一致性分析的重要技術(shù)是本體構(gòu)建,本體是同一領(lǐng)域內(nèi)不同主體之間進行交流以及連通的語義基CvCv其中,C是本體概念的集合(通常使用自然語言進行構(gòu)建的核心層次,是將信息抽取得到的實體及其關(guān)系構(gòu)建為知識網(wǎng)絡(luò),實現(xiàn)數(shù)據(jù)向知識的轉(zhuǎn)化以及知識與應(yīng)用結(jié)合的過程,同時利用本體中定義的約束與規(guī)則可為后續(xù)的質(zhì)量評估、知識推理等過程提供本體匹配等[51]的實現(xiàn)。從網(wǎng)絡(luò)安全研究的原理、需求、規(guī)范等抽象角度進行構(gòu)建的本體被稱為基于模程度出發(fā)構(gòu)建的本體則區(qū)分為基于數(shù)據(jù)的知識本體。北京航空航天大學(xué)的團隊將本體應(yīng)用于開源威脅情報一致性分析中,提出了一種用于描述多源異構(gòu)開源威脅情報的基于本體的統(tǒng)一模型[52],以促進出了一種基于統(tǒng)一模型和開源情報收集工具Figure4Ontologyconstructionlevel4.1.2去偽去重開源威脅情報去偽去重是開源威脅情報挖掘時另外一個重要處理步驟,主要使用維度擴展及挖掘分析等方法對情報數(shù)據(jù)進行提純判定,盡可能對基信息去冗技術(shù)可以降低分布式存儲中的通信和容量開銷,并在這個以信息為導(dǎo)向的大社會中有巨大應(yīng)用。他們的觀點證實了數(shù)據(jù)去重對開源威脅情報系出了開發(fā)一種可過濾、分類、消除重復(fù)數(shù)據(jù)、對數(shù)等人[55]認為開源威脅情報系統(tǒng)在使用前必須對開源情報數(shù)據(jù)進行去重等操作,避免將新收集的情報數(shù)據(jù)直接關(guān)聯(lián)到現(xiàn)有數(shù)據(jù),以避免增加安全運營人員的額外工作量。其中去重操作主要是利用快速匹配算法從各種數(shù)據(jù)集中精準識別出匹配記錄,并將其從屬性、關(guān)系或數(shù)據(jù)內(nèi)容等維度上進行合并。作者同時也指出去重效果受到許多因素的影響,包括數(shù)據(jù)質(zhì)量、首字母縮略詞和縮寫詞的不同用法或語言4.1.3數(shù)據(jù)融合分析開源威脅情報數(shù)據(jù)融合分析旨在通過運用機器學(xué)習等智能數(shù)據(jù)融合方法針對原始情報信息進行關(guān)特性的高質(zhì)量威脅情報。目前學(xué)術(shù)界已產(chǎn)出一些威年提出了一個自動開源威脅情報融合框架,該框架不同情報來源提取開源威脅情報并利用聚類技術(shù)對內(nèi)容相似的情報數(shù)據(jù)進行聚合關(guān)聯(lián),最終輸出形成開源威脅情報關(guān)聯(lián)融合的類似方法。該方法主要采用簇聚合技術(shù),可關(guān)聯(lián)并聚合不同開源情報源中的析技術(shù),設(shè)計實現(xiàn)了一種基于多源情報信息融合的高質(zhì)量開源威脅情報生成工具。該工具綜合運用一致性分析,去偽去重等常見的粗粒度數(shù)據(jù)融合分析手段,并結(jié)合了SVM、貝葉斯推斷等高階數(shù)據(jù)分析理。但其數(shù)據(jù)融合方法手段及關(guān)聯(lián)應(yīng)用效率還尚待合研究大都還處于采用一致性分析、去偽去重等粗粒度階段,也有部分研究借鑒并應(yīng)用了一些高階數(shù)的方法,D-S(Dempster-Shafer)理論等證據(jù)推理方法,機器學(xué)習、智能聚合、模糊邏輯等基于知識的方法常適用于大數(shù)據(jù)環(huán)境中時效性要求高的開源威脅情報數(shù)據(jù)融合處理,可應(yīng)用于新興的綜合性數(shù)據(jù)融合源威脅情報數(shù)據(jù)將趨于更龐雜,基于深度學(xué)習的數(shù)據(jù)融合方法[61]由于其在處理海量數(shù)據(jù)上的優(yōu)勢,也開源威脅情報用于輔助支持決策或安全分析,情報的可信及可用性將直接影響安全決策分析結(jié)研究學(xué)者已展開了廣泛研究工作,一般可分為定性評價方法和定量評價方法,其中定量評價又包括特4.2.1定性評價方法Bouwman等人[62]將若干情報供應(yīng)商提情報與開源數(shù)據(jù)進行了對比,發(fā)現(xiàn)商業(yè)情報和公開情報在情報內(nèi)容方面幾乎沒有重疊,并指出商業(yè)威脅情報質(zhì)量存在覆蓋率不足,及時性欠缺等問題,這也從側(cè)面說明了開源威脅情報可作為商業(yè)情報的脅情報質(zhì)量的定性評估方法,主要利用了情報的場景相關(guān)性、豐富性、可操作性等特征。這些質(zhì)量評價指標也可以作為開源威脅情報質(zhì)量的有益借鑒。Alessandra等人[63]提出了一種面向開源網(wǎng)絡(luò)威脅情報平臺的定性質(zhì)量評估方法。該方法首先根據(jù)取了一些通用的評價標準指標,如收集階段需要的通用格式,分析階段的數(shù)據(jù)模型和關(guān)系機制,部署階段所需要的情報數(shù)字簽名格式等,同時針對質(zhì)量以及許可證聲明等。這些定性的評價標準或方4.2.2定量評價方法定性評價對于開源威脅情報的質(zhì)量評價來說仍不精確,因此有研究人員提出利用定量指標對開源一些文獻從開源威脅情報的特點出發(fā),提取多出的信息可信度3S(Semantic,Surface,andSourcefeatures)模型和情報共享的多源協(xié)作,提出了開源威特征和用戶特征可共同作用來判斷信息可信度,其特征包括用戶自身的領(lǐng)域知識和技能及相關(guān)經(jīng)驗。領(lǐng)域知識三個維度提取了情報源的權(quán)威度、可驗證情報源數(shù)等16個客觀定量可信特征,并提出基于DBN(DeepBeliefNetwork)的情報可信判別算法,分析挖掘情報間不同維度下可信評價的關(guān)聯(lián)關(guān)系。文獻[64]還進一步總結(jié)得出,開源威脅情報本身具有時近,及時性越強,其可信度就越高,對預(yù)測當前企源威脅情報內(nèi)容的文本格式和數(shù)據(jù)形式的機器可讀情報的可用性和通用性。各個情報內(nèi)容的相似度、維度看,開源威脅情報必須對威脅有定制化的全面分析,包含大概率會出現(xiàn)的情境,能夠從海量情報中篩選出真正相關(guān)的情報,盡可能地分析攻擊的所有態(tài)勢。在此基礎(chǔ)上,文獻[65]分別從情報來源、情取特征作為評估情報質(zhì)量的依據(jù),設(shè)計了一套基于深度神經(jīng)網(wǎng)絡(luò)算法和Softmax分類器的情報質(zhì)量評載體的可信度在很大程度上可以直接反映該情報的另外有些學(xué)者提出了一些自定義的定量情報評報率、可驗證性、互用性、兼容性、相似性、時效用加權(quán)平均模型,使每個實體能夠根據(jù)自己的需求和優(yōu)先次序?qū)?shù)進行調(diào)整,并可通過應(yīng)用結(jié)果對等人[68]將威脅情報的評價維度劃分為三個層次:屬性級、對象級、報告級。通過加權(quán)平均各個維度的聚合質(zhì)量指標,形成一個可量化的威脅情報質(zhì)量評估體系。在該體系中,每個定量維度的權(quán)重可調(diào)整,基于這四種類型評價指標,引入了一種改進分類方脅情報本質(zhì)是為用戶提供檢測服務(wù),提出了一種基于用戶視角建立對應(yīng)的定量指標體系,對開源威脅情報服務(wù)進行評估的方法。該方法將威脅情報視為信絕大多數(shù)人給出的信息真實性的假設(shè),提出基于多數(shù)威脅情報使用者的意見和評價來衡量情報的可信度。該方法可根據(jù)用戶反饋來動態(tài)調(diào)整各檢測項目的權(quán)重和得分,以獲得更為精確的情報質(zhì)量評價結(jié)果。由于開源威脅情報在共享及應(yīng)用時存在部分提出情報質(zhì)量指數(shù)(QualityofIndicators評估方法涉及的指標包括正確性、相關(guān)性、實用性和唯一性,采用基準方法定義,并利用機器學(xué)習算利用圖可直觀有效地表達推斷出各實體間的關(guān)系,因此一些學(xué)者也提出應(yīng)用圖挖掘技術(shù)來進行情自動評估異構(gòu)開源威脅情報的可信水平,創(chuàng)新性地反饋的多維角度提出了一種基于圖挖掘的情報特征提取方法,結(jié)合隨機森林算法訓(xùn)練分類器,為大規(guī)模異構(gòu)開源威脅情報提供了一種自動可解釋的可信間的時間與空間關(guān)聯(lián),根據(jù)內(nèi)容的原創(chuàng)性和其他源對其引用的程度對源進行排名。此方法還會對每個法利用了知識圖譜在鏈接關(guān)系檢索、關(guān)系存儲等方面的優(yōu)勢,構(gòu)建了一個情報知識圖譜,并綜合運用TransE和循環(huán)神經(jīng)網(wǎng)絡(luò)RNN模型對情報數(shù)據(jù)進本節(jié)總結(jié)論述了開源威脅情報的數(shù)據(jù)融合,質(zhì)量及可信性評價相關(guān)研究工作,將質(zhì)量及可信性評價相關(guān)研究工作劃分為定性評價和定量評價兩個方向,并對依這兩個方向收集甄選的開源威脅情報質(zhì)列為實現(xiàn)該項研究所應(yīng)用的技術(shù)方法,主要從數(shù)學(xué)模型以及評價技術(shù)兩個方向進行歸納分析;第5列為性能評估;第6列為通過總結(jié)優(yōu)缺點對該項研究經(jīng)網(wǎng)絡(luò)等作為一種有效的分類工具,已經(jīng)被大量應(yīng)用至開源威脅情報質(zhì)量的定性評價中,如文獻[64-65]在多維度提取特征指標并都應(yīng)用了機器學(xué)習中的神經(jīng)網(wǎng)絡(luò)模型;而在定量評價中由于涉及各個指標的權(quán)重考量問題,加權(quán)平均模型是更為常用的手段,表3開源威脅情報質(zhì)量及可信性評價相關(guān)研究分類總結(jié)Table3Classification,summaryand方向文獻技術(shù)應(yīng)用場景技術(shù)方法評價數(shù)學(xué)模型性能評估優(yōu)點缺點數(shù)學(xué)定義與推導(dǎo)加權(quán)平均模型評價技術(shù)[62]定性評價[63]付費與公開資源比較標準與平臺評估調(diào)查比較實體關(guān)系圖、文獻研究大量實證分析數(shù)據(jù)從情報流程中推導(dǎo)出了通用評價標準沒有提出一種定量可應(yīng)用的情報質(zhì)量評估方法沒有關(guān)注平臺間互操作性的優(yōu)勢、互補平臺的集成;真實世界有效性還未驗證準確率92.31%情報可精確率評價指標的選取不夠全面、具特定征量指評標價提取[64]信度多維度分析DBN、詞袋模型97.96%召回率85.71%F-score91.43%精確率91.37%比傳統(tǒng)算法的準確率和F值更高有代表性,操作性不夠靈活;實驗獲取的訓(xùn)練樣本缺乏全面性量評估情報質(zhì)[65]量評估召回率84.89%F-score88.01%與傳統(tǒng)分類方法相比準確率和召回率均有很大提高特征指標提取不夠全面方向文獻技術(shù)應(yīng)用場景技術(shù)方法評價數(shù)學(xué)模型性能評估優(yōu)點缺點數(shù)學(xué)定義與推導(dǎo)加權(quán)平均模型評價技術(shù)準確率評估情報源[66]評估■>78.7%覆蓋率>85%基礎(chǔ)指標詳實,數(shù)據(jù)來源豐富針對性不強;缺乏參考標準評估情報源[67]評估可動態(tài)調(diào)整情報源評估參數(shù),自動化程度高真實世界的有效性尚待驗證量評估標情報質(zhì)指量評估標質(zhì)量評估對共享平臺的用戶透明;必要時可將安全分析人員納入質(zhì)量評估體系度量指標不夠全面;缺少大規(guī)模環(huán)境的測試自定義情報源[69]質(zhì)量評估■覆蓋率>85%實證分析;情報來源豐富評價指標不全面[70]情報質(zhì)量評估■準確率>80%覆蓋率>86.4在覆蓋率和區(qū)分度上具有明顯優(yōu)勢評價指標不夠細化;評價指標的權(quán)重值確定方法不夠科學(xué)合理[71]指標質(zhì)量評估■■機器學(xué)習、信息增益準確率>72%實際應(yīng)用性強,為具體程序和社區(qū)成員都分配了權(quán)重系數(shù)指標權(quán)重值確定方法不夠科學(xué)合理;構(gòu)建參考數(shù)據(jù)集需要花費大量人力[72]異構(gòu)威脅情報可信評估同構(gòu)、頻繁模式挖掘、關(guān)聯(lián)規(guī)則精確率92.83%召回率93.84%對大規(guī)模異構(gòu)威脅情報的可信評估自動可解釋;可挖掘節(jié)點間的隱性關(guān)系評價指標不夠全面圖挖[73]情報源排序強抗篡改性,對大規(guī)模威脅情報處理具有較強的魯棒性度量標準不夠全面掘精確率威脅情[74]報可信分析RNN、BP、TransE、知識資源分配策略91.67%召回率85.71%F-score88.59%利用了知識圖譜在鏈接關(guān)系檢索、關(guān)系存儲等方面的優(yōu)勢,可發(fā)現(xiàn)隱含或虛假的情報信息沒有針對匿名社交網(wǎng)絡(luò)做情報信息可信分析了加權(quán)平均數(shù)學(xué)模型對情報質(zhì)量進行了量化評估;有向圖或知識圖譜等技術(shù)可以充分挖掘情報之間的聯(lián)系,近年作為一種較為新穎的情報質(zhì)量度量方法也受到廣大學(xué)者關(guān)注,例如文獻[72-74]都利用了圖挖掘方法,其中文獻[72-73]引入了有向圖和PageRank算法,而文獻[74]則應(yīng)用了知識圖譜進行評估建模。以上對開源威脅情報的融合評價分析可以幫助相關(guān)研究人員和從業(yè)者展開源威脅情報質(zhì)量融合與評價技術(shù)的研究,并以此為基礎(chǔ)提出一種綜合的開源威脅情報質(zhì)量定量評估方法,可大大減少對開源威脅情報質(zhì)量評價及可信度打分所需的人力,為組織篩選出高質(zhì)量、準確可信的威脅情報提供幫助。開源威脅情報關(guān)聯(lián)分析是指綜合運用Kill-Chain、鉆石或異構(gòu)信息網(wǎng)絡(luò)等模型,結(jié)合開源威脅情報信息,對實時攻擊流量數(shù)據(jù)進行深度關(guān)聯(lián)、碰而推理挖掘揭示出隱含的攻擊鏈條等高價值威脅信息。以開源威脅情報為應(yīng)用核心的關(guān)聯(lián)分析是當前開源威脅情報挖掘中的熱點研究方向,根據(jù)情報利用方式的不同,可大致分為網(wǎng)絡(luò)狩獵,態(tài)勢感知惡意檢測三個應(yīng)用場景,本節(jié)依據(jù)這三個應(yīng)用場景分其中威脅狩獵一般采用威脅情報驅(qū)動的檢測方法,針對網(wǎng)絡(luò)流量數(shù)據(jù)進行主動搜索,從而檢測出可能逃避現(xiàn)有安全防御措施的威脅目標。網(wǎng)絡(luò)狩獵涉及圖計算、模式匹配、領(lǐng)域特定語言等技術(shù)理論;態(tài)勢感知是以威脅情報大數(shù)據(jù)為基礎(chǔ),從全局視角出發(fā),提升對安全威脅的發(fā)現(xiàn)識別,理解分析、響應(yīng)處置能力。由于涉及和惡意攻擊行為的策略博弈,因此在利用威脅情報進行態(tài)勢感知分析時,近期有較多文獻引入了博弈理論來分析安全態(tài)勢的發(fā)展。開源威脅情報的惡意檢測則是指挖掘檢測任何惡意侵害目標系統(tǒng)相關(guān)資產(chǎn)的代碼或程序等。利用開源威脅情報輔助惡意檢測有助于更快發(fā)現(xiàn)實體威脅目標。常見方法是從開源威脅情報中提取相關(guān)檢測知識,并與惡意軟件的靜態(tài)、動態(tài)特征數(shù)據(jù)進行關(guān)聯(lián),構(gòu)建網(wǎng)絡(luò)安全知識圖譜(CybersecurityKnoweledgeGraph,CKG)來挖掘惡意軟件行為。接下來我們以網(wǎng)絡(luò)狩獵,態(tài)勢感知和惡意檢測這三個應(yīng)用場景,對開源威脅情報關(guān)聯(lián)分析研究工作進行具體論述。威脅狩獵[75]一般是采用人工分析和機器輔助的方法,針對網(wǎng)絡(luò)和數(shù)據(jù)進行主動和反復(fù)的搜索,從而篩選出可能逃避現(xiàn)有安全防御措施的威脅攻擊。與傳統(tǒng)檢測方式相比,網(wǎng)絡(luò)狩獵拓展了威脅檢測方式,可充分利用第三方威脅情報信息來提升對新型威脅的檢測能力,具有明確的目的性,包括縮減威脅目標的狩獵范圍,顯著減少威脅檢測時間,搜索如何獲取準確、及時用多樣化的威脅情報來提供大量輔助上下文檢測信息是保證威脅狩獵成功的關(guān)鍵?，F(xiàn)有網(wǎng)絡(luò)狩獵技術(shù)需要大量的人工查詢構(gòu)建部知識。近年基于開源威脅情報的網(wǎng)絡(luò)狩獵研究成于從非結(jié)構(gòu)化OSCTI文本中提取結(jié)構(gòu)化威脅行為,同時作者為該系統(tǒng)匹配一個簡潔而富于表現(xiàn)力的特升獵捕效率。文獻[15]提出了一種自動識別黑客論方法允許從收集的所有黑客內(nèi)容中提取潛在威脅,并通過將機器學(xué)習方法與信息檢索技術(shù)相結(jié)合來識結(jié)合數(shù)據(jù)流量檢測技術(shù),可實現(xiàn)威脅情報的快速集成、跨多個數(shù)據(jù)集的目標分析及威脅關(guān)聯(lián)檢測等操檢測或主機行為檢測產(chǎn)品中是威脅狩獵應(yīng)用的難點問題。張等人[78]提出了一種新威脅情報平臺MANTIS用以幫助安全分析師識別潛在威脅。該平臺中運用基于屬性圖的相似性算法將不同的威脅數(shù)據(jù)形式統(tǒng)一表示。這種統(tǒng)一表示可方便安全分析師將不相關(guān)的攻擊活動關(guān)聯(lián)起來,從而識別出可能的系統(tǒng)Poirot。該系統(tǒng)依托圖挖掘關(guān)聯(lián)報和網(wǎng)絡(luò)原始日志、終端日志、告警日志進行關(guān)聯(lián)分析,既可從攻擊者視角完整揭示網(wǎng)絡(luò)攻擊活動的戰(zhàn)術(shù)攻擊路徑,也能從被控主機視角完整描繪被控主機網(wǎng)絡(luò)行為,呈現(xiàn)出威脅全貌。Kim等人[80]提出了一種OSCTI收集管理框架CyTIME,可在無需人工干預(yù)的情況下自動生成入侵檢測系統(tǒng)和惡意軟件防御系統(tǒng)的安全規(guī)則,用于實時識別新網(wǎng)絡(luò)安全威脅。該工具能夠高效自動為每個用戶生成和存儲安一種基于開源威脅情報數(shù)據(jù)進行實時識別威脅主題的方法。該方法能夠在威脅檢測平臺邊界中檢測失設(shè)施節(jié)點的語義關(guān)聯(lián),進而在異質(zhì)信息網(wǎng)絡(luò)上構(gòu)建網(wǎng)絡(luò)威脅情報模型,將各類節(jié)點關(guān)系的信息進行高級語義的集成。作者通過設(shè)計一種基于權(quán)重學(xué)習的元路徑和元圖的威脅基礎(chǔ)設(shè)施相似度度量方法,結(jié)合異質(zhì)圖卷積網(wǎng)絡(luò)算法融合節(jié)點屬性和基于元路徑和元圖的相似鄰接關(guān)系,從而識別基礎(chǔ)設(shè)施節(jié)點的脅識別搜索,進而提出了一種基于開源威脅情報的黑客社區(qū)惡意資產(chǎn)分析工具,并運用深度學(xué)習算法及自學(xué)習檢測模型對可能的內(nèi)網(wǎng)滲透攻擊進行主動計算問題,通過運用威脅情報知識圖譜技術(shù)實現(xiàn)了威脅事件的線索提取。該方法實現(xiàn)了一套自動證據(jù)挖掘和交互式數(shù)據(jù)檢查的編程工具,可用于以威脅態(tài)勢感知是以大數(shù)據(jù)分析為基礎(chǔ),實現(xiàn)對安全從整體上動態(tài)掌握網(wǎng)絡(luò)安全全局狀況,安全防御者需要盡可能引入外部信息來幫助其應(yīng)對日趨復(fù)雜多變的新型網(wǎng)絡(luò)威脅。開源威脅情報是一種基于環(huán)境博客、電子郵件和社交媒體等非結(jié)構(gòu)化信息來提取并構(gòu)建TTP鏈。具體來說,作者利用NLP方法的監(jiān)測。上海大學(xué)的李等人[86]針對攻擊鏈模型進行情報系統(tǒng)的APT探測模型。在該模型中,作者以家互聯(lián)網(wǎng)應(yīng)急中心的溫等人[87]提出了一種探測和預(yù)絡(luò)安全監(jiān)控、基于知識的推理等手段對網(wǎng)絡(luò)整體態(tài)勢進行把握。實際測驗表明該方法能夠準確高效檢客、電子郵件和社交媒體等開源威脅情報信息來學(xué)習生成APT攻擊鏈,即各威脅動作的時序關(guān)系,并態(tài)勢感知應(yīng)用于系統(tǒng)安全防護時一般需要和具體業(yè)務(wù)流程結(jié)合,而將開源威脅情報整合運用,有利于改善業(yè)務(wù)流程的整體安全態(tài)勢。Gschwandtner等人[88]提出了一個在現(xiàn)有信息安全管理系統(tǒng)(InformationSecurityManagement,ISM)中集成OSCTI的框架,以幫助組織增強其信息安全管理能力。該框架能使安全專業(yè)人員規(guī)劃、集成和管理設(shè)施中的工業(yè)控制系統(tǒng)。由于現(xiàn)有工控系統(tǒng)大都由何設(shè)計安全架構(gòu),監(jiān)控識別攻擊,實施動態(tài)威脅感知防御成為一個難點問題。南威爾士大學(xué)的團隊[89]提出了一種基于Beta混合隱馬爾可夫機制(HybridHiddenMarkovMechanism,MHMM)的新開源威脅情報態(tài)勢感知架構(gòu)用以監(jiān)視識別來自工業(yè)4.0的網(wǎng)統(tǒng)的工業(yè)4.0組件進行動態(tài)交互建模以實現(xiàn)監(jiān)視識現(xiàn)有大部分利用開源威脅情報進行安全態(tài)勢感知的研究工作,都假設(shè)攻擊及防御都為單次靜態(tài)的,并且威脅攻擊總是出現(xiàn)在防御之前。而從現(xiàn)實情況來看,隨著攻防兩端不斷更新攻擊及防御策略,網(wǎng)絡(luò)安全態(tài)勢一直在處于此消彼長的動態(tài)變化中。博弈論結(jié)合開源威脅情報近年也被引入至威脅態(tài)勢感知研究工作中。為幫助理解網(wǎng)絡(luò)安全態(tài)勢變化的趨勢,文獻[90]提出了一種云計算環(huán)境下利用隨機博弈和開源威脅情報的網(wǎng)絡(luò)安全態(tài)勢感知方法,該方法利用博弈雙方的效用來量化網(wǎng)絡(luò)安全態(tài)勢,并探尋了該博弈模型的Nash均衡狀態(tài)。文獻[91]提出了一種基于開源威脅情報的網(wǎng)絡(luò)攻擊預(yù)測方法,該方法基于攻擊者和防御者之間的博弈關(guān)系,結(jié)合高質(zhì)量開源威脅情報中的上下文數(shù)據(jù)和攻防混合策略Nash均衡來預(yù)測攻擊行為。文獻[92]收集包含攻擊媒介的大型國際黑客論壇,使用深度學(xué)習文本分類來探測新興的惡意移動軟件變化趨勢。該研究框架可以應(yīng)用于探測其他黑客論壇資產(chǎn),以確定與用戶則充分利用來自經(jīng)驗測量的真實開源網(wǎng)絡(luò)威脅情報,并以輕耦合方式整合至業(yè)務(wù)系統(tǒng)。通過運用威脅情報,業(yè)務(wù)系統(tǒng)可將網(wǎng)絡(luò)和物理環(huán)境聯(lián)合起來,結(jié)合博弈策略來預(yù)測、推斷和歸因有形的計算機程序產(chǎn)一種基于開源威脅情報的社交物聯(lián)網(wǎng)(SocialInter-netofThings,SIoT)賬戶惡意行為預(yù)測方法。該方法利用支持向量機獲取與目標賬戶惡意行為相關(guān)的開源威脅情報,分析開源威脅情報中的上下文數(shù)據(jù)關(guān)系來預(yù)測惡意賬戶的行為,并探究了最終可能的平衡狀態(tài)。在這些研究工作中,開源威脅情報作為防御方的動作策略集,是其預(yù)測潛在攻擊行為的重要基礎(chǔ)。而另一方面,由于社交媒體、博客和黑暗網(wǎng)絡(luò)漏洞市場等情報的多種語言特點,阻礙了威脅情報的解析及預(yù)測效率。為更好利用開源信息進行網(wǎng)絡(luò)態(tài)勢感知,Ranade等人[95]提出了一種基于神經(jīng)網(wǎng)絡(luò)的開源情報跨語言翻譯系統(tǒng)。該系統(tǒng)使用多語言威脅情報系統(tǒng)來協(xié)調(diào)不同語言的網(wǎng)絡(luò)術(shù)語表示,幫助安全分析師及時理解并抓住多語言威脅情報中的關(guān)鍵信息,從而擴展至全球范圍內(nèi)安全監(jiān)控,威脅預(yù)測感知能力。隨著網(wǎng)絡(luò)攻擊中可利用的惡意工具或軟件越來越趨于常態(tài)化,傳統(tǒng)的基于異常和基于簽名等的檢測技術(shù)已經(jīng)難以保證其檢測時效性。開源威脅情報惡意檢測旨在利用開源情報信息挖掘檢測可能對目標資產(chǎn)造成損害的攻擊對象,包括惡意軟件、惡意了大量的研究工作。Gandotra等人[96]設(shè)計實現(xiàn)了一個可幫助安全人員分析、識別和預(yù)測惡意軟件并進過該框架生成的威脅情報可以與安全機構(gòu)共享,以便安全人員發(fā)布建議和預(yù)防措施來應(yīng)對未來的惡意別分類有利于更好了解惡意軟件感染方式及威脅級別。胡等人[97]提出了一種基于開源威脅情報的惡意軟件機器學(xué)習分類器。該方法通過開源情報信息來提取惡意軟件中的多方面內(nèi)容特征,如指令序列及字符串等,能夠高效完成惡意軟件檢測分類。Piplai等人[98]提出了一種開源威脅情報結(jié)合網(wǎng)絡(luò)安全知識圖譜進行惡意軟件檢測的方法。該方法的主要思路是將開源威脅情報中提取的知識與沙箱中捕獲的惡意軟件行為數(shù)據(jù)構(gòu)建知識圖譜,并運用圖挖掘技術(shù)來推斷識別惡意軟件行為。在惡意軟件的識別檢測具有良好表征意義的特征可有效提升檢測效率。應(yīng)用開源威脅情報對于準確提取惡意軟件特征有良好的借鑒作用。來自美國馬里蘭大學(xué)的團隊[99]提出了一種端到端特征集自動生成方法FeatureSmit從安全會議發(fā)表的論文內(nèi)容中自動提取用于訓(xùn)練機器學(xué)習分類檢測器的特征集。該團隊還利用FeatureSmith自動生成了一個用于檢測惡意軟件的特征集,可集成到已有安全系統(tǒng)中為惡意軟件檢測主流的防御方法主要依靠黑名單機制,其準確性及特性所導(dǎo)致的特征單一等不足。中國科學(xué)院大學(xué)的汪鑫等人[100]提出了一種將開源威脅情報與URL測相結(jié)合的思路,并實現(xiàn)了一個基于開源威脅情報感詞特征等三類特征,輔以訓(xùn)練分類器,并引入多般依靠靜態(tài)分析和動態(tài)分析。文獻[101]提出了一種基于貝葉斯網(wǎng)絡(luò)域內(nèi)知識和開源威脅情報集成學(xué)習開源威脅情報信息,并用其生成模擬真實環(huán)境的惡意攻擊會對數(shù)據(jù)安全、資產(chǎn)系統(tǒng)造成嚴重?？刹扇?shù)字取證分析得到惡意攻擊來源、模式以及現(xiàn)階段系統(tǒng)數(shù)據(jù)流量巨大,攻擊技術(shù)日趨復(fù)雜,這些特性都給安全事故現(xiàn)場的數(shù)字取證帶來困難。數(shù)字取證結(jié)合威脅情報信息有利于安全事件的調(diào)查取可操作的OSCTI基于已有的數(shù)字取證準備(DigitalForensicReadiness,DFR)模型開發(fā)擴展的輕量級DFR模型,旨在實現(xiàn)快速有效的數(shù)據(jù)分類,使響應(yīng)者或取證分析師能夠快速過濾掉與系統(tǒng)危害無關(guān)的數(shù)據(jù)類,顯著提高通過針對惡意活動模式的數(shù)字取證效率。為增強現(xiàn)有DFR方案的有效性,Serketzis等人[103]又結(jié)合數(shù)字取證技術(shù),定量運用開源威脅情報數(shù)據(jù)來識別高取證價值信息,以此用于快速分類本節(jié)具體介紹了開源情報關(guān)聯(lián)分析的網(wǎng)絡(luò)狩依這三個關(guān)聯(lián)分析應(yīng)用方向搜集選取的代表性研究工作,并對這三個關(guān)鍵應(yīng)用方向中研究工作進行詳究工作,第1列代表相關(guān)開源威脅情報聯(lián)合分析研究被分類的三個主要方向;第3列為每個研究工作的具體技術(shù)應(yīng)用場景;第4列為該項研究為實現(xiàn)任務(wù)所應(yīng)用的具體技術(shù)方法,主要從數(shù)據(jù)處理,關(guān)系模型構(gòu)建,檢測方法以及數(shù)據(jù)存儲方向進行歸納分綜合表4的對比分析可以看出,開源威脅情報測等極為普遍的安全領(lǐng)域交互應(yīng)用場景。從應(yīng)用角擊威脅的搜尋檢測;態(tài)勢感知更關(guān)注于提升對全局威脅形勢把握的技術(shù)手段的研究,包括整體決策,URL和活動等。從技術(shù)實現(xiàn)角度來看,相較網(wǎng)絡(luò)狩獵以及惡意檢測關(guān)聯(lián)分析,開源威脅情報態(tài)勢感知表4開源威脅情報聯(lián)合分析相關(guān)研究 Table4Classification,summaryandcomparis分類網(wǎng)絡(luò)狩獵態(tài)勢感知分類網(wǎng)絡(luò)狩獵態(tài)勢感知文獻技術(shù)方法技術(shù)應(yīng)用場景數(shù)據(jù)處理關(guān)系模型構(gòu)建檢測方法數(shù)據(jù)存儲性能評估評價優(yōu)點缺點優(yōu)點[76][15][77][78][79][80][81][82][83][84][85][86][87][88][89]搜索網(wǎng)絡(luò)威脅識別黑客論壇內(nèi)潛在威脅識別跨暗網(wǎng)數(shù)據(jù)源中威脅識別威脅檢測已知網(wǎng)絡(luò)威脅攻擊生成威脅檢測安全規(guī)則識別威脅主題識別威脅類型惡意資產(chǎn)門戶分析將威脅發(fā)現(xiàn)建模來搜索威脅APT鏈學(xué)習探測APT探測APT攻擊ISM流程增強感知工業(yè)4.0網(wǎng)絡(luò)威脅NLPsimhash算法XML文件解格式轉(zhuǎn)換域內(nèi)NER正則表達式、SMITREATT&CK和STIX2.0格式建構(gòu)正則表達式威脅行為圖構(gòu)建[104-106]多節(jié)點網(wǎng)絡(luò)、Gephi創(chuàng)建交互式網(wǎng)絡(luò)儀表板檢索詞袋模型源圖構(gòu)建Gp、查詢圖構(gòu)建Gq異質(zhì)信息隱含狄利克雷分布LDA圖構(gòu)建C4.5決策樹BetaMHMM依存句法分析相關(guān)性排序、信息檢索關(guān)鍵詞搜索圖形模式匹配、圖挖掘、圖對齊TF-IDF算法GCNSVM、余弦相似度K-Means模糊推理、基于規(guī)則的推理焦點小組討論關(guān)系模式數(shù)據(jù)庫數(shù)據(jù)庫分布式圖形數(shù)據(jù)庫json格式封裝數(shù)據(jù)庫精確率100%召回率96.74%F198.34%平均精確率80%運行時開銷≤1.86%規(guī)則生成平均時間＜0.0481s準確率＞98%F-Score＞98%Micro-F1提高>3%搜索平均時間≤0.47s檢出率＞50%可靠性＞90%準確率＞96%召回率＞95%FPR＜4%TBQL專為威脅搜索設(shè)計,簡潔高效;高精度威脅提取采用不同方法針對性收集不同黑客論壇黑客內(nèi)容快速集成附加數(shù)據(jù);跨多個數(shù)據(jù)集實現(xiàn)目標分析;自動化數(shù)字定位全局威脅建模;可協(xié)助安全分析師有效調(diào)查高危事件威脅搜索可靠快速高效,更易檢測變異攻擊能夠快速高效自動為每個用戶生成和存儲安全規(guī)則可對特定領(lǐng)域主題或高復(fù)雜性主題產(chǎn)生較充分的特征表示顯著提高威脅類型識別性能避免了被動的威脅信息收集分析威脅檢測分析能力強大高效可自動理解和響應(yīng)非結(jié)構(gòu)化文本中共享的網(wǎng)絡(luò)攻擊對合法域名誤判率較低有效準確預(yù)測APT可有效增強安全預(yù)算管理和企業(yè)網(wǎng)絡(luò)彈性解決了基于規(guī)則的檢測系統(tǒng)中固有的問題可能合成不合理的事件模式數(shù)據(jù)收集范圍不廣泛自動爬蟲和解析器相結(jié)合識別效果有待進一步證明不能檢索未導(dǎo)入對象;可能遭受規(guī)避攻擊互聯(lián)網(wǎng)連接的受控環(huán)境中威脅搜索時間會增加安全規(guī)則映射算法不夠通用缺少支撐安全域?qū)嶓w數(shù)據(jù)庫異質(zhì)信息網(wǎng)節(jié)點和邊類型有待豐富多種功能可被進一步開發(fā)未實現(xiàn)完全自主使用英語時間錨無法捕捉到不可忽略的大量時間關(guān)系有部分符合正常語言習慣的惡意域名無法檢出;對OSCTI庫信息的準確度要求高需要依賴大量異常行為和數(shù)據(jù)需進一步實現(xiàn)將技術(shù)創(chuàng)新納入ISMS各種其他流程的方法依賴于大量正常、攻擊樣本;滑動窗口性能效果有待驗證分類分類文獻技術(shù)方法技術(shù)應(yīng)用場景數(shù)據(jù)處理關(guān)系模型構(gòu)建檢測方法數(shù)據(jù)存儲性能評估評價優(yōu)點缺點優(yōu)點[90][91][92][93][94][95][96][97][98]惡[99]意檢測[100][101][102][103]感知網(wǎng)絡(luò)安全態(tài)勢預(yù)測網(wǎng)絡(luò)攻擊探測移動惡意移動軟件趨勢預(yù)測計算機程序產(chǎn)品攻擊預(yù)測SIoT賬戶惡意行為跨多種語言翻譯理解OSCTI識別檢測惡意軟件分類、識別惡意軟件檢測惡意軟件端到端惡意特征集自動生成檢測惡意URL檢測XSS攻擊檢測惡意活動模式分類和識別惡意活動模式蜜罐采集Word2Vec詞嵌入NERStanford依賴解析器隨機博弈非合作博弈二分網(wǎng)絡(luò)圖核[107]對齊模型[108]統(tǒng)計建模N-gram模型網(wǎng)絡(luò)安全本體UCO、CKG語義網(wǎng)絡(luò)多分類器