1、網(wǎng)絡(luò)業(yè)務(wù)及安全態(tài)勢(shì)大數(shù)據(jù)分析平臺(tái)主要內(nèi)容研發(fā)背景及目標(biāo)平臺(tái)軟硬件架構(gòu)關(guān)鍵問(wèn)題及技術(shù)當(dāng)前研究進(jìn)展下一步研究計(jì)劃研發(fā)背景及目標(biāo)研發(fā)背景我校2014年12月11日召開(kāi)的信息化領(lǐng)導(dǎo)小組工作會(huì)議決定，擬建立四川大學(xué)網(wǎng)絡(luò)業(yè)務(wù)及安全態(tài)勢(shì)大數(shù)據(jù)分析平臺(tái)由學(xué)校投資建設(shè)硬件平臺(tái)，由四川大學(xué)網(wǎng)絡(luò)與可信計(jì)算研究所負(fù)責(zé)軟件研發(fā)項(xiàng)目分階段逐步推進(jìn)，7月底硬件到位，目前處于第一階段大數(shù)據(jù)平臺(tái)流量數(shù)據(jù)來(lái)源校園網(wǎng)出口流量川大數(shù)據(jù)中心流量研發(fā)目標(biāo)實(shí)現(xiàn)全校網(wǎng)絡(luò)出口流量的業(yè)務(wù)采集和分流，提供全校統(tǒng)一的解決方案對(duì)核心網(wǎng)絡(luò)流量進(jìn)行業(yè)務(wù)分析，掌握全校網(wǎng)絡(luò)的應(yīng)用、性能等狀況對(duì)我校的網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行實(shí)時(shí)分析和掌握3主要內(nèi)容研發(fā)背景及目標(biāo)平臺(tái)軟

2、硬件架構(gòu)關(guān)鍵問(wèn)題及技術(shù)當(dāng)前研究進(jìn)展下一步研究計(jì)劃硬件架構(gòu)采集路由器實(shí)現(xiàn)對(duì)全網(wǎng)數(shù)據(jù)流的采集，并通過(guò)策略將不同的數(shù)據(jù)流鏡像到不同的端口采集服務(wù)器3臺(tái)華為Tecal RH2288H V2服務(wù)器采集川大數(shù)據(jù)中心原始流量數(shù)據(jù)+校園網(wǎng)出口Netstream數(shù)據(jù)服務(wù)器集群10臺(tái)華為Tecal RH2288H V2服務(wù)器實(shí)現(xiàn)對(duì)海量數(shù)據(jù)存儲(chǔ)和分析萬(wàn)兆交換機(jī)實(shí)現(xiàn)對(duì)服務(wù)器、存儲(chǔ)等的高速互聯(lián)軟件架構(gòu)6數(shù)據(jù)采集與預(yù)處理數(shù)據(jù)傳輸數(shù)據(jù)存儲(chǔ)與訪問(wèn)數(shù)據(jù)處理與分析數(shù)據(jù)可視化主要內(nèi)容研發(fā)背景及目標(biāo)平臺(tái)軟硬件架構(gòu)關(guān)鍵問(wèn)題及技術(shù)當(dāng)前研究進(jìn)展下一步研究計(jì)劃關(guān)鍵問(wèn)題及技術(shù)采樣信息失真嚴(yán)重 VS 原始流量規(guī)模較大Netstream采樣信息誤

3、差較大，給基礎(chǔ)數(shù)據(jù)統(tǒng)計(jì)和行為分析的準(zhǔn)確性造成一定影響但是原始流量規(guī)模較大，直接采集原始數(shù)據(jù)包丟包率較高采用PF_RING技術(shù)，解決大規(guī)模網(wǎng)絡(luò)流量采集問(wèn)題分布式數(shù)據(jù)傳輸、聚合和緩存采集端存儲(chǔ)端 及 采集端流式處理端使用Flume+Kafka組件作為數(shù)據(jù)傳輸管道和可持久化消息隊(duì)列分布式數(shù)據(jù)實(shí)時(shí)分析基于Spark Streaming的實(shí)時(shí)處理技術(shù)8關(guān)鍵問(wèn)題及技術(shù)網(wǎng)絡(luò)數(shù)據(jù)流重組及網(wǎng)絡(luò)行為還原如何將采集到的數(shù)據(jù)包還原為會(huì)話、還原為應(yīng)用層行為：自建協(xié)議棧數(shù)據(jù)中心大規(guī)模的流量，高性能采集和還原：PF_RING，XTASK多任務(wù)調(diào)度框架服務(wù)器行為建?；诋惓?vs 基于誤用基于流量結(jié)構(gòu)穩(wěn)定性和行為模式規(guī)律性建

4、模，檢測(cè)未知攻擊和異常動(dòng)態(tài)時(shí)間序列實(shí)時(shí)檢測(cè)靜態(tài)特征 vs 動(dòng)態(tài)特征靜態(tài)時(shí)間序列檢測(cè) vs 動(dòng)態(tài)時(shí)間序列檢測(cè)基于動(dòng)態(tài)多維時(shí)間序列的網(wǎng)絡(luò)行為模型9主要內(nèi)容研發(fā)背景及目標(biāo)平臺(tái)軟硬件架構(gòu)關(guān)鍵問(wèn)題及技術(shù)當(dāng)前研究進(jìn)展下一步研究計(jì)劃當(dāng)前研究進(jìn)展完成數(shù)據(jù)采集與預(yù)處理數(shù)據(jù)中心原始流量采集還原、網(wǎng)絡(luò)出口Netstream流量解析與采集完成大數(shù)據(jù)平臺(tái)的搭建基于Spark的分布式離線處理、基于Spark Streaming的實(shí)時(shí)處理、分布式數(shù)據(jù)傳輸、分布式數(shù)據(jù)存儲(chǔ)與訪問(wèn)等網(wǎng)絡(luò)流量各維度的分析校內(nèi)校外流量/包數(shù)/連接數(shù)TOP IP排行、校內(nèi)校外IP數(shù)統(tǒng)計(jì)、流量按協(xié)議分布情況、端口群流量分析等Netstream流量各維度

5、統(tǒng)計(jì)、 DNS服務(wù)狀態(tài)分析、DNS請(qǐng)求數(shù)據(jù)的分析、郵件數(shù)據(jù)的校區(qū)及地理分布分析等實(shí)現(xiàn)了初步的系統(tǒng)功能全局流量狀態(tài)、校區(qū)流量狀態(tài)、區(qū)域流量狀態(tài)、機(jī)構(gòu)流量分布、流量業(yè)務(wù)排行榜、網(wǎng)站業(yè)務(wù)排行榜、服務(wù)器分析、Web服務(wù)監(jiān)測(cè)、DNS服務(wù)監(jiān)測(cè)、安全事件實(shí)時(shí)監(jiān)測(cè)等11階段性成果展示流量狀態(tài)12階段性成果展示流量業(yè)務(wù)分析13階段性成果展示流量業(yè)務(wù)排行榜14階段性成果展示網(wǎng)站業(yè)務(wù)排行榜15階段性成果展示服務(wù)器分析總覽16階段性成果展示W(wǎng)eb服務(wù)監(jiān)測(cè)17階段性成果展示18DNS服務(wù)監(jiān)測(cè)階段性成果展示19主要內(nèi)容研發(fā)背景及目標(biāo)平臺(tái)軟硬件架構(gòu)關(guān)鍵問(wèn)題及技術(shù)當(dāng)前研究進(jìn)展下一步研究計(jì)劃下一步研究計(jì)劃對(duì)網(wǎng)絡(luò)出口原始流量的采集、存儲(chǔ)與分析Netstream采樣信息誤差較大，給基礎(chǔ)數(shù)據(jù)統(tǒng)計(jì)和行為分析的準(zhǔn)確性造成一定影響出口流量規(guī)模較大（4.5Gbps左右），給數(shù)據(jù)采集和存儲(chǔ)提出了新要求豐富的信息來(lái)源，多樣性的數(shù)據(jù)當(dāng)前研究主要以網(wǎng)絡(luò)流量數(shù)據(jù)為主引入更豐富的數(shù)據(jù)源：IDS、防火墻、漏洞掃描數(shù)據(jù)、各類告警數(shù)據(jù)等網(wǎng)絡(luò)業(yè)務(wù)和網(wǎng)絡(luò)行為精細(xì)化分析當(dāng)前對(duì)網(wǎng)絡(luò)業(yè)務(wù)的分析主要以統(tǒng)計(jì)分析技術(shù)為主采用更豐富的數(shù)據(jù)挖