1、大數(shù)據(jù)安全分析在銀行業(yè)的探索與實(shí)踐目錄大數(shù)據(jù)發(fā)展現(xiàn)狀電子銀行業(yè)的機(jī)遇與挑戰(zhàn)網(wǎng)絡(luò)安全法的出臺為電子銀行業(yè)保駕護(hù)航安全遇到了大數(shù)據(jù)大數(shù)據(jù)安全分析架構(gòu)大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐大數(shù)據(jù)發(fā)展現(xiàn)狀大數(shù)據(jù)發(fā)展現(xiàn)狀許多企業(yè)將大數(shù)據(jù)分析納入安全 戰(zhàn)略；企業(yè)的安全日志數(shù)據(jù)提供了以往 未遂的網(wǎng)絡(luò)攻擊信息，企業(yè)可以 利用這些數(shù)據(jù)來預(yù)測并防止未來 可能發(fā)生的攻擊，以減少攻擊造 成的損失；一些公司正將其安全信息和事件 管理軟件(SIEM)與大數(shù)據(jù)平臺(如Hadoop)結(jié)合起來。智能安保作為大數(shù)據(jù)應(yīng)用的典范之一大數(shù)據(jù)發(fā)展現(xiàn)狀2017年4月國家發(fā)布了大數(shù)據(jù) 安全標(biāo)準(zhǔn)化白皮書；從法規(guī)、政策、標(biāo)準(zhǔn)、應(yīng)用緯度 闡述大數(shù)

2、據(jù)安全標(biāo)準(zhǔn)化涉及的內(nèi) 容；堅(jiān)持安全與發(fā)展并重的方針，為 大數(shù)據(jù)發(fā)展構(gòu)建安全保障體系大數(shù)據(jù)處理技術(shù)的企業(yè)級之路來源：大數(shù)據(jù)標(biāo)準(zhǔn)化白皮書目錄大數(shù)據(jù)發(fā)展現(xiàn)狀電子銀行業(yè)的機(jī)遇與挑戰(zhàn)網(wǎng)絡(luò)安全法的出臺為電子銀行業(yè)保駕護(hù)航安全遇到了大數(shù)據(jù)大數(shù)據(jù)安全分析架構(gòu)大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐電子銀行業(yè)的機(jī)遇與挑戰(zhàn)金融互聯(lián)網(wǎng)互聯(lián)網(wǎng)的發(fā)展，使傳統(tǒng)銀行業(yè)獲得了新的發(fā)展機(jī)遇。電子銀行業(yè)的機(jī)遇與挑戰(zhàn)目錄大數(shù)據(jù)發(fā)展現(xiàn)狀電子銀行業(yè)的機(jī)遇與挑戰(zhàn)網(wǎng)絡(luò)安全法的出臺為電子銀行業(yè)保駕護(hù)航安全遇到了大數(shù)據(jù)大數(shù)據(jù)安全分析架構(gòu)大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐網(wǎng)絡(luò)安全法的出臺為電子銀行業(yè)保駕護(hù)航網(wǎng)絡(luò)安全法部分解讀網(wǎng)絡(luò)安全法的出臺為

3、電子銀行業(yè)保駕護(hù)航商業(yè)銀行貫徹和落實(shí)網(wǎng)絡(luò)安全法的措施與建議來源：中國網(wǎng)信網(wǎng)目錄大數(shù)據(jù)發(fā)展現(xiàn)狀電子銀行業(yè)的機(jī)遇與挑戰(zhàn)網(wǎng)絡(luò)安全法的出臺為電子銀行業(yè)保駕護(hù)航安全遇到了大數(shù)據(jù)大數(shù)據(jù)安全分析架構(gòu)大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐安全遇到了大數(shù)據(jù)從大數(shù)據(jù)到安全大數(shù)據(jù)分析當(dāng)前信息安全領(lǐng)域，正在面臨多種挑戰(zhàn)；一方面，企業(yè)安全架構(gòu)日趨復(fù)雜，各種類型的安全設(shè)備、安全數(shù)據(jù)越來越 多，傳統(tǒng)的分析能力明顯力不從心；另一方面，以APT為代表的新型威脅的興起，內(nèi)控與合規(guī)的深入，越來越 需要儲存與分析更多的安全信息，并且以更加快速的做出判定和響應(yīng)；2012年3月，Gartner發(fā)表了一份題為Information Sec

4、urity Is Becoming a Big Data Analytics Problem的報(bào)告，表示信息安全問題 正在變成一個(gè)大數(shù)據(jù)分析問題，大規(guī)模的安全數(shù)據(jù)需要被有效地關(guān)聯(lián)、分 析和挖掘，并預(yù)測未來將出現(xiàn)安全分析平臺，以及部分企業(yè)在未來五年將 出現(xiàn)一個(gè)新的崗位-“安全分析師”或“安全數(shù)據(jù)分析師”。安全遇到了大數(shù)據(jù)現(xiàn)在，來自IT環(huán)境的各類日志也加入了大數(shù)據(jù)的隊(duì)伍，但企業(yè)的CIO們也意識到從日志中獲取有價(jià)值的決策信息并不簡單:海量日志內(nèi)容日志報(bào)警缺乏關(guān)聯(lián)性大量的誤報(bào)信息多種控制臺界面在以往，了解難以察覺的安全威脅會耗費(fèi)數(shù)天甚至數(shù)月的時(shí)間，因?yàn)榇罅康幕ゲ幌喔傻臄?shù)據(jù)流難以形成簡明、有條理的事件“

5、拼 圖”；采集和分析的數(shù)據(jù)量越大，看起來越混亂，重構(gòu)事件所需的時(shí)間也越長。如果攻擊快速且兇猛(例如拒絕服務(wù)攻擊或快速傳播的蠕 蟲)，花數(shù)天或數(shù)月診斷問題會帶來巨大的合規(guī)和財(cái)務(wù)影響。哪些資產(chǎn)真正處于威脅風(fēng)險(xiǎn)中，哪些資產(chǎn)有補(bǔ)救控制或應(yīng)對措施?要 知道這些問題，管理員需要監(jiān)控所有系統(tǒng)的安全狀況，包括訪問其網(wǎng)絡(luò)的移動設(shè)備和個(gè)人擁有設(shè)備， 并及時(shí)確定優(yōu)先級和補(bǔ)救措 施。 研究報(bào)告證實(shí)，只有35%的企業(yè)可以快速檢測安全漏洞，多數(shù)商業(yè)機(jī)構(gòu)都缺乏駕馭大數(shù)據(jù)的安全力量。從大數(shù)據(jù)到安全大數(shù)據(jù)分析 續(xù)目錄大數(shù)據(jù)發(fā)展現(xiàn)狀電子銀行業(yè)的機(jī)遇與挑戰(zhàn)網(wǎng)絡(luò)安全法的出臺為電子銀行業(yè)保駕護(hù)航安全遇到了大數(shù)據(jù)大數(shù)據(jù)安全分析架構(gòu)大數(shù)據(jù)

6、安全分析在電子銀行業(yè)的探索與實(shí)踐大數(shù)據(jù)安全分析架構(gòu)通用架構(gòu)目錄大數(shù)據(jù)發(fā)展現(xiàn)狀電子銀行業(yè)的機(jī)遇與挑戰(zhàn)網(wǎng)絡(luò)安全法的出臺為電子銀行業(yè)保駕護(hù)航安全遇到了大數(shù)據(jù)大數(shù)據(jù)安全分析架構(gòu)大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐背景電子銀行網(wǎng)上銀行業(yè)務(wù)每天會產(chǎn)生大量的日志日志涉及訪問日志及交易日志訪問日志是WEB服務(wù)器產(chǎn)生的日志交易日志是應(yīng)用輸出的日志，包括登錄的帳號、 設(shè)備、登錄的狀態(tài)、登入的時(shí)間、交易情況等根據(jù)日志數(shù)據(jù)對用戶畫像，包括撞庫行為畫像及 掃描行為畫像大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐黑名單+規(guī)則+算法+場景模型支持用戶熟悉的黑名單和規(guī)則新一代黑名單和規(guī)則引擎

7、，支 持用戶用表達(dá)式定義以場景為單位聚合海量報(bào)警，大幅減少用戶處理數(shù)據(jù)的量到1/50數(shù)量統(tǒng)計(jì)算法集合 規(guī)則黑名單場景更高層次 更少報(bào)警 更智能大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐賬戶異常賬號異常VPN使用異常終端使用異常應(yīng)用服務(wù)器異常文件服務(wù)器郵件服務(wù)器數(shù)據(jù)服務(wù)器內(nèi)置行為場景庫互聯(lián)網(wǎng)使用異常軟件服務(wù)郵件服務(wù)網(wǎng)盤服務(wù)IM服務(wù)個(gè)性化黑名單網(wǎng)絡(luò)流異常訪問日志異常WEB大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐把用戶多維度行為拆成一個(gè)個(gè) 維度分析，比如用戶行為細(xì)分 為：每天訪問日志中404數(shù)量每天使用哪個(gè)設(shè)備登錄每天訪問交易類型每天訪問序列5. 每個(gè)維度都進(jìn)行模式計(jì)算，偏 離模式即是異常單一維度數(shù)量異常

8、很容易判斷何為“基線”單維度數(shù)量異常（特別小的數(shù)值）大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐多緯度三大類基線數(shù)量：1小時(shí)登陸多少次關(guān)系：登陸使用設(shè)備以前是否用過序列：登陸后依次進(jìn)行哪些操作三大類全部支持超長周期（6個(gè)月）分布式（10000用戶）計(jì)算全部支持用戶界面上自定義大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐安全算法選擇安全分析以無監(jiān)督學(xué)習(xí)（異常檢測）為主，因?yàn)?客戶缺乏標(biāo)記數(shù)據(jù)有人工輔助的半監(jiān)督學(xué)習(xí)（安全專家、運(yùn)維人員 反饋）算法結(jié)構(gòu)：無監(jiān)督異常分析人工確定異常產(chǎn)生標(biāo)記 樣本半監(jiān)督學(xué)習(xí)大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐例子：從二維降到一維，離 一維坐標(biāo)過遠(yuǎn)的就是異常X軸：登陸總數(shù)Y軸：登陸

9、失敗總數(shù)正常：離降維坐標(biāo)近的點(diǎn)異常：離降維坐標(biāo)遠(yuǎn)的點(diǎn)- 登陸失敗總數(shù)相比登陸總數(shù) 過大的用戶數(shù)量異常如何使用算法計(jì)算登陸總數(shù)012345678登陸失敗總數(shù)異常點(diǎn)降維坐標(biāo)012345678大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐聚類找異常例子：按照點(diǎn)密集程度 分成2類正常：屬于大類異常：不屬于任何類或 者屬于很小的類- 登 陸失敗總數(shù)相比登陸總 數(shù)過大的用戶0123456789登陸總數(shù)0123456789登陸失敗總數(shù)類2類1大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐例子：構(gòu)建決策樹看多少 個(gè)決策后才能定位到點(diǎn)決策節(jié)點(diǎn)值：登陸失敗總數(shù)登陸總數(shù)正常：決策樹淺的點(diǎn)，越量信息就能描述異常：決策樹深的點(diǎn)- 登 陸失敗總數(shù)相比登陸總數(shù) 過大的用戶決策樹找異常深度3深度2淺代表越常見，只需要少 =0.3?=0.5?YNYN深度1=0.7?YN大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)踐架構(gòu)細(xì)節(jié)：實(shí)時(shí)分布式流處理平臺基于實(shí)時(shí)大規(guī)模分布式處理系統(tǒng)Flink開發(fā)Flink支持銀行級的低延遲（1,000,000 EPS）大數(shù)據(jù)安全分析在電子銀行業(yè)的探索與實(shí)