企業(yè)大數(shù)據(jù)一

數(shù)據(jù)安全管控平臺(tái)建設(shè)技術(shù)方案

目錄

第一章.建設(shè)背景1

1.1.數(shù)據(jù)安全現(xiàn)狀1

1.2.數(shù)據(jù)安全需求分析3

13平臺(tái)建設(shè)目標(biāo)4

1.4.平臺(tái)設(shè)計(jì)思路4

第二章.平臺(tái)建設(shè)方案7

2.1.平臺(tái)設(shè)計(jì)目標(biāo)7

2.2.平臺(tái)建設(shè)原則7

2.3.平臺(tái)設(shè)計(jì)框架8

2.3.1.基礎(chǔ)設(shè)施層設(shè)計(jì)10

2.3.2.數(shù)據(jù)資源層設(shè)計(jì)28

2.3.3.應(yīng)用支撐層設(shè)計(jì)41

23.平臺(tái)服務(wù)支撐67

2.3.4.數(shù)據(jù)采集服務(wù)67

2.3.5.應(yīng)用支撐服務(wù)68

2.3.6.數(shù)據(jù)應(yīng)用服務(wù)70

2.3.7.數(shù)據(jù)安全服務(wù)72

2.4.關(guān)鍵技術(shù)98

2.4.4.實(shí)體畫像與特征自動(dòng)更新技術(shù)98

2.4.5.用戶畫像和UEBA技術(shù)105

2.4.6.可擴(kuò)展的安全分析插件模塊化技術(shù)113

第三章.平臺(tái)分期規(guī)劃設(shè)計(jì)119

2.3.4.數(shù)據(jù)安全應(yīng)用層設(shè)計(jì)（一期）119

2.3.5.數(shù)據(jù)安全應(yīng)用層設(shè)計(jì)（二期）137

2.3.6.數(shù)據(jù)安全應(yīng)用層設(shè)計(jì)（三期）149

第一章.建設(shè)背景

我們正進(jìn)入數(shù)字為底色的時(shí)代。伴隨著技術(shù)的進(jìn)步和時(shí)代的變遷，數(shù)據(jù)的產(chǎn)

生速度更快、維度更多、來源更廣、關(guān)聯(lián)更強(qiáng)，體量和價(jià)值已不可同日而語。近

年來，迎著大數(shù)據(jù)的風(fēng)口，各地深入學(xué)習(xí)貫徹習(xí)近平總書記提出的以信息化推進(jìn)

國家治理體系和治理能力現(xiàn)代化,統(tǒng)籌發(fā)展電子商務(wù),構(gòu)建一體化在線服務(wù)平臺(tái),

分級(jí)分類推進(jìn)新型智慧城市建設(shè)的精神，將龐大的數(shù)據(jù)資源轉(zhuǎn)化為生產(chǎn)力，開展

政府?dāng)?shù)字化和城市數(shù)字化工作，發(fā)揮數(shù)據(jù)價(jià)值，做強(qiáng)數(shù)字經(jīng)濟(jì)，構(gòu)建數(shù)字引領(lǐng)、

數(shù)據(jù)支撐的城市治理現(xiàn)代化體系。

大數(shù)據(jù)平臺(tái)作為建設(shè)數(shù)字經(jīng)濟(jì)的基礎(chǔ)和核心，是實(shí)現(xiàn)城市治理能力提升的重

要抓手，是提升服務(wù)便民惠民精準(zhǔn)的重要路徑.是服務(wù)市委市政府決策的重要載

體。因此各地紛紛成立數(shù)據(jù)管理部門，建設(shè)城市大數(shù)據(jù)平臺(tái)，整合匯集政府、企

業(yè)、社會(huì)等各類數(shù)據(jù)，在城市治理領(lǐng)域進(jìn)行融合計(jì)算，實(shí)現(xiàn)城市運(yùn)行的生命體征

感知、公共資源配置、宏觀決策指揮、事件預(yù)測預(yù)警、“城市病”治理等功能,

覆蓋政治、經(jīng)濟(jì)、文化、社會(huì)、生態(tài)等領(lǐng)域。

城市大數(shù)據(jù)平臺(tái)作為城市數(shù)字經(jīng)濟(jì)的基礎(chǔ)設(shè)施，以多部門業(yè)務(wù)協(xié)同、數(shù)據(jù)共

享為基本方法，全面推進(jìn)經(jīng)濟(jì)調(diào)節(jié)、市場監(jiān)管、公共服務(wù)、社會(huì)管理、生態(tài)環(huán)境

保護(hù)、政府運(yùn)行等六大領(lǐng)域政府?dāng)?shù)字化轉(zhuǎn)型，打造實(shí)時(shí)、在線、共享、安全和整

體協(xié)同、運(yùn)行高效的數(shù)字政府。在實(shí)現(xiàn)政府核心業(yè)務(wù)全覆蓋，大數(shù)據(jù)與政府履職

全面深度融合的過程中，大數(shù)據(jù)成為處理復(fù)雜治理問題的有效手段,用數(shù)據(jù)說話、

用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新的機(jī)制逐步健全。

數(shù)字政府有力撬動(dòng)數(shù)字經(jīng)濟(jì)、數(shù)字社會(huì)發(fā)展，其過程離不開數(shù)據(jù)資源的歸集

共享和大數(shù)據(jù)技術(shù)的開發(fā)利用，而數(shù)據(jù)安全是保障數(shù)據(jù)共享、開放和使用的關(guān)鍵。

隨著智慧電子商務(wù)、政府?dāng)?shù)字化轉(zhuǎn)型和城市大數(shù)據(jù)平臺(tái)建設(shè)的深入開展，數(shù)據(jù)流

通和共享將成為剛性業(yè)務(wù)需求，因此亟需建立以數(shù)據(jù)為核心的安全管控體系，確

保數(shù)據(jù)流通共享的安全。

1.1.數(shù)據(jù)安全現(xiàn)狀

在政府?dāng)?shù)字化改革浪潮的推動(dòng)下，各類業(yè)務(wù)數(shù)據(jù)資源充分整合，打破信息孤

島，業(yè)務(wù)數(shù)據(jù)資源目錄體系和交換體系不斷完善，使得政府各部門業(yè)務(wù)協(xié)同能力

逐步提升，便民類智慧服務(wù)應(yīng)用初顯成效，數(shù)據(jù)安全管理和建設(shè)工作穩(wěn)步推進(jìn)。

但在數(shù)據(jù)共享、開放和使用的同時(shí)還存在一定的風(fēng)險(xiǎn)，具體問題如下：

(1)云計(jì)算新模式安全體系尚未健全

多地政府陸續(xù)監(jiān)理城市大數(shù)據(jù)平臺(tái)，依托云計(jì)算技術(shù)實(shí)現(xiàn)信息資源集約化、

服務(wù)化和標(biāo)準(zhǔn)化供給。然而其平臺(tái)安全建設(shè)集約化和服務(wù)化能力卻尚未形成，政

府各部門在利用數(shù)據(jù)資源構(gòu)建自身業(yè)務(wù)應(yīng)用時(shí)，仍需自行進(jìn)行安全體系設(shè)計(jì)并完

成相關(guān)安全產(chǎn)品的選型、購買、部署等工作。這種傳統(tǒng)的安全建設(shè)模式不僅需要

較長的建設(shè)周期，增加系統(tǒng)安全的建設(shè)成本，而且降低了業(yè)務(wù)上線的效率，制約

相關(guān)服務(wù)的創(chuàng)新發(fā)展。

(2)數(shù)據(jù)生命周期安全防護(hù)仍需加強(qiáng)

隨著政府?dāng)?shù)字化和城市數(shù)字化的推進(jìn)，政府、企事業(yè)單位和個(gè)人數(shù)據(jù)資源不

斷整合匯聚，這些數(shù)據(jù)在個(gè)人-政府-企業(yè)之間的流通中不斷創(chuàng)造新的價(jià)值，驅(qū)動(dòng)

數(shù)字產(chǎn)業(yè)創(chuàng)新發(fā)展。在數(shù)據(jù)共享的催化下，業(yè)務(wù)協(xié)同成為必然要求，原來相互隔

離的業(yè)務(wù)網(wǎng)絡(luò)將打破安全邊界走向融合，因此傳統(tǒng)的基于邊界隔離的圍欄式安全

保護(hù)方法將徹底不能滿足數(shù)據(jù)流動(dòng)下的安全防護(hù)需求，亟需構(gòu)建新的安全防護(hù)體

系，確保數(shù)據(jù)全生命周期安全。

(3)安全應(yīng)急聯(lián)動(dòng)防護(hù)機(jī)制很不完善

面臨復(fù)雜多變的云計(jì)算和大數(shù)據(jù)環(huán)境，傳統(tǒng)的監(jiān)測、防護(hù)和響應(yīng)手段己無法

有效地應(yīng)對(duì)日益更新的網(wǎng)絡(luò)攻擊行為。一則是部分政府部門網(wǎng)絡(luò)安全應(yīng)急預(yù)案依

舊采取傳統(tǒng)思路，側(cè)重于設(shè)備設(shè)施障礙的排除，針對(duì)網(wǎng)絡(luò)攻擊、信息泄露等安全

事件的應(yīng)急預(yù)案明顯不足；二則是政府各部門部署的網(wǎng)絡(luò)安全設(shè)備和系統(tǒng)基本處

于獨(dú)立運(yùn)行狀態(tài)，難以統(tǒng)一管控，導(dǎo)致政府無法對(duì)全區(qū)的網(wǎng)絡(luò)安全狀態(tài)有效感知,

對(duì)安全風(fēng)險(xiǎn)進(jìn)行及時(shí)預(yù)警防護(hù)的局面尚未形成。

(4)全區(qū)數(shù)據(jù)安全風(fēng)險(xiǎn)無法感知預(yù)警

為加強(qiáng)業(yè)務(wù)數(shù)據(jù)安全管理，保障城市大數(shù)據(jù)平臺(tái)的安全運(yùn)行，建立健全業(yè)務(wù)

數(shù)據(jù)安全保障體系，預(yù)防業(yè)務(wù)數(shù)據(jù)安全事件發(fā)生，急需對(duì)全區(qū)數(shù)據(jù)安全風(fēng)險(xiǎn)進(jìn)行

感知和預(yù)警。目前一是缺乏政府各部門及相關(guān)服務(wù)提供商數(shù)據(jù)安全建設(shè)情況的感

知技術(shù)和手段，無法及時(shí)發(fā)現(xiàn)全區(qū)數(shù)據(jù)安全風(fēng)險(xiǎn)隱患，二是缺乏對(duì)數(shù)據(jù)安全風(fēng)險(xiǎn)

進(jìn)行通報(bào)預(yù)警的機(jī)制和技術(shù)平臺(tái)，無法有效支撐全區(qū)數(shù)據(jù)安全管理。

1.2.數(shù)據(jù)安全需求分析

（1）加強(qiáng)數(shù)據(jù)安全管控對(duì)象重點(diǎn)安全保護(hù)

為保障數(shù)據(jù)安全流通使用，加強(qiáng)對(duì)全區(qū)數(shù)據(jù)資源的保護(hù)，需要對(duì)企業(yè)信息基

礎(chǔ)設(shè)施、企業(yè)云平臺(tái)、企業(yè)信息系統(tǒng)和業(yè)務(wù)數(shù)據(jù)（以下統(tǒng)稱數(shù)據(jù)安全管控對(duì)象）

進(jìn)行重點(diǎn)監(jiān)測和防護(hù)。通過建設(shè)數(shù)據(jù)安全管控平臺(tái)可有效實(shí)現(xiàn)對(duì)全區(qū)各單位數(shù)據(jù)

安全管控對(duì)象的識(shí)別，根據(jù)實(shí)際需要對(duì)全市數(shù)據(jù)安全管控對(duì)象建立監(jiān)測、預(yù)警、

防范機(jī)制，加強(qiáng)對(duì)關(guān)鍵目標(biāo)管控、風(fēng)險(xiǎn)識(shí)別的能力水平。

（2）整合優(yōu)質(zhì)數(shù)據(jù)資源提供集約安全服務(wù)

為實(shí)現(xiàn)全市業(yè)務(wù)數(shù)據(jù)安全保障體系建設(shè)的規(guī)范化和標(biāo)準(zhǔn)化，需建立集約化的

數(shù)據(jù)安全管控平臺(tái)，通過集成多家服務(wù)商和廠商的安全服務(wù)及產(chǎn)品，提供集約化

產(chǎn)品和服務(wù)供全市系統(tǒng)使用。并進(jìn)一步擴(kuò)大服務(wù)對(duì)象，延伸至各個(gè)業(yè)務(wù)單位，讓

各個(gè)單位可以根據(jù)自身等保等級(jí)和數(shù)據(jù)規(guī)范特征，自行在平臺(tái)上選購適合的套餐,

采購相關(guān)產(chǎn)品和服務(wù)，構(gòu)建標(biāo)準(zhǔn)合規(guī)的數(shù)據(jù)安全保障體系。

（3）建立健全數(shù)據(jù)生命周期安全保障機(jī)制

為建立聚焦數(shù)據(jù)的安全保障，結(jié)合數(shù)據(jù)生命周期進(jìn)行安全技術(shù)保障體系設(shè)計(jì),

通過利用從數(shù)據(jù)采集/產(chǎn)生、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)交換到數(shù)據(jù)

銷毀全生命周期的安全技術(shù)控制措施，實(shí)現(xiàn)數(shù)據(jù)生命周期的安全保障。同時(shí)，利

用安全監(jiān)管措施對(duì)數(shù)據(jù)生命周期各個(gè)階段的安全保障工作和執(zhí)行情況進(jìn)行監(jiān)督

管理，確保安全策略在技術(shù)環(huán)節(jié)得到正確執(zhí)行，規(guī)章制度在技術(shù)層面得到有效的

支撐體現(xiàn)。

（4）大幅提升整體數(shù)據(jù)安全風(fēng)險(xiǎn)感知能力

目前政府缺乏對(duì)全市數(shù)據(jù)安全管控對(duì)象整體數(shù)據(jù)安全水平感知和分析能力，

難以實(shí)時(shí)掌控?cái)?shù)據(jù)安全動(dòng)態(tài)，也無法對(duì)數(shù)據(jù)安全險(xiǎn)情進(jìn)行精準(zhǔn)預(yù)警。為實(shí)時(shí)掌握

業(yè)務(wù)數(shù)據(jù)安全情況和安全動(dòng)態(tài)，在發(fā)生安全隱患時(shí)可以快速、精準(zhǔn)預(yù)警，需依托

大數(shù)據(jù)技術(shù)建立全市數(shù)據(jù)安全風(fēng)險(xiǎn)感知分析能力，實(shí)現(xiàn)精準(zhǔn)匹配、重點(diǎn)分析。并

需通過多個(gè)維度，提供可視化方式的大數(shù)據(jù)分析結(jié)果，為研判、決策及重要時(shí)期

的數(shù)據(jù)安全保障工作提供有效支撐。

（5）構(gòu)建數(shù)據(jù)全流程監(jiān)管監(jiān)測預(yù)警體系

為精準(zhǔn)預(yù)警數(shù)據(jù)共享開放中的安全事件，構(gòu)建全市數(shù)據(jù)安全監(jiān)管監(jiān)測預(yù)警休

系，需進(jìn)一步加強(qiáng)安全數(shù)據(jù)的收集，加強(qiáng)第三方威脅情報(bào)的接入，建設(shè)多方參與

的信息安全情報(bào)網(wǎng)絡(luò)，從而進(jìn)一步完善本地信息安全威脅情報(bào)庫的建設(shè)，建立健

全基于威脅情報(bào)的全新外部監(jiān)測體系。同時(shí)為更好的提升各個(gè)系統(tǒng)間的協(xié)作與整

體防護(hù)能力，結(jié)合安全態(tài)勢感知手段、安全事件通報(bào)預(yù)警系統(tǒng)和ZW服務(wù)體系安

全措施，實(shí)現(xiàn)對(duì)企業(yè)信息系統(tǒng)的安全監(jiān)測，對(duì)安全事件的及時(shí)通報(bào)，進(jìn)一步提高

對(duì)全市電子ZW攻擊事件的預(yù)警及通報(bào)能力。

（6）建立橫向聯(lián)動(dòng)安全協(xié)調(diào)指揮體系

根據(jù)《中華人民共和國網(wǎng)絡(luò)安全法》的相關(guān)要求，為積極落實(shí)網(wǎng)絡(luò)運(yùn)營者數(shù)

據(jù)主體的安全管理責(zé)任要求，加快城市數(shù)據(jù)安全協(xié)作機(jī)制建設(shè)，需建立跨部門協(xié)

同運(yùn)營的管控平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)管理部門以及其他行業(yè)監(jiān)管單位、ZW系統(tǒng)運(yùn)營使

用單位、信息安全支撐單位等組織在數(shù)據(jù)安全上的協(xié)作與互通，建立健全全市數(shù)

據(jù)安全監(jiān)測預(yù)警、信息通報(bào)、應(yīng)急處置、追蹤溯源等相關(guān)機(jī)制。

1.3.平臺(tái)建設(shè)目標(biāo)

通過建設(shè)企業(yè)級(jí)數(shù)據(jù)安全管控平臺(tái)，實(shí)現(xiàn)對(duì)企業(yè)信息基礎(chǔ)設(shè)施、企業(yè)云平臺(tái)、

企業(yè)信息系統(tǒng)和業(yè)務(wù)數(shù)據(jù)的立體安全防護(hù)。加強(qiáng)對(duì)企業(yè)信息系統(tǒng)的業(yè)務(wù)場景的安

全分析和細(xì)粒度安全管控。明確各類業(yè)務(wù)數(shù)據(jù)在采集、傳輸、存儲(chǔ)、處理、交換

和銷毀各個(gè)業(yè)務(wù)場景下的保障要素，以合規(guī)為基線，以業(yè)務(wù)流程為導(dǎo)向，結(jié)合標(biāo)

準(zhǔn)規(guī)范制度，建立完善的數(shù)據(jù)生命周期的安全保障和監(jiān)管措施，整合涉網(wǎng)監(jiān)管部

門安全數(shù)據(jù)，建立數(shù)據(jù)安全監(jiān)測預(yù)警、信息通報(bào)和應(yīng)急處置聯(lián)動(dòng)機(jī)制。并匯聚優(yōu)

秀數(shù)據(jù)安全企業(yè)的優(yōu)質(zhì)產(chǎn)品和服務(wù)資源，實(shí)現(xiàn)產(chǎn)品和服務(wù)的在線部署和統(tǒng)一管理

運(yùn)維，促進(jìn)安全資源向集約化、便捷化、服務(wù)化轉(zhuǎn)變，降低政府財(cái)政資金和人力

資源的投入，逐步實(shí)現(xiàn)從“基于威脅的被動(dòng)保護(hù)”向“基于風(fēng)險(xiǎn)的主動(dòng)防控”轉(zhuǎn)

變，為建設(shè)數(shù)字經(jīng)濟(jì)城市保駕護(hù)航。

1.4.平臺(tái)設(shè)計(jì)思路

通過在企業(yè)云上搭建數(shù)據(jù)安全管控平臺(tái)及相應(yīng)配套的安全服務(wù)，建設(shè)全市域

“多維聯(lián)動(dòng)、立體防護(hù)”數(shù)據(jù)安全管控體系，統(tǒng)籌對(duì)數(shù)據(jù)安全管控對(duì)象的風(fēng)險(xiǎn)評(píng)

估，安全防護(hù)，監(jiān)測監(jiān)管、預(yù)警通報(bào)、應(yīng)急處置，標(biāo)準(zhǔn)規(guī)范及安全培訓(xùn)，逐步形

成基于物理、網(wǎng)絡(luò)、平臺(tái)、數(shù)據(jù)、系統(tǒng)、管理的六層立體安全防護(hù)體系。并結(jié)合

網(wǎng)絡(luò)安全態(tài)勢感知、異常流量監(jiān)測等安全保障技術(shù),加強(qiáng)網(wǎng)絡(luò)出口網(wǎng)絡(luò)安全監(jiān)測,

同時(shí)建立覆蓋數(shù)據(jù)產(chǎn)生、傳輸、存儲(chǔ)、處理、交換到銷毀的全生命周期安全管控

措施，確保每一條數(shù)據(jù)來源清晰、流向合規(guī)、使用正當(dāng)。數(shù)據(jù)安全管控體系平臺(tái)

總體框架如下圖所示。

數(shù)據(jù)安全管控平臺(tái)

安

全

管

安

理

政

全

務(wù)政務(wù)信息系統(tǒng)安全

制

系

組

政可

統(tǒng)

度

務(wù)信

織

運(yùn)

云數(shù)據(jù)生命周期安全接

和

行

保

運(yùn)

統(tǒng)入

安

標(biāo)

行

一

障

全

支

標(biāo)政務(wù)云平臺(tái)安全

準(zhǔn)

撐

準(zhǔn)

體

系6班段^出會(huì)

信息基礎(chǔ)設(shè)施安全（物理環(huán)境，基礎(chǔ)網(wǎng)絡(luò)）?

物理安全主要涉及的方面包括環(huán)境安全（防火、防水、防雷擊等）設(shè)備和介

質(zhì)的防盜竊防破壞等方面。安全管控內(nèi)容具體包括：物理位置的選擇、物理訪問

控制、防盜竊和防破壞、防雷擊、防火、防水和防潮、防靜電、溫濕度控制、電

力供應(yīng)和電磁防護(hù)等。

網(wǎng)絡(luò)安全為數(shù)據(jù)在網(wǎng)絡(luò)環(huán)境的安全運(yùn)行提供支持，包括網(wǎng)絡(luò)、企業(yè)云平臺(tái)、

業(yè)務(wù)專網(wǎng)等。一方面，確保網(wǎng)絡(luò)設(shè)備的安全運(yùn)行，提供有效的網(wǎng)絡(luò)服務(wù)，另一方

面，確保在網(wǎng)上傳輸數(shù)據(jù)的保密性、完整性和可用性等。安全管控內(nèi)容具體包括：

網(wǎng)絡(luò)結(jié)構(gòu)、訪問控制、安全審計(jì)、邊界完整性檢查、入侵防范、惡意代碼防范和

網(wǎng)絡(luò)設(shè)備防護(hù)等安全機(jī)制的有效性。

平臺(tái)安全保障云計(jì)算資源/服務(wù)的安全，滿足法律、監(jiān)管和合規(guī)性要求。安

全管控內(nèi)容具體包括：云平臺(tái)網(wǎng)絡(luò)架構(gòu)、云管理平臺(tái)、接口安全、安全審計(jì)、身

份鑒別、云資源控制、鏡像與快照保護(hù)、虛擬機(jī)隔離、虛擬機(jī)及鏡像加固和虛擬

機(jī)管理和銷毀等安全機(jī)制的有效性。

數(shù)據(jù)安全作為木項(xiàng)目方案核心，通過結(jié)合數(shù)據(jù)的生命周期，針對(duì)數(shù)據(jù)的形態(tài)

應(yīng)用場景進(jìn)行安全技術(shù)保障體系的設(shè)計(jì)，提供從數(shù)據(jù)采集/產(chǎn)生、數(shù)據(jù)傳輸、數(shù)

據(jù)存儲(chǔ)?、數(shù)據(jù)處理、數(shù)據(jù)交換到數(shù)據(jù)銷毀全生命周期的安全管控技術(shù)措施，實(shí)現(xiàn)

數(shù)據(jù)生命周期的安全保障。數(shù)安全防護(hù)和管控內(nèi)容具體包括：數(shù)據(jù)資產(chǎn)與風(fēng)險(xiǎn)管

理、數(shù)據(jù)安全防護(hù)、數(shù)據(jù)安全監(jiān)管、數(shù)據(jù)安全運(yùn)營等安全機(jī)制的有效性。

系統(tǒng)安全目標(biāo)是確保系統(tǒng)的各種業(yè)務(wù)應(yīng)用程序安全運(yùn)行，包括系統(tǒng)應(yīng)用及業(yè)

務(wù)web應(yīng)用。安全管控內(nèi)容具體包括：應(yīng)用認(rèn)證和授權(quán)、應(yīng)用訪問控制、應(yīng)用通

信加密、應(yīng)用內(nèi)容保護(hù)、應(yīng)用攻擊防護(hù)、應(yīng)用脆弱性管理和終端安全等安全機(jī)制

的有效性。

安全管理包括數(shù)據(jù)安全管控體系中的標(biāo)準(zhǔn)體系、管理制度以及安全組織保障,

目的是約束和規(guī)范相關(guān)人員的日常工作，賦予管理人員監(jiān)督管理職責(zé)，為平臺(tái)日

常安全管理工作提供主要依據(jù)，安全管控具體包括：數(shù)據(jù)共享交換安全要求、數(shù)

據(jù)供應(yīng)鏈服務(wù)商安全管理要求、數(shù)據(jù)安全監(jiān)管要求和人員授權(quán)管理要求等。

數(shù)據(jù)安全管控平臺(tái)利用云計(jì)算、大數(shù)據(jù)、人工智能、智能算法等技術(shù)，通過

采集、匯聚、融合計(jì)算數(shù)據(jù)安全管控對(duì)象的安全大數(shù)據(jù)，實(shí)現(xiàn)全方位全天候監(jiān)測

預(yù)警數(shù)據(jù)安全管控對(duì)象的安全威脅、風(fēng)險(xiǎn)態(tài)勢和網(wǎng)絡(luò)攻擊情況，有效加強(qiáng)對(duì)國家

重要數(shù)據(jù)、企業(yè)機(jī)密數(shù)據(jù)和個(gè)人隱私數(shù)據(jù)的識(shí)別和防護(hù)，打通與網(wǎng)信、公安、通

管等監(jiān)管機(jī)構(gòu)以及本地安全企業(yè)之間的數(shù)據(jù)通道，促進(jìn)安全信息的共享和業(yè)務(wù)的

協(xié)同，進(jìn)而實(shí)現(xiàn)跨部門、跨行業(yè)的網(wǎng)絡(luò)安全協(xié)調(diào)指揮聯(lián)動(dòng)，為構(gòu)建企業(yè)信息系統(tǒng)

網(wǎng)絡(luò)安全主動(dòng)防御體系，大幅亮升網(wǎng)絡(luò)數(shù)據(jù)安全監(jiān)管能力、構(gòu)筑網(wǎng)絡(luò)數(shù)據(jù)安全銅

墻鐵壁，奠定技術(shù)基礎(chǔ)。

第二章.平臺(tái)建設(shè)方案

2.1.平臺(tái)設(shè)計(jì)目標(biāo)

數(shù)據(jù)安全管控平臺(tái)是一套通過實(shí)現(xiàn)數(shù)據(jù)所有權(quán)和數(shù)據(jù)使用權(quán)分離，以確保數(shù)

據(jù)在流通過程中安全可控。產(chǎn)品的總體設(shè)計(jì)目標(biāo)如下：

(1)數(shù)據(jù)安全協(xié)同指揮能力全面提升

協(xié)調(diào)指揮機(jī)制健全、高效；通過建立指揮響應(yīng)可視化平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)安全的

決策指揮、資源調(diào)度、任務(wù)下達(dá)、互動(dòng)反饋、指導(dǎo)與督查的可視化高效指揮

(2)數(shù)據(jù)安全應(yīng)急響應(yīng)能力全面提升

形成完善的市、區(qū)縣、街道/鄉(xiāng)鎮(zhèn)、社區(qū)/村四級(jí)以及多部門聯(lián)動(dòng)的應(yīng)急指揮

機(jī)制、應(yīng)急處置隊(duì)伍。建立全市多級(jí)數(shù)據(jù)應(yīng)急響應(yīng)預(yù)案，面對(duì)數(shù)據(jù)安全事件、威

脅能夠快速響應(yīng)、高效處置。

(3)數(shù)據(jù)安全態(tài)勢感知能力全面提升

整合業(yè)務(wù)部門、其他安全管理部門和若干優(yōu)秀企業(yè)現(xiàn)有資源，具備全天候全

方位感知我市重要信息系統(tǒng)及數(shù)據(jù)資產(chǎn)安全態(tài)勢，實(shí)現(xiàn)數(shù)據(jù)安全威脅分級(jí)分類、

信息共享、定向分析預(yù)警。

(4)數(shù)據(jù)安全追蹤溯源能力全面提升

構(gòu)建可信計(jì)算環(huán)境、可信網(wǎng)絡(luò)邊界、可信身份管理平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)安全事件

的可溯源、可取證、可追責(zé)。

(5)數(shù)據(jù)安全保密工作全面落實(shí)

建立安全保密協(xié)調(diào)協(xié)作機(jī)制，打通各業(yè)務(wù)部門間的信息壁壘，建立協(xié)調(diào)協(xié)作

機(jī)制，多部門對(duì)相關(guān)數(shù)據(jù)進(jìn)行實(shí)時(shí)調(diào)用，管控平臺(tái)對(duì)調(diào)用情況進(jìn)行實(shí)時(shí)監(jiān)管，實(shí)

現(xiàn)相關(guān)領(lǐng)域全天候、全過程監(jiān)管，提升大數(shù)據(jù)條件下保密工作的信息專業(yè)化、運(yùn)

行智能化、防控系統(tǒng)化水平。

2.2.平臺(tái)建設(shè)原則

數(shù)據(jù)安全管控平臺(tái)建設(shè)，應(yīng)當(dāng)以適度風(fēng)險(xiǎn)為核心，以重點(diǎn)保護(hù)為原則，從業(yè)

務(wù)的角度出發(fā)，重點(diǎn)保護(hù)重要業(yè)務(wù)數(shù)據(jù)，在方案設(shè)計(jì)中當(dāng)遵循以下的原則:

厲行節(jié)約原則：在數(shù)據(jù)安全管控平臺(tái)建設(shè)過程中，要盡量利用現(xiàn)有的信息系

統(tǒng)，網(wǎng)絡(luò)基礎(chǔ)設(shè)施，安全監(jiān)控?cái)?shù)據(jù)等，綜合考慮對(duì)已有資源的共享和利用，避免

重復(fù)建設(shè)和浪費(fèi)。

標(biāo)準(zhǔn)規(guī)劃原則：在方案設(shè)計(jì)方面遵循國家以及行業(yè)內(nèi)的相關(guān)標(biāo)準(zhǔn)，嚴(yán)格按照

有關(guān)程序組織項(xiàng)目建設(shè)，做到有規(guī)可循。

重點(diǎn)保護(hù)原則：根據(jù)信息系統(tǒng)的重要程度、業(yè)務(wù)特點(diǎn)，實(shí)現(xiàn)不同強(qiáng)度的安全

保護(hù)，集中資源優(yōu)先保護(hù)涉及核心業(yè)務(wù)或重要數(shù)據(jù)資產(chǎn)的信息系統(tǒng)。

技術(shù)先進(jìn)原則：平臺(tái)設(shè)計(jì)立足先進(jìn)技術(shù)，采用先進(jìn)的系統(tǒng)結(jié)構(gòu)、開放的體系

架構(gòu)，使系統(tǒng)在可進(jìn)行迭代升級(jí)，保持技術(shù)領(lǐng)先水平，具備長足的發(fā)展能力，以

適應(yīng)未來網(wǎng)絡(luò)技術(shù)和安全技術(shù)的發(fā)展和系統(tǒng)使用的科學(xué)性。

風(fēng)險(xiǎn)管理原則：進(jìn)行安全風(fēng)險(xiǎn)管理，確認(rèn)可能影響信息系統(tǒng)的安全風(fēng)險(xiǎn)，正

確的識(shí)別風(fēng)險(xiǎn)、合理的管理風(fēng)險(xiǎn)，并讓信息系統(tǒng)的安全風(fēng)險(xiǎn)降低到可以接受的水

平以內(nèi)。

2.3.平臺(tái)設(shè)計(jì)框架

企業(yè)級(jí)數(shù)據(jù)安全管控平臺(tái)采用“分層解耦”的設(shè)計(jì)理念，將平臺(tái)分為基礎(chǔ)設(shè)

施層、數(shù)據(jù)資源層、應(yīng)用支撐層和數(shù)據(jù)應(yīng)用層，并配套相應(yīng)的數(shù)據(jù)安全服務(wù)體系，

各層之間采用集中數(shù)據(jù)總線進(jìn)行數(shù)據(jù)傳輸和交換，以此降低各類數(shù)據(jù)應(yīng)用對(duì)底層

數(shù)據(jù)存儲(chǔ)之間的強(qiáng)依賴性，各層之間獨(dú)立工作，方便后期的安全業(yè)務(wù)擴(kuò)展，并保

障各層之間穩(wěn)定運(yùn)行。數(shù)據(jù)安全管控平臺(tái)總體框架如下圖所示。

數(shù)據(jù)安全應(yīng)用層i家據(jù)安全服務(wù)體系

故推資產(chǎn)與風(fēng)險(xiǎn)管理■據(jù)生價(jià)周明安全彷妒數(shù)據(jù)安全'拉詈龍㈣效嘉安全運(yùn)營

數(shù)據(jù)行力甲-

數(shù)慝燙產(chǎn)篇B-

安全過鴕粕通報(bào)E譬

教庵分場分壬一|H據(jù)訪問W|1

1搞得明度||HftftB|

一一脫收

數(shù)據(jù)燙產(chǎn)加畝一11拄務(wù)烯景Ifi管1風(fēng)險(xiǎn)評(píng)估與加固服務(wù)

1一我加8?1||怦彷抵告|

數(shù)據(jù)屬是管兔一用戶行Alfi皆1

被兗穌屬性管理涉田欣密檢質(zhì)一至《1設(shè)宙Ifi測安全18拷與自動(dòng)化JWG

1安全近壤支牌m務(wù)

應(yīng)用支撐層

政疑安全檢萱服務(wù)

安全被雍處理安至數(shù)密費(fèi)科安全數(shù)據(jù)共享安全被霆派梗

—

數(shù)據(jù)資源層1應(yīng)急的項(xiàng)支撐服務(wù)

敬勇信息不蛻安全做格

計(jì)■資潦

（1）基礎(chǔ)設(shè)施層

基礎(chǔ)設(shè)施層為數(shù)據(jù)安全管控平臺(tái)提供數(shù)據(jù)存儲(chǔ)和分析計(jì)算的基礎(chǔ)資源保障，

支持對(duì)接和利用云服務(wù)提供商提供的云上基礎(chǔ)資源，包括計(jì)算資源、存儲(chǔ)資源和

網(wǎng)絡(luò)資源。平臺(tái)主要設(shè)計(jì)如何使用這些資源用于調(diào)度和分發(fā)，通過兼容性及組網(wǎng)

設(shè)計(jì)以保障數(shù)據(jù)安全管控平臺(tái)的穩(wěn)定運(yùn)行，并且平臺(tái)通過采取相應(yīng)的安全防護(hù)措

施來滿足等級(jí)保護(hù)三級(jí)建設(shè)要求。

（2）數(shù)據(jù)資源層

數(shù)據(jù)資源層為數(shù)據(jù)安全管控平臺(tái)提供安全數(shù)據(jù)的采集和匯聚服務(wù)，數(shù)據(jù)采集

類型包括應(yīng)用審計(jì)日志、數(shù)據(jù)庫審計(jì)日志、數(shù)據(jù)流動(dòng)環(huán)境的流量等。采集范圍覆

蓋采集全市市級(jí)部門及區(qū)縣（市）的各類安全數(shù)據(jù)，建立數(shù)據(jù)資產(chǎn)目錄，應(yīng)用支

撐層對(duì)匯聚后的安全數(shù)據(jù)進(jìn)行清洗和加工，為上層應(yīng)用提供數(shù)據(jù)支撐。具體采集

內(nèi)容包括：企業(yè)信息系統(tǒng)流量數(shù)據(jù)、安全設(shè)備日志數(shù)據(jù)、安全監(jiān)管機(jī)構(gòu)共享數(shù)據(jù)

以及第三方威脅情報(bào)數(shù)據(jù)等。采集工具包括日志采集工具、流量采集工具和主動(dòng)

探測工具，并支持多種采集協(xié)議，以實(shí)現(xiàn)對(duì)各類數(shù)據(jù)的采集，包括不限于安全

對(duì)象屬性、運(yùn)行狀態(tài)、安全事件、評(píng)估與檢測等數(shù)據(jù)。

（3）應(yīng)用支撐層

應(yīng)用支撐層為數(shù)據(jù)安全管控平臺(tái)提供大數(shù)據(jù)安全分析和人工智能安全分析

服務(wù)，包括安全數(shù)據(jù)處理、安全數(shù)據(jù)建模、安全數(shù)據(jù)共享、安全分析算法等模塊。

按照安全標(biāo)準(zhǔn)規(guī)范要求對(duì)安全數(shù)據(jù)進(jìn)行數(shù)據(jù)處理、數(shù)據(jù)治理、數(shù)據(jù)資源庫、數(shù)據(jù)

服務(wù)共享和數(shù)據(jù)場景化分析，全方位打造集“清洗”、“融合”、“共享”、“分

析”于一體的數(shù)據(jù)服務(wù)平臺(tái)。利用管控平臺(tái)應(yīng)用支撐層，對(duì)數(shù)據(jù)資源層采集到的

安全數(shù)據(jù)通過清洗、過濾、標(biāo)準(zhǔn)化、數(shù)據(jù)提取、標(biāo)簽化等方式進(jìn)行處理，提升數(shù)

據(jù)質(zhì)量、規(guī)范數(shù)據(jù)處理流程、優(yōu)化數(shù)據(jù)服務(wù)，構(gòu)建數(shù)據(jù)安全管控平臺(tái)中各類安全

資源庫，產(chǎn)生數(shù)據(jù)關(guān)聯(lián)信息，實(shí)現(xiàn)數(shù)據(jù)融合，進(jìn)而挖掘數(shù)據(jù)價(jià)值。并通過安全數(shù)

據(jù)場景化分析模塊，提供關(guān)聯(lián)規(guī)則、統(tǒng)計(jì)建模、場景關(guān)聯(lián)分析建模、情報(bào)建模以

及機(jī)器建模等安全分析能力，提供支撐上層應(yīng)用的數(shù)據(jù)。

（4）數(shù)據(jù)安全應(yīng)用層

數(shù)據(jù)安全應(yīng)用層為數(shù)據(jù)安全管控平臺(tái)提供適配用戶環(huán)境和緊貼用戶需求的

數(shù)據(jù)安全分析與管控應(yīng)用，包括數(shù)據(jù)資產(chǎn)與風(fēng)險(xiǎn)管理、數(shù)據(jù)全生命周期安全防護(hù)、

數(shù)據(jù)安全監(jiān)管監(jiān)測、數(shù)據(jù)安全運(yùn)營。同時(shí)可集成第三方安全企業(yè)的優(yōu)秀產(chǎn)品及服

務(wù)，對(duì)外提供安全服務(wù)輸出能力，實(shí)現(xiàn)數(shù)據(jù)生命周期的識(shí)別監(jiān)測和安全防護(hù)服務(wù)。

并可實(shí)現(xiàn)全方位全天候監(jiān)測預(yù)警數(shù)據(jù)安全管控對(duì)象的安全威脅、風(fēng)險(xiǎn)態(tài)勢和網(wǎng)絡(luò)

攻擊情況，有效加強(qiáng)對(duì)國家重要數(shù)據(jù)、企業(yè)機(jī)密數(shù)據(jù)和個(gè)人隱私數(shù)據(jù)的識(shí)別和防

護(hù)，打通與網(wǎng)信、公安、通管等監(jiān)管機(jī)構(gòu)以及本地安全企業(yè)之間的數(shù)據(jù)通道，促

進(jìn)安全信息的共享和業(yè)務(wù)的林同，進(jìn)而實(shí)現(xiàn)跨部門、跨行業(yè)的網(wǎng)絡(luò)安全協(xié)調(diào)指揮

聯(lián)動(dòng)，為構(gòu)建數(shù)據(jù)安全管控對(duì)象網(wǎng)絡(luò)安全主動(dòng)防御體系，大幅提升網(wǎng)絡(luò)數(shù)據(jù)安全

監(jiān)管能力奠定技術(shù)基礎(chǔ)。

（5）數(shù)據(jù)安全服務(wù)體系

數(shù)據(jù)安全服務(wù)體系提供各類優(yōu)質(zhì)的數(shù)據(jù)安全支撐服務(wù)，保障數(shù)據(jù)安全管控平

臺(tái)及業(yè)務(wù)的安全高效運(yùn)行。包括不局限于加強(qiáng)數(shù)據(jù)安全風(fēng)險(xiǎn)評(píng)估與加固、策略動(dòng)

態(tài)優(yōu)化，完善安全防護(hù)措施，組織數(shù)據(jù)安全檢查、應(yīng)急預(yù)案演練和人員安全培訓(xùn)，

提升數(shù)據(jù)安全風(fēng)險(xiǎn)意識(shí)和應(yīng)急處置能力，建立健全相關(guān)安全標(biāo)準(zhǔn)及管理制度，切

實(shí)提升全市數(shù)據(jù)安全防護(hù)及監(jiān)管能力。

2.3.1.基礎(chǔ)設(shè)施層設(shè)計(jì)

基礎(chǔ)設(shè)施層主要包括提供平臺(tái)運(yùn)行所需的計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源,

主要是向云服務(wù)提供商租用數(shù)據(jù)安全管控平臺(tái)所需要用的各種云上基礎(chǔ)資源。平

臺(tái)主要設(shè)計(jì)如何使用這些資源、調(diào)度和分發(fā)，以保障數(shù)據(jù)安全管控平臺(tái)的穩(wěn)定運(yùn)

行。

23.1.1.兼容性設(shè)計(jì)

23.1.1.1.數(shù)據(jù)存儲(chǔ)服務(wù)兼容

Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。具有可靠、高

效、可伸縮的特點(diǎn)。Hadoop的核心是Mapreduce、HDFS、Kafka>YARN>Zookeepero

下圖為Hadoop的生態(tài)系統(tǒng)：

Ambari

（安裝、部署、配置和管理工具）

Hive

（數(shù)據(jù)倉庫）

爰

》J=

;d

_nK

_ol（MapReduce

_zo（分布式計(jì)卵框架）

_

_

_

_HDFS

_（分布式文件系統(tǒng)）

_

_

_平臺(tái)采用Ambari組件統(tǒng)一管理大數(shù)據(jù)平臺(tái)的各類組件安裝、部署以及升級(jí)

_

_

等_,完全兼容Hadoop生態(tài)中的各類組件。Hadoop生態(tài)系統(tǒng)集成spark生態(tài)圈,

與spark共存，Hadoop與spark設(shè)計(jì)部署在yarn的資源管理系統(tǒng)之上。部署的

組件截圖如下。

Ambaribigdeta

StMAVmiomUpgradeHMory

HDFS

YARN

MdpReduC?2

ZooKeep?<

KitfkA

BigdAta

EMcSMrch

Hnk

Kmana

togslas^

支持集成的Hadoop生態(tài)組件如下：

?HDFS（Hadoop分布式文件系統(tǒng)）

HDFS是GFS克隆版。是Hadoop體系中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)。它是一個(gè)高度

容錯(cuò)的系統(tǒng)，能檢測和應(yīng)對(duì)硬件故障，用于在低成本的通用硬件上運(yùn)行。HDFS簡

化了文件的一致性模型，通過流式數(shù)據(jù)訪問，提供高吞吐量應(yīng)用程序數(shù)據(jù)訪問功

能，適合帶有大型數(shù)據(jù)集的應(yīng)用程序。

/i、一~、

//

//:\'

/1\

DataNodeDataNodeDataNode

■■■

一工

vwi/€z1/xxxXz況MG

上的獨(dú)立元素進(jìn)行指定的操作，生成鍵-值對(duì)形式中間結(jié)果。Reduce則對(duì)中間結(jié)

果中相同“鍵”的所有“值”進(jìn)行規(guī)約，以得到最終結(jié)果。MapReduce這樣的功

能劃分，非常適合在大量計(jì)算機(jī)組成的分布式并行環(huán)境里進(jìn)行數(shù)據(jù)處理。

控、錯(cuò)誤處理等；將任務(wù)分解成一系列任務(wù)，并分派給TaskTracker。

>TaskTracker：Slave節(jié)點(diǎn)，運(yùn)行MapTask和ReduceTask；并與

JobTracker交互，匯報(bào)任務(wù)狀態(tài)。

>MapTask：解析每條數(shù)據(jù)記錄，傳遞給用戶編寫的map(),并執(zhí)行，將輸

出結(jié)果寫入本地磁盤(如果為map-only作業(yè)，直接寫入HDFS)。

>ReducerTask：從MapTask的執(zhí)行結(jié)果中，遠(yuǎn)程讀取輸入數(shù)據(jù)，對(duì)數(shù)據(jù)

進(jìn)行排序，將數(shù)據(jù)按照分組傳遞給用戶編寫的reduce函數(shù)執(zhí)行。

Mapreduce處理流程，以wordCount為例，具體如下圖所示。

TheoverallMapReducewordcouniprocess

InputSplittingMappingShufflingReducingFinalresult

?Hbase（分布式列存數(shù)據(jù)庫）

HBase是一個(gè)針對(duì)結(jié)構(gòu)化數(shù)據(jù)的可伸縮，高可靠、高性能，分布式和面向列

的動(dòng)態(tài)模式數(shù)據(jù)庫。和傳統(tǒng)關(guān)系數(shù)據(jù)庫不同，HBase采用了BigTable的數(shù)據(jù)模

型：增強(qiáng)的稀疏排序映射表（Key/Value）,其中，鍵由行關(guān)鍵字、列關(guān)鍵字和

時(shí)間戳構(gòu)成。HBase提供了對(duì)大規(guī)模數(shù)據(jù)的隨機(jī)、實(shí)時(shí)讀寫訪問，同時(shí)，HBase中

保存的數(shù)據(jù)可以使用MapReduce來處理，它將數(shù)據(jù)存儲(chǔ)和并行計(jì)算完美地結(jié)合在

一起。

ColumnFamily?1ColumnFamilytn

RowkeyA^lttl

k41：v必2keyA：vM2」2

RowKekeyB：va〃j2

"/2”AeyB：vZ2j4

sortedsorted

keyn'vtln,tnkeym'vtln.tn

Columnfamily

rowkeycontents:anchor：language-

n.imr<htmhu<html>(IV￥?nchor：CM9i.cofn.CNN"",

(lit?ncw：tny.w^c?.CNN.cOfn(tl)

ColumnFamlly：ColumnKey.ColumnValue(Tlmestamp)

?Zookeeper（分布式將作服務(wù)）

解決分布式環(huán)境下的數(shù)據(jù)管理問題：統(tǒng)一命名，狀態(tài)同步，集群管理，配置

同步等。

?Sqoop（數(shù)據(jù)同步工具）

Sqoop是SQL-to-Iladoop的縮寫，主要用于傳統(tǒng)數(shù)據(jù)庫和Hadoop之前傳輸

數(shù)據(jù)。數(shù)據(jù)的導(dǎo)入和導(dǎo)出本質(zhì)上是Mapreduce程序，充分利用了MR的并行化和

容錯(cuò)性。

?Pig（基于Hadoop的數(shù)據(jù)流系統(tǒng)）

提供一種基于MapReduce的adfoc（計(jì)算在query時(shí)發(fā)生）數(shù)據(jù)分析工具。

定義了一種數(shù)據(jù)流語言一PigLatin,將腳本轉(zhuǎn)換為MapReduce任務(wù)在

Hadoop上執(zhí)行。通常用于進(jìn)行離線分析。

?Mahout（數(shù)據(jù)挖掘算法庫）

Mahout的主要目標(biāo)是創(chuàng)建一些可擴(kuò)展的機(jī)器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實(shí)現(xiàn)，旨

在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。Mahout現(xiàn)在已經(jīng)包含了聚

類、分類、推薦引擎（協(xié)同過濾）和頻繁集挖掘等廣泛使用的數(shù)據(jù)挖掘方法。除

了算法，Mahout還包含數(shù)據(jù)的輸入/輸出工具、與其他存儲(chǔ)系統(tǒng)（如數(shù)據(jù)庫、

MongoDB或Cassandra）集成等數(shù)據(jù)挖掘支持架構(gòu)。

?Flume（日志收集工具）

Cloudera開源的日志收臬系統(tǒng)，具有分布式、高可靠、高容錯(cuò)、易于定制和

擴(kuò)展的特點(diǎn)。它將數(shù)據(jù)從產(chǎn)生、傳輸、處理并最終寫入目標(biāo)的路徑的過程抽象為

數(shù)據(jù)流，在具體的數(shù)據(jù)流中，數(shù)據(jù)源支持在Flume中定制數(shù)據(jù)發(fā)送方，從而支持

收集各種不同協(xié)議數(shù)據(jù)。同時(shí)，F(xiàn)lume數(shù)據(jù)流提供對(duì)日志數(shù)據(jù)進(jìn)行簡單處理的能

力，如過濾、格式轉(zhuǎn)換等。此外，F(xiàn)lume還具有能夠?qū)⑷罩緦懲鞣N數(shù)據(jù)目標(biāo)（可

定制）的能力。Flume是一個(gè)可擴(kuò)展、適合復(fù)雜環(huán)境的海量日志收集系統(tǒng)。

（1）Hadoop運(yùn)行架構(gòu)設(shè)計(jì)

Hadoop主要的任務(wù)部署分為3個(gè)部分，分別是：Client機(jī)器，主節(jié)點(diǎn)和從

節(jié)點(diǎn)。主節(jié)點(diǎn)主要負(fù)責(zé)Hadoop兩個(gè)關(guān)鍵功能模塊HDFS、MapReduce的監(jiān)督。當(dāng)

JobTracker使用MapReduce進(jìn)行監(jiān)控和調(diào)度數(shù)據(jù)的并行處理時(shí)，NameNode節(jié)

點(diǎn)則負(fù)責(zé)HDFS監(jiān)視和調(diào)度。從節(jié)點(diǎn)負(fù)責(zé)了機(jī)器運(yùn)行的絕大部分應(yīng)用，包括所有

數(shù)據(jù)儲(chǔ)存和指令計(jì)算。我司Hadoop集群由HDFS>MapReduce>HBase^Hive和

ZooKeeper等成員組成，其中最基礎(chǔ)最重要元素為底層用于存儲(chǔ)集群中所有存儲(chǔ)

節(jié)點(diǎn)文件的文件系統(tǒng)HDFS（HadoopDistributedFileSystem）來執(zhí)行MapReduce

程序的MapReduce引擎。

1；

1ETLToolsBlReportingRDBMS

L___________________L___________________________?

ZookeepPigHiveSqoopAvroSeria

er(Coordi(DataFlow)(SQL)lization)

nation)

Map/Reduce

(JobScheduling/ExecutionSystem)

Hbase

(ColumnDatabase)

HDFS

(HadoopDistributedFileSystem)

（2）版本更新設(shè)計(jì)

數(shù)據(jù)安全管控平臺(tái)支持Hadoop生態(tài)圈中的各類組件部署，并提供組件版本

管理功能和可根據(jù)大版本保持更新優(yōu)化。功能截圖如下所示。

2.3.1.1.2.數(shù)據(jù)計(jì)算服務(wù)兼容

Flink是一個(gè)針對(duì)流數(shù)據(jù)和批數(shù)據(jù)的分布式處理引擎，主要是由Java代碼

實(shí)現(xiàn)。數(shù)據(jù)安全管控平臺(tái)采用Flink處理流數(shù)據(jù)，采用Ambari進(jìn)行管理和部署，

兼容Flink生態(tài)軟件。部署截圖如下所示。

AmbanbigdataDashboardServicesHostsAlerts

vmaomUpgradeHistory

serviceAccounts

Finer.Al(!)?

Kecbefos

ServiceAutoStart

Current

HDP-

ShowDetails

HOFS27.125

YARN27125

MapReduce2

ZooKeeper34625

AmtxariMctncs

Kafka01002fi

8gata

tiMilcJ>carcn

Aink

Kitxana

(1)Flink運(yùn)行架構(gòu)設(shè)計(jì)

在Flink集群中，計(jì)算資源被定義為TaskSlot。每個(gè)TaskManager會(huì)擁有

一個(gè)或多個(gè)Slots.JobManager會(huì)以Slot為單位調(diào)度Task。在TaskManager中，

根據(jù)其所擁有的Slot個(gè)數(shù)，同時(shí)會(huì)擁有多個(gè)Pipeline。Flink架構(gòu)圖如下所

/Ko

TaskManagerTaskManager

nskExecution.Exch^ng^nskExecution,

DataExchangeIntermediateDataExchange

Results

(shuffle/broadcast)

(2)YarnCluster模式部署

Flink采用YarnCluster模型部署。未來保障最大化的利用集群資源，采

用在一個(gè)集群中同時(shí)運(yùn)行多種類型的WorkloadoFlink與Yam兼容性示意圖如

下所示。

在圖中可以看出，F(xiàn)link通過Yarn的接口實(shí)現(xiàn)了AppMaster,Yarn利用

Container來啟動(dòng)Flink的JobManager(AppMaster)和TaskManagcr,用以實(shí)

現(xiàn)Flink的運(yùn)行和兼容。

(3)處理模式

流計(jì)算引擎支持SQL、Table.CEP、圖、機(jī)器學(xué)習(xí)等計(jì)算模型。數(shù)據(jù)安全管

控平臺(tái)智能關(guān)聯(lián)模塊是基于分布式數(shù)據(jù)流處理系統(tǒng)ApacheFlink和復(fù)雜事件計(jì)

算引擎Siddhi它具有以下特性：高吞吐、低延遲、高性能；高度靈活的窗口操

作；多源日志的實(shí)時(shí)關(guān)聯(lián)；支持多種類SQL操作：Filter、Join、GroupBy、

Sequence等諸多優(yōu)良特性。

Filter.Join

GroupBy、Sequence...

Streaml

AiLPHAICE

Stream2

智能關(guān)聯(lián)引擎

Stream3Siddhi

事件計(jì)算處理模式如下。根據(jù)規(guī)則模型和統(tǒng)計(jì)模型產(chǎn)生的安全事件，創(chuàng)建關(guān)

聯(lián)模型進(jìn)行安全事件關(guān)聯(lián)。

23.1.2.組網(wǎng)方案設(shè)計(jì)

.1.組網(wǎng)方式

數(shù)據(jù)安全管控平臺(tái)集群的組網(wǎng)方案中包含3種節(jié)點(diǎn)，根據(jù)數(shù)據(jù)和資源的規(guī)

模，每種節(jié)點(diǎn)可以選擇多個(gè)節(jié)點(diǎn)進(jìn)行擴(kuò)容，以增強(qiáng)平臺(tái)的計(jì)算性能和穩(wěn)定性。節(jié)

點(diǎn)詳細(xì)信息如下表所示。

概念說明

ManagementNode(MN),用于安裝集群的管理系統(tǒng)。對(duì)部署

管理節(jié)點(diǎn)

在集群中的節(jié)點(diǎn)及服務(wù)進(jìn)行集中管理。

ControlNode(CN),控制節(jié)點(diǎn)控制監(jiān)控?cái)?shù)據(jù)節(jié)點(diǎn)執(zhí)行存儲(chǔ)數(shù)

據(jù)、接收數(shù)據(jù)、發(fā)送進(jìn)程狀態(tài)及完成控制節(jié)點(diǎn)的公共功能。

控制節(jié)點(diǎn)

控制節(jié)點(diǎn)包括HMaster>HiveServer>ResourceManager>

NameNode、JournalNode>SlapdServer等。

DataNode(DN),執(zhí)行管理節(jié)點(diǎn)發(fā)出的指示，上報(bào)任務(wù)狀態(tài)、

數(shù)據(jù)節(jié)點(diǎn)存儲(chǔ)數(shù)據(jù)，以及執(zhí)行數(shù)據(jù)節(jié)點(diǎn)的公共功能。數(shù)據(jù)節(jié)點(diǎn)包括

DataNode、RegionServer^NodeManager、LoaderServer等。

整個(gè)系統(tǒng)網(wǎng)絡(luò)劃分為2個(gè)界面，即應(yīng)用界面和管理界面，兩個(gè)界面之間采用

集群方式進(jìn)行部署，保證業(yè)務(wù)、管理各自網(wǎng)絡(luò)的安全性。

A應(yīng)用界面通過業(yè)務(wù)網(wǎng)絡(luò)接入，主要為用戶和上層用戶提供業(yè)務(wù)通道，對(duì)

外提供數(shù)據(jù)存取、任務(wù)提交及計(jì)算的能力。

>管理界面通過運(yùn)維網(wǎng)絡(luò)接入，提供系統(tǒng)管理和維護(hù)功能，主要用于集群

的管理，對(duì)外提供集群監(jiān)控、配置、審計(jì)、用戶管理等服務(wù)C

主備管理節(jié)點(diǎn)還支持設(shè)置外部管理網(wǎng)絡(luò)的IP地址，用戶可以通過外部管理

網(wǎng)絡(luò)進(jìn)行集群管理。

在典型配置下，集群采用雙平面組網(wǎng)，如下圖所示。

外部管理網(wǎng)絡(luò)

管理界面

1f1

?F，，控制節(jié)點(diǎn)

系統(tǒng)管理員

應(yīng)用界面

23.1.2.2.組網(wǎng)原則

根據(jù)集群內(nèi)節(jié)點(diǎn)數(shù)的規(guī)模，組網(wǎng)原則如表所示。

節(jié)點(diǎn)部署原則組網(wǎng)規(guī)則適用場景

集群內(nèi)節(jié)點(diǎn)劃分到不同子網(wǎng)，各子（推薦）節(jié)點(diǎn)數(shù)大于200

管理節(jié)點(diǎn)、控

網(wǎng)通過核心交換機(jī)三層互聯(lián)，每個(gè)節(jié)點(diǎn)的集群使用此場景

制節(jié)點(diǎn)和數(shù)據(jù)

子網(wǎng)的節(jié)點(diǎn)數(shù)控制在200個(gè)以內(nèi)，此方案至少需要12個(gè)節(jié)

節(jié)點(diǎn)分開部署

不同子網(wǎng)中節(jié)點(diǎn)數(shù)量請保持均衡。點(diǎn)

管理節(jié)點(diǎn)和控（推薦）節(jié)點(diǎn)數(shù)大于等

制節(jié)點(diǎn)合并部集群內(nèi)節(jié)點(diǎn)部署在同一子網(wǎng)，集群8

署，數(shù)據(jù)節(jié)點(diǎn)單內(nèi)通過匯聚交換機(jī)二層互聯(lián)。小于等于200節(jié)點(diǎn)的集

獨(dú)部署群使用此場景

管理節(jié)點(diǎn)、控制節(jié)點(diǎn)數(shù)小于6的集群使用

集群內(nèi)節(jié)點(diǎn)部署在同一子網(wǎng)，集

節(jié)點(diǎn)和數(shù)據(jù)節(jié)此場景

群內(nèi)通過匯聚交換機(jī)二層互聯(lián)。

點(diǎn)合并部署

此方案至少需要3個(gè)節(jié)點(diǎn)

2.3.1.2.3.資源及運(yùn)行方案

數(shù)據(jù)安全管控平臺(tái)建議資源推薦配置要求如表所示。

硬件推薦配置

節(jié)點(diǎn)數(shù)量不低于11臺(tái)

CPU不少于264核，單顆CPU性能不低于E5-2650V4

Bit-mode64位

不低于4TB,頻率21333MHz,單節(jié)點(diǎn)最大支持內(nèi)存不小于

內(nèi)存

512GB,單條內(nèi)存不小于16GB。

不低于1PB,由SAS/SATA硬盤和SSD硬盤構(gòu)成,其中SSD硬

硬盤空間盤容量不低于88TB；單節(jié)點(diǎn)支持熱插拔和SAS/SATA硬盤和

SSD硬盤混用模式

大數(shù)據(jù)分析平數(shù)據(jù)中心級(jí)接入交換機(jī)；包轉(zhuǎn)發(fā)率不低于1080Mpps,交換容

臺(tái)接入交換機(jī)量不低于2.56Tbps；需具備不少于48個(gè)10G接口，6個(gè)40G

接口；不少于兩臺(tái)

運(yùn)行環(huán)境需求如下表所示。

軟件要求

推薦：

/CentOS7.2

可用：

操作系統(tǒng)/RedHat-6.5-x86_64(RedHat6.5)和RedHat-

6.6-x86_64(RedHat6.6)

/CentOS-6.6版本(CentOS6.6)、CentOS-6.5版本

/(CentOS6.5)和CentOS-6.4-x86_64(CentOS6.4)

/GoogleChrome21及以上版本

瀏覽器/MozillaFirefox瀏覽器版本

/InternetExplorer10以上版本瀏覽器

/OracleJDK：服務(wù)端支持1.8版本，客戶端支持1.7

JDK

和1.8版本

/IBMJDK：服務(wù)端支持1.8版本，客戶端支持1.7和

1.8版本

2.3.1.2.4,通用軟件組件部署方案

數(shù)據(jù)安全管控平臺(tái)用到的開源組件版本號(hào)如表所示。

組件名稱版本號(hào)用途

HDFS2.7.1文件系統(tǒng)

YARN2.7.1資源管理系統(tǒng)（資源調(diào)度）

MapReduce2.7.1并行運(yùn)算框架

Zookeeper3.4.6應(yīng)用程序協(xié)調(diào)服務(wù)

Ambari-metries0.1.0系統(tǒng)指標(biāo)監(jiān)控

Kafka0.10.0分布式消息系統(tǒng)，緩存數(shù)據(jù)

ElasticSearch5.6.8數(shù)據(jù)存儲(chǔ)和索引

Flink1.3.2特定數(shù)據(jù)流計(jì)算服務(wù)

Kibana5.6.8分析與可視化平臺(tái)

logstash5.6.8數(shù)據(jù)收集引擎

storm1.0.1流計(jì)算框架

hbase1.1.2聚合后數(shù)據(jù)存儲(chǔ)和查詢

Spark2.0特定數(shù)據(jù)流計(jì)算服務(wù)

23.1.2.5.部署原則與組件依賴設(shè)計(jì)

數(shù)據(jù)安全管控平臺(tái)各服務(wù)的部署原則如下。集群中各服務(wù)之間存在依賴或者

關(guān)聯(lián)的關(guān)系：

>A依賴于B表示，若集群中部署A服務(wù)，需要提前或同時(shí)部署B(yǎng)服務(wù)。

A與B可以不部署在相同的節(jié)點(diǎn)上。

AA與B關(guān)聯(lián)表示，若集群中部署A服務(wù)，需要同時(shí)部署B(yǎng)服務(wù)。A與

B需要部署在相同的節(jié)點(diǎn)上。

安裝集群時(shí)只能安裝一電NameNode和Zookeeper,當(dāng)HDFS服務(wù)設(shè)置HDFS

Federation需要部署多對(duì)NameNode和Zookeeper時(shí)，需要在集群安裝完成后

手動(dòng)添加其余部分。服務(wù)依賴關(guān)系如下表所示。

內(nèi)存

服務(wù)名

角色名稱最小依賴關(guān)系角色業(yè)務(wù)部署原則

稱

要求

分別部署在2個(gè)管理

MSServerMSServer10GB—

節(jié)點(diǎn)上，主備配置。

考慮性能最優(yōu)化，建議

所有集群中LS都與

KrbServer部署在相

同的節(jié)點(diǎn)上。

分析集群：LS分別部

LdapServ500MB-

SlapdServer—署在2個(gè)控制節(jié)點(diǎn)上，

er-1GB

主備配置。

備份集群：LS分別部

署在2個(gè)控制節(jié)點(diǎn)

上，2個(gè)均為分析集群

的備用服務(wù)。

每個(gè)集群內(nèi)配置3個(gè)

ZooKeepe在控制節(jié)點(diǎn)上。如需擴(kuò)

QP(quorumpeer)1GB—

r展，請保持?jǐn)?shù)量為奇數(shù)

個(gè)。

分別部署在2個(gè)控制

NN(NameNode)4GB

節(jié)點(diǎn)上，主備配置。

ZkfcZooKeepe

HDFS

(ZooKeeper)、r分別部署在2個(gè)控制

1GB

(FailoverCont節(jié)點(diǎn)上，主備配置。

roller)

至少部署3個(gè)在控制

節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)保留

一份備份數(shù)據(jù)。如需保

JN(Journal

4GB留超過三份以上備份，

Node)

可部署多個(gè)在控制或數(shù)

據(jù)節(jié)點(diǎn)上，請保持?jǐn)?shù)量

為奇數(shù)個(gè)。

至少部署3個(gè),建議部

DN(DataNode)4GB

署在數(shù)據(jù)節(jié)點(diǎn)上。

R