《信息系統(tǒng)安全理論與技術(shù)》

第10章大數(shù)據(jù)系統(tǒng)安全

設(shè)計(jì)案例本章內(nèi)容10.1大數(shù)據(jù)的安全需求10.2大數(shù)據(jù)安全關(guān)鍵技術(shù)10.4大數(shù)據(jù)系統(tǒng)一體化安全管理系統(tǒng)設(shè)計(jì)10.3大數(shù)據(jù)系統(tǒng)安全體系10.5大數(shù)據(jù)系統(tǒng)安全關(guān)鍵技術(shù)10.1大數(shù)據(jù)平臺(tái)簡(jiǎn)介重要的社會(huì)價(jià)值極高的經(jīng)濟(jì)價(jià)值對(duì)患者人格和尊嚴(yán)的尊重大數(shù)據(jù)數(shù)據(jù)處理如何防止數(shù)據(jù)處理時(shí)，個(gè)人信息被還原，從而造成隱私權(quán)侵犯數(shù)據(jù)使用如何約束數(shù)據(jù)的多邊交易如何防止數(shù)據(jù)開放造成的敏感數(shù)據(jù)泄露數(shù)據(jù)采集如何對(duì)用戶隱私進(jìn)行保護(hù)如何防止對(duì)數(shù)據(jù)采集器的偽造、假冒攻擊數(shù)據(jù)傳輸如何防止傳輸過程中數(shù)據(jù)不被篡改、竊取大數(shù)據(jù)平臺(tái)Hadoop?開發(fā)大數(shù)據(jù)挖掘工具，支持多種模態(tài)、多種方式的大數(shù)據(jù)計(jì)算

□左為大數(shù)據(jù)建模邏輯□右為大數(shù)據(jù)深度學(xué)習(xí)10.1大數(shù)據(jù)平臺(tái)簡(jiǎn)介Hadoop生態(tài)系統(tǒng)Hadoop是一個(gè)由Apache基金會(huì)開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。其項(xiàng)目是一個(gè)高可靠性、高擴(kuò)展性的分布式計(jì)算的開源軟件。主要由HDFS、MapReduce和Hbase組成。Hadoop是一個(gè)可以更容易開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。

Hadoop2.0生態(tài)架構(gòu)10.1大數(shù)據(jù)平臺(tái)簡(jiǎn)介Hadoop常用組件組件名稱功能描述HadoopCommon用于支持其他Hadoop組件的通用功能模塊HDFS分布式文件系統(tǒng)MapReduce分布式計(jì)算框架和編程模型Hbase支持結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的可擴(kuò)展的分布式數(shù)據(jù)庫(kù)系統(tǒng)Hive數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)架構(gòu)，提供數(shù)據(jù)匯總和即時(shí)查詢Pig在HDFS和MapReduce環(huán)境執(zhí)行的高級(jí)數(shù)據(jù)流語(yǔ)言SqoopHadoop和RDBMS中的數(shù)據(jù)相互轉(zhuǎn)移的工具Flume分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)ZooKeeper分布式應(yīng)用的協(xié)調(diào)服務(wù)Mahout可擴(kuò)展的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘類庫(kù)Spark快速內(nèi)存處理10.1大數(shù)據(jù)平臺(tái)簡(jiǎn)介10.2Hadoop的安全問題Hadoop最初的設(shè)計(jì)者們是假定運(yùn)行起來的HDFS和MapReduce

集群都始終封閉在一個(gè)安全的環(huán)境之中，并且假定集群內(nèi)的所有節(jié)點(diǎn)都是可靠的、值得信賴的，而且，集群所構(gòu)建的存儲(chǔ)和計(jì)算資源池被提供給一組相互合作的用戶來使用。在實(shí)際情況中，使用Hadoop框架搭建起來的集群所運(yùn)行的現(xiàn)實(shí)網(wǎng)絡(luò)環(huán)境是一個(gè)開放的、非安全的復(fù)雜環(huán)境，不考慮安全機(jī)制的Hadoop平臺(tái)不可能得到用戶的信任和放心的使用。Kerberos認(rèn)證協(xié)議在Kerberos認(rèn)證體系中，存在安全隱患：1)Kerberos的認(rèn)證服務(wù)器KDC是整個(gè)Kerberos認(rèn)證體系中的主體，為域中的用戶和服務(wù)提供認(rèn)證，當(dāng)域中用戶和服務(wù)較多，短時(shí)間內(nèi)大量交互需向Kerberos認(rèn)證服務(wù)器發(fā)送認(rèn)證請(qǐng)求時(shí)，其性能將會(huì)經(jīng)受考驗(yàn)，成為整個(gè)系統(tǒng)的瓶頸。否則，可能會(huì)造成Kerberos認(rèn)證體系對(duì)認(rèn)證請(qǐng)求拒絕服務(wù)。2)Kerberos認(rèn)證體系要求Kerberos域中的各臺(tái)服務(wù)器主機(jī)時(shí)鐘同步，而Kerberos域中各服務(wù)器的時(shí)鐘同步機(jī)制還需考慮如訪問控制策略、系統(tǒng)漏洞等其它層面的安全因素，否則惡意攻擊者可通過篡改Kerberos域中服務(wù)器主機(jī)的時(shí)間來實(shí)施攻擊。3)Kerberos認(rèn)證體系所使用的票據(jù)都有一個(gè)有效期限，然而，在票據(jù)的有效期間之內(nèi)，惡意攻擊者仍然可以通過截獲認(rèn)證票據(jù)信息，冒充己認(rèn)證的用戶或服務(wù)，實(shí)施重放攻擊。4)在Kerberos認(rèn)證體系中，Kerberos域中用戶和認(rèn)證服務(wù)器的共享密鑰存儲(chǔ)在認(rèn)證服務(wù)器KDC中，完全保密的。如果能夠侵入認(rèn)證服務(wù)器，獲得用戶的密鑰，就可以偽裝成合法用戶。此外，攻擊者還可以使用離線方式破解用戶口令，如果用戶口令被竊取或破解，Kerberos認(rèn)證體系將無法保證系統(tǒng)的安全。Kerberos認(rèn)證體系具有以下優(yōu)勢(shì)：1)實(shí)現(xiàn)認(rèn)證票據(jù)的一次性簽發(fā)，簽發(fā)票據(jù)都有生成期限;2)支持用戶和服務(wù)端的雙向身份認(rèn)證;3)支持分布式網(wǎng)絡(luò)環(huán)境下不同域的域間認(rèn)證。10.2Hadoop的安全問題身份認(rèn)證問題1.用戶到服務(wù)器的認(rèn)證問題Namenode上沒有用戶認(rèn)證：用戶只要知道NameNode服務(wù)地址和端口信息，就可以訪問HDFS，并獲取文件namespace信息。Datanode上沒有認(rèn)證機(jī)制：Datanode對(duì)讀入輸出并沒有認(rèn)證，導(dǎo)致如果客戶端知道Blockid，就可以任意的訪問Datanode上的Block數(shù)據(jù)。2.服務(wù)器到服務(wù)器的認(rèn)證信息Namenode對(duì)Datanode沒有認(rèn)證機(jī)制：非法用戶可以偽裝成Datanode，去接收Namenode的文件存儲(chǔ)任務(wù)。10.2Hadoop的安全問題訪問控制問題HDFS架構(gòu)HDFS生態(tài)架構(gòu)HDFS是分布式存儲(chǔ)的數(shù)據(jù)庫(kù)，其中的信息分布式存儲(chǔ)在DataNode中，由NameNode統(tǒng)一調(diào)度。用戶只要獲得訪問權(quán)限就可以獲得HDFS中的數(shù)據(jù)，但是Hadoop現(xiàn)有的訪問控制授權(quán)模式效率低下且會(huì)造成過度授權(quán)與授權(quán)不足的問題。10.2Hadoop的安全問題數(shù)據(jù)安全1.數(shù)據(jù)完整性——防止篡改Hadoop由于其數(shù)據(jù)是分布在不同的存儲(chǔ)節(jié)點(diǎn)上運(yùn)行，數(shù)據(jù)是不完整的，當(dāng)用于商業(yè)決策時(shí)，一旦惡意篡改其中任何一個(gè)節(jié)點(diǎn)的數(shù)據(jù)，就可能會(huì)造成決策的失誤，這對(duì)于企業(yè)的影響，是難以衡量的。2.數(shù)據(jù)保密性——竊取Hadoop節(jié)點(diǎn)上的數(shù)據(jù)，是沒有加密的，這對(duì)于數(shù)據(jù)安全是一個(gè)非常大的威脅，攻擊者可以通過互聯(lián)網(wǎng)進(jìn)入數(shù)據(jù)中直接竊取沒有加密的數(shù)據(jù)。Hadoop的數(shù)據(jù)加密問題，也是當(dāng)前Hadoop安全防護(hù)的一個(gè)重大的課題。10.2Hadoop的安全問題分布式拒絕服務(wù)攻擊DDoS是現(xiàn)今網(wǎng)絡(luò)上主要的攻擊方式之一，攻擊者利用所控制的僵尸網(wǎng)絡(luò)等網(wǎng)絡(luò)資源向目標(biāo)主機(jī)發(fā)送攻擊包，以達(dá)到阻止目標(biāo)服務(wù)器正常提供網(wǎng)絡(luò)服務(wù)的目的。云計(jì)算平臺(tái)會(huì)托管眾多不同的網(wǎng)絡(luò)服務(wù)，必然會(huì)吸引攻擊者向云平臺(tái)發(fā)動(dòng)DDoS攻擊。由于云計(jì)算的多租戶特性，DDoS所造成的影響將超過對(duì)傳統(tǒng)服務(wù)器攻擊造成的影響。入侵檢測(cè)系統(tǒng)（IntrusionDetectionSystem，IDS）與DDoS防范技術(shù)可以及時(shí)發(fā)現(xiàn)針對(duì)大數(shù)據(jù)系統(tǒng)的攻擊和云中用戶的違規(guī)行為，保證大數(shù)據(jù)系統(tǒng)的健康運(yùn)行，主要解決了大數(shù)據(jù)計(jì)算的可用性問題，并防止了大數(shù)據(jù)計(jì)算濫用行為的發(fā)生。10.2Hadoop的安全問題10.2大數(shù)據(jù)安全需求?依托國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目“生殖健康大數(shù)據(jù)深度分析與安全保障關(guān)鍵技術(shù)研發(fā)”(No.2016YFC1000307)

生殖健康大數(shù)據(jù)平臺(tái)安全體系：安全標(biāo)準(zhǔn)、安全策略、安全服務(wù)、安全機(jī)制數(shù)據(jù)安全：面向保密性的加密存儲(chǔ)訪問控制：面向可用性的細(xì)粒度訪問控制遠(yuǎn)程審計(jì)：面向完整性的遠(yuǎn)程數(shù)據(jù)持有證明隱私保護(hù)：隱私度量、機(jī)器學(xué)習(xí)的隱私跋扈建立生殖健康大數(shù)據(jù)平臺(tái)安全體系，開發(fā)數(shù)據(jù)安全與隱私保護(hù)技術(shù)生殖健康大數(shù)據(jù)安全平臺(tái)架構(gòu)生殖健康信息隱私保護(hù)系統(tǒng)模型10.2大數(shù)據(jù)安全需求從大數(shù)據(jù)平臺(tái)本身和生殖健康醫(yī)療兩個(gè)方面梳理安全需求，調(diào)研分析大數(shù)據(jù)平臺(tái)安全體系和擬解決的關(guān)鍵問題。權(quán)限管理安全數(shù)據(jù)處理安全云服務(wù)不透明API安全模塊整合安全數(shù)據(jù)安全數(shù)據(jù)傳輸安全物理設(shè)施安全接口與API安全應(yīng)用程序安全數(shù)據(jù)存儲(chǔ)安全虛擬化安全公有云私有云混合云惡意內(nèi)部用戶云濫用賬戶劫持未知風(fēng)險(xiǎn)服務(wù)可用性法規(guī)問題部署模式軟件即服務(wù)（SaaS）平臺(tái)即服務(wù)（PaaS）基礎(chǔ)設(shè)施即服務(wù)（IaaS）公有云私有云混合云云應(yīng)用服務(wù)模式Hadoop平臺(tái)目前的安全機(jī)制僅限于集群中各節(jié)點(diǎn)和服務(wù)的認(rèn)證，管理復(fù)雜，缺乏統(tǒng)一策略。醫(yī)療健康信息資源整合需要技術(shù)上提供有力支撐，保護(hù)個(gè)人隱私以及面向云計(jì)算和大數(shù)據(jù)的整體安全，主要包括：數(shù)據(jù)的去隱私化、訪問控制、安全存儲(chǔ)、審計(jì)取證，以及對(duì)系統(tǒng)的全面的安全管理、安全檢測(cè)。10.2大數(shù)據(jù)安全需求梳理國(guó)內(nèi)外已有大數(shù)據(jù)安全相關(guān)標(biāo)準(zhǔn)，調(diào)研和參與《大數(shù)據(jù)安全標(biāo)準(zhǔn)》建設(shè)工作，為后期測(cè)試奠定良好的基礎(chǔ)。當(dāng)前國(guó)際上開展大數(shù)據(jù)標(biāo)準(zhǔn)化研究的工作組主要包括ISO/IECJTC1SC32、SC27和WG9、ITU大數(shù)據(jù)工作組、云安全聯(lián)盟CSA大數(shù)據(jù)工作組以,美國(guó)NIST大數(shù)據(jù)工作組和CSCC(CloudStandardCustomerCouncil)。2016年，全國(guó)信息安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)設(shè)立大數(shù)據(jù)安全特別工作組，負(fù)責(zé)和組織大數(shù)據(jù)安全標(biāo)準(zhǔn)體系和大數(shù)據(jù)安全相關(guān)標(biāo)準(zhǔn)的研制工作。序號(hào)所屬類別國(guó)家標(biāo)準(zhǔn)編號(hào)標(biāo)準(zhǔn)簡(jiǎn)介狀態(tài)1概念和參考模型20141191-T-469本標(biāo)準(zhǔn)界定了信息技術(shù)大數(shù)據(jù)領(lǐng)域中的常用術(shù)語(yǔ)。在研2概念和參考模型20141190-T-469本標(biāo)準(zhǔn)規(guī)范了大數(shù)據(jù)的基礎(chǔ)通用模型，包括大數(shù)據(jù)角色、活動(dòng)、主要組件及其之間的關(guān)系。在研3應(yīng)用支撐平臺(tái)20141200-T-469本標(biāo)準(zhǔn)規(guī)定了數(shù)據(jù)交易服務(wù)平臺(tái)中描述交易數(shù)據(jù)的數(shù)據(jù)元及其含義。在研4應(yīng)用支撐平臺(tái)2016BZYJ-BDS-001本標(biāo)準(zhǔn)分析了大數(shù)據(jù)交換平臺(tái)的安全風(fēng)險(xiǎn)，規(guī)定大數(shù)據(jù)交換的安全體系和安全要求。在研5個(gè)人信息保護(hù)2016BZZD-BDS-006主要研究?jī)?nèi)容包括：大數(shù)據(jù)安全和個(gè)人信息保護(hù)的基本價(jià)值取向、基本原則、保護(hù)機(jī)構(gòu)設(shè)置、大數(shù)據(jù)和個(gè)人信息分級(jí)分類保護(hù)模式、大數(shù)據(jù)安全和個(gè)人信息分環(huán)節(jié)保護(hù)模式、大數(shù)據(jù)和個(gè)人信息跨境流動(dòng)保護(hù)模式。在研6服務(wù)安全能力2016BZZD-BDS-005本標(biāo)準(zhǔn)將給出大數(shù)據(jù)服務(wù)安全相關(guān)的術(shù)語(yǔ)和定義，規(guī)范大數(shù)據(jù)各角色的安全職責(zé)，規(guī)定大數(shù)據(jù)服務(wù)的安全能力分級(jí)；最后，給出了大數(shù)據(jù)服務(wù)的安全能力要求。在研7基礎(chǔ)安全管理2016BZZD-BDS-004本項(xiàng)目的主要內(nèi)容包括：明確在大數(shù)據(jù)生態(tài)中的角色和安全責(zé)任，建立數(shù)據(jù)的分類分級(jí)原則，研究在數(shù)據(jù)生命周期中每個(gè)階段的安全風(fēng)險(xiǎn)和控制措施，建立大數(shù)據(jù)安全技術(shù)和管理標(biāo)準(zhǔn)的頂層框架。在研8服務(wù)安全測(cè)評(píng)2016BZYJ-BDS-002本標(biāo)準(zhǔn)將從組織職責(zé)、制定流程、技術(shù)工具、人員能力四個(gè)維度，針對(duì)大數(shù)據(jù)的組織提出規(guī)范性的安全管理過程，構(gòu)建大數(shù)據(jù)安全能力的成熟度評(píng)估模型和成熟度描述，涉及的主要內(nèi)容包括：術(shù)語(yǔ)定義、成熟度等級(jí)定義、模型框架、模型的安全域在研大數(shù)據(jù)安全標(biāo)準(zhǔn)體系框架10.2大數(shù)據(jù)安全需求根據(jù)大數(shù)據(jù)平臺(tái)安全體系、大數(shù)據(jù)安全相關(guān)標(biāo)準(zhǔn)和生殖健康安全需求，完成生殖健康大數(shù)據(jù)安全體系框架的設(shè)計(jì)。安全事件監(jiān)控（OSSEC,IBMGaurdium）安全審計(jì)策略和流程（Cloudera管理器，Inter的管理器，Zettaset）授權(quán)(Zettaset,Rhino)認(rèn)證(ActiveDirectory,Kerberos,Rhino)數(shù)據(jù)隱藏(Dataguise,IBMOptim)數(shù)據(jù)加密(Intel’sDistribution,Rhino,Dataguise,Gazzang)網(wǎng)絡(luò)邊界安全(KnoxGateway,HttpFS)操作系統(tǒng)和文件系統(tǒng)安全(SELinux,eCryptfs,zNcrypt)應(yīng)用安全(Sentry,HUE)基礎(chǔ)設(shè)施安全(Kerberos,Rhino)安全技術(shù)與參考架構(gòu)10.2大數(shù)據(jù)安全需求設(shè)計(jì)生殖健康大數(shù)據(jù)平臺(tái)的安全服務(wù)和安全機(jī)制，包括認(rèn)證、授權(quán)與訪問控制、數(shù)據(jù)隱藏與加密、網(wǎng)絡(luò)安全、系統(tǒng)安全。組件名稱功能描述HadoopCommon用于支持其他Hadoop組件的通用功能模塊HDFS分布式文件系統(tǒng)MapReduce分布式計(jì)算框架和編程模型Hbase支持結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的可擴(kuò)展的分布式數(shù)據(jù)庫(kù)系統(tǒng)Hive數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)架構(gòu)，提供數(shù)據(jù)匯總和即時(shí)查詢Pig在HDFS和MapReduce環(huán)境執(zhí)行的高級(jí)數(shù)據(jù)流語(yǔ)言SqoopHadoop和RDBMS中的數(shù)據(jù)相互轉(zhuǎn)移的工具Flume分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)ZooKeeper分布式應(yīng)用的協(xié)調(diào)服務(wù)Mahout可擴(kuò)展的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘類庫(kù)Spark快速內(nèi)存處理10.3大數(shù)據(jù)安全體系設(shè)計(jì)大數(shù)據(jù)安全需求大數(shù)據(jù)安全風(fēng)險(xiǎn)：1）數(shù)據(jù)本身的安全風(fēng)險(xiǎn)2）數(shù)據(jù)使用過程中的安全風(fēng)險(xiǎn)3）數(shù)據(jù)處理過程中的安全風(fēng)險(xiǎn)多源性，強(qiáng)隱私性10.3大數(shù)據(jù)安全體系設(shè)計(jì)大數(shù)據(jù)安全技術(shù)體系

10.3大數(shù)據(jù)安全體系設(shè)計(jì)大數(shù)據(jù)安全技術(shù)體系

圖3健康醫(yī)療大數(shù)據(jù)安全技術(shù)體系安全技術(shù)簡(jiǎn)介是否開源認(rèn)證1.Kerberos網(wǎng)絡(luò)認(rèn)證協(xié)議是授權(quán)與訪問控制1.SentryCloudera公司發(fā)布的Hadoop安全組件是2.RecordServiceCloudera公司發(fā)布的Hadoop安全層是3.

RangerApache旗下的集中式安全管理框架是數(shù)據(jù)隱藏與加密1.RhinoApache旗下靜態(tài)數(shù)據(jù)加密項(xiàng)目是2.eCryptfs企業(yè)級(jí)加密文件系統(tǒng)是3.Gazzang支持Hadoop塊級(jí)加密否網(wǎng)絡(luò)安全1.SSL對(duì)傳輸中的數(shù)據(jù)進(jìn)行加密處理是2.KnoxGateway對(duì)大數(shù)據(jù)集群進(jìn)行網(wǎng)絡(luò)隔離是系統(tǒng)安全1.Ganglia集群監(jiān)視項(xiàng)目是2.Zabbix分布式系統(tǒng)監(jiān)視的企業(yè)級(jí)解決方案是3.ELK日志系統(tǒng)是大數(shù)據(jù)安全關(guān)鍵技術(shù)組件10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)

①網(wǎng)關(guān)服務(wù)器設(shè)有大數(shù)據(jù)安全管理系統(tǒng)②KDC（Keydistributioncenter）為整個(gè)集群提供身份認(rèn)證服務(wù)，其中存儲(chǔ)了大數(shù)據(jù)集群的所有用戶身份信息③KMS（Keymanagementserver）為大數(shù)據(jù)平臺(tái)數(shù)據(jù)加解密等安全服務(wù)提供密鑰管理服務(wù)④防火墻隔離外部網(wǎng)絡(luò)與大數(shù)據(jù)集群10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)系統(tǒng)總體設(shè)計(jì)

大數(shù)據(jù)安全管理系統(tǒng)主要有八個(gè)安全模塊組成，分別是：認(rèn)證管理模塊、訪問控制管理模塊、靜態(tài)數(shù)據(jù)加密管理模塊、傳輸數(shù)據(jù)加密管理模塊、集群監(jiān)控模塊、日志審計(jì)模塊、集群管理模塊與安全策略模塊。10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)安全模塊設(shè)計(jì)——認(rèn)證管理模塊

Kerberos身份認(rèn)證對(duì)大數(shù)據(jù)平臺(tái)客戶端、集群節(jié)點(diǎn)與平臺(tái)組件提供身份認(rèn)證功能方案

基于Kerberos協(xié)議的認(rèn)證方案模塊功能Kerberos認(rèn)證管理：Kerberos服務(wù)的啟動(dòng)和關(guān)閉、Kerberos服務(wù)參數(shù)配置、Kerberos認(rèn)證密鑰管理與Kerberos票據(jù)管理用戶信息管理：創(chuàng)建用戶、查看用戶信息、刪除用戶與修改用戶認(rèn)證屬性10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)認(rèn)證管理模塊配置1）安裝Kerberos，首先要在一臺(tái)安全的服務(wù)器上安裝密鑰分發(fā)中心：#yuminstallkrb5-serverkrb5-libskrb5-workstation2）KDC數(shù)據(jù)庫(kù)存儲(chǔ)了KDC中每個(gè)用戶的密碼信息。使用命令創(chuàng)建一個(gè)KDC數(shù)據(jù)庫(kù)：#kdb5_utilcreate-rHADOOP-s3）在KDC上使用kadmin.local命令對(duì)KDC進(jìn)行管理。執(zhí)行命令設(shè)置Kerberos管理員：#kadmin.local:addprincadmin/admin@HADOOP4）通過命令啟動(dòng)Kerberos守護(hù)進(jìn)程：#servicekrb5kdcstart5）在KDC中添加Kerberos認(rèn)證Hadoop守護(hù)進(jìn)程的服務(wù)標(biāo)識(shí)，可以使用命令：kadmin:addprinc–randkeyroot/master2@HADOOPkadmin:addprinc–randkeyhost/master2@HADOOP6）要為創(chuàng)建的Hadoop服務(wù)標(biāo)識(shí)創(chuàng)建對(duì)應(yīng)的keytab文件，可以通過命令：kadmin:xst–norandkey–kroot.keytabroot/master2@HADOOPkadmin:xst–norandkey–kroot.keytabhost/master2@HADOOP10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)安全模塊設(shè)計(jì)——訪問控制管理模塊

Sentry訪問控制對(duì)大數(shù)據(jù)平臺(tái)進(jìn)行細(xì)粒度的、基于角色的權(quán)限控制方案基于Sentry的訪問控制方案模塊功能用戶權(quán)限管理、Sentry配置管理、用戶角色屬性分配、系統(tǒng)組件權(quán)限管理10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)訪問控制模塊配置1）修改Sentry的配置文件（sentry-site.xml）：#mvapache-sentry-1.6.0-incubating-binapache-sentry-1.6.0#cpmysql-connector-java-5.1.38-bin.jar/opt/apache-sentry-1.6.0/lib2）修改sentry-sitem.xml文件3）配置環(huán)境變量：#vim/etc/profileexportSENTRY_HOME=/opt/apache-sentry-1.6.0exportPATH=${SENTRY_HOME}/bin:$PATH#source/etc/profile4）在Mysql中創(chuàng)建Sentry數(shù)據(jù)庫(kù)：#createdatabasesentry;5）將mysql-jdbc的jar包拷貝到sentry/lib目錄下：#cpmysql-connector-java-5.1.38-bin.jar${SENTRY_HOME}/lib6）替換Hadoop中jline的jar包：#rm${HADOOP_HOME}/share/hadoop/yarn/lib/jline-0.9.94.jar#cp${SENTRY_HOME}/lib/jline-2.12.jar${HADOOP_HOME}/share/hadoop/yarn/lib7）初始化Sentry數(shù)據(jù)庫(kù)#sentry--commandschema-tool--conffile${SENTRY_HOME}/conf/sentry-site.xml--dbType

mysql--initSchema10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)安全模塊設(shè)計(jì)——靜態(tài)數(shù)據(jù)加密管理模塊

靜態(tài)數(shù)據(jù)加密原理對(duì)大數(shù)據(jù)平臺(tái)上存儲(chǔ)的靜態(tài)數(shù)據(jù)進(jìn)行加密方案HDFS靜態(tài)數(shù)據(jù)加密技術(shù)模塊功能靜態(tài)數(shù)據(jù)加密服務(wù)啟動(dòng)與關(guān)閉、加密密鑰的生成、加密算法選擇、KMS密鑰管理服務(wù)器的配置、創(chuàng)建加密區(qū)10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)安全模塊設(shè)計(jì)——傳輸數(shù)據(jù)加密管理模塊

傳輸數(shù)據(jù)加密對(duì)大數(shù)據(jù)平臺(tái)的傳輸數(shù)據(jù)進(jìn)行加密方案Hadoop服務(wù)與客戶端之間的RPC通信加密HDFS不同節(jié)點(diǎn)間的數(shù)據(jù)塊傳輸加密模塊功能數(shù)據(jù)塊傳輸加密開關(guān)、RPC傳輸加密開關(guān)、加密算法選擇、加密密鑰比特長(zhǎng)度選擇10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)數(shù)據(jù)加密模塊配置1）只需在一臺(tái)主機(jī)上完成KMS的配置，首先修改KMS的主要配置文件kms-site.xml，主要配置項(xiàng)是vider.uri。2）在Hadoop的core-site.xml里修改vider.path3）以上兩步配完后，重啟HDFS，啟動(dòng)KMS。查看KMS里存儲(chǔ)的Key：#/path/to/hadoop/bin/hadoopkeylist–metadata4）配置SSL，確保傳輸過程加密5）配置KMSKerberosKMS需要HTTP的憑據(jù)，在KMS服務(wù)機(jī)器上生成憑據(jù)，配置kms-site.xml文件，設(shè)置hadoop.kms.authentication.type為kerberos，然后添加hadoop.kms.authentication.kerberos.keytab和hadoop.kms.authentication.kerberos.principal，設(shè)置.rules為DEFAULT6）配置完后，可以使用hadoopkeylist來查看當(dāng)前存儲(chǔ)的密鑰：#hadoopkeylist-metadata-providerkms://https@${hostname}:16000/kms7）修改配置文件kms-acls.xml以配置KMS密鑰訪問權(quán)限8）在KMSserver修改配置kms-site.xml文件9）修改kms-ent.sh配置10）配置完成后，啟動(dòng)KMS：#sbin/kms.shstart10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)安全模塊設(shè)計(jì)——集群監(jiān)控模塊

Ganglia監(jiān)控提供對(duì)大數(shù)據(jù)平臺(tái)狀態(tài)的監(jiān)控與事件監(jiān)控報(bào)警功能方案基于Ganglia的狀態(tài)監(jiān)控基于Zabbix的事件監(jiān)控報(bào)警模塊功能監(jiān)控服務(wù)的啟動(dòng)與停止、監(jiān)控參數(shù)設(shè)置、報(bào)警機(jī)制的設(shè)置10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)集群監(jiān)控模塊配置1）安裝Zabbix服務(wù)端#yuminstall-yzabbix-server-mysql

zabbix-web-mysql2）安裝啟動(dòng)Mariadb數(shù)據(jù)庫(kù)#yuminstall-ymariadb*3）為Zabbix創(chuàng)建數(shù)據(jù)庫(kù)#mysql-e‘createdatabasezabbix’4）導(dǎo)入數(shù)據(jù)#zcat/usr/share/doc/zabbix-server-mysql-3.0.15/create.sql.gz|mysql-uzabbix-pzabbix

zabbix5）配置Zabbix-server連接Mysql#sed-i.ori‘115aDBPassword=zabbix’/etc/zabbix/zabbix_server.conf6）添加時(shí)區(qū)#sed-i.ori‘18aphp_value

date.timezoneAsia/Shanghai’/etc/httpd/conf.d/zabbix.conf7）啟動(dòng)相關(guān)服務(wù)8）修改/etc/php.ini文件10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)安全模塊設(shè)計(jì)

⑥日志審計(jì)模塊對(duì)大數(shù)據(jù)平臺(tái)各個(gè)組件模塊的日志信息進(jìn)行審計(jì)方案基于ELK的日志審計(jì)方案模塊功能日志查看、關(guān)鍵詞篩選、錯(cuò)誤狀態(tài)日志信息的提?、?/p>

集群管理模塊提供對(duì)大數(shù)據(jù)平臺(tái)常用功能與組件接口的統(tǒng)一管理功能方案基于Hue的組件管理模塊功能HDFS與YARN的啟動(dòng)與停止、查看HDFS目錄與文件、下載/上傳HDFS文件、提交MapReduce任務(wù)、停止運(yùn)行中的任務(wù)10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)日志審計(jì)模塊配置1）解壓安裝包到/home/elasticsearch中，修改/elasticsearch/config/elasticsearch.xml2）進(jìn)入Elasticsearch的bin目錄，使用#./elasticsearch-d啟動(dòng)Elasticsearch3）客戶端網(wǎng)頁(yè)訪問可能需要關(guān)掉防火墻：#systemctlstopfirewalld.service4）將Logstash解壓到/home/logstash中，創(chuàng)建配置文件logstash-simple.conf并且保存到/home/logstash/config下。完整路徑應(yīng)該是/home/logstash/config/xxxx.conf5）進(jìn)入Logstash的bin目錄，使用#bin/logstash-fconfig/xxxx.conf命令讀取配置信息并啟動(dòng)Logstash。6）編輯Kibana的配置文件#vim/usr/local/kibana/config/kibana.yml

修改配置文件如下，開啟以下的配置：server.port:5601server.host:‘’elasticsearch.url:‘12:9200’7）打開瀏覽器并設(shè)置對(duì)應(yīng)的頁(yè)面#/usr/local/kibana/bin/kibana10.4大數(shù)據(jù)安全管理系統(tǒng)設(shè)計(jì)與安全模塊實(shí)現(xiàn)安全模塊設(shè)計(jì)

⑧安全策略模塊將安全管理系統(tǒng)的安全服務(wù)分為三個(gè)級(jí)別的安全策略進(jìn)行管理：高：所有安全服務(wù)均啟用、加密算法級(jí)別最高、密鑰比特長(zhǎng)度最大，給大數(shù)據(jù)集群提供最大的安全防護(hù)能力中：部分安全服務(wù)開啟，提供大數(shù)據(jù)平臺(tái)運(yùn)行的基本安全防護(hù)能力，不影響集群效率低：安全服務(wù)全部關(guān)閉，提供原生大數(shù)據(jù)系統(tǒng)，便于進(jìn)行開發(fā)調(diào)試安全策略

安全級(jí)別安全服務(wù)低中高Kerberos認(rèn)證服務(wù)關(guān)閉啟用啟用集群監(jiān)控報(bào)警功能關(guān)閉啟用啟用數(shù)據(jù)塊傳輸加密服務(wù)關(guān)閉關(guān)閉啟用RPC傳輸加密服務(wù)關(guān)閉啟用啟用傳輸加密算法選擇—3DESAESAES密鑰比特——256靜態(tài)數(shù)據(jù)透明加密服務(wù)關(guān)閉關(guān)閉啟用Sentry訪問控制服務(wù)關(guān)閉啟用啟用10.4大數(shù)據(jù)