新能源發(fā)電企業(yè)工業(yè)互聯(lián)網(wǎng)平臺(tái)技術(shù)方案2022版作者：職場人目錄29105_WPSOffice_Level11.1.1.工業(yè)互聯(lián)網(wǎng)平臺(tái) 526230_WPSOffice_Level2.總體方案 526230_WPSOffice_Level3.1.平臺(tái)整體架構(gòu) 66394_WPSOffice_Level3.2.IaaS層 1017515_WPSOffice_Level3.3.DaaS層 103534_WPSOffice_Level3.4.PaaS層 1320591_WPSOffice_Level3.5.SaaS層 1826210_WPSOffice_Level3.6.統(tǒng)一數(shù)據(jù)訪問 207288_WPSOffice_Level3.7.平臺(tái)運(yùn)行環(huán)境 227704_WPSOffice_Level3.8.平臺(tái)運(yùn)行管理 2519073_WPSOffice_Level3.9.系統(tǒng)畫面設(shè)計(jì) 346812_WPSOffice_Level3.10.系統(tǒng)安全管理 346394_WPSOffice_Level2.平臺(tái)功能設(shè)計(jì) 5311961_WPSOffice_Level3.1.交互接口 536090_WPSOffice_Level3.2.數(shù)據(jù)資產(chǎn)管理制度體系 545195_WPSOffice_Level3.3.數(shù)據(jù)標(biāo)準(zhǔn)管理 5416346_WPSOffice_Level3.4.數(shù)據(jù)模型管理 5616741_WPSOffice_Level3.5.元數(shù)據(jù)管理 5614799_WPSOffice_Level3.6.主數(shù)據(jù)管理 5631838_WPSOffice_Level3.7.數(shù)據(jù)質(zhì)量管理 572172_WPSOffice_Level3.8.數(shù)據(jù)安全管理 579007_WPSOffice_Level3.9.數(shù)據(jù)價(jià)值管理 589888_WPSOffice_Level3.10.數(shù)據(jù)共享管理 5812191_WPSOffice_Level3.11.數(shù)據(jù)生命周期管理 5928897_WPSOffice_Level3.12.數(shù)據(jù)通用計(jì)算建模 595577_WPSOffice_Level3.13.數(shù)據(jù)資產(chǎn)門戶設(shè)計(jì) 6013495_WPSOffice_Level3.14.統(tǒng)計(jì)分析功能 616125_WPSOffice_Level3（1）數(shù)據(jù)挖掘過程簡單，強(qiáng)大和直觀 6113181_WPSOffice_Level3（2）內(nèi)部XML保證了標(biāo)準(zhǔn)化的格式來表示交換數(shù)據(jù)挖掘過程 6116807_WPSOffice_Level3（3）可以用簡單腳本語言自動(dòng)進(jìn)行大規(guī)模進(jìn)程 619031_WPSOffice_Level3（4）多層次的數(shù)據(jù)視圖，確保有效和透明的數(shù)據(jù) 613587_WPSOffice_Level3（5）圖形用戶界面的互動(dòng)原型 6117196_WPSOffice_Level3（6）命令行(批處理模式)自動(dòng)大規(guī)模應(yīng)用 615893_WPSOffice_Level3（7）多語言API支持(應(yīng)用編程接口) 611834_WPSOffice_Level3（8）簡單的插件和推廣機(jī)制 6125247_WPSOffice_Level3（9）強(qiáng)大的可視化引擎，支持尖端的高維數(shù)據(jù)的可視化建模 6217515_WPSOffice_Level2.平臺(tái)非功能指標(biāo) 7616326_WPSOffice_Level3.1.平臺(tái)可擴(kuò)展性 7616427_WPSOffice_Level3.2.平臺(tái)響應(yīng)時(shí)間 771050_WPSOffice_Level3.3.平臺(tái)可靠性 77740_WPSOffice_Level3.4.平臺(tái)可用性指標(biāo) 826388_WPSOffice_Level3.5.平臺(tái)安全性 822288_WPSOffice_Level3（1）讀權(quán)限：從topic中抽取數(shù)據(jù) 929765_WPSOffice_Level3（2）寫權(quán)限：將數(shù)據(jù)寫入Topic 9215356_WPSOffice_Level3（3）刪除權(quán)限：將Topic刪除 9221314_WPSOffice_Level3（4）新建權(quán)限：創(chuàng)建Topic 9224445_WPSOffice_Level3（5）配置權(quán)限：配置Topic的權(quán)限 9228507_WPSOffice_Level3（6）描述（describe）：讀取Topic的源數(shù)據(jù) 9226230_WPSOffice_Level11.1.2.集中監(jiān)控中心 933534_WPSOffice_Level2.系統(tǒng)架構(gòu) 9320591_WPSOffice_Level2.技術(shù)架構(gòu) 951.工業(yè)互聯(lián)網(wǎng)平臺(tái)本項(xiàng)目建設(shè)的企業(yè)級(jí)工業(yè)互聯(lián)網(wǎng)平臺(tái)可為各類應(yīng)用、分布式計(jì)算和存儲(chǔ)服務(wù)組件提供多租戶隔離的容器資源調(diào)配管理、應(yīng)用打包部署及SLA管理、作業(yè)調(diào)度管理以及統(tǒng)一運(yùn)維監(jiān)控管理。支持一鍵式部署大數(shù)據(jù)組件、大數(shù)據(jù)應(yīng)用和常規(guī)應(yīng)用，具備資源調(diào)度的自動(dòng)擴(kuò)容和自動(dòng)修復(fù)，具備服務(wù)發(fā)現(xiàn)能力，具有良好的數(shù)據(jù)和計(jì)算資源的安全隔離能力。建立以運(yùn)行風(fēng)場數(shù)據(jù)為主的大數(shù)據(jù)平臺(tái)，支持各大中心的功能建設(shè)、實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化管理及各系統(tǒng)數(shù)據(jù)連通共享、支撐價(jià)值挖掘?qū)崿F(xiàn)?；诖髷?shù)據(jù)技術(shù)、智能化分析技術(shù)為基礎(chǔ)，開發(fā)智慧企業(yè)工業(yè)互聯(lián)網(wǎng)平臺(tái)。實(shí)現(xiàn)組件化的運(yùn)行與管控一體化平臺(tái)，為多廠家提供開放的、統(tǒng)一的開發(fā)與運(yùn)行環(huán)境，實(shí)現(xiàn)業(yè)務(wù)應(yīng)用快速開發(fā)、“插拔式”部署和統(tǒng)一運(yùn)行管理的開放應(yīng)用平臺(tái)，實(shí)現(xiàn)設(shè)備管理和生產(chǎn)運(yùn)行的智能分析和決策支持一體化系統(tǒng)。同時(shí)，項(xiàng)目承建方提供開發(fā)環(huán)境、開發(fā)應(yīng)用工具或開發(fā)應(yīng)用軟件包（SDK）等便于湖南高創(chuàng)新能源有限公司和其他承包商自主開發(fā)、部署和創(chuàng)新的應(yīng)用，將上述承包商的應(yīng)用系統(tǒng)部署和應(yīng)用于本項(xiàng)目的工業(yè)互聯(lián)網(wǎng)平臺(tái)?？傮w方案本章節(jié)將重點(diǎn)闡述工業(yè)互聯(lián)網(wǎng)平臺(tái)包含的PaaS云平臺(tái)以及Iaas層、DaaS層、PaaS層、SaaS層和數(shù)據(jù)統(tǒng)一接入的設(shè)計(jì)方案。在本方案中，工業(yè)互聯(lián)網(wǎng)平臺(tái)將建在公司總部（長沙），應(yīng)用部署在PaaS云平臺(tái)上。平臺(tái)整體架構(gòu) PaaS云平臺(tái)系統(tǒng)總體結(jié)構(gòu)圖平臺(tái)功能如下：一級(jí)功能模塊二級(jí)功能模塊功能描述容器云平臺(tái)容器服務(wù)Docker提供docker容器服務(wù)，支持各種docker鏡像制作工具，兼容開源docker版本資源管理和調(diào)度系統(tǒng)Kubernetes提供資源管理和調(diào)度服務(wù)kubernetes，兼容CNCF的標(biāo)準(zhǔn)與開源保持兼容，支持安全管控云網(wǎng)絡(luò)服務(wù)Wormwhole支持用戶和租戶創(chuàng)建、管理和刪除自定義的容器網(wǎng)絡(luò)，支持網(wǎng)絡(luò)拓?fù)湓O(shè)置，支持基于SLA的網(wǎng)絡(luò)負(fù)載的流控，因此可以支持各種業(yè)務(wù)的靈活的網(wǎng)絡(luò)配置和管理云存儲(chǔ)服務(wù)Warpdrive支持服務(wù)來創(chuàng)建、管理和刪除本地存儲(chǔ)，因此可以廣泛支持包括數(shù)據(jù)庫、分布式存儲(chǔ)、Hadoop等在內(nèi)的需要有本地存儲(chǔ)的服務(wù)。調(diào)度系統(tǒng)支持根據(jù)本地存儲(chǔ)的狀態(tài)做更靈活的調(diào)度高可用的鏡像市場包含高可用的鏡像市場，用于管理和維護(hù)平臺(tái)內(nèi)的容器鏡像；支持基于角色的安全管控，可以對(duì)鏡像做細(xì)粒度權(quán)限管控對(duì)象存儲(chǔ)包含Ceph存儲(chǔ)，可以提供對(duì)象存儲(chǔ)能力GPU集群支持支持配置GPU的集群的管理和配置，調(diào)度系統(tǒng)可以根據(jù)GPU資源進(jìn)行實(shí)時(shí)的業(yè)務(wù)調(diào)度彈性擴(kuò)展支持對(duì)微服務(wù)根據(jù)實(shí)時(shí)的負(fù)載指標(biāo)進(jìn)行彈性擴(kuò)展，動(dòng)態(tài)的適應(yīng)業(yè)務(wù)壓力多租戶注冊、管理和隔離平臺(tái)支持多租戶的管理和配置，租戶間實(shí)現(xiàn)資源隔離、運(yùn)行隔離和應(yīng)用隔離，可以靈活的調(diào)整租戶的資源配合、優(yōu)先級(jí)等云平臺(tái)安全體系自研的云平臺(tái)安全體系，所有系統(tǒng)服務(wù)支持基于RBAC的權(quán)限管控，對(duì)docker和kuberbetes命令也進(jìn)行權(quán)限管控，另外隔離了主機(jī)用戶對(duì)容器的侵入問題應(yīng)用聚合Hub提供應(yīng)用的聚合Hub，兼容開源Helmcharts，支持大量的開源應(yīng)用圖形化的部署安裝工具包含圖形化的云平臺(tái)部署和配置工具圖形化的集群管理與運(yùn)維工具包含圖形化的集群管理服務(wù)圖形化的集群指標(biāo)監(jiān)控工具基于ApachePrometheus打造的圖形化的集群指標(biāo)監(jiān)控和管理工具，包含大量實(shí)際運(yùn)維中提煉的系統(tǒng)組件的監(jiān)控指標(biāo)、告警規(guī)則等多租戶管理租戶自助注冊、刪除和修改云門戶提供資助的注冊、刪除和修改租戶的服務(wù)能力租戶內(nèi)項(xiàng)目、用戶管理一個(gè)租戶內(nèi)可以包含多個(gè)項(xiàng)目和多個(gè)用戶，租戶管理員可以做細(xì)粒度的用戶管理租戶內(nèi)權(quán)限管控支持對(duì)租戶內(nèi)各種項(xiàng)目、產(chǎn)品、應(yīng)用、數(shù)據(jù)、模型等進(jìn)行細(xì)粒度的權(quán)限管控租戶內(nèi)工單管理支持通過工單的方式完成租戶內(nèi)各種申請(qǐng)和操作變動(dòng)的權(quán)限審批租戶內(nèi)消息通知租戶內(nèi)各種操作的消息通知機(jī)制租戶配額管理和擴(kuò)縮容租戶管理人員可以對(duì)平臺(tái)管理人員申請(qǐng)對(duì)租戶配額的管理和擴(kuò)縮容；租戶管理人員對(duì)內(nèi)部各個(gè)項(xiàng)目的配額的直接管理和調(diào)整租戶資源計(jì)費(fèi)能夠?qū)λ械淖鈶糍Y源行為、數(shù)據(jù)操作、應(yīng)用購買等行為進(jìn)行細(xì)粒度的計(jì)費(fèi)能力，對(duì)管理人員提供對(duì)賬、銷賬等管理能力多租戶資源隔離和管控不同租戶運(yùn)行的資源互相隔離，租戶運(yùn)行的實(shí)例資源相互隔離；提供基于主機(jī)標(biāo)簽的資源管理，可以按照機(jī)器配置分配服務(wù)運(yùn)行資源管理平臺(tái)云平臺(tái)門戶網(wǎng)站包含云平臺(tái)的門戶網(wǎng)站，支持客戶定制，包含產(chǎn)品描述、文檔服務(wù)、案例等門戶網(wǎng)站內(nèi)容云平臺(tái)運(yùn)營分析服務(wù)包含一個(gè)面向云平臺(tái)經(jīng)營者的運(yùn)營分析服務(wù)，可以明確了解云平臺(tái)內(nèi)租戶的使用情況、資源使用負(fù)載情況、主機(jī)運(yùn)行情況等，同時(shí)可以做網(wǎng)絡(luò)、存儲(chǔ)和其他資源的管理和配置。另外包含工單系統(tǒng)可以審批租戶級(jí)別的請(qǐng)求，也支持計(jì)費(fèi)部分的銷賬、對(duì)賬等能力。支持客戶定制云平臺(tái)管理中心云平臺(tái)的操作和管理中心，用戶可以進(jìn)行項(xiàng)目管理、產(chǎn)品部署和銷毀、自定義產(chǎn)品、用戶管理、權(quán)限管控、工單審批等服務(wù)。支持客戶定制用戶權(quán)限管理和單點(diǎn)登錄系統(tǒng)云平臺(tái)統(tǒng)一的安全管控和單點(diǎn)登錄系統(tǒng)，所有的服務(wù)都接入這個(gè)統(tǒng)一的安全管控平臺(tái)，第三方應(yīng)用也可以接入來實(shí)現(xiàn)服務(wù)的認(rèn)證、授權(quán)和審計(jì)細(xì)粒度計(jì)費(fèi)系統(tǒng)基于事件的計(jì)費(fèi)系統(tǒng)，按照小時(shí)計(jì)費(fèi)，支持自定義定價(jià)和折扣策略，支持賬單后處理能力，支持對(duì)數(shù)據(jù)和應(yīng)用進(jìn)行定價(jià)和計(jì)費(fèi)日志運(yùn)維系統(tǒng)基于ELK打造的日志分析工具，集成了對(duì)各個(gè)系統(tǒng)組件和應(yīng)用的日志收集和分析能力，優(yōu)化了日志鏈路保證了鏈路的高吞吐，此外收集鏈路全面支持安全管控租戶管理系統(tǒng)提供自助的租戶注冊、管理和運(yùn)維能力，提供租戶內(nèi)的權(quán)限管控工單與通知系統(tǒng)提供一個(gè)工單和通知系統(tǒng)，用于業(yè)務(wù)申請(qǐng)和審批等，可以自定義審批流程和權(quán)限管控大數(shù)據(jù)管理平臺(tái)Hadoop平臺(tái)包含Hadoop基礎(chǔ)組件，兼容ApacheHadoop2.7.3版本分析型數(shù)據(jù)庫包含Inceptor產(chǎn)品組件以及相關(guān)的開發(fā)工具套件，支持SQL99標(biāo)準(zhǔn)，支持存儲(chǔ)過程，支持分布式事務(wù)，能夠?qū)佣喾N數(shù)據(jù)源以及SQL方言，適用于數(shù)據(jù)倉庫、離線批處理以及數(shù)據(jù)集市的構(gòu)建NoSQL數(shù)據(jù)庫包含Hyperbase產(chǎn)品，在兼容ApacheHbase1.3.1的編程接口的基礎(chǔ)上，增加了SQL支持、安全管控、二級(jí)索引、JSON/XML等數(shù)據(jù)的支持，適用于在線高并發(fā)業(yè)務(wù)的構(gòu)建全文搜索包含Search產(chǎn)品，兼容ElasticSearch2.0的編程API，也增加了SQL開發(fā)、讀寫分析的架構(gòu)、更穩(wěn)定的內(nèi)存管理技術(shù)等，單節(jié)點(diǎn)可以支持近20TB的數(shù)據(jù)存儲(chǔ)和檢索能力，能夠在PB級(jí)別上構(gòu)建高速全文檢索業(yè)務(wù)實(shí)時(shí)計(jì)算包含Slipstream產(chǎn)品，提供低延時(shí)的實(shí)時(shí)計(jì)算能力（<5ms），通過SQL99用于實(shí)時(shí)業(yè)務(wù)的開發(fā)，保證數(shù)據(jù)的不丟不重，同時(shí)包含可視化的監(jiān)控和規(guī)則引擎工具集，可以用于實(shí)時(shí)業(yè)務(wù)的構(gòu)建，如實(shí)時(shí)金融風(fēng)控、設(shè)備在線運(yùn)維等機(jī)器學(xué)習(xí)包含數(shù)據(jù)科學(xué)開發(fā)平臺(tái)Discover，提供基于R語言的機(jī)器學(xué)習(xí)開發(fā)平臺(tái)，內(nèi)置上百種分布式機(jī)器學(xué)習(xí)算法深度學(xué)習(xí)包含深度學(xué)習(xí)平臺(tái)Sophon，基于圖形化的數(shù)據(jù)建模工具，提供自動(dòng)建模能力，可以發(fā)布和共享模型ETL開發(fā)工具包含自研的ETL開發(fā)工具，可以圖形化設(shè)計(jì)、調(diào)度和監(jiān)控ETL任務(wù)，支持從關(guān)系數(shù)據(jù)庫近實(shí)時(shí)的數(shù)據(jù)同步到大數(shù)據(jù)平臺(tái)OLAPCube開發(fā)工具包含OLAP設(shè)計(jì)工具，可以基于大數(shù)據(jù)平臺(tái)設(shè)計(jì)OLAPCube，加速大數(shù)據(jù)的在線分析報(bào)表工具包含自研的用于數(shù)據(jù)開發(fā)的報(bào)表工具，同時(shí)也支持第三方的報(bào)表工具（需要單獨(dú)購買），可以與大數(shù)據(jù)平臺(tái)無縫對(duì)接分布式交易數(shù)據(jù)庫包含自研的分布式交易數(shù)據(jù)庫，可用于構(gòu)建高并發(fā)的在線交易業(yè)務(wù)，也可用于構(gòu)建企業(yè)OA、ERP等復(fù)雜系統(tǒng)數(shù)據(jù)共享和分發(fā)平臺(tái)數(shù)據(jù)檢索用戶能夠通過可視化頁面檢索到平臺(tái)內(nèi)的海量數(shù)據(jù)數(shù)據(jù)權(quán)限管控支持管理人員對(duì)平臺(tái)內(nèi)數(shù)據(jù)做細(xì)粒度的權(quán)限管控?cái)?shù)據(jù)預(yù)覽對(duì)于給定的數(shù)據(jù)，在獲取權(quán)限后可以預(yù)覽相應(yīng)的數(shù)據(jù)切片數(shù)據(jù)血緣和影響性分析可以對(duì)給定的數(shù)據(jù)進(jìn)行血緣分析和影響性分析數(shù)據(jù)脫敏提供可視化工具方便用戶進(jìn)行數(shù)據(jù)脫敏工作數(shù)據(jù)自助申請(qǐng)支持用戶對(duì)給定數(shù)據(jù)的全部或者部分申請(qǐng)各種數(shù)據(jù)權(quán)限工單與審批系統(tǒng)支持通過工單的方式做數(shù)據(jù)權(quán)限審批，能夠定制審批的流程自動(dòng)化的數(shù)據(jù)作業(yè)調(diào)度系統(tǒng)數(shù)據(jù)申請(qǐng)和分發(fā)的過程通過自動(dòng)化的作業(yè)調(diào)度系統(tǒng)來完成數(shù)據(jù)作業(yè)的監(jiān)控系統(tǒng)能夠監(jiān)控所有的數(shù)據(jù)作業(yè)的狀態(tài)，支持手動(dòng)的作業(yè)運(yùn)維數(shù)據(jù)探索和分析對(duì)分發(fā)到客戶端的數(shù)據(jù)，提供完整的工具鏈做數(shù)據(jù)的探索和分析服務(wù)數(shù)據(jù)生命周期管理支持對(duì)平臺(tái)數(shù)據(jù)進(jìn)行生命周期的管理數(shù)據(jù)操作的審計(jì)服務(wù)對(duì)數(shù)據(jù)的請(qǐng)求、共享和分發(fā)的行為進(jìn)行審計(jì)數(shù)據(jù)資源定價(jià)與計(jì)費(fèi)能力支持對(duì)于數(shù)據(jù)資源定價(jià)，并且可以按申請(qǐng)或使用量計(jì)費(fèi)數(shù)據(jù)資產(chǎn)目錄搜索功能支持對(duì)表、文件、schema、業(yè)務(wù)術(shù)語、模型、標(biāo)簽進(jìn)行搜索數(shù)據(jù)聚合與展示對(duì)云平臺(tái)內(nèi)的數(shù)據(jù)進(jìn)行聚合和展示，提供數(shù)據(jù)的列表展示、搜索、詳情、標(biāo)簽、操作歷史等信息的展示數(shù)據(jù)探索和分析支持對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)探索，了解更多的數(shù)據(jù)細(xì)節(jié)，同時(shí)可以接入數(shù)據(jù)分析工具進(jìn)行探索式分析數(shù)據(jù)血緣與影響分析可以對(duì)數(shù)據(jù)的操作歷史進(jìn)行追蹤，同時(shí)也可以做血緣分析和影響分析數(shù)據(jù)社區(qū)功能支持用戶對(duì)數(shù)據(jù)的使用進(jìn)行評(píng)價(jià)和反饋，支持開放式的問答行為數(shù)據(jù)推薦根據(jù)用戶對(duì)數(shù)據(jù)的使用評(píng)價(jià)、用戶的行為記錄等進(jìn)行數(shù)據(jù)挖掘，給用戶進(jìn)行數(shù)據(jù)推薦，方便用戶找到需要的數(shù)據(jù)數(shù)據(jù)源管理能夠定制策略添加、管理和刪除各種應(yīng)用系統(tǒng)的數(shù)據(jù)源，支持對(duì)數(shù)據(jù)進(jìn)行使用統(tǒng)計(jì)和計(jì)費(fèi)，支持對(duì)數(shù)據(jù)操作進(jìn)行審計(jì)；支持設(shè)置不同的數(shù)據(jù)錄入頻率、管理規(guī)則數(shù)據(jù)權(quán)限管控支持對(duì)數(shù)據(jù)在平臺(tái)層級(jí)、租戶層級(jí)等進(jìn)行細(xì)粒度權(quán)限管控；用戶自主申請(qǐng)，數(shù)據(jù)管理人員通過工單進(jìn)行權(quán)限審批數(shù)據(jù)標(biāo)簽支持人工和自動(dòng)化的標(biāo)簽?zāi)芰?，可以使用?biāo)簽來管理和檢索數(shù)據(jù)自動(dòng)化數(shù)據(jù)標(biāo)簽可以通過自動(dòng)化的數(shù)據(jù)分析任務(wù)對(duì)數(shù)據(jù)進(jìn)行智能標(biāo)簽服務(wù)，并根據(jù)數(shù)據(jù)分布情況和已有的標(biāo)簽的數(shù)據(jù)特點(diǎn)進(jìn)行自動(dòng)化匹配和標(biāo)簽推薦，減少基于人工的數(shù)據(jù)管理和整合的工作量數(shù)據(jù)任務(wù)管理數(shù)據(jù)任務(wù)的自動(dòng)化調(diào)度和管理能力數(shù)據(jù)質(zhì)量管理支持導(dǎo)入數(shù)據(jù)質(zhì)量規(guī)則，同時(shí)在數(shù)據(jù)傳輸過程中根據(jù)數(shù)據(jù)質(zhì)量規(guī)則進(jìn)行質(zhì)量管控業(yè)務(wù)術(shù)語支持業(yè)務(wù)字典功能，支持用戶定義的業(yè)務(wù)術(shù)語、業(yè)務(wù)規(guī)則、數(shù)據(jù)分類等能力，支持管理業(yè)務(wù)術(shù)語和技術(shù)元數(shù)據(jù)數(shù)據(jù)操作審計(jì)可以對(duì)所有的數(shù)據(jù)操作進(jìn)行審計(jì)操作企業(yè)應(yīng)用市場Hadoop基礎(chǔ)組件提供Hadoop基礎(chǔ)組件DaaS服務(wù)提供數(shù)據(jù)倉庫、數(shù)據(jù)集市、搜索引擎、實(shí)時(shí)計(jì)算、數(shù)據(jù)分析和深度學(xué)習(xí)等幾種DaaS服務(wù)各產(chǎn)品組件提供商業(yè)版本的各個(gè)產(chǎn)品組件社區(qū)版組件提供社區(qū)版的各個(gè)產(chǎn)品組件（免費(fèi)）關(guān)系數(shù)據(jù)庫支持MySQL、MariaDB以及MySQLCluster分布式OLTP數(shù)據(jù)庫支持KunDB數(shù)據(jù)庫中間件支持Weblogic等中間件時(shí)序數(shù)據(jù)庫支持InfluxDB/openPlant-SIS等時(shí)序數(shù)據(jù)庫對(duì)象存儲(chǔ)服務(wù)支持基于Ceph的對(duì)象存儲(chǔ)服務(wù)消息隊(duì)列支持ApacheKafkaRedis數(shù)據(jù)庫支持單機(jī)版的Redis、分布式版本Codis服務(wù)日志服務(wù)支持基于ELK的日志存儲(chǔ)和檢索服務(wù)報(bào)表工具支持SmartBI商業(yè)報(bào)表工具機(jī)器學(xué)習(xí)框架支持SparkMLlib用于機(jī)器學(xué)習(xí)深度學(xué)習(xí)框架支持Tensorflow框架CI/CD應(yīng)用和工具支持Jenkins、Artifactory、Nexus、Gitlab等DevOps工具開源工具支持完全兼容/上的所有應(yīng)用（>100）企業(yè)鏡像市場支持細(xì)粒度權(quán)限管控的企業(yè)容器鏡像市場自定義應(yīng)用上架支持用戶自定義的應(yīng)用上架自定義應(yīng)用的參數(shù)配置支持對(duì)自定義應(yīng)用的參數(shù)進(jìn)行頁面化配置自定義應(yīng)用的資源管理可以對(duì)用戶自定義應(yīng)用需要使用的資源進(jìn)行頁面化管理和配置自定義產(chǎn)品發(fā)布支持用戶對(duì)多個(gè)服務(wù)和應(yīng)用之間做依賴管理、資源配置，并作為產(chǎn)品發(fā)布自定義產(chǎn)品定價(jià)與計(jì)費(fèi)支持用戶對(duì)自助上架的應(yīng)用或產(chǎn)品定價(jià)，可根據(jù)其他用戶的使用場景來計(jì)費(fèi)IaaS層在公司總部數(shù)據(jù)中心部署應(yīng)用服務(wù)器集群和負(fù)載均衡器設(shè)備、數(shù)據(jù)庫服務(wù)器以及基于云平臺(tái)構(gòu)建工業(yè)互聯(lián)網(wǎng)平臺(tái)、現(xiàn)有業(yè)務(wù)系統(tǒng)、測試/培訓(xùn)集群等。DaaS層數(shù)據(jù)接入及存儲(chǔ)數(shù)據(jù)接入系統(tǒng)提供多種數(shù)據(jù)采集接口，主要涵蓋3個(gè)主要部分，包括通過業(yè)務(wù)系統(tǒng)的數(shù)據(jù)加載與同步（transport、sqoop、JDBC等）、實(shí)時(shí)流數(shù)據(jù)接入、人工上傳文件數(shù)據(jù)等。通過平臺(tái)可以為數(shù)據(jù)數(shù)據(jù)接入提供多種靈活可選的接入方式?？梢允褂肊TL工具進(jìn)行增量、全量、實(shí)時(shí)增量的數(shù)據(jù)同步，同時(shí)可以通過JDBC/ODBC實(shí)時(shí)進(jìn)行數(shù)據(jù)增刪該查，保證數(shù)據(jù)數(shù)據(jù)ACID；對(duì)接Web服務(wù)，可以通過RestFulAPI方式，支持HTTP/JSON消息格式等；對(duì)接實(shí)時(shí)流處理，提供分布式消息隊(duì)列Kafka及流處理引擎Slipstream，完成對(duì)流數(shù)據(jù)的分析處理及持久化。具體如下：1）基于ETL平臺(tái)的數(shù)據(jù)接入處理數(shù)據(jù)ETL平臺(tái)接入處理流程圖采用ETL工具（sqoop、transport、jdbc/odbc等）從公司的其他業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫中抽取全量數(shù)據(jù)和定時(shí)抽取增量數(shù)據(jù)、或者實(shí)時(shí)同步，將抽取的數(shù)據(jù)加載到大數(shù)據(jù)平臺(tái)的源數(shù)據(jù)池中，并生成數(shù)據(jù)接入處理統(tǒng)計(jì)報(bào)告；通過ETL工具對(duì)源數(shù)據(jù)池?cái)?shù)據(jù)進(jìn)行質(zhì)量檢查、清洗加工處理，并生成數(shù)據(jù)質(zhì)檢/清洗加工統(tǒng)計(jì)報(bào)告；再通過ETL工具對(duì)已清洗數(shù)據(jù)進(jìn)行整合加工處理；最后，在數(shù)據(jù)資產(chǎn)目錄上發(fā)布以供業(yè)務(wù)人員查閱。2）實(shí)時(shí)流數(shù)據(jù)接入處理實(shí)時(shí)流數(shù)據(jù)接入處理流程實(shí)時(shí)流數(shù)據(jù)采集主要包括傳感器點(diǎn)位數(shù)據(jù)實(shí)時(shí)采集、風(fēng)電實(shí)時(shí)數(shù)據(jù)采集等。系統(tǒng)日志實(shí)時(shí)采集處理采用Flume采集系統(tǒng)日志數(shù)據(jù)，并將采集的日志數(shù)據(jù)快速存于HDFS系統(tǒng)中；同時(shí)，F(xiàn)lume將采集的日志數(shù)據(jù)發(fā)送到Kafka消息隊(duì)列；SlipStream流處理引擎從Kafka消息隊(duì)列接收日志數(shù)據(jù)，在其引擎內(nèi)存中進(jìn)行實(shí)時(shí)分析處理，并將分析結(jié)果數(shù)據(jù)寫入Hyperbase數(shù)據(jù)庫中。風(fēng)電數(shù)據(jù)實(shí)時(shí)采集處理采集風(fēng)電數(shù)據(jù)到實(shí)時(shí)庫，訂閱實(shí)時(shí)庫數(shù)據(jù)更新接入kafka消息系統(tǒng)與實(shí)時(shí)庫對(duì)接以實(shí)時(shí)接收數(shù)據(jù)。Stream流處理引擎從Kafka消息隊(duì)列接收風(fēng)電數(shù)據(jù)，并通過SQL引擎將數(shù)據(jù)快速寫入Hyperbase數(shù)據(jù)庫中保存；同時(shí)，在其引擎中進(jìn)行實(shí)時(shí)分析、數(shù)據(jù)挖掘處理。實(shí)時(shí)庫最高支持100w點(diǎn)位。實(shí)時(shí)庫數(shù)據(jù)3）非結(jié)構(gòu)化數(shù)據(jù)上傳處理數(shù)據(jù)采集人員可以通過RestAPI進(jìn)行二次開發(fā)進(jìn)行上傳處理非結(jié)構(gòu)化數(shù)據(jù)（包括：Word、WPS、PDF等文件）。非結(jié)構(gòu)化數(shù)據(jù)上傳處理數(shù)據(jù)采集人員將文件上傳至指定的文件目錄下，并標(biāo)注文件相關(guān)屬性（如主題關(guān)鍵詞、摘要、評(píng)論等）；文件入庫后，系統(tǒng)自動(dòng)創(chuàng)建索引以方便數(shù)據(jù)管理人員、業(yè)務(wù)人員檢索調(diào)閱。PaaS層容器云平臺(tái)集群大數(shù)據(jù)集群功能架構(gòu)容器云平臺(tái)集群域包括，分布式消息集群、實(shí)時(shí)流處理模塊、企業(yè)級(jí)數(shù)據(jù)倉庫模塊、數(shù)據(jù)集市模塊、數(shù)據(jù)挖掘模塊和NoSQL數(shù)據(jù)庫模塊。分布式消息集群：實(shí)時(shí)數(shù)據(jù)接到大數(shù)據(jù)平臺(tái)的緩沖區(qū)。實(shí)時(shí)流處理模塊：用來實(shí)時(shí)計(jì)算處理接入分布式消息隊(duì)列里的數(shù)據(jù)，包括實(shí)時(shí)統(tǒng)計(jì)分析，實(shí)時(shí)指標(biāo)計(jì)算，實(shí)時(shí)故障預(yù)警等；并將處理的結(jié)果和上層應(yīng)用對(duì)接。企業(yè)級(jí)數(shù)據(jù)倉庫：接入及存儲(chǔ)多源異構(gòu)數(shù)據(jù)，經(jīng)清洗加工、整合處理，形成可集中管控、可對(duì)內(nèi)對(duì)外服務(wù)的企業(yè)數(shù)據(jù)資產(chǎn)。總部數(shù)據(jù)資源管理員通過平臺(tái)管理門戶及運(yùn)用ETL等工具，對(duì)數(shù)據(jù)資源接入、加工、交換和服務(wù)進(jìn)行管理。數(shù)據(jù)集市：從企業(yè)級(jí)數(shù)據(jù)倉庫里，將主題模型層數(shù)據(jù)導(dǎo)入到數(shù)據(jù)集市中，對(duì)公司領(lǐng)導(dǎo)提供高管駕駛艙服務(wù)，對(duì)業(yè)務(wù)人員提供固定報(bào)表查詢、自助報(bào)表查詢、多維分析等服務(wù)，業(yè)務(wù)人員也可以通過可視化的建模工具進(jìn)行Cube設(shè)計(jì)，加速OLAP場景的查詢效率。數(shù)據(jù)挖掘平臺(tái)：提供可編程化的開發(fā)環(huán)境和可托拉拽的可視化數(shù)據(jù)挖掘工具。在線查詢數(shù)據(jù)庫：提供非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，對(duì)接上層的綜合搜索平臺(tái)。多租戶開發(fā)集群域主要是為公司的應(yīng)用開發(fā)，數(shù)據(jù)挖掘，業(yè)務(wù)分析項(xiàng)目組人員提供多租戶環(huán)境的平臺(tái)服務(wù)資源，包括：分布式文件和數(shù)據(jù)庫存儲(chǔ)服務(wù)、Spark分布式計(jì)算引擎、數(shù)據(jù)分析挖掘工具和并行化算法庫、ETL平臺(tái)、數(shù)據(jù)展現(xiàn)平臺(tái)組件等。開發(fā)/測試/培訓(xùn)集群域主要是為公司及合作開發(fā)單位的應(yīng)用開發(fā)團(tuán)隊(duì)提供多租戶環(huán)境的平臺(tái)服務(wù)資源。另外，在此集群域還將構(gòu)建用于應(yīng)用開發(fā)培訓(xùn)、系統(tǒng)管理操作培訓(xùn)的大數(shù)據(jù)平臺(tái)系統(tǒng)環(huán)境。容器云平臺(tái)技術(shù)架構(gòu)容器云平臺(tái)系統(tǒng)總體技術(shù)框架圖參見上圖，大數(shù)據(jù)平臺(tái)系統(tǒng)總體技術(shù)框架自下而上分為五層：1：基礎(chǔ)設(shè)施層包含：服務(wù)器、網(wǎng)絡(luò)交換機(jī)、負(fù)載均衡器、SAN存儲(chǔ)、防火墻和VPN等設(shè)備。2：平臺(tái)支撐層1）大數(shù)據(jù)分布式計(jì)算和存儲(chǔ)平臺(tái)包括：分布式計(jì)算引擎、作業(yè)調(diào)度和任務(wù)監(jiān)控、分布式數(shù)據(jù)庫、分布式文件系統(tǒng)、SQL引擎、流處理引擎、檢索引擎、并行化算法庫等。2）應(yīng)用開發(fā)支撐平臺(tái)包括：JavaEE平臺(tái)和Spring開發(fā)框架、數(shù)據(jù)建模和數(shù)據(jù)分析挖掘工具、數(shù)據(jù)可視化展現(xiàn)組件、工作流引擎和規(guī)則引擎、數(shù)據(jù)采集和數(shù)據(jù)ETL平臺(tái)等。3：數(shù)據(jù)資源層平臺(tái)接入多源異構(gòu)數(shù)據(jù)，包括：業(yè)務(wù)系統(tǒng)數(shù)據(jù)、實(shí)時(shí)流數(shù)據(jù)（如：發(fā)電設(shè)備監(jiān)控指標(biāo)數(shù)據(jù)）、外單位提供的數(shù)據(jù)、互聯(lián)網(wǎng)采集的數(shù)據(jù)、人工上傳的文件數(shù)據(jù)等，經(jīng)數(shù)據(jù)清洗、整合加工后，形成對(duì)內(nèi)對(duì)外可提供數(shù)據(jù)服務(wù)的企業(yè)數(shù)據(jù)資產(chǎn)資源。4：平臺(tái)服務(wù)層平臺(tái)服務(wù)層主要提供以下服務(wù)：1）數(shù)據(jù)分析應(yīng)用為公司總部、業(yè)務(wù)人員提供經(jīng)營分析和決策支持服務(wù)，包括高管駕駛艙、數(shù)據(jù)挖掘、統(tǒng)計(jì)報(bào)表、自助查詢、多維分析等應(yīng)用；2）數(shù)據(jù)資源管理主要包括：數(shù)據(jù)資產(chǎn)目錄管理、數(shù)據(jù)采集和加工管理、元數(shù)據(jù)和主數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)服務(wù)配置管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)安全管理等功能。3）平臺(tái)資源管理主要包括：平臺(tái)服務(wù)資源配置管理、多租戶資源分配和調(diào)配管理等功能。4）平臺(tái)資源服務(wù)為公司總部數(shù)據(jù)分析項(xiàng)目組人員提供多租戶環(huán)境的平臺(tái)服務(wù)資源，包括：分布式文件和數(shù)據(jù)庫存儲(chǔ)服務(wù)、Spark分布式計(jì)算引擎、數(shù)據(jù)分析挖掘工具和并行化算法庫、ETL平臺(tái)、數(shù)據(jù)展現(xiàn)平臺(tái)組件等。平臺(tái)還提供：系統(tǒng)管理（系統(tǒng)模塊配置管理、用戶權(quán)限管理、系統(tǒng)運(yùn)行監(jiān)控等）、項(xiàng)目過程管理、技術(shù)交流平臺(tái)等功能。5：平臺(tái)接入層系統(tǒng)管理員、數(shù)據(jù)資源管理員、平臺(tái)服務(wù)資源管理員、數(shù)據(jù)分析項(xiàng)目組人員以及項(xiàng)目審批領(lǐng)導(dǎo)等，通過接入平臺(tái)管理門戶訪問各類管理應(yīng)用。數(shù)據(jù)分析項(xiàng)目組人員可通過B/S、C/S客戶端工具（包括：SQL客戶端、ETL設(shè)計(jì)器、報(bào)表設(shè)計(jì)器、數(shù)據(jù)分析挖掘工具等）接入訪問及使用平臺(tái)服務(wù)資源。容器云平臺(tái)總體技術(shù)框架還包含：應(yīng)用開發(fā)規(guī)范、大數(shù)據(jù)治理體系、系統(tǒng)安全運(yùn)維保障體系等。容器云平臺(tái)組件架構(gòu)容器云平臺(tái)系統(tǒng)組件架構(gòu)圖分析PaaSTDC分析PaaS平臺(tái)滿足數(shù)據(jù)分析服務(wù)內(nèi)外開放的需求，允許大量數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家在一個(gè)平臺(tái)上并發(fā)工作，促進(jìn)相互協(xié)作。TDC提供多種分析平臺(tái)，打通數(shù)據(jù)集，分析人員無需在不同工具和平臺(tái)上重新定義策略，將有效減少團(tuán)隊(duì)因在不同平臺(tái)上分析導(dǎo)致重新配置和調(diào)參的時(shí)間浪費(fèi)，并對(duì)模型提供系統(tǒng)化高效管理。數(shù)據(jù)PaaSTDC數(shù)據(jù)PaaS平臺(tái)可解決數(shù)據(jù)分散、隔離問題，避免交換障礙，使各類數(shù)據(jù)資產(chǎn)共享集中存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)服務(wù)開放、數(shù)據(jù)相互交換，并搭載數(shù)據(jù)資產(chǎn)目錄以提供綜合數(shù)據(jù)治理。同時(shí)，TDC數(shù)據(jù)平臺(tái)包含豐富的數(shù)據(jù)開發(fā)套件，提供完善的數(shù)據(jù)開發(fā)環(huán)境，可以降低技術(shù)門檻，簡化數(shù)據(jù)開發(fā)的過程，解決數(shù)據(jù)開發(fā)的痛點(diǎn)和效率問題，有效提升數(shù)據(jù)開發(fā)能力。應(yīng)用PaaSTDC應(yīng)用PaaS提供了豐富完整的中間件和應(yīng)用開發(fā)平臺(tái)，解決應(yīng)用開發(fā)、部署、運(yùn)維、治理的效率問題，可應(yīng)對(duì)企業(yè)面臨的各類應(yīng)用開發(fā)和管理障礙。對(duì)于應(yīng)用開發(fā)，TDC提供主流的應(yīng)用開發(fā)必備工具、應(yīng)用微服務(wù)化框架、DevOps工具鏈，可有效規(guī)范應(yīng)用開發(fā)過程，提高效率并控制質(zhì)量。同時(shí)，TDC提供服務(wù)部署和服務(wù)治理能力，具備資源彈性擴(kuò)展、資源隔離、容錯(cuò)等特性。SaaS層1、數(shù)據(jù)服務(wù)開發(fā)解決方案數(shù)據(jù)服務(wù)開發(fā)，主要是指能夠?yàn)閿?shù)據(jù)資源需求單位快速定制開發(fā)提供各類數(shù)據(jù)服務(wù)，包括元數(shù)據(jù)和主數(shù)據(jù)查詢、數(shù)據(jù)資產(chǎn)目錄查詢、業(yè)務(wù)統(tǒng)計(jì)數(shù)據(jù)查詢等服務(wù)。數(shù)據(jù)服務(wù)可以借助平臺(tái)所提供的DevOps工作臺(tái)進(jìn)行一站式開發(fā)。微服務(wù)架構(gòu)具有的能力數(shù)據(jù)服務(wù)采用Dubbox和SpringBoot框架、分布式容器集群（kubernetes及Docker容器）技術(shù)，構(gòu)建基于微服務(wù)架構(gòu)的數(shù)據(jù)服務(wù)，具有服務(wù)注冊、動(dòng)態(tài)令牌驗(yàn)證、服務(wù)路由和負(fù)載均衡、服務(wù)監(jiān)控、自管理及自愈能力，可在分布式容器集群中快速部署，高安全、高可靠、高性能的運(yùn)行服務(wù)。1）微服務(wù)開發(fā)及部署在開發(fā)環(huán)境中，運(yùn)用Dubbox、Spring框架開發(fā)微服務(wù)微服務(wù)開發(fā)環(huán)境如上圖所示，一個(gè)打成Jar包的微服務(wù)，包含了服務(wù)實(shí)現(xiàn)、服務(wù)偵聽器（HTTP）、依賴包、數(shù)據(jù)庫訪問ORM及JDBC接口，并嵌入了TomcatWeb容器。微服務(wù)運(yùn)行在一個(gè)獨(dú)立的操作系統(tǒng)進(jìn)程中，可被快速部署到多個(gè)主機(jī)上運(yùn)行。微服務(wù)啟動(dòng)運(yùn)行后，主動(dòng)向服務(wù)注冊中心（ZooKeeper）注冊其服務(wù)接口信息，客戶端（即服務(wù)調(diào)用方）可向服務(wù)注冊中心查找服務(wù)接口信息；在獲得服務(wù)接口信息（服務(wù)接口名、IP地址和端口號(hào)等）后，客戶端通過HTTP協(xié)議連接訪問服務(wù)端。為保證通信安全（如防止非授權(quán)方假冒URL鏈接訪問），客戶端開發(fā)人員在程序中嵌入服務(wù)方提供的Jar包，以在客戶端程序運(yùn)行時(shí)生成動(dòng)態(tài)令牌，服務(wù)端對(duì)每一次的客戶端連接訪問都進(jìn)行動(dòng)態(tài)令牌驗(yàn)證。2）微服務(wù)Docker映像包制作及發(fā)布容器集群管理系統(tǒng)容器集群管理系統(tǒng)（Kubernetes，簡稱K8s)，提供了微服務(wù)部署、維護(hù)、擴(kuò)展機(jī)制等功能，利用K8s能方便地管理跨機(jī)器運(yùn)行的容器化服務(wù)，主要功能如下：使用Docker對(duì)應(yīng)用程序包裝(package)、實(shí)例化(instantiate)、運(yùn)行(run)。以集群的方式運(yùn)行、管理跨機(jī)器的容器。解決Docker跨機(jī)器容器之間的通訊問題。K8s的自我修復(fù)機(jī)制使得容器集群總是運(yùn)行在用戶期望的狀態(tài)。統(tǒng)一數(shù)據(jù)訪問我們提出針對(duì)統(tǒng)一數(shù)據(jù)訪問和應(yīng)用動(dòng)態(tài)感知部署的基本方案。整體架構(gòu)如下圖所示：統(tǒng)一數(shù)據(jù)訪問層架構(gòu)示意圖在技術(shù)實(shí)現(xiàn)上借鑒了公有云中多region的技術(shù)手段。如下圖所示，將公司集中監(jiān)控中心劃分為獨(dú)立的Region，每個(gè)Region為一個(gè)具備數(shù)據(jù)、應(yīng)用、資源服務(wù)的容器云平臺(tái)。這些Region組合形成聯(lián)邦，由總部平臺(tái)統(tǒng)一管理和維護(hù)。數(shù)據(jù)感知和應(yīng)用感知示意圖1、統(tǒng)一數(shù)據(jù)訪問各Region中的應(yīng)用分別通過統(tǒng)一數(shù)據(jù)訪問層Dreamfactory進(jìn)行本地的數(shù)據(jù)訪問與操作。同時(shí)，所有的數(shù)據(jù)信息都會(huì)統(tǒng)一注冊到數(shù)據(jù)接口中心APICenter當(dāng)中。當(dāng)某一個(gè)Region中的應(yīng)用未找到該數(shù)據(jù)信息時(shí)，就會(huì)訪問數(shù)據(jù)中心APICenter，獲取對(duì)應(yīng)數(shù)據(jù)Region信息，然后進(jìn)行數(shù)據(jù)訪問。2、應(yīng)用感知部署所有的應(yīng)用創(chuàng)建的請(qǐng)求都會(huì)Region中的應(yīng)用中心（Applicationcenter）進(jìn)行處理。當(dāng)指定應(yīng)用創(chuàng)建的Region時(shí)，首先會(huì)針對(duì)該應(yīng)用所需要的數(shù)據(jù)及部署的Region去數(shù)據(jù)中心查詢，以獲得對(duì)應(yīng)數(shù)據(jù)接口，然后再將應(yīng)用推送部署到指定Region；當(dāng)未指定應(yīng)用創(chuàng)建的Region時(shí)，會(huì)首先通過數(shù)據(jù)中心獲取該數(shù)據(jù)的Region信息，然后再返回對(duì)應(yīng)Region及數(shù)據(jù)接口，最后進(jìn)行動(dòng)態(tài)感知的推送部署。平臺(tái)運(yùn)行環(huán)境大數(shù)據(jù)平臺(tái)應(yīng)用部署與運(yùn)行環(huán)境完全基于應(yīng)用組件化框架構(gòu)建，為所有應(yīng)用組件提供運(yùn)行環(huán)境，為開發(fā)者和用戶提供靈活的部署應(yīng)用功能與系統(tǒng)服務(wù)功能，這些服務(wù)功能都遵循應(yīng)用組件化相關(guān)規(guī)范。支持通用硬件平臺(tái)提供支持在各類x86和ARM架構(gòu)的服務(wù)器上安裝運(yùn)行，支持運(yùn)行基于Power芯片的PowerLinux服務(wù)器上。平臺(tái)是基于Hadoop的商業(yè)發(fā)行版本，Hadoop的起源和設(shè)計(jì)初衷是將分布式文件系統(tǒng)部署在大量低廉（Low-cost）的硬件上，從以往資源縱向擴(kuò)展的形式，轉(zhuǎn)變成橫向線性擴(kuò)展。支持通用操作系統(tǒng)平臺(tái)提供支持包括Redhat、CentOS、SUSE等主流的Linux操作系統(tǒng)的軟件版本，同時(shí)也兼容麒麟、紅旗這些國產(chǎn)操作系統(tǒng)。支持主流的網(wǎng)絡(luò)通信協(xié)議，如：TCP/IP、DECnet、SPX/IPX、SNMP、X.25及混合協(xié)議等；支持局域網(wǎng)內(nèi)的客戶端通過NFS/CIFS等標(biāo)準(zhǔn)協(xié)議訪問。支持易用并具有廣泛適應(yīng)性的開發(fā)語言和工具，如C、JAVA等開發(fā)語言和工具等。兼容接口平臺(tái)對(duì)外提供各種開發(fā)接口，包括完全兼容Hadoop生態(tài)圈開源各個(gè)組件API接口，REST訪問接口包括WebHDFS以及StarGate/HyperbaseREST接口；同時(shí)通過支持SQL2003標(biāo)準(zhǔn)以及PL/SQL，提供JDBC/ODBC接口，能夠使傳統(tǒng)業(yè)務(wù)場景向大數(shù)據(jù)平臺(tái)上進(jìn)行平滑遷移；此外，大數(shù)據(jù)平臺(tái)為數(shù)據(jù)挖掘提供JavaAPI以及R語言接口。通過接口，用戶可以直接使用R語言與SQL進(jìn)行交互式數(shù)據(jù)挖掘探索，同時(shí)可以通過平臺(tái)開放的API進(jìn)行二次開發(fā)，通過JDBC/ODBC接口給上層應(yīng)用進(jìn)行SQL查詢。此外，Inceptor中還包含了基礎(chǔ)的并行統(tǒng)計(jì)挖掘算法庫的JavaAPI，用戶可以通過并行算法庫進(jìn)行數(shù)據(jù)挖掘的二次開發(fā)。集群管理平臺(tái)提供一個(gè)管理界面讓您可以在瀏覽器中安裝、部署、監(jiān)控和管理整個(gè)集群。賦予大數(shù)據(jù)平臺(tái)運(yùn)維人員經(jīng)營者企業(yè)級(jí)標(biāo)準(zhǔn)的平臺(tái)管理能力，經(jīng)營者可以藉此提高平臺(tái)運(yùn)維性能，提高服務(wù)質(zhì)量并降低運(yùn)營成本。運(yùn)維人員可以輕松地部署和集中操作整個(gè)集群。應(yīng)用程序自動(dòng)執(zhí)行安裝過程中，部署時(shí)間從幾周減少到幾分鐘，Manager可以提供群集范圍內(nèi)的實(shí)時(shí)視圖的節(jié)點(diǎn)運(yùn)行和服務(wù)；提供了一個(gè)單一節(jié)點(diǎn)的中央控制臺(tái)；制定配置的更改和全范圍的報(bào)告和診斷工具來幫助您優(yōu)化性能和利用率；可以實(shí)時(shí)報(bào)警異常情況。新一代的Manager采用了扁平化風(fēng)格和可視化界面來展示集群服務(wù)狀態(tài)個(gè)指標(biāo)等。圖形化管理集群自動(dòng)化部署（1）完成相應(yīng)存儲(chǔ)和節(jié)點(diǎn)的集群部署，實(shí)現(xiàn)分布式計(jì)算、分布式存儲(chǔ)功能；（2）提供節(jié)點(diǎn)的動(dòng)態(tài)添加、刪除，當(dāng)數(shù)據(jù)容量或者計(jì)算資源不足時(shí)，支持通過橫向添加同等配置的X86服務(wù)器的方式，為系統(tǒng)進(jìn)行在線擴(kuò)容圖形化集群性能監(jiān)控平臺(tái)通過專門的監(jiān)控服務(wù)對(duì)集群的狀態(tài)進(jìn)行監(jiān)控，包括服務(wù)器CPU、內(nèi)存、網(wǎng)絡(luò)和磁盤的利用率和健康狀態(tài)，以及分布式應(yīng)用系統(tǒng)的狀態(tài)，并在故障發(fā)生或者某項(xiàng)指標(biāo)超過預(yù)設(shè)閥值時(shí)時(shí)提供告警功能。管理員可通過瀏覽器訪問集群的監(jiān)控和管理界面進(jìn)行日常的監(jiān)控和維護(hù)，系統(tǒng)提供圖標(biāo)信息展示。管理員可以便捷地了解到集群的計(jì)算資源是否處于空閑狀態(tài)、哪些服務(wù)器的負(fù)載過高，甚至判斷集群的組網(wǎng)及機(jī)架安排是否合理等。管理員也可通過對(duì)各個(gè)節(jié)點(diǎn)的各個(gè)角色的日志信息進(jìn)行檢索，獲得更加精確的信息。平臺(tái)集成Ganglia集群監(jiān)控系統(tǒng)，能夠從上千臺(tái)服務(wù)器上收集系統(tǒng)信息，能夠保障當(dāng)集群規(guī)模擴(kuò)展至上百臺(tái)上千臺(tái)服務(wù)器時(shí)，監(jiān)控程序都能夠高效地獲取每臺(tái)服務(wù)器的狀態(tài)信息。Ganglia由Gmetad與Gmond組成，其中集群中每一臺(tái)機(jī)器上都有一個(gè)Gmond服務(wù)進(jìn)程，Gmetad收集所有節(jié)點(diǎn)metrics信息并在Web前端界面上展現(xiàn)出來。集群中的每臺(tái)服務(wù)器上都運(yùn)行監(jiān)控守護(hù)進(jìn)程，守護(hù)進(jìn)程能夠?qū)⑦@些數(shù)據(jù)的精簡傳遞，這使得Ganglia的運(yùn)行對(duì)集群的資源消耗極少。所有的指標(biāo)數(shù)據(jù)都存儲(chǔ)在一個(gè)RRD（RoundRobinDatabase）數(shù)據(jù)庫中，為了防止Gmetad頻繁寫磁盤造成I/O瓶頸，通過rrdcache緩存指標(biāo)數(shù)據(jù)，定量寫入RRD。大數(shù)據(jù)平臺(tái)支持對(duì)系統(tǒng)包括容量、性能、負(fù)載、服務(wù)等在內(nèi)的各方面運(yùn)行情況進(jìn)行監(jiān)控。（1）對(duì)硬件和軟件資源進(jìn)行監(jiān)控，保證平臺(tái)運(yùn)行效率，如CPU資源、內(nèi)存、I/O、緩存空間、軟硬件資源日志和報(bào)錯(cuò)信息等；（2）對(duì)磁盤容量、文件系統(tǒng)空間、數(shù)據(jù)庫空間等使用情況進(jìn)行監(jiān)控；包括獲取存儲(chǔ)量、剩余存儲(chǔ)量以及存儲(chǔ)系統(tǒng)整體情況信息（3）對(duì)平臺(tái)運(yùn)行負(fù)載和服務(wù)情況進(jìn)行監(jiān)控，包括平臺(tái)訪問用戶數(shù)、數(shù)據(jù)庫鎖、基礎(chǔ)服務(wù)進(jìn)程等；（4）對(duì)于監(jiān)控發(fā)現(xiàn)的各類異常進(jìn)行報(bào)警提示，短信通知相關(guān)人員，對(duì)相應(yīng)溝通渠道建立知識(shí)庫；（5）對(duì)監(jiān)控指標(biāo)進(jìn)行數(shù)據(jù)信息記錄，支持系統(tǒng)管理和運(yùn)維人員進(jìn)行相關(guān)情況分析；（6）系統(tǒng)能夠基于設(shè)定的條件，對(duì)資源利用率、工作負(fù)載等情況自動(dòng)生成分析報(bào)告，直觀展示系統(tǒng)一段時(shí)間內(nèi)的運(yùn)行情況和資源利率變化。（7）提供全局日志和任務(wù)級(jí)日志；（8）在故障發(fā)生時(shí)提供告警功能，支持郵件及短信發(fā)送。圖形化集群資源管理計(jì)算任務(wù)管理和作業(yè)管理計(jì)算任務(wù)管理和作業(yè)管理，包括作業(yè)的上傳、配置、啟動(dòng)、停止、刪除和狀態(tài)查看功能存儲(chǔ)資源管理存儲(chǔ)資源管理，瀏覽數(shù)據(jù)、更改回收存儲(chǔ)資源。作業(yè)動(dòng)態(tài)調(diào)整作業(yè)動(dòng)態(tài)調(diào)整，支持對(duì)任務(wù)系統(tǒng)資源占用進(jìn)行實(shí)時(shí)調(diào)配，改變作業(yè)調(diào)度優(yōu)先級(jí)等操作。圖形界面方式多租戶管理用戶管理TDH平臺(tái)用戶可以使用圖形化界面來配置多租戶的用戶，實(shí)現(xiàn)用戶的增加、修改、刪除和查詢；用戶信息管理TDH平臺(tái)管理員用戶可以編輯用戶的信息，進(jìn)行用戶信息管理，如用戶名稱、用戶編號(hào)、用戶角色、創(chuàng)建時(shí)間等；支持密碼修改支持用戶密碼的修改和管理員對(duì)用戶密碼的重置；支持不同條件進(jìn)行用戶信息查詢可以按角色、按編號(hào)等不同條件進(jìn)行用戶信息查詢；支持用戶操作信息查詢記錄用戶的登陸和操作信息，并支持查詢。平臺(tái)內(nèi)用戶權(quán)限統(tǒng)一管理大數(shù)據(jù)平臺(tái)支持對(duì)數(shù)據(jù)平臺(tái)各類用戶權(quán)限的統(tǒng)一管理，按不同權(quán)限粒度，根據(jù)數(shù)據(jù)查詢、訪問需求，明確其在系統(tǒng)中可以進(jìn)行的操作、可以看到的數(shù)據(jù)等權(quán)限。（1）支持對(duì)每個(gè)用戶設(shè)置不同角色（2）支持對(duì)每個(gè)用戶設(shè)置不同菜單訪問權(quán)限和具體功能權(quán)限（3）支持對(duì)不同角色、部門、機(jī)構(gòu)等組合條件設(shè)置差異化數(shù)據(jù)訪問權(quán)限，如下圖中，一個(gè)部門用戶只能訪問本部門的數(shù)據(jù)，數(shù)據(jù)分析人員無法看到其他部門的數(shù)據(jù)，也無法看到本部門一些敏感數(shù)據(jù)。軟硬件狀態(tài)監(jiān)控整個(gè)系統(tǒng)的軟硬件狀態(tài)都可以方便地從圖形界面中進(jìn)行監(jiān)控。用戶可以實(shí)時(shí)地瀏覽集群中CPU、內(nèi)存、硬盤、網(wǎng)卡等的狀態(tài)，當(dāng)遇到故障時(shí)平臺(tái)提供告警，告警信息可以通過短信、郵件方式通知管理員，可推送到集中監(jiān)控系統(tǒng)。平臺(tái)運(yùn)行管理平臺(tái)支持對(duì)角色、組件服務(wù)乃至整個(gè)集群的啟動(dòng)、停止和刪除。對(duì)集群的啟動(dòng)、停止和刪除等同于對(duì)集群中所有服務(wù)的啟動(dòng)、停止和刪除；同樣，對(duì)組件服務(wù)的啟動(dòng)、停止和刪除等同于對(duì)組件所有角色的啟動(dòng)、停止和刪除。當(dāng)要服役、退役和刪除某物理節(jié)點(diǎn)時(shí)，首先啟動(dòng)、停止和刪除該節(jié)點(diǎn)上所有的服務(wù)角色，保證組件運(yùn)行狀態(tài)正常，之后再在節(jié)點(diǎn)管理頁面服役、退役或刪除節(jié)點(diǎn)即可。集群監(jiān)控通過Manager的監(jiān)控選項(xiàng)標(biāo)簽頁可以進(jìn)行集群級(jí)別的監(jiān)控。此外，Manager還提供了[inspector-section]，方便定制檢查項(xiàng)，并輸出集群狀態(tài)的檢查報(bào)告。集群可以按角色名稱、節(jié)點(diǎn)名稱、機(jī)柜名稱、健康狀況等條件進(jìn)行篩選監(jiān)控?！盃顟B(tài)”頁面中概括地顯示Manager管理的所有服務(wù)的狀態(tài)：Manager用顏色和圖標(biāo)來表示服務(wù)的運(yùn)行狀況：（1）綠色表示服務(wù)健康狀況良好，在正常運(yùn)行（2）紅色表示服務(wù)不可用（3）黃色表示服務(wù)正在運(yùn)行，但是有一些問題需要留意（4）灰色表示服務(wù)已停止，關(guān)于服務(wù)的警報(bào)將不再發(fā)送（5）圖標(biāo)表示配置文件有修改，需要更新（6）圖標(biāo)表示正在執(zhí)行服務(wù)相關(guān)的操作，在操作頁面可以查看此操作詳情。狀態(tài)頁面中的服務(wù)方格中顯示該服務(wù)最重要的運(yùn)行指標(biāo)，只需將光標(biāo)移到服務(wù)方格上方即可查看點(diǎn)擊組件進(jìn)入摘要界面，可以按角色名稱、節(jié)點(diǎn)名稱、機(jī)柜名稱、健康狀況等條件進(jìn)行篩選監(jiān)控。自定義告警Manager具有“警報(bào)”標(biāo)簽頁，實(shí)時(shí)顯示故障告警，可以查看具體警報(bào)信息。對(duì)每一種報(bào)警信息都提供了錯(cuò)誤對(duì)應(yīng)表，幫助用戶快速定位故障根源。同時(shí)，用戶可自定義“報(bào)警”的閾值。Manager為節(jié)點(diǎn)和各項(xiàng)服務(wù)列出了一系列警報(bào)來源，可以通過勾選來開啟是否接受對(duì)應(yīng)來源的警報(bào)。某些警報(bào)會(huì)在達(dá)到設(shè)置的閾值后觸發(fā)不同級(jí)別的警報(bào)（CRITICAL/WARNING等），點(diǎn)擊這些警報(bào)的“值”來修改出發(fā)警報(bào)的閾值。以上圖所示默認(rèn)的節(jié)點(diǎn)警報(bào)配置為例，警報(bào)來源有“節(jié)點(diǎn)失聯(lián)”（默認(rèn)勾選了WARNING，則在節(jié)點(diǎn)失聯(lián)時(shí)觸發(fā)WARNING警報(bào)）、不健康的Timeoffset百分比閾值（當(dāng)不健康的Timeoffsets超過3s時(shí)觸發(fā)WARNING警報(bào)，超過10s時(shí)觸發(fā)CRITICAL警報(bào)）、“ntp服務(wù)狀態(tài)”（默認(rèn)勾選了CRITICAL，則在ntp服務(wù)未運(yùn)行時(shí)觸發(fā)CRITICAL警報(bào)）和“根分區(qū)剩余空間”（根分區(qū)剩余空間低于設(shè)定的閾值（40%）時(shí)觸發(fā)WARNING警報(bào)；根分區(qū)剩余空間低于15%時(shí)觸發(fā)CRITICAL警報(bào)）。一鍵啟停通過Manager可視化組件管理工具，一個(gè)Manager可以管理多個(gè)集群。對(duì)集群的啟動(dòng)、停止和刪除等同于對(duì)集群中所有服務(wù)的啟動(dòng)、停止和刪除。在Manager狀態(tài)頁面點(diǎn)擊集群名：即可選擇啟動(dòng)、停止和刪除。在Manager狀態(tài)頁面點(diǎn)擊集群名，并選擇查看集群用戶，可以查看所有對(duì)集群擁有權(quán)限的用戶，及相應(yīng)的權(quán)限。管理高可用DataHub提供管理節(jié)點(diǎn)高可用功能，該功能打開后，集群中可以有多個(gè)管理節(jié)點(diǎn)，可以保證在一些管理節(jié)點(diǎn)（只要不是全部）宕機(jī)的情況下您依然可以使用Manager對(duì)集群進(jìn)行監(jiān)控和管理。在高可用模式下，管理節(jié)點(diǎn)有Active和Standby兩種模式。當(dāng)Active節(jié)點(diǎn)上的Manager服務(wù)停止，管理節(jié)點(diǎn)會(huì)發(fā)生自動(dòng)failover——也就是Standby的管理節(jié)點(diǎn)之一會(huì)自動(dòng)轉(zhuǎn)變?yōu)锳ctive節(jié)點(diǎn)。平臺(tái)在線擴(kuò)容平臺(tái)提供了強(qiáng)大的在線擴(kuò)容功能，不需要宕機(jī)停庫，不需要停止業(yè)務(wù)，就可以添加新的節(jié)點(diǎn)，實(shí)現(xiàn)擴(kuò)容。節(jié)點(diǎn)添加完成之后可以立即對(duì)新添加的節(jié)點(diǎn)進(jìn)行角色的分配，一旦配置成功，則新加的節(jié)點(diǎn)就會(huì)馬上投入運(yùn)算。擴(kuò)容之后的數(shù)據(jù)節(jié)點(diǎn)也不需要停機(jī)進(jìn)行數(shù)據(jù)重分布，系統(tǒng)自動(dòng)選擇空閑的時(shí)間進(jìn)行數(shù)據(jù)的重新分布。HDFS將文件的數(shù)據(jù)塊分配信息存放在NameNode服務(wù)器之上，文件數(shù)據(jù)塊的信息分布地存放在DataNode服務(wù)器上。當(dāng)整個(gè)系統(tǒng)容量需要擴(kuò)充時(shí)，只需要增加DataNode的數(shù)量，系統(tǒng)會(huì)自動(dòng)地實(shí)時(shí)將新的服務(wù)器匹配進(jìn)整體陣列之中。之后，文件的分布算法會(huì)將數(shù)據(jù)塊搬遷到新的DataNode之中，不需任何系統(tǒng)當(dāng)機(jī)維護(hù)或人工干預(yù)。通過以上實(shí)現(xiàn)，HDFS可以做到在不停止服務(wù)的情況下實(shí)時(shí)地加入新的服務(wù)器作為分布式文件系統(tǒng)的容量升級(jí)，不需要人工干預(yù)文件的重新分布。同時(shí)，擴(kuò)容的操作可以方便地在界面進(jìn)行操作。運(yùn)維工具平臺(tái)提供提供一鍵式的GUI巡檢工具，能夠?qū)W(wǎng)絡(luò)端口、網(wǎng)絡(luò)延時(shí)、網(wǎng)絡(luò)吞吐量、Jar包一致性、權(quán)限、文件殘留等進(jìn)行自動(dòng)化檢查，直觀反映關(guān)鍵部件狀態(tài)，提供一鍵式的信息收集工具，收集系統(tǒng)日志、配置信息以便于快速定位。提供短信、郵件發(fā)送接口，并負(fù)責(zé)與行方短信接口連接。REST接口大數(shù)據(jù)平臺(tái)向外提供RESTFUL接口，可實(shí)現(xiàn)與第三方運(yùn)維平臺(tái)的對(duì)接?？赏ㄟ^RestfulAPI對(duì)接第三方的運(yùn)維管理系統(tǒng)，主要有以下的api：（1）資源監(jiān)控的api計(jì)算資源使用率：CPU、內(nèi)存、磁盤吞吐量、網(wǎng)絡(luò)負(fù)載等；存儲(chǔ)資源使用率：磁盤容量使用率等；（2）安全管理相關(guān)的api用戶的登陸、登出以及權(quán)限和首選項(xiàng)的控制。對(duì)用戶、用戶組的查看、創(chuàng)建、修改和刪除。對(duì)各個(gè)組件的權(quán)限管理對(duì)Guardian的管理（3）節(jié)點(diǎn)相關(guān)的api節(jié)點(diǎn)的查詢、更新、刪除和節(jié)點(diǎn)的配置、密鑰、角色和角色的服務(wù)的查詢（4）服務(wù)相關(guān)的api服務(wù)的創(chuàng)建、查詢、修改和刪除，以及查詢依賴服務(wù)、對(duì)服務(wù)角色（ServiceRole）的操作和服務(wù)擴(kuò)展等。對(duì)某項(xiàng)服務(wù)的安裝、起用或關(guān)閉等。（5）任務(wù)相關(guān)的api對(duì)Spark任務(wù)的監(jiān)控、強(qiáng)制停止等操作。運(yùn)維人員可以通過REST接口對(duì)接平臺(tái)管理界面，查看和獲取服務(wù)信息，集群信息等等。統(tǒng)一監(jiān)控系統(tǒng)也可以通過REST接口大數(shù)據(jù)平臺(tái)獲取集群日志。數(shù)據(jù)中心展示系統(tǒng)也可以通過同樣的方式獲取必要的數(shù)據(jù)向領(lǐng)導(dǎo)或參觀用戶直觀展示數(shù)據(jù)中心架構(gòu)和運(yùn)行狀態(tài)。統(tǒng)一資源管理平臺(tái)提供海量數(shù)據(jù)的統(tǒng)一磁盤管理，能夠做到集群內(nèi)所有組件的計(jì)算資源（CPU/內(nèi)存）和IO資源（磁盤）的管理。通過Manager可視化組件管理工具，用戶可以實(shí)時(shí)查看到所有組件的配置信息，包括當(dāng)前組件及角色分配的計(jì)算資源和IO資源。通過手動(dòng)修改組件所屬角色的相關(guān)資源配置，可以實(shí)現(xiàn)所有組件的計(jì)算資源（CPU/內(nèi)存）和IO資源（磁盤）的管理。系統(tǒng)畫面設(shè)計(jì)系統(tǒng)支持通過可視化工具根據(jù)用戶需要，定制實(shí)時(shí)顯示畫面，并且可后續(xù)嵌入界面。主界面包括企業(yè)運(yùn)營分析和三大業(yè)務(wù)中心功能等場景；如畫面重用在展示時(shí)不需要重新加載，可重復(fù)使用。它克服了傳統(tǒng)可視化工具的多方面缺陷，功能全面，體驗(yàn)智能，不論是對(duì)于可視化展現(xiàn)的豐富度，還是對(duì)于處理性能，都有極致的表現(xiàn)。工具可通過傻瓜式的拖拽操作即可實(shí)現(xiàn)畫面的設(shè)計(jì)與創(chuàng)建，不要求過高的專業(yè)技能，也不用等待模型搭建和技術(shù)實(shí)現(xiàn)，僅需簡單的鼠標(biāo)點(diǎn)擊就可以創(chuàng)造華麗炫酷的畫面，其豐富的功能將填補(bǔ)技術(shù)人員同業(yè)務(wù)人員之間在技術(shù)能力上的差距，使大數(shù)據(jù)可視化變得更加容易。系統(tǒng)安全管理工業(yè)大數(shù)據(jù)平臺(tái)首先滿足《電力監(jiān)控系統(tǒng)安全防護(hù)規(guī)定》的要求，詳見3.2.4電力安全防護(hù)及3.7系統(tǒng)安全設(shè)計(jì)。其次大數(shù)據(jù)平臺(tái)通過安全通信協(xié)議和角色權(quán)限管理功能，在軟件層面提供通信安全和數(shù)據(jù)安全的雙重保障，有效的對(duì)來自外部和非信任角色的數(shù)據(jù)訪問進(jìn)行控制和安全管理，實(shí)現(xiàn)數(shù)據(jù)平臺(tái)4A級(jí)統(tǒng)一安全管理解決方案。4A包括認(rèn)證Authentication、賬號(hào)Account、授權(quán)Authorization、審計(jì)Audit，即將身份認(rèn)證、授權(quán)、審計(jì)和賬號(hào)。通過LDAP管理用戶賬號(hào)，Kerberos作為用戶身份認(rèn)證IdentityStore，同時(shí)大數(shù)據(jù)平臺(tái)配合LDAP實(shí)現(xiàn)角色訪問權(quán)限控制（RoleBasedAccessControl），最后所有的安全訪問審計(jì)都會(huì)記錄在數(shù)據(jù)平臺(tái)的日志中。大數(shù)據(jù)平臺(tái)中各個(gè)組件都支持安全管理，包括Zookeeper，HDFS，YARN，Kafka，Hyperbase，Inceptor以及Slipstream。集群中存在三套認(rèn)證機(jī)制：（1）集群中各個(gè)服務(wù)器本地的操作系統(tǒng)自帶的認(rèn)證，用于管理用戶和集群服務(wù)對(duì)服務(wù)器的訪問；（2）提供集群服務(wù)與用戶認(rèn)證的KRB5LDAP系統(tǒng)，用于管理集群服務(wù)之間的訪問以及用戶對(duì)服務(wù)的訪問；（3）Manager的認(rèn)證，用于管理用戶對(duì)Manager的訪問。這三套機(jī)制本身互相獨(dú)立，而且各服務(wù)器操作系統(tǒng)的認(rèn)證也互相獨(dú)立，對(duì)集群的管理和使用帶來了很大不便：管理員需要分別維護(hù)各個(gè)服務(wù)器中的信息、KRB5LDAP中的信息以及Manager中的信息，三套信息的任何不一致都可能導(dǎo)致用戶無法訪問集群，甚至服務(wù)無法正常運(yùn)行；為了能夠訪問一個(gè)安全模式下的集群，用戶需要多套賬戶/密碼信息，用于通過各套認(rèn)證機(jī)制的認(rèn)證。平臺(tái)將提供這三套機(jī)制的統(tǒng)一管理，幫助管理員輕松地保證三套信息的一致性，并且讓用戶可以通過同一套用戶名/密碼登錄集群中服務(wù)器、登錄TManager以及訪問集群服務(wù)（Inceptor、Slipstream、Discover、Hyperbase等），做到大數(shù)據(jù)平臺(tái)的單點(diǎn)登錄。多租戶管理系統(tǒng)大數(shù)據(jù)平臺(tái)提供獨(dú)立服務(wù)、統(tǒng)一控制、可視化操作的多租戶管理體系。平臺(tái)提供了完整的安全解決方案，包括用戶認(rèn)證、授權(quán)、配額管理以及資源控制。用戶認(rèn)證使用LDAP以及KERBEROS協(xié)議保證只有經(jīng)過身份甄別的用戶才能訪問系統(tǒng)，授權(quán)保證只有被賦予權(quán)限的用戶才可以訪問系統(tǒng)資源，配額管理與資源負(fù)責(zé)控制用戶使用的資源大小，三個(gè)部分一同保證大數(shù)據(jù)安全。它實(shí)現(xiàn)了完整的ARBAC模型的支持，提供了RESTAPI，用戶友好的WebUI，密碼策略等，JWTToken機(jī)制為實(shí)現(xiàn)SSO提供了基礎(chǔ)。平臺(tái)各個(gè)組件提供了認(rèn)證、授權(quán)、組映射以及配額管理，使得Hadoop組件可以使用統(tǒng)一的用戶、組和權(quán)限管理模型。用戶認(rèn)證通過LDAP管理用戶以及用戶組賬戶信息，通過Kerberos進(jìn)行用戶身份認(rèn)證，同時(shí)大數(shù)據(jù)平臺(tái)配合LDAP實(shí)現(xiàn)基于角色訪問權(quán)限控制（RoleBasedAccessControl），通過給用戶或用戶組賦予角色的方式進(jìn)行用戶權(quán)限管理。最后所有的安全訪問審計(jì)都會(huì)記錄在數(shù)據(jù)平臺(tái)的日志中，并在大數(shù)據(jù)平臺(tái)中各個(gè)組件都支持安全管理。結(jié)合權(quán)限的管控，通過統(tǒng)一的分布式存儲(chǔ)HDFS的文件以及目錄權(quán)限管控，實(shí)現(xiàn)數(shù)據(jù)隔離；通過統(tǒng)一的計(jì)算資源調(diào)度管理框架YARN的作業(yè)與隊(duì)列的權(quán)限管控，實(shí)現(xiàn)計(jì)算資源的隔離；通過對(duì)于數(shù)據(jù)倉庫Inceptor的數(shù)據(jù)庫、表、視圖的權(quán)限管控，實(shí)現(xiàn)統(tǒng)計(jì)分析以及數(shù)據(jù)挖掘的管控；通過對(duì)于實(shí)時(shí)在線數(shù)據(jù)庫Hyperbase的表、行、列、單元格的權(quán)限管控，實(shí)現(xiàn)數(shù)據(jù)檢索以及即席查詢的管控；通過對(duì)于實(shí)時(shí)數(shù)據(jù)流的創(chuàng)建、刪除、讀取以及寫入的管控，實(shí)現(xiàn)實(shí)時(shí)流處理業(yè)務(wù)的數(shù)據(jù)隔離與管控。同時(shí)，將所有組件數(shù)據(jù)權(quán)限訪問進(jìn)行記錄，并保證所有記錄不能被修改或刪除，通過完整的安全日志審計(jì)功能保證可追溯。對(duì)所有平臺(tái)操作進(jìn)行精細(xì)化管理，支持所有操作記錄流水的記錄、存儲(chǔ)、查詢與統(tǒng)計(jì)。客戶端將首次獲得并解密的票據(jù)和請(qǐng)求的服務(wù)信息發(fā)送給密鑰分配中心，密鑰分配中心中的授予票據(jù)服務(wù)將客戶端和服務(wù)端之間生成一個(gè)會(huì)話密鑰（SessionKey）用于服務(wù)器與客戶端的身份驗(yàn)證。然后密鑰分配中心將這個(gè)會(huì)話密鑰和用戶名，用戶地址（IP），服務(wù)名，有效期，時(shí)間戳一起包裝成一個(gè)票據(jù)。密鑰分配中心將剛才的票據(jù)轉(zhuǎn)發(fā)給客戶端。票據(jù)和之前會(huì)話密匙都是加密后反饋給客戶端的?？蛻舳藢⑹盏降拿荑€轉(zhuǎn)發(fā)給服務(wù)端，同時(shí)客戶端將收到的會(huì)話密鑰解壓出來，然后將自己的用戶名，用戶地址（IP）打包成驗(yàn)證包用會(huì)話密鑰加密后也發(fā)給服務(wù)端。服務(wù)端收到票據(jù)后利用它與密鑰分配中心之間的密鑰將票據(jù)中的信息解密出來，從而獲得會(huì)話密鑰和用戶名，用戶地址（IP），服務(wù)名，有效期。然后再用會(huì)話密鑰將驗(yàn)證包解密從而獲得用戶名，用戶地址（IP）將其與之前票據(jù)中解密出來的用戶名，用戶地址（IP）做比較從而驗(yàn)證客戶端的身份，如果服務(wù)端有返回結(jié)果，將其返回給客戶端。單點(diǎn)登錄大數(shù)據(jù)平臺(tái)通過安全通信協(xié)議和角色權(quán)限管理功能，在軟件層面提供通信安全和數(shù)據(jù)安全的雙重保障，有效的對(duì)來自外部和非信任角色的數(shù)據(jù)訪問進(jìn)行控制和安全管理，實(shí)現(xiàn)數(shù)據(jù)平臺(tái)4A級(jí)統(tǒng)一安全管理解決方案。4A包括認(rèn)證Authentication、賬號(hào)Account、授權(quán)Authorization、審計(jì)Audit，即將身份認(rèn)證、授權(quán)、審計(jì)和賬號(hào)。設(shè)置管理平臺(tái)可以對(duì)訪問的用戶進(jìn)行角色權(quán)限分配，同時(shí)可以實(shí)現(xiàn)服務(wù)附件間的互信管理，以及訪問用戶的安全密碼策略管理。安全互信平臺(tái)可實(shí)現(xiàn)多個(gè)安全管理組件之間互信，不同集群上的同一用戶之間互信，在平臺(tái)界面上就可進(jìn)行信任關(guān)系管理，用戶可根據(jù)需求，輕松完成添加信任關(guān)系、查看已添加的信任關(guān)系、刪除信任關(guān)系等。密碼策略平臺(tái)支持設(shè)置密碼策略，包括密碼強(qiáng)度、使用期限、密碼保護(hù)。密碼策略是用以局限所設(shè)置的密碼的一種策略，Guardian可通過可視化操作對(duì)密碼進(jìn)行各種設(shè)置，例如密碼最短/最長使用期限、密碼長度、密碼過期警告等等。訪問策略管理用戶有兩種類型：（1）管理（Manager）用戶：只能用于登錄Manager。（2）集群（Guardian）用戶：用于登錄Guardian和Guardian管理的服務(wù)，只能在集群中使用。Guardian里可賦權(quán)的對(duì)象有三種：（1）用戶：可以在Guardian中對(duì)指定用戶賦權(quán)，設(shè)置其對(duì)具體的服務(wù)、數(shù)據(jù)庫、表等級(jí)別的操作權(quán)限?？梢酝ㄟ^為用戶分配Guardian系統(tǒng)管理權(quán)限，細(xì)化管理職能，為之后的權(quán)限劃分提供基礎(chǔ)。（2）用戶組：設(shè)置用戶組對(duì)具體的服務(wù)、數(shù)據(jù)庫、表等級(jí)別的操作權(quán)限，使用戶組內(nèi)的所有用戶都擁有被賦予的權(quán)限。（3）角色：設(shè)置角色對(duì)具體的服務(wù)、數(shù)據(jù)庫、表等級(jí)別的操作權(quán)限，使具備該角色的用戶或用戶組都擁有被賦予的權(quán)限。在Guardian的“租戶”頁面，創(chuàng)建用戶、用戶組及角色，并對(duì)它們進(jìn)行賦權(quán)。除了上述權(quán)限管控方式，Guardian還支持基于屬性的權(quán)限控制（ABAC），根據(jù)賦權(quán)對(duì)象所攜帶的屬性值，來選擇允許或拒絕指定的權(quán)限。這些屬性可以是訪問IP、用戶名、所屬組或角色、訪問對(duì)象等。ABAC機(jī)制通過在Guardian里定義策略的方式來實(shí)現(xiàn)。目前僅支持對(duì)Inceptor服務(wù)設(shè)置策略。Guardian支持添加自定義策略，根據(jù)訪問請(qǐng)求的屬性值設(shè)置訪問權(quán)限。關(guān)于策略，需要了解以下原則：（1）Guardian在做權(quán)限判斷時(shí)優(yōu)先適配自定義的策略，如沒有匹配項(xiàng)，再根據(jù)請(qǐng)求者被分配的角色或權(quán)限進(jìn)行判斷。（2）一個(gè)策略里可以定義多個(gè)獨(dú)立、具體的權(quán)限，權(quán)限可以是允許類型或者拒絕類型：允許類型：當(dāng)請(qǐng)求的屬性滿足判斷條件時(shí)，允許用戶訪問資源。拒絕類型：當(dāng)請(qǐng)求的屬性滿足判斷條件時(shí)，拒絕訪問資源。拒絕類型的權(quán)限優(yōu)先級(jí)高于允許類型，即當(dāng)一條請(qǐng)求同時(shí)符合允許權(quán)限和拒絕權(quán)限的判斷條件時(shí)，系統(tǒng)會(huì)拒絕該請(qǐng)求。（3）每個(gè)權(quán)限可以設(shè)置多個(gè)判斷條件，只有符合所有設(shè)置條件的請(qǐng)求才會(huì)被系統(tǒng)判定為匹配，這條權(quán)限才會(huì)生效。在Guardian主頁導(dǎo)航欄點(diǎn)擊“策略”進(jìn)入策略頁面，添加自定義策略：用戶可以在自定義策略中選擇相關(guān)的服務(wù)、權(quán)限、資源名稱、關(guān)聯(lián)用戶IP，訪問時(shí)間等判斷條件來控制允許或者拒絕訪問資源的策略。訪問權(quán)限管理平臺(tái)在Hadoop層之下，將底層資源容器化，成為底層的資源管理和調(diào)度平臺(tái)，可以根據(jù)不同的優(yōu)先級(jí)和Quota在不同的Docker容器之間做靈活的資源調(diào)度。原本基于YARN做資源管理的應(yīng)用如Inceptor，也都改用Kubernetes來做管理。不同的數(shù)據(jù)需要進(jìn)行權(quán)限控制，可以授權(quán)給不同用戶訪問各自的數(shù)據(jù)表。訪問控制類型主要為權(quán)限管理和配額管理。權(quán)限管理登錄Guardian頁面權(quán)限管理頁簽，可以看到Guardian支持包括HDFS、YARN、HYPERBASE、INCEPTOR、SLIPSTREAM、WORKFLOW、SOPHON、KAFKA等在內(nèi)的多種服務(wù)類型的權(quán)限管理。以HDFS服務(wù)類型為例，選擇權(quán)限頁簽的HDFS服務(wù)類型服務(wù)名為hdfs1，在權(quán)限頁簽點(diǎn)擊右側(cè)的“添加權(quán)限”，可以給不同的HDFS路徑按照用戶/組/角色設(shè)置不同的權(quán)限。配額管理以Inceptor為例，Inceptor的管理員為hive。普通用戶在經(jīng)過hive授權(quán)之前在Inceptor中可以進(jìn)行的操作非常有限。在多租戶場景下，Inceptor的安全管理可以通過命令行交互和Guardian圖形界面兩種方式。在Guardian主頁上方導(dǎo)航欄中點(diǎn)擊“權(quán)限”，選擇您要管理的Inceptor服務(wù)。Inceptor安全管理頁面分為數(shù)據(jù)庫/表權(quán)限、存儲(chǔ)過程權(quán)限、隊(duì)列權(quán)限、存儲(chǔ)配額、計(jì)算配額模塊。Inceptor中的所有操作權(quán)限，都可以在全局級(jí)別上進(jìn)行管理。全局權(quán)限賦予用戶在整個(gè)Inceptor服務(wù)中執(zhí)行該操作的能力。在Inceptor安全管理頁面點(diǎn)擊“存儲(chǔ)配額”，進(jìn)入存儲(chǔ)配額管理頁面。Inceptor的配額信息分為兩種，數(shù)據(jù)庫配額，臨時(shí)空間配額。數(shù)據(jù)庫配額分為各數(shù)據(jù)庫本身的配額和在該數(shù)據(jù)庫下用戶的配額，臨時(shí)空間配額同樣也是分為臨時(shí)空間總的配置和分配給用戶的配額。點(diǎn)擊搜索框下方的切換菜單在數(shù)據(jù)庫配額模塊或臨時(shí)空間配額模塊間切換。審計(jì)管理Guardian內(nèi)置針對(duì)GuardianServer的審計(jì)（Audit）功能，能夠記錄用戶的每一次操作，以便后續(xù)排查問題。目前支持基于日志的審計(jì)，所有的審計(jì)記錄會(huì)放在Guardian日志目錄下，路徑一般為：/var/log/guardian/guardian-server.audit注意，如果開啟了GuardianServer的HA，則各個(gè)GuardianServer節(jié)點(diǎn)上的審計(jì)日志內(nèi)容一般不同，每個(gè)GuardianServer都只記錄發(fā)給自己的請(qǐng)求。在Guardian圖形界面審計(jì)頁簽中可以看到對(duì)安全訪問、權(quán)限操作等記錄的統(tǒng)一查詢審計(jì)界面。用戶可以按照日期、權(quán)限變更操作類型、類別等檢索到詳細(xì)的安全訪問、權(quán)限操作記錄。數(shù)據(jù)訪問權(quán)限管理組件數(shù)據(jù)訪問權(quán)限管理HDFSHDFS實(shí)現(xiàn)了一個(gè)和LinuxPOSIX系統(tǒng)類似的文件和目錄的權(quán)限模型，用戶可以通過添加不同的用戶和組來隔離數(shù)據(jù)之間的權(quán)限。與此同時(shí)，HDFS也擁有了ACL（AccessControlList）功能，對(duì)于某一個(gè)指定的數(shù)據(jù)集合，管理用戶可以在其權(quán)限控制列表中添加相應(yīng)的user，使其擁有訪問該數(shù)據(jù)集的權(quán)限。從用戶與數(shù)據(jù)兩方面對(duì)權(quán)限進(jìn)行了控制，并支持對(duì)于單獨(dú)指定文件進(jìn)行加密。YARN在YARN資源管理器中，管理員可以通過配置Scheduler的訪問控制列表（ACL）來限制可以訪問該Scheduler的用戶。訪問控制列表也可以限制訪問每一個(gè)資源池的用戶權(quán)限，使得一些高優(yōu)先級(jí)的資源池只可以被高優(yōu)先級(jí)的任務(wù)使用。除了Submit級(jí)別的權(quán)限，Yarn的管理員還可以設(shè)置Admin級(jí)別的權(quán)限，通過該設(shè)置，管理員可以對(duì)資源池/隊(duì)列的權(quán)限進(jìn)行配置，從而指定用戶使用某些特定的資源。HyperbaseHyperbase已經(jīng)實(shí)現(xiàn)了表級(jí)別、列級(jí)別、單元級(jí)別的訪問控制。用戶可以方便地根據(jù)自己的應(yīng)用需求，對(duì)于數(shù)據(jù)表中的每一個(gè)單元、行、列進(jìn)行權(quán)限的控制。對(duì)于某一些敏感的數(shù)據(jù)單元，只有賦予權(quán)限才能訪問，否則，就算擁有全表的訪問權(quán)限都沒有辦法去訪問這些敏感數(shù)據(jù)。與此同時(shí)，Hyperbase也實(shí)現(xiàn)了服務(wù)端透明加密，用戶上傳的數(shù)據(jù)會(huì)被Hyperbase自動(dòng)加密后存儲(chǔ)在HFile中。就算服務(wù)器被攻破，非法進(jìn)入的用戶也不能獲取任何Hyperbase上的數(shù)據(jù)。Inceptor用戶可以在Inceptor中創(chuàng)建各種角色，分配不同的訪問層級(jí)，這些Role之間也可以互相擁有層級(jí)關(guān)系。通過配置這個(gè)角色在表、視圖（view）中的權(quán)限，可以限制用戶對(duì)數(shù)據(jù)的訪問。Stream/Kafka在流式計(jì)算中，權(quán)限控制分為強(qiáng)與弱兩種。其中強(qiáng)性檢查主要是通過Kerberos對(duì)想要訪問數(shù)據(jù)的用戶進(jìn)行驗(yàn)證，弱性檢查則是直接檢查申請(qǐng)用戶的IP地址，如果IP地址在訪問列表中，則允許用戶訪問相應(yīng)的數(shù)據(jù)。在Kafka中，對(duì)于消息隊(duì)列（topic）有相應(yīng)的權(quán)限控制，主要通過ACL實(shí)現(xiàn)，分別允許客戶向消息隊(duì)列發(fā)送數(shù)據(jù)或者從消息隊(duì)列接收數(shù)據(jù)。其中在Kafka中能夠賦予的權(quán)限有：（1）讀權(quán)限：從topic中抽取數(shù)據(jù)（2）寫權(quán)限：將數(shù)據(jù)寫入Topic（3）刪除權(quán)限：將Topic刪除（4）新建權(quán)限：創(chuàng)建Topic（5）配置權(quán)限：配置Topic的權(quán)限（6）描述（describe）：讀取Topic的源數(shù)據(jù)數(shù)據(jù)表行列權(quán)限控制大數(shù)據(jù)平臺(tái)能提供數(shù)據(jù)表行、列級(jí)數(shù)據(jù)權(quán)限控制，在Hyperbase中能對(duì)其中表的行、列甚至單元格級(jí)別進(jìn)行權(quán)限控制，包括讀權(quán)限，寫權(quán)限，執(zhí)行權(quán)限、創(chuàng)建表權(quán)限以及管理員權(quán)限。同時(shí)可以在Inceptor中創(chuàng)建Hyperbase的映射表，Inceptor可通過SQL配置安全策略對(duì)數(shù)據(jù)庫、視圖以及表級(jí)別進(jìn)行權(quán)限控制，包括新建，查詢，插入，刪除，更新（刪除和更新操作只能對(duì)于Hyperbase的映射表）等各種權(quán)限設(shè)置。Inceptor通過結(jié)合LDAP對(duì)用戶進(jìn)行安全認(rèn)證，用戶通過JDBC接口連接到Inceptor時(shí)，通過安全驗(yàn)證確定用戶身份后才能訪問集群。連接到集群后，只能操作自己權(quán)限數(shù)據(jù)庫內(nèi)的權(quán)限表。資源管理能力平臺(tái)獨(dú)特的多租戶架構(gòu)能夠使企業(yè)內(nèi)部各部門之間安全地共享大數(shù)據(jù)資源平臺(tái)，這種安全性主要表現(xiàn)在計(jì)算資源和數(shù)據(jù)資源的隔離。在資源隔離方面，TranswarpYARN支持對(duì)計(jì)算資源和內(nèi)存資源的管理能力，避免占用內(nèi)存資源多的Spark或Map/Reduce集群之間爭搶內(nèi)存資源。對(duì)于數(shù)據(jù)資源的隔離，是物理隔離。首先數(shù)據(jù)統(tǒng)一存儲(chǔ)在大數(shù)平臺(tái)的文件系統(tǒng)上，平臺(tái)管理員可以通過權(quán)限管理數(shù)據(jù)隔離，使得不同用戶互不干擾地使用各自獨(dú)立的數(shù)據(jù)。同時(shí)，管理員用戶還可以通過設(shè)置Quota的大小來限制每個(gè)用戶可以使用存儲(chǔ)空間的大小。對(duì)于計(jì)算資源的隔離，是邏輯隔離。平臺(tái)可以通過YARN對(duì)所有的計(jì)算資源進(jìn)行統(tǒng)一管理，可以按需動(dòng)態(tài)創(chuàng)建多個(gè)MapReduce分析集群或者Inceptor/Spark集群，每類業(yè)務(wù)或者每個(gè)部門可以使用一個(gè)獨(dú)立的MapReduce或Inceptor/Spark分析集群，并且同時(shí)運(yùn)行。缺省模式下集群就是創(chuàng)建在YARN上，可以非常方便的動(dòng)態(tài)創(chuàng)建和銷毀Spark或者M(jìn)ap/Reduce集群。對(duì)批量統(tǒng)計(jì)業(yè)務(wù)，可以在每月運(yùn)行完成后動(dòng)態(tài)銷毀，從而節(jié)省計(jì)算資源，避免建立獨(dú)立的物理集群造成浪費(fèi)。這樣方便靈活部署業(yè)務(wù)，適合對(duì)非7x24不間斷業(yè)務(wù)（例如周期性統(tǒng)計(jì)業(yè)務(wù)）動(dòng)態(tài)部署。因此，對(duì)于分析平臺(tái)應(yīng)用，可以充分使用TranswarpYarn的特性，實(shí)現(xiàn)分析集群的按需創(chuàng)建與銷毀，從而幫助實(shí)現(xiàn)數(shù)據(jù)、資源、計(jì)算能力的統(tǒng)一調(diào)度和規(guī)劃。YARN支持同時(shí)對(duì)計(jì)算資源（CPU核心）和內(nèi)存資源的管理能力，避免占用內(nèi)存資源多的Spark或Map/Reduce集群之間爭搶內(nèi)存資源。在申請(qǐng)資源配額后，如果當(dāng)前用戶的資源緊張或受限，還可以動(dòng)態(tài)調(diào)配其他用戶的閑置資源加入，當(dāng)其他用戶使用時(shí)再歸還。平臺(tái)中不僅能通過YARN實(shí)現(xiàn)資源在不同計(jì)算集群之間的隔離與共享，并且在一個(gè)Inceptor/Spark計(jì)算集群內(nèi)部同樣能實(shí)現(xiàn)計(jì)算資源在不同資源池（Pool）的共享與隔離，通過公平調(diào)度算法保證高優(yōu)先級(jí)的Pool優(yōu)先拿到閑置資源，同時(shí)每個(gè)Pool具有指定的資源保有量，避免高負(fù)載批處理業(yè)務(wù)占用全部計(jì)算資源。大數(shù)據(jù)平臺(tái)基于YARN的資源調(diào)度框架，實(shí)現(xiàn)Spark和Map/Reduce集群，按需動(dòng)態(tài)創(chuàng)建與銷毀計(jì)算集群。為此，資源調(diào)度框架需要支持內(nèi)存管理和CPU調(diào)度，也需要增加對(duì)Spark資源各種調(diào)度算法的支持，包括：（1）指定Spark資源使用策略；（2）根據(jù)指定策略實(shí)現(xiàn)CPU與內(nèi)存的固定配額調(diào)度（3）根據(jù)指定策略實(shí)現(xiàn)CPU與內(nèi)存百分比的配額調(diào)度（4）根據(jù)指定策略實(shí)現(xiàn)SparkExecutor在各個(gè)計(jì)算節(jié)點(diǎn)的分布（5）根據(jù)指定策略實(shí)現(xiàn)SparkExecutor個(gè)數(shù)的限定（6）根據(jù)指定策略實(shí)現(xiàn)SparkExecutor在具體哪些節(jié)點(diǎn)上啟動(dòng)（7）可提供開放的API和分布式框架，允許用戶靈活地開發(fā)所需的分析處理應(yīng)用，而不局限于SQL或存儲(chǔ)過程。支持通過公有云和私有云部署，對(duì)軟件基于Docker技術(shù)的容器化部署提供了初步支持。大數(shù)據(jù)平臺(tái)通過一系列的性能優(yōu)化，保證用戶業(yè)務(wù)的高效運(yùn)行。同時(shí)，平臺(tái)具備快速開發(fā)能力，根據(jù)實(shí)際現(xiàn)場的業(yè)務(wù)需求無償進(jìn)行定制化開發(fā)。資源分配與管理平臺(tái)通過Yarn作為計(jì)算資源的統(tǒng)一調(diào)度管理，實(shí)現(xiàn)多任務(wù)共享集群資源的支持，通過Scheduler調(diào)度策略提供必要的資源隔離以及彈性計(jì)算，為數(shù)據(jù)處理子系統(tǒng)提供支撐。平臺(tái)中，Inceptor查詢統(tǒng)計(jì)邏輯集群、Discover數(shù)據(jù)挖掘邏輯集群、Spark與MapReduce計(jì)算邏輯集群都由Yarn進(jìn)行統(tǒng)一資源調(diào)度管理。對(duì)于資源管理精度能夠控制到單核CPU以及MB級(jí)內(nèi)存，能夠有效支撐5000節(jié)點(diǎn)的集群資源管理與調(diào)度。計(jì)算資源管理Yarn支持同時(shí)對(duì)計(jì)算資源（CPU核心）和內(nèi)存資源的管理能力，Yarn和分布式存儲(chǔ)在同一個(gè)物理集群中，達(dá)到分布式計(jì)算中數(shù)據(jù)優(yōu)先本地化計(jì)算的目的，避免計(jì)算過程中數(shù)據(jù)需要全部從網(wǎng)絡(luò)獲取。在申請(qǐng)資源配額后，如果當(dāng)前用戶的資源緊張或受限，還可以動(dòng)態(tài)調(diào)配其他用戶的閑置資源加入，當(dāng)其他用戶使用時(shí)再歸還。大數(shù)據(jù)平臺(tái)基于YARN的資源調(diào)度框架，啟動(dòng)Spark和Map/Reduce計(jì)算集群，按需動(dòng)態(tài)創(chuàng)建與銷毀計(jì)算集群。長期占用定量資源平臺(tái)在一個(gè)Inceptor/Spark計(jì)算集群內(nèi)部同樣能實(shí)現(xiàn)計(jì)算資源在不同資源池（Pool）的共享與隔離，通過公平調(diào)度算法保證高優(yōu)先級(jí)的Pool優(yōu)先拿到閑置資源，同時(shí)每個(gè)Pool具有指定的資源保有量，避免高負(fù)載批處理業(yè)務(wù)占用全部計(jì)算資源。同時(shí)，這種機(jī)制也能支持服務(wù)類的業(yè)務(wù)長期占用一定量的資源。資源的分配和回收在Yarn上，可以非常方便的動(dòng)態(tài)創(chuàng)建和銷毀Spark或者M(jìn)ap/Reduce集群。對(duì)于用戶提交的MapReduce以及Spark作業(yè)以及Inceptor集群，需要提交到其有權(quán)限的隊(duì)列中，向Yarn申請(qǐng)資源，當(dāng)用戶當(dāng)集群中節(jié)點(diǎn)上有足夠的資源滿足作業(yè)中task的要求并且沒有達(dá)到該用戶資源使用上線時(shí)，Yarn中將這部分CPU和內(nèi)存資源封裝成container，提供給task運(yùn)行；如果剩余的資源量不足以滿足計(jì)算所申請(qǐng)的資源，則任務(wù)需要排隊(duì)。作業(yè)任務(wù)運(yùn)行完成后動(dòng)態(tài)銷毀，釋放占用的CPU與內(nèi)存資源。因此，對(duì)于平臺(tái)分析應(yīng)用，可以充分使用Yarn的特性，實(shí)現(xiàn)分析集群的按需創(chuàng)建與銷毀，從而幫助實(shí)現(xiàn)資源、計(jì)算能力的統(tǒng)一調(diào)度和規(guī)劃。資源最低配額在Yarn中通過FairScheduler管理調(diào)度策略，支持定義用戶最低獲取資源，以及最高獲取資源，用戶提交任務(wù)時(shí)所占用的最低資源不低于分配給用戶的最低資源，在空余資源的情況下，最高資源能夠達(dá)到分配給用戶的最高資源。在其他任務(wù)需要資源時(shí)，根據(jù)優(yōu)先級(jí)決定資源分配情況，如果優(yōu)先級(jí)不夠，支持搶占式調(diào)度，能夠?qū)⒌蛢?yōu)先級(jí)作業(yè)占用的多余資源釋放出來。組內(nèi)資源再次分配通過平臺(tái)中Guardian的統(tǒng)一多租戶資源管理調(diào)度，用戶組可以分配對(duì)應(yīng)隊(duì)列資源，組管理員具有隊(duì)列資源配置權(quán)限，可以自主地對(duì)分配給本組的資源為組內(nèi)用戶再次分配。組內(nèi)所有用戶的最低資源總和不超過組的最低資源，最大的最高資源不超過組的最高資源。資源調(diào)度YARN支持多種調(diào)度策略，適合不同的應(yīng)用場景。容量調(diào)度器（CapacityScheduler）允許多個(gè)組織共享整個(gè)集群，每個(gè)組織可以獲得集群的一部分計(jì)算能力。通過為每個(gè)組織分配專門的隊(duì)列，然后再為每個(gè)隊(duì)列分配一定的集群資源，這樣整個(gè)集群就可以通過設(shè)置多個(gè)隊(duì)列的方式給多個(gè)組織提供服務(wù)了。隊(duì)列內(nèi)部又可以垂直劃分，這樣一個(gè)組織內(nèi)部的多個(gè)成員就可以共享這個(gè)隊(duì)列資源了，在一個(gè)隊(duì)列內(nèi)部，資源的調(diào)度是采用的是先進(jìn)先出（FIFO）策略。我們也可在一個(gè)隊(duì)列內(nèi)部設(shè)置成公平調(diào)度器（FairScheduler）可以為所有用戶、應(yīng)用公平分配資源。通過多個(gè)隊(duì)列可以保證多個(gè)用戶共享集群資源，同時(shí)一個(gè)用戶可以在其他用戶未使用資源的前提下占用額外資源，避免資源利用率過低的問題。隊(duì)列內(nèi)部多個(gè)應(yīng)用可以公平分配一個(gè)隊(duì)列所分配的資源。公平調(diào)度器在公平與效率之間做了最平衡的選擇。排隊(duì)調(diào)度集群以劃分隊(duì)列的方式為各個(gè)部門服務(wù)，單個(gè)隊(duì)列之中也可以進(jìn)行調(diào)度器的設(shè)置，可以在隊(duì)列中設(shè)置先進(jìn)先出（FIFO）的調(diào)度模式。在集群資源緊張的情況下，支持排隊(duì)機(jī)制。公平調(diào)度Spark提供公平調(diào)度策略，每個(gè)資源池可以設(shè)定一定的權(quán)重（weight）和最小占用資源（minShare，以核數(shù)為單位）。每個(gè)資源池優(yōu)先占據(jù)minShare的資源，多余的資源優(yōu)先被weight更高的資源池占有。同時(shí)一個(gè)資源池內(nèi)部也可以以fairscheduler策略調(diào)度，多個(gè)job分享資源池占有資源。搶占式調(diào)度在YARN的公平調(diào)度中可以設(shè)計(jì)搶占式計(jì)算資源調(diào)度。YARN可以設(shè)定每個(gè)Inceptor實(shí)例的優(yōu)先級(jí)，當(dāng)計(jì)算資源不足時(shí)，可以kill掉低優(yōu)先級(jí)的Inceptor，啟動(dòng)高優(yōu)先級(jí)的Inceptor。資源動(dòng)態(tài)分配調(diào)度CapacityScheduler為每個(gè)人分配一個(gè)隊(duì)列，每個(gè)隊(duì)列占用的集群資源是固定的，但是可以不同，隊(duì)列內(nèi)部還是采用FIFO調(diào)度的策略。上圖的第二幅小圖是CapacityScheduler執(zhí)行過程的示意圖。類似搶占式資源調(diào)度，Inceptor實(shí)例可以被快速刪除重啟，動(dòng)態(tài)調(diào)整實(shí)例所占用的計(jì)算資源，從而實(shí)現(xiàn)動(dòng)態(tài)擴(kuò)容和收縮。平臺(tái)計(jì)算資源管理平臺(tái)可以通過YARN作為計(jì)算資源的統(tǒng)一調(diào)度管理，實(shí)現(xiàn)多任務(wù)多租戶共享集群的計(jì)算資源，通過Scheduler調(diào)度模塊提供必要的資源隔離以及彈性計(jì)算，為數(shù)據(jù)處理子系統(tǒng)提供支撐。平臺(tái)中，Inceptor查詢統(tǒng)計(jì)邏輯集群、Discover數(shù)據(jù)挖掘邏輯集群、Spark與MapReduce計(jì)算邏輯集群都由YARN進(jìn)行統(tǒng)一資源調(diào)度管理。對(duì)于資源管理精度能夠控制到單核CPU以及MB級(jí)內(nèi)存，能夠有效支撐1000節(jié)點(diǎn)的集群資源管理與調(diào)度。平臺(tái)計(jì)算資源管理支持管控如下任務(wù)：常規(guī)計(jì)算任務(wù)、檢索任務(wù)、流處理任務(wù)、數(shù)據(jù)挖掘任務(wù)等。YARN資源管理模式分布式計(jì)算資源框架YARNYARN（YetAnotherResourceNegotiator）是一種新的Hadoop資源管理器，它是一個(gè)通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。YARN的基本思想是將JobTracker的兩個(gè)主要功能（資源管理和作業(yè)調(diào)度/監(jiān)控）分離，主要方法是創(chuàng)建一個(gè)全局的ResourceManager（RM）和若干個(gè)針對(duì)應(yīng)用程序的ApplicationMaster（AM）。這里的應(yīng)用程序是指傳統(tǒng)的MapReduce作業(yè)或作業(yè)的DAG（有向無環(huán)圖）。YARN分層結(jié)構(gòu)的本質(zhì)是ResourceManager。這個(gè)實(shí)體控制整個(gè)集群并管理應(yīng)用程序向基礎(chǔ)計(jì)算資源的分配。ResourceManager將各個(gè)資源部分（計(jì)算、內(nèi)存、帶寬等）精心安排給基礎(chǔ)NodeManager（YARN的每節(jié)點(diǎn)代理）。ResourceManager還與ApplicationMaster一起分配資源，與NodeManager一起啟動(dòng)和監(jiān)視它們的基礎(chǔ)應(yīng)