范圍…………………………規(guī)范性引用文 定義和術(shù) 縮略 大數(shù)據(jù)系統(tǒng)框 數(shù)據(jù)分 1分類過 分類視角及維 接口要 1概述…………總體要 功能要 數(shù)據(jù)收集模 數(shù)據(jù)預(yù)處理模 數(shù)據(jù)存儲(chǔ)模 數(shù)據(jù)處理模 數(shù)據(jù)分析模 數(shù)據(jù)可視化模 數(shù)據(jù)訪問模 資源管理模 系統(tǒng)管理模 非功能要 可靠性要 兼容性要 安全性要 可擴(kuò)展性要 維護(hù)性要 易用性要 功能測(cè)試? 分析支撐模塊功能測(cè) 數(shù)據(jù)分析模塊功能測(cè) 系統(tǒng)運(yùn)維和管理要 安裝部 配置管 租戶管 監(jiān)控告警管 11.5日志管 范圍本標(biāo)準(zhǔn)規(guī)定了大數(shù)據(jù)分析平臺(tái)研發(fā)過程中的設(shè)計(jì)、開發(fā)、測(cè)試、運(yùn)維等要求規(guī)范性引用文件下列文件中的條款通過本標(biāo)準(zhǔn)的引用而成為本標(biāo)準(zhǔn)的條款。凡是注日期的引用文件其隨后所有的修改單(不包括勘誤的內(nèi)容)或修訂版均不適用于本標(biāo)準(zhǔn)。凡是不注日期的引用文件，其最新版本適用于本標(biāo)準(zhǔn)。GBT'1.1-2020標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)GB/T'1.2-2020標(biāo)準(zhǔn)化工作導(dǎo)則2部分：以ISO/IEC標(biāo)準(zhǔn)化文件為基礎(chǔ)的標(biāo)準(zhǔn)化文件起草規(guī)則GB/T'35295-2017信息技術(shù)大數(shù)據(jù)術(shù)語GB/T38667-2020信息技術(shù)大數(shù)據(jù)數(shù)據(jù)分類指南GB/T'38672-2020信息技術(shù)大數(shù)據(jù)接口基本要求GB/T38673-2020信息技術(shù)大數(shù)據(jù)大數(shù)據(jù)系統(tǒng)基本要求定義和術(shù)語下列術(shù)語和定義適用于本標(biāo)準(zhǔn)大數(shù)據(jù)具有體量巨大、來源多樣、生成極快、且多變等特征并且難以用傳統(tǒng)數(shù)據(jù)體系結(jié)構(gòu)有效處理的包含大量數(shù)據(jù)集的數(shù)據(jù)注：國(guó)際上，大數(shù)據(jù)的4volume、variety、velocity予以表述，并分別賦予了它們?cè)诖髷?shù)據(jù)語境下的定義體?volume:構(gòu)成大數(shù)據(jù)的數(shù)據(jù)集的規(guī)模多樣性varicty:數(shù)據(jù)可能來自多個(gè)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)領(lǐng)域或多種數(shù)據(jù)類型速度velocity:單位時(shí)間的數(shù)據(jù)流量多變性variability:大數(shù)據(jù)其他特征，即體量、速度和多樣性等特征都處于多變狀態(tài)大數(shù)據(jù)參考體系結(jié)構(gòu)big?dataieference一種用作工具以便于對(duì)大數(shù)據(jù)內(nèi)在的要求、設(shè)計(jì)結(jié)構(gòu)和運(yùn)行進(jìn)行開放性探討的高層概念模型注：比較普遍認(rèn)同的大數(shù)據(jù)參考體系結(jié)構(gòu)一般包含系統(tǒng)協(xié)調(diào)者、數(shù)據(jù)提供者、大數(shù)據(jù)應(yīng)用提供者、大數(shù)據(jù)框架提供者和數(shù)據(jù)消費(fèi)者等5個(gè)邏輯功能構(gòu)件大數(shù)據(jù)分析平臺(tái)bigdataanalysi實(shí)現(xiàn)大數(shù)據(jù)參考體系結(jié)構(gòu)的全部或部分功能的平臺(tái)大數(shù)據(jù)分類big根據(jù)大數(shù)據(jù)的屬性或特征，將其按一定的原則和方法進(jìn)行區(qū)分和歸類，并建立起一定的分類體系和排列順序的過程數(shù)據(jù)分發(fā)data將原始數(shù)據(jù)、處理數(shù)據(jù)、分析結(jié)果等形式的數(shù)據(jù)傳遞給內(nèi)部或外部實(shí)體的過程注：數(shù)據(jù)分發(fā)包括線上或線下等多種方式，如數(shù)據(jù)交換、數(shù)據(jù)交易、數(shù)據(jù)共享、數(shù)據(jù)公開等租戶對(duì)一組物理和虛擬資源進(jìn)行共享訪問的一個(gè)或多個(gè)云服務(wù)用戶縮略語下列縮略語適用于本文件API:應(yīng)用程序接口(ApplicationProgarmminCPU:中央處理器CentralProcessing;Unit)GPU:圖形處理器Graphics.ProcessingUnit)DAG:有向無環(huán)圖DirectedAcyclicGraph)OLAP:聯(lián)機(jī)分析處理(On-LineAnalyticalREST:表述性狀態(tài)轉(zhuǎn)移(RepresentationalStateJSON:JSJavaScriptObjectNotation)SSD:Solid,StateDrives)XML:可擴(kuò)展置標(biāo)語言(ExtensibleMarkupLanguage)SQL:結(jié)構(gòu)化查詢語言(StructuiedQueiyLangu?ge)本標(biāo)準(zhǔn)參考“大數(shù)據(jù)參考架構(gòu)邏輯功能構(gòu)件劃分”,將大數(shù)據(jù)分析平臺(tái)分為數(shù)據(jù)收集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)訪問、數(shù)據(jù)可視化、資源管理、系統(tǒng)管理9個(gè)模塊。大數(shù)據(jù)分析平臺(tái)框架如圖1所示。數(shù)據(jù)訪問模 數(shù)據(jù)可視化模

數(shù)據(jù)處理模 數(shù)據(jù)存儲(chǔ)模1大數(shù)據(jù)分析平臺(tái)框架圖數(shù)據(jù)分類分類過程大數(shù)據(jù)分類過程分為分類規(guī)劃、分類準(zhǔn)備、分類實(shí)施、結(jié)果評(píng)估、維護(hù)改進(jìn)5階段如圖2分類規(guī) 分類準(zhǔn) 分類實(shí) 結(jié)果評(píng) 維護(hù)改選擇分類視 調(diào)研數(shù)據(jù)現(xiàn) 擬定實(shí)施流 核查實(shí)施過 變更控制定工作計(jì) 確定分類對(duì) 開發(fā)工具腳 訪談相關(guān)人 定期評(píng)

2大數(shù)據(jù)分類過程分類視角及維度大數(shù)據(jù)分類視角分為技術(shù)選型視角、業(yè)務(wù)應(yīng)用視角和安全隱私保護(hù)視角。從這三種視角給出不同的分類維度，以及用于描述每種分類維度的分類要素、數(shù)據(jù)類別和適用場(chǎng)景。根據(jù)本公司大數(shù)據(jù)應(yīng)用實(shí)際情況在此只詳細(xì)闡述業(yè)務(wù)應(yīng)用視角及其分類維度業(yè)務(wù)應(yīng)用視角業(yè)務(wù)應(yīng)用視角包括但不限于理清數(shù)據(jù)產(chǎn)生?源，明確數(shù)據(jù)權(quán)屬和訪問權(quán)限，便于數(shù)據(jù)追蹤溯源明確數(shù)據(jù)應(yīng)用場(chǎng)景，確定數(shù)據(jù)業(yè)務(wù)主題，判斷數(shù)據(jù)應(yīng)用價(jià)值，選擇數(shù)據(jù)分析方案明確數(shù)據(jù)分發(fā)場(chǎng)景確定數(shù)據(jù)應(yīng)用行業(yè)，明確可用數(shù)據(jù)的種類和范圍理清數(shù)據(jù)質(zhì)量情況，明確數(shù)據(jù)應(yīng)用需求，確定數(shù)據(jù)質(zhì)量管理方案業(yè)務(wù)應(yīng)用維度按產(chǎn)生來源分類.1概按產(chǎn)生來源分類是指根據(jù)數(shù)據(jù)產(chǎn)生的實(shí)際情景對(duì)數(shù)據(jù)進(jìn)行分類.2分類要按產(chǎn)生來源分類的要素包括數(shù)據(jù)產(chǎn)生主體，如人工、機(jī)器、傳感器、應(yīng)用軟件、信息系統(tǒng)等數(shù)據(jù)權(quán)屬，即數(shù)據(jù)所有權(quán)的歸屬.3按產(chǎn)生來源可劃分為：人為產(chǎn)生數(shù)據(jù)、交易平臺(tái)數(shù)據(jù)、物聯(lián)網(wǎng)感知數(shù)據(jù)、系統(tǒng)運(yùn)行日志數(shù)據(jù)等.4按產(chǎn)生來源分類的適用場(chǎng)景，如根據(jù)數(shù)據(jù)來源確定數(shù)據(jù)歸集策略、預(yù)測(cè)服務(wù)提供和數(shù)據(jù)交易定價(jià)等。按業(yè)務(wù)歸屬分類1概按業(yè)務(wù)歸屬分類是指根據(jù)數(shù)據(jù)所屬的業(yè)務(wù)類型對(duì)數(shù)據(jù)進(jìn)行分類分類要按業(yè)務(wù)歸屬分類的要素包括分類主體的業(yè)務(wù)類型劃分，如生產(chǎn)類業(yè)務(wù)、管理類業(yè)務(wù)、經(jīng)營(yíng)分析類業(yè)務(wù)生成數(shù)據(jù)的業(yè)務(wù)所屬的職能，如產(chǎn)品研發(fā)、市場(chǎng)營(yíng)銷、財(cái)務(wù)管理、人力管理等生產(chǎn)數(shù)據(jù)的具體業(yè)務(wù)，如會(huì)員注冊(cè)、商品交易等.3類按業(yè)務(wù)歸屬可劃分為：生產(chǎn)類業(yè)務(wù)數(shù)據(jù)、管理類業(yè)務(wù)數(shù)據(jù)、經(jīng)營(yíng)分析類業(yè)務(wù)數(shù)據(jù)等按業(yè)務(wù)歸屬分類的適用場(chǎng)景，如按業(yè)務(wù)屬性評(píng)價(jià)數(shù)據(jù)應(yīng)用價(jià)值等按流通類型分類.1概按流通類型分類是指根據(jù)數(shù)據(jù)在流通交易過程中的交易類型進(jìn)行分類分類要素按流通類型分類的要素包括數(shù)據(jù)權(quán)責(zé)：即數(shù)據(jù)需求方可獲取的數(shù)據(jù)權(quán)益，如所有權(quán)、經(jīng)銷權(quán)、使用權(quán)、可復(fù)制權(quán)等計(jì)費(fèi)方式，即數(shù)據(jù)供應(yīng)方和數(shù)據(jù)需求方之間計(jì)算數(shù)據(jù)交易費(fèi)用的方式，如按使用量計(jì)費(fèi)、按使用時(shí)長(zhǎng)計(jì)費(fèi)等交付內(nèi)容，即數(shù)據(jù)供應(yīng)方向數(shù)據(jù)需求方提供的數(shù)據(jù)內(nèi)容，如原始數(shù)據(jù)集、數(shù)據(jù)分析報(bào)告等行業(yè)主題，即流通數(shù)據(jù)所屬的行業(yè)領(lǐng)域，如農(nóng)業(yè)、醫(yī)療、交通、科研等敏感程度，即流通數(shù)據(jù)是否涉及國(guó)家秘密、行業(yè)秘密、企業(yè)秘密或個(gè)人隱私等如公開數(shù)據(jù)、脫敏數(shù)據(jù)、涉密數(shù)據(jù)等類按流通類型可劃分為：可直接交易數(shù)據(jù)、間接交易數(shù)據(jù)、不可交易數(shù)據(jù)等適用場(chǎng)景按流通類型分類的適用場(chǎng)景，如以大數(shù)據(jù)分析和大數(shù)據(jù)交易為經(jīng)營(yíng)內(nèi)容的企業(yè)進(jìn)行產(chǎn)品規(guī)劃等.1概按行業(yè)領(lǐng)域分類是指根據(jù)數(shù)據(jù)內(nèi)容所屬的行業(yè)領(lǐng)域范疇對(duì)數(shù)據(jù)進(jìn)行分類按行業(yè)領(lǐng)域分類的要素包括數(shù)據(jù)產(chǎn)生行業(yè)，即產(chǎn)生數(shù)據(jù)的活動(dòng)所屬的國(guó)民經(jīng)濟(jì)行業(yè)數(shù)據(jù)應(yīng)用行業(yè)，即分析和使用數(shù)據(jù)的活動(dòng)所屬的國(guó)民經(jīng)濟(jì)行業(yè).3類按行業(yè)領(lǐng)域分類可劃分的類別見GB/T4754-2017按行業(yè)領(lǐng)域分類的適用場(chǎng)景，如環(huán)保、衛(wèi)生醫(yī)療、水文等行業(yè)大數(shù)據(jù)分析等按數(shù)據(jù)質(zhì)量分類.1概按數(shù)據(jù)質(zhì)量分類是指根據(jù)數(shù)據(jù)的質(zhì)量差異對(duì)數(shù)據(jù)進(jìn)行分類分類要按數(shù)據(jù)質(zhì)量分類的要素包括數(shù)據(jù)的準(zhǔn)確性，即數(shù)據(jù)是否存在異常、錯(cuò)誤或過時(shí)數(shù)據(jù)的完整性，即數(shù)據(jù)是否存在缺失及缺失程度數(shù)據(jù)的一致性，即數(shù)據(jù)內(nèi)容是否遵循統(tǒng)一規(guī)范數(shù)據(jù)的及時(shí)性，即所需數(shù)據(jù)是否及時(shí)到達(dá)目標(biāo)應(yīng)用數(shù)據(jù)的重復(fù)性，即是否存在大量重復(fù)數(shù)據(jù)按數(shù)據(jù)質(zhì)量可劃分為：高質(zhì)量數(shù)據(jù)、普通質(zhì)量數(shù)據(jù)、低質(zhì)量數(shù)據(jù)等適用場(chǎng)景按數(shù)據(jù)質(zhì)量分類的適用場(chǎng)景，如根據(jù)不同數(shù)據(jù)質(zhì)量的比例確定數(shù)據(jù)利用的價(jià)值和數(shù)據(jù)質(zhì)量管理工作難易程度等接口要1概在數(shù)據(jù)提供者、數(shù)據(jù)消費(fèi)者、大數(shù)據(jù)應(yīng)用提供者、大數(shù)據(jù)框架提供者、安全和隱私、管理模塊之間存在豐富的接，支持模塊間的信息傳遞和互操作，對(duì)大數(shù)據(jù)系統(tǒng)集成、兼容性、互操作性有著重要影響。模塊內(nèi)的組件間也有接口支持組件間的互操作。按照所連接的模塊可以對(duì)接口進(jìn)行分類如下：接口1:數(shù)據(jù)提供者與大數(shù)據(jù)應(yīng)用提供者之間的接口接口2:數(shù)據(jù)消費(fèi)者與大數(shù)據(jù)應(yīng)用提供者間的接口接口3:大數(shù)據(jù)應(yīng)用提供者與大數(shù)據(jù)框架提供者之間的接口接口4:管理模塊與其他模塊(數(shù)據(jù)提供者、數(shù)據(jù)消費(fèi)者、大數(shù)據(jù)應(yīng)用提供者大數(shù)據(jù)框架提供者、安全和隱私)間的接口接口5:安全和隱私模塊與其他模塊(數(shù)據(jù)提供者、數(shù)據(jù)消費(fèi)者、大數(shù)據(jù)應(yīng)用提供者、大數(shù)據(jù)框架提供者、管理)間的接口總體要求各類接口應(yīng)滿足如下總體要求開放性：符合產(chǎn)業(yè)習(xí)慣兼容主流開源接口減小接口定制化帶來的重新設(shè)計(jì)適配成本易用性：盡可能設(shè)計(jì)成抽象程度高、屏蔽底層實(shí)現(xiàn)、語法易理解的接口擴(kuò)展性：同一接口可通過增加函數(shù)、操作符、語句等形式支持新的功能功能要求數(shù)據(jù)收集模塊數(shù)據(jù)收集模塊要求如下應(yīng)提供數(shù)據(jù)導(dǎo)入功能支持結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)導(dǎo)入應(yīng)支持離線數(shù)據(jù)導(dǎo)入和實(shí)時(shí)數(shù)據(jù)導(dǎo)入應(yīng)支持全量數(shù)據(jù)導(dǎo)入和增量數(shù)據(jù)導(dǎo)入應(yīng)提供自動(dòng)定時(shí)導(dǎo)入數(shù)據(jù)功能宜提供開放的數(shù)據(jù)導(dǎo)入宜提供圖形界面實(shí)現(xiàn)數(shù)據(jù)導(dǎo)入功能數(shù)據(jù)預(yù)處理模塊數(shù)據(jù)預(yù)處理模塊要求如下應(yīng)提供數(shù)據(jù)抽取功能，支持對(duì)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行抽??；應(yīng)提供數(shù)據(jù)清洗功能，支持對(duì)不一致數(shù)據(jù)、無效數(shù)據(jù)、缺失數(shù)據(jù)和重復(fù)數(shù)據(jù)的處理應(yīng)提供結(jié)構(gòu)化數(shù)據(jù)的列轉(zhuǎn)換、行轉(zhuǎn)換和表轉(zhuǎn)換功能應(yīng)提供數(shù)據(jù)加載功能，支持將經(jīng)過清洗和轉(zhuǎn)換的數(shù)據(jù)加載到數(shù)據(jù)分析模塊宜提供清洗前后的數(shù)據(jù)比對(duì)功能宜支持非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)轉(zhuǎn)換功能數(shù)據(jù)存儲(chǔ)模塊數(shù)據(jù)存儲(chǔ)模塊要求如下應(yīng)提供數(shù)據(jù)存儲(chǔ)功能，支持結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)應(yīng)提供與關(guān)系型數(shù)據(jù)庫(kù)、其他文件系統(tǒng)之間交換數(shù)據(jù)或文件的功能支持分布式文件存儲(chǔ)，實(shí)現(xiàn)以下功能應(yīng)支持文件系統(tǒng)基本操作，包括上傳、下載、讀寫、復(fù)制、移動(dòng)、刪除重命名、權(quán)限修改等應(yīng)提供數(shù)據(jù)塊多副本存儲(chǔ)、恢復(fù)功能宜支持文件快速檢索功能，支持?jǐn)?shù)據(jù)資源的統(tǒng)一檢索、編目、增加和刪除操作宜支持?jǐn)?shù)據(jù)壓縮存儲(chǔ)功能支持分布式列式數(shù)據(jù)存儲(chǔ)，實(shí)現(xiàn)以下功能應(yīng)支持以鍵值形式存儲(chǔ)數(shù)據(jù)的功能宜支持基于表、列族和列的用戶權(quán)限管理功能，權(quán)限管理操作包括讀、寫創(chuàng)建等支持分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，實(shí)現(xiàn)以下功能宜支持結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)，保證數(shù)據(jù)存儲(chǔ)的可擴(kuò)展性和一致性宜提供API實(shí)現(xiàn)數(shù)據(jù)的各類查詢操作宜支持多表關(guān)聯(lián)支持分布式圖數(shù)據(jù)存儲(chǔ)，實(shí)現(xiàn)以下功能宜支持由節(jié)點(diǎn)及邊組成的數(shù)據(jù)模型宜支持圖查詢，支持單節(jié)點(diǎn)、多節(jié)點(diǎn)多層關(guān)系的擴(kuò)線查詢宜支持圖遍歷，支持最短路徑、最優(yōu)路徑遍歷查詢宜支持圖分析數(shù)據(jù)處理模塊數(shù)據(jù)處理模塊要求如下支持批處理框架，實(shí)現(xiàn)以下功能應(yīng)支持結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的離線分析應(yīng)支持多節(jié)點(diǎn)離線任務(wù)聯(lián)動(dòng)執(zhí)行應(yīng)支持分散-聚集的處理方式宜支持多種開發(fā)語言接口支持流處理框架，實(shí)現(xiàn)以下功能宜提供實(shí)時(shí)計(jì)算功能，并將計(jì)算結(jié)果輸出到消息隊(duì)列或持久化應(yīng)支持采用滑動(dòng)窗口方式的實(shí)時(shí)分析任務(wù)，時(shí)間窗口大小可調(diào)應(yīng)提供容錯(cuò)機(jī)制，出現(xiàn)故障時(shí)，可對(duì)故障進(jìn)行處理宜提供用戶級(jí)別的訪問控制功能，支持對(duì)消息處理任務(wù)進(jìn)行創(chuàng)建、瀏覽中止、恢復(fù)等操作，并記錄操作日志宜支持圖計(jì)算框架，實(shí)現(xiàn)以下功能內(nèi)置圖數(shù)據(jù)查詢類API,支持同步或異步計(jì)算模型編寫迭代算法在線圖分析和查詢功能基于屬性圖模型的圖數(shù)據(jù)表達(dá)，包含節(jié)點(diǎn)/邊上的標(biāo)簽和屬性類型定義內(nèi)置常用圖指標(biāo)計(jì)算功能，用以描述圖的拓?fù)浣Y(jié)構(gòu)特征宜支持內(nèi)存計(jì)算，實(shí)現(xiàn)以下功能通過分布式內(nèi)存計(jì)算和DAG執(zhí)行引擎提供數(shù)據(jù)處理能力支持多種數(shù)據(jù)類型，包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)處理宜支持批流融合計(jì)算框架，實(shí)現(xiàn)以下功能批流融合統(tǒng)一查詢SQL語言多場(chǎng)景下的流式SQL,如位置信息分析等常用時(shí)間窗口，包括跳躍窗口、滑動(dòng)窗口等宜支持按照任務(wù)間的依賴關(guān)系自動(dòng)調(diào)度任務(wù)宜支持以有向無環(huán)圖形式描述作業(yè)內(nèi)多任務(wù)的依賴關(guān)系宜提供對(duì)復(fù)雜任務(wù)的調(diào)度能力數(shù)據(jù)分析模塊數(shù)據(jù)分析模塊要求如下支持?jǐn)?shù)據(jù)查詢，實(shí)現(xiàn)以下功能應(yīng)提供通過標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)連接接口進(jìn)行查詢的功能應(yīng)提供通過RESTAPI查詢接口進(jìn)行查詢的功能應(yīng)提供建立數(shù)據(jù)索引的功能，達(dá)到查詢加速的效果應(yīng)支持精確查詢和模糊查詢功能支持機(jī)器學(xué)習(xí)，實(shí)現(xiàn)以下功能應(yīng)提供數(shù)據(jù)集管理功能，可將數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集應(yīng)提供機(jī)器學(xué)習(xí)模型導(dǎo)入和導(dǎo)出功能應(yīng)提供常用機(jī)器學(xué)習(xí)算法宜支持集成第三方機(jī)器學(xué)習(xí)算法支持統(tǒng)計(jì)分析，實(shí)現(xiàn)以下功能應(yīng)提供基本數(shù)值統(tǒng)計(jì)，如最大值、最小值、求和、總數(shù)等統(tǒng)計(jì)量應(yīng)提供數(shù)據(jù)集中趨勢(shì)統(tǒng)計(jì)，如平均數(shù)、中位數(shù)、眾數(shù)等統(tǒng)計(jì)量宜提供數(shù)據(jù)離散程度統(tǒng)計(jì)，如極差、方差、標(biāo)準(zhǔn)差等統(tǒng)計(jì)量宜提供隨機(jī)變量關(guān)系的統(tǒng)計(jì)，如協(xié)方差、相關(guān)系統(tǒng)等統(tǒng)計(jì)量支持離線數(shù)據(jù)分析，實(shí)現(xiàn)以下功能應(yīng)支持結(jié)構(gòu)化查詢語言應(yīng)支持分布式計(jì)算或并行計(jì)算等計(jì)算框架宜支持對(duì)海量工作任務(wù)的切分和分布式調(diào)度支持流數(shù)據(jù)分析，實(shí)現(xiàn)以下功能應(yīng)提供按時(shí)間切片進(jìn)行批量處理的功能應(yīng)支持基于事件觸發(fā)或者采樣的流式處理宜支持實(shí)時(shí)流上的數(shù)據(jù)統(tǒng)計(jì)宜支持流式數(shù)據(jù)的排序宜支持與靜態(tài)表之間的關(guān)聯(lián)宜支持多個(gè)數(shù)據(jù)流的關(guān)聯(lián)處理宜支持交互式聯(lián)機(jī)分析，實(shí)現(xiàn)以下功能通過結(jié)構(gòu)化查詢語言對(duì)數(shù)據(jù)進(jìn)行分布式的聯(lián)機(jī)分析，如OLAP等通過結(jié)構(gòu)化查詢語言對(duì)數(shù)據(jù)進(jìn)行即席查詢利用可視化中間件對(duì)數(shù)據(jù)分析結(jié)果進(jìn)行顯示在交互式分析過程中定義計(jì)算公式和參數(shù)配置在交互式分析過程中自動(dòng)保存和回退在交互式分析過程中對(duì)分析結(jié)果的保存和發(fā)布基于在線聯(lián)機(jī)分析的交互式數(shù)據(jù)分析宜支持可視化的流程編排操作，實(shí)現(xiàn)以下功能通過拖拽方式進(jìn)行流程編排和修訂支持工作流調(diào)度觸發(fā)機(jī)制，可配置觸發(fā)時(shí)間或觸發(fā)事件支持流程編排結(jié)果的持久化保存可視化模塊要求如下應(yīng)支持使用常規(guī)圖表展示數(shù)據(jù)如表格、柱狀圖、餅圖、折線圖、熱力圖等宜支持第三方數(shù)據(jù)可視化工具的API數(shù)據(jù)訪問模塊數(shù)據(jù)訪問模塊應(yīng)支持相應(yīng)的訪問接口，以便于第三方應(yīng)用程序使用大數(shù)據(jù)平臺(tái)的數(shù)據(jù)資源管理模塊資源管理模塊要求如下應(yīng)提供CPU、內(nèi)存等資源的調(diào)度和配置功能應(yīng)提供對(duì)全局資源的集中管理功能應(yīng)支持靜態(tài)資源分配策略和動(dòng)態(tài)資源分配策略應(yīng)支持資源的彈性和搶占，即有空閑資源時(shí)，租戶可使用超過其配置上限的資源，系統(tǒng)繁忙時(shí)，若租戶使用的資源未達(dá)到其原始配置，則可搶占其他租戶使用資源的超出部分宜提供設(shè)置任務(wù)優(yōu)先級(jí)的功能，并按任務(wù)優(yōu)先級(jí)對(duì)資源進(jìn)行調(diào)度宜支持多層次的隊(duì)列資源管理，隊(duì)列資源實(shí)現(xiàn)隔離，即不為隊(duì)列分配超過其資源上限的資源宜提供根據(jù)作業(yè)需求動(dòng)態(tài)分配計(jì)算資源，自動(dòng)管理回收資源功能系統(tǒng)管理模塊系統(tǒng)管理模塊要求如下應(yīng)提供配置管理功能，包括對(duì)大數(shù)據(jù)集群軟硬件資源的配置管理，支持配置管理的分角色、分組管理及自動(dòng)化應(yīng)提供租戶管理功能，包括租戶的角色、權(quán)限、資源等功能應(yīng)提供監(jiān)控告警管理功能，包括多維度、可視化的大數(shù)據(jù)平臺(tái)的監(jiān)控、告警等宜提供健康檢查管理功能，支持以圖形界面方式實(shí)現(xiàn)集群健康檢查非功能要求1.1高可高可用要求如下應(yīng)提供系統(tǒng)自動(dòng)故障探測(cè)及管理功能應(yīng)確保系統(tǒng)組件不存在單點(diǎn)故障風(fēng)險(xiǎn)集群任意節(jié)點(diǎn)發(fā)生故障時(shí)，不應(yīng)出現(xiàn)服務(wù)中斷、數(shù)據(jù)丟失或數(shù)據(jù)不一致的情況集群任意節(jié)點(diǎn)發(fā)生故障時(shí)，系統(tǒng)操作應(yīng)不受影響應(yīng)保證系統(tǒng)長(zhǎng)期無故障不間斷運(yùn)行數(shù)據(jù)冗余存儲(chǔ)與分布應(yīng)提供元數(shù)據(jù)多副本存應(yīng)提供元數(shù)據(jù)多副本存儲(chǔ)功能，任意節(jié)點(diǎn)發(fā)生故障時(shí)不影響系統(tǒng)繼續(xù)提供服的能應(yīng)提供基于分區(qū)容錯(cuò)的應(yīng)提供基于分區(qū)容錯(cuò)的主副本規(guī)劃功能，具有提前規(guī)劃各副本數(shù)據(jù)物理分布數(shù)據(jù)備份和恢復(fù)要求如下應(yīng)提供分布式文件存儲(chǔ)備份和恢復(fù)功能應(yīng)提供分布式結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)備份和恢復(fù)功能應(yīng)提供分布式列式存儲(chǔ)備份和恢復(fù)功能宜支持?jǐn)?shù)據(jù)全量備份和增量備份宜支持?jǐn)?shù)據(jù)自動(dòng)備份和手動(dòng)備份故障恢復(fù)和遷移故障恢復(fù)與遷移要求如下任意節(jié)點(diǎn)發(fā)生故障后，系統(tǒng)應(yīng)提供將修復(fù)后的節(jié)點(diǎn)接回系統(tǒng)的能力故障恢復(fù)與遷移過程不應(yīng)影響系統(tǒng)用戶數(shù)據(jù)的完整性與一致性故障恢復(fù)與遷移過程不應(yīng)影響系統(tǒng)整體服務(wù)能力大數(shù)據(jù)平臺(tái)應(yīng)兼容不同品牌的操作系統(tǒng)9.3.1用戶用戶管理要求如下應(yīng)對(duì)登錄用戶進(jìn)行身份標(biāo)識(shí)和鑒別，保證用戶身份標(biāo)識(shí)唯一性用戶身份鑒別信息應(yīng)滿足一定的復(fù)雜度要求，并定期更換應(yīng)提供登錄失敗處理措施如結(jié)束會(huì)話、限制非法登錄次數(shù)、登錄連接超時(shí)動(dòng)退出等措施9.3.2權(quán)限管理要求如下應(yīng)以系統(tǒng)組件為單位配置角色和用戶應(yīng)按照權(quán)限最小化的原則為用戶配置權(quán)限應(yīng)支持按照數(shù)據(jù)表級(jí)、數(shù)據(jù)列級(jí)的粒度為用戶分配權(quán)限應(yīng)支持按照不同操作類型(如增、刪、改、查、執(zhí)行等)為用戶分配權(quán)限.3日志管理日志管理要求如下應(yīng)提供記錄系統(tǒng)操作日志功能，記錄用戶的重要操作應(yīng)保證系統(tǒng)操作日志無法刪除、修改或被覆蓋操作日志應(yīng)包括日期、時(shí)間、操作者信息、操作類型、操作描述和操作結(jié)果等應(yīng)提供對(duì)系統(tǒng)操作日志進(jìn)行統(tǒng)計(jì)、查詢、分析及生成報(bào)表的功能9.3.4數(shù)據(jù)安全要求如下應(yīng)提供數(shù)據(jù)存儲(chǔ)加解密功能，支持?jǐn)?shù)據(jù)庫(kù)級(jí)數(shù)據(jù)加密應(yīng)提供系統(tǒng)敏感數(shù)據(jù)加密傳輸功能，并且加密密鑰可被替換宜支持?jǐn)?shù)據(jù)列級(jí)的數(shù)據(jù)加密可擴(kuò)展性要求系統(tǒng)可擴(kuò)展性要求如下應(yīng)提供集群在線擴(kuò)容和減容功能應(yīng)提供集群離線擴(kuò)容和減容功能系統(tǒng)可維護(hù)性要求如下應(yīng)提供安裝部署管理功能，對(duì)大數(shù)據(jù)集群中管理節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)軟件進(jìn)行安裝部署應(yīng)提供查看系統(tǒng)版本信息的功能應(yīng)提供系統(tǒng)在線升級(jí)功能，支持單組件升級(jí)、升級(jí)過程中回滾等應(yīng)提供錯(cuò)誤診斷功能，發(fā)生錯(cuò)誤時(shí)可提供準(zhǔn)確的診斷信息以便于定位錯(cuò)誤應(yīng)提供各類計(jì)算任務(wù)運(yùn)行進(jìn)度、狀態(tài)的實(shí)時(shí)跟蹤及上報(bào)功能宜提供系統(tǒng)降級(jí)功能，支持單組件降級(jí)、降級(jí)過程中回退等易用性要求系統(tǒng)易用性要求如下應(yīng)提供圖形界面的系統(tǒng)安裝配置工具以便于系統(tǒng)部署應(yīng)提供完整的產(chǎn)品文檔，包括但不限于安裝部署手冊(cè)、管理員使用手冊(cè)、應(yīng)用開發(fā)指南、用戶操作手冊(cè)等功能測(cè)試要求根據(jù)本公司大數(shù)據(jù)分析平臺(tái)實(shí)際應(yīng)用情況在本部分中只對(duì)分析支撐模塊功能測(cè)試和數(shù)據(jù)分析模塊功能測(cè)試作具體要求分析支撐模塊功能測(cè)試查詢功能測(cè)試1.1.1查詢接口測(cè)試查詢接口測(cè)試要求如下應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持通過標(biāo)準(zhǔn)的數(shù)據(jù)庫(kù)連接接口進(jìn)行查詢應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持RESTAPI查詢接口進(jìn)行查詢查詢優(yōu)化測(cè)試要求如下應(yīng)通過建立數(shù)據(jù)索引測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否達(dá)到查詢加速的效果應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持精準(zhǔn)查詢和模糊查詢應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持基于規(guī)則或者基于成本的查詢優(yōu)化應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持?jǐn)?shù)據(jù)分片和多副本技術(shù)應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持通過SQL進(jìn)行復(fù)雜條件高并發(fā)查詢應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持二級(jí)索引機(jī)器學(xué)習(xí)功能測(cè)試數(shù)據(jù)集管理功能測(cè)試要求如下應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否能夠?qū)⑤斎霐?shù)據(jù)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集應(yīng)通過將訓(xùn)練、驗(yàn)證過的模型導(dǎo)入到大數(shù)據(jù)分析平臺(tái)中，以及將大數(shù)據(jù)平臺(tái)中訓(xùn)練所得的模型導(dǎo)出的操作，測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否提供及其學(xué)習(xí)模型的導(dǎo)入和導(dǎo)出的功能。支持算法測(cè)試支持算法測(cè)試要求如下應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持回歸與分類算法應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持聚類算法應(yīng)測(cè)試大數(shù)據(jù)分tr平臺(tái)分析支撐模塊是否支持協(xié)同過濾算法應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持降維算法應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持頻繁模式挖掘算法應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持神經(jīng)網(wǎng)絡(luò)算法應(yīng)通過檢查是否具有特征提取、特征轉(zhuǎn)換、特征選擇、模型選擇、交?驗(yàn)證模型調(diào)優(yōu)組件測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否提供機(jī)器學(xué)習(xí)流程的其他組件應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持Java、Scala、Python、R等一種或多種語言，并且是否支持二次開發(fā)增加新的算子模型評(píng)估功能測(cè)試應(yīng)通過檢查機(jī)器學(xué)習(xí)模塊中包含交叉驗(yàn)證、模型選擇等核心評(píng)估組件測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否能夠支持算法模型的評(píng)估模塊。統(tǒng)計(jì)分析功能測(cè)試統(tǒng)計(jì)分析功能測(cè)試要求如下應(yīng)通過計(jì)算最大值、最小值、求和、總數(shù)等統(tǒng)計(jì)量測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持基本的數(shù)值統(tǒng)計(jì)應(yīng)通過計(jì)算平均數(shù)、中位數(shù)、眾數(shù)等統(tǒng)計(jì)量測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持分析數(shù)據(jù)集中趨勢(shì)的統(tǒng)計(jì)應(yīng)通過計(jì)算極差、方差、標(biāo)準(zhǔn)差等統(tǒng)計(jì)量測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持分析數(shù)據(jù)離散程度的統(tǒng)計(jì)應(yīng)通過計(jì)算協(xié)方差、相關(guān)系數(shù)等統(tǒng)計(jì)量測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持分析多個(gè)隨機(jī)變量的關(guān)系應(yīng)通過保存常用的統(tǒng)計(jì)分析方案測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持統(tǒng)計(jì)分析的自定義模板能力可視化功能測(cè)試可視化功能測(cè)試要求如下應(yīng)通過以Excel、關(guān)系型數(shù)據(jù)庫(kù)、JSON、XML格式輸入測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持常見的數(shù)據(jù)源數(shù)據(jù)格式作為輸入應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持對(duì)高維數(shù)據(jù)的可視化展示應(yīng)通過檢查是否可以以柱狀圖、餅圖、折線圖等方式展示測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持可視化分析工具庫(kù)應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)分析支撐模塊是否支持算法模型的評(píng)估相關(guān)的可視化工具數(shù)據(jù)分析模塊功能測(cè)試離線數(shù)據(jù)分析功能測(cè)試離線數(shù)據(jù)分析功能測(cè)試要求如下應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持結(jié)構(gòu)化查詢語言應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持對(duì)離線數(shù)據(jù)的分布式分析應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否具有通過標(biāo)準(zhǔn)接口支持第三方應(yīng)用的能力應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持分布式計(jì)算或并行計(jì)算等計(jì)算框架應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持對(duì)海量工作任務(wù)的切分和分布式調(diào)度應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持集成第三方的機(jī)器學(xué)習(xí)算法庫(kù)應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持使用內(nèi)存SSD存儲(chǔ)作為緩存應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持分布式執(zhí)行計(jì)劃層面的優(yōu)化應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持對(duì)文本類、音視頻類以及圖像類數(shù)據(jù)的分析應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持對(duì)關(guān)系型數(shù)據(jù)庫(kù)和大數(shù)據(jù)存儲(chǔ)系統(tǒng)中的數(shù)據(jù)源進(jìn)行交叉查詢、聚合關(guān)聯(lián)操作的能力應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊否支持使用GPU流數(shù)據(jù)分析功能測(cè)試流數(shù)據(jù)分析功能測(cè)試要求如下應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持按時(shí)間切片后進(jìn)行批量處理應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持基于事件觸發(fā)或者采樣的流式處理應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持實(shí)時(shí)流上的數(shù)據(jù)統(tǒng)計(jì)應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持流式數(shù)據(jù)的排序應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持與靜態(tài)表之間的關(guān)聯(lián)應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持多個(gè)數(shù)據(jù)流的關(guān)聯(lián)處理應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持采用滑動(dòng)窗口方式的實(shí)時(shí)分析任務(wù)，并測(cè)試其時(shí)間窗口大小是否可調(diào)應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持實(shí)時(shí)數(shù)據(jù)的分組、優(yōu)先級(jí)調(diào)度應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持對(duì)文本類、音視頻類以及圖像類數(shù)據(jù)的分析交互式聯(lián)機(jī)分析功能測(cè)試交互式聯(lián)機(jī)分析功能測(cè)試要求如下應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持通過結(jié)構(gòu)化查詢語言對(duì)數(shù)據(jù)進(jìn)行分布式的聯(lián)機(jī)分析應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持通過結(jié)構(gòu)化查詢語言對(duì)數(shù)據(jù)進(jìn)行即席查詢應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持利用可視化中間件對(duì)數(shù)據(jù)分析結(jié)果進(jìn)行顯示應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持在交互式分析過程中定義計(jì)算公式和參數(shù)配置應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持交互式分析過程的自動(dòng)保存和回退等操作應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持在交互式分析過程中對(duì)分析結(jié)果的保存和發(fā)布應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持基于在線聯(lián)機(jī)分析的交互式數(shù)據(jù)分析應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持對(duì)非結(jié)構(gòu)化數(shù)據(jù)的分析分析類型測(cè)試預(yù)測(cè)型分析功能測(cè)試預(yù)測(cè)型分析功能測(cè)試要求如下應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持趨勢(shì)預(yù)測(cè)、回歸分析等多種預(yù)測(cè)分析方法應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持準(zhǔn)確率以百分比數(shù)值化形式呈現(xiàn)并測(cè)試是否精確到小數(shù)點(diǎn)后至少1應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持使用可視化方式進(jìn)行顯示分析結(jié)果應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持對(duì)訓(xùn)練好的模型的發(fā)布應(yīng)用描述型分析功能測(cè)試描述型分析功能測(cè)試要求如下應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持使用相關(guān)關(guān)系分析方法進(jìn)行描述型分析應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持可視化展示樣本數(shù)據(jù)的分析結(jié)果，是否支持展示模型訓(xùn)練效果，是否支持對(duì)訓(xùn)練好的模型可存儲(chǔ)和發(fā)布應(yīng)測(cè)試大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)分析模塊是否支持結(jié)果的良好直觀呈現(xiàn)系統(tǒng)運(yùn)維和管理要求大數(shù)據(jù)平臺(tái)的運(yùn)維和管理功能由GB/T38673-2020給出的大數(shù)據(jù)系統(tǒng)框架中描述的系統(tǒng)管理模塊提供。本標(biāo)準(zhǔn)中對(duì)于系統(tǒng)運(yùn)維和管理要求從安裝部署、配置管理、租戶管理、監(jiān)控告警和日志管理五個(gè)方面作功能具體要求。安裝部署安裝部署功能要求如下應(yīng)提供圖形化界面自動(dòng)進(jìn)行系統(tǒng)及服務(wù)組件的安裝/卸載應(yīng)支持通過一種或多種方式進(jìn)行服務(wù)部署，如模板、部署方案及自定義等方式應(yīng)支持集群部署時(shí)自動(dòng)掃描及手動(dòng)方式添加節(jié)點(diǎn)應(yīng)支持安裝前對(duì)軟、硬件等進(jìn)行配置和檢測(cè)功能，如服務(wù)器、客戶安裝的操作系統(tǒng)等應(yīng)支持系統(tǒng)基于不同架構(gòu)的硬件環(huán)境進(jìn)行安裝部署應(yīng)支持系統(tǒng)部署(安裝/修復(fù)/升級(jí))失敗給出修復(fù)方式，如重試、回退等方式應(yīng)支持系統(tǒng)的安裝/升級(jí)操作具備容錯(cuò)能力，不因個(gè)別節(jié)點(diǎn)的故障導(dǎo)致整個(gè)過程的失敗應(yīng)支持自動(dòng)化打通集群內(nèi)部節(jié)點(diǎn)無SSH的能力應(yīng)支持自動(dòng)識(shí)別、格式化、掛載各類型磁盤的能力應(yīng)具備設(shè)置機(jī)房斷電恢復(fù)后服務(wù)快速恢復(fù)運(yùn)行的能力k)應(yīng)支持多集群多服務(wù)1)應(yīng)支持開發(fā)工具包、數(shù)據(jù)庫(kù)、身份認(rèn)證等部件的預(yù)集成應(yīng)支持與第三方管?平臺(tái)對(duì)接或提供開放API自定義服務(wù)組件接入應(yīng)支持管理節(jié)點(diǎn)主備部署方式，主節(jié)點(diǎn)失效不影響對(duì)外功能應(yīng)支持主備節(jié)點(diǎn)自動(dòng)切換，當(dāng)?節(jié)點(diǎn)失效時(shí)，備節(jié)點(diǎn)主動(dòng)接管主節(jié)點(diǎn)服務(wù)應(yīng)提供主備節(jié)點(diǎn)數(shù)據(jù)同步機(jī)制宜支持在集群不重啟的情況下增加、刪除節(jié)點(diǎn)宜支持設(shè)