云平臺(tái)人工智能建模系統(tǒng)框架及功能要求目 次前 言 II范圍 1規(guī)范性引用文件 1術(shù)語(yǔ)和定義 1云平臺(tái) 1人工智能建模系統(tǒng) 1算子 1特征工程 1縮略語(yǔ) 2功能構(gòu)成 2概述 2數(shù)據(jù)導(dǎo)入導(dǎo)出 2數(shù)據(jù)預(yù)覽與探索 3數(shù)據(jù)預(yù)處理 3特征工程 3算法選擇 4模型訓(xùn)練與評(píng)估 4模型管理 5模型市場(chǎng) 5工作流調(diào)度 6參考文獻(xiàn) 7I云平臺(tái)人工智能建模系統(tǒng)功能要求范圍本文件規(guī)定了云平臺(tái)人工智能建模系統(tǒng)的各組件功能要求。規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T5271.31-2006信息技術(shù)詞匯第31部分：人工智能機(jī)器學(xué)習(xí)GB/T5271.34-2006信息技術(shù)詞匯第34部分：人工智能神經(jīng)網(wǎng)絡(luò)術(shù)語(yǔ)和定義GB/T5271.31-2006，GB/T5271.34-2006界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1云平臺(tái)3.2人工智能建模系統(tǒng)3.3算子構(gòu)成人工智能建模算法的計(jì)算單元。3.4特征工程利用領(lǐng)域知識(shí)從原始數(shù)據(jù)中提取特征的過(guò)程。1縮略語(yǔ)下列縮略語(yǔ)適用于本文件。AI：人工智能（ArtificialIntelligence）DAG：有向無(wú)環(huán)圖（DirectedAcyclicGraph）NLP：自然語(yǔ)言處理（NaturalLanguageProcessing）JDBC：Java數(shù)據(jù)庫(kù)連接（JavaDatabaseConnectivity）HDFS：Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem）SQL：結(jié)構(gòu)化查詢(xún)語(yǔ)言（StructuredQueryLanguage）API：應(yīng)用程序接口（ApplicationProgrammingInterface）ROC：接收者操作特征（ReceiverOperatingCharacteristic）PR：查全率（Precision-Recall）REST：表述性狀態(tài)轉(zhuǎn)移（RepresentationalStateTransfer）功能要求概述云平臺(tái)人工智能建模系統(tǒng)的功能框架見(jiàn)圖1，包括數(shù)據(jù)導(dǎo)入導(dǎo)出、數(shù)據(jù)預(yù)覽與探索、數(shù)據(jù)預(yù)處理、特征工程、算法選擇、模型訓(xùn)練與評(píng)估、模型管理、模型市場(chǎng)、工作流調(diào)度等核心能力。圖1云平臺(tái)人工智能建模系統(tǒng)的功能框架數(shù)據(jù)導(dǎo)入導(dǎo)出數(shù)據(jù)導(dǎo)入HiveHBaseElasticSearchHDFSJDBC數(shù)據(jù)導(dǎo)出2支持將結(jié)果數(shù)據(jù)導(dǎo)出至關(guān)系型數(shù)據(jù)庫(kù)、Hive、HDFS、JDBC等，同時(shí)支持結(jié)果數(shù)據(jù)導(dǎo)出至數(shù)據(jù)源。數(shù)據(jù)樣例人工智能平臺(tái)應(yīng)提供不同類(lèi)型的樣例數(shù)據(jù)以供測(cè)試。數(shù)據(jù)預(yù)覽與探索數(shù)據(jù)質(zhì)量分析支持對(duì)臟數(shù)據(jù)，數(shù)據(jù)缺失值、異常值等的檢查。數(shù)據(jù)統(tǒng)計(jì)分析支持查看數(shù)據(jù)的分布情況和統(tǒng)計(jì)學(xué)指標(biāo)。支持圖形化自定義統(tǒng)計(jì)分析數(shù)據(jù)。數(shù)據(jù)特征分析復(fù)雜數(shù)據(jù)特征分析支持交互式分析和探索的編程環(huán)境。包括R、Python等編程環(huán)境，用于復(fù)雜的數(shù)據(jù)特征分析。數(shù)據(jù)預(yù)處理數(shù)據(jù)清洗支持按照預(yù)定義的清洗模式對(duì)全量數(shù)據(jù)進(jìn)行原始無(wú)效異常數(shù)據(jù)過(guò)濾和缺失數(shù)據(jù)補(bǔ)齊。數(shù)據(jù)變換提供包括數(shù)據(jù)屬性轉(zhuǎn)換、新屬性生成在內(nèi)的處理能力。數(shù)據(jù)規(guī)約提供對(duì)基本數(shù)據(jù)屬性的歸一化處理能力。自動(dòng)化預(yù)處理支持?jǐn)?shù)據(jù)預(yù)處理自動(dòng)化，包括自動(dòng)填充、自動(dòng)清理、自動(dòng)轉(zhuǎn)換以及自動(dòng)歸一化等。預(yù)處理行業(yè)模板人工智能平臺(tái)應(yīng)提供預(yù)處理操作算子樣例及常用模板。特征工程特征工程流程特征工程流程包括特征變換、特征重要性評(píng)估、特征選擇、特征生成等。特征工程自動(dòng)化特征工程自動(dòng)化包括自動(dòng)多表擴(kuò)展、自動(dòng)特征變換、自動(dòng)特征選擇以及自動(dòng)特征生成等。3特征提取模板支持特征提取算子和模板配置。算法選擇基礎(chǔ)能力支持多種優(yōu)化算法，算法參數(shù)可配置。支持但不限于以下的算法類(lèi)型特征權(quán)重、流處理、預(yù)處理、表操作、機(jī)器學(xué)習(xí)、圖嵌入、驗(yàn)證與評(píng)估、NLP、時(shí)間序列、統(tǒng)計(jì)、集成學(xué)習(xí)、深度學(xué)習(xí)、圖計(jì)算、圖像處理、強(qiáng)化學(xué)習(xí)等。自定義算法支持通過(guò)Python，R等實(shí)現(xiàn)自定義算法，支持用戶(hù)自定義持久化擴(kuò)展算子庫(kù)。實(shí)用工具庫(kù)算法樣例庫(kù)提供章節(jié)5.6.2、5.6.3所列算法的使用樣例。模型訓(xùn)練與評(píng)估訓(xùn)練過(guò)程資源共享支持多個(gè)用戶(hù)分組管理和共享計(jì)算資源。資源管控支持對(duì)物理資源進(jìn)行虛擬化管控，可以動(dòng)態(tài)進(jìn)行資源的申請(qǐng)或釋放。復(fù)雜任務(wù)依賴(lài)支持多任務(wù)之間圖形化構(gòu)建依賴(lài)，以構(gòu)建復(fù)雜的模型訓(xùn)練任務(wù)及數(shù)據(jù)分析任務(wù)。自動(dòng)調(diào)參與自動(dòng)建模支持自動(dòng)建模，自動(dòng)選擇算法及參數(shù)。交叉驗(yàn)證4支持按比例隨機(jī)分配訓(xùn)練與測(cè)試集，支持交叉檢驗(yàn)。評(píng)估指標(biāo)支持多種評(píng)估指標(biāo)，如混淆矩陣，ROC曲線(xiàn)，PR曲線(xiàn)，加權(quán)召回率等。對(duì)于二分類(lèi)，輸出包括評(píng)價(jià)指標(biāo)的數(shù)目表格；對(duì)于多分類(lèi)，輸出混淆矩陣。評(píng)估樣例庫(kù)提供所有評(píng)估算子樣例。模型管理模型的版本管理支持歷史、新建及外部導(dǎo)入模型的保存和版本管理，支持模型詳細(xì)查看，模型結(jié)果查看。模型導(dǎo)入導(dǎo)出支持多種模型格式。支持導(dǎo)出Json模型，包括聚類(lèi)、分類(lèi)、回歸等類(lèi)型。深度學(xué)習(xí)模型管理支持深度學(xué)習(xí)模型導(dǎo)入導(dǎo)出和可視化查看，支持實(shí)驗(yàn)應(yīng)用。模型市場(chǎng)模型用戶(hù)管理支持管理員對(duì)其所屬普通用戶(hù)項(xiàng)目情況及權(quán)限進(jìn)行管理。模型服務(wù)上架支持任務(wù)/實(shí)驗(yàn)、代碼、自定義鏡像等在模型市場(chǎng)上架。模型服務(wù)上、下線(xiàn)支持模型服務(wù)的上、下線(xiàn)與列表查看。模型服務(wù)更新支持滾動(dòng)更新及灰度更新，且灰度升級(jí)支持分配流量權(quán)重。模型服務(wù)測(cè)試支持服務(wù)上線(xiàn)后的API測(cè)試。模型服務(wù)管理支持自定義模型部署,生成相應(yīng)RESTAPI，手動(dòng)增加實(shí)例數(shù)量提高服務(wù)的負(fù)載均衡；可查看當(dāng)前導(dǎo)入平臺(tái)的API列表。模型服務(wù)監(jiān)控5模型服務(wù)使用API服務(wù)上線(xiàn)后，可通過(guò)RESTAPI調(diào)用，傳入?yún)?shù)并獲得預(yù)測(cè)值。工作流調(diào)度任務(wù)配置支持可視化建模、代碼建模、特征和模型上架、上線(xiàn)等任務(wù)類(lèi)型。支持對(duì)單個(gè)任務(wù)進(jìn)行資源配置，如可視化建模、代碼建模等。設(shè)計(jì)工作流Cron表達(dá)式，來(lái)設(shè)置整個(gè)工作流的調(diào)度周期。執(zhí)行工作流