XX市“城市大腦”一期項(xiàng)目建

設(shè)需求方案

目錄

項(xiàng)目需求.......................................................................................2

a)項(xiàng)目總體架構(gòu)........................................................................2

b)技術(shù)路線要求........................................................................2

c)功能需求.............................................................................3

XX市市縣一體化城市數(shù)據(jù)中臺(tái)(江淮大數(shù)據(jù)中心XX市子平臺(tái))...........................3

城市智慧中臺(tái)......................................................................38

城市業(yè)務(wù)中臺(tái)......................................................................40

數(shù)字孳生平臺(tái)......................................................................49

智慧應(yīng)用場(chǎng)景......................................................................57

標(biāo)準(zhǔn)規(guī)范體系......................................................................60

數(shù)據(jù)實(shí)施..........................................................................62

d)安全要求...........................................................................63

安全制度..........................................................................63

安全組織..........................................................................64

基礎(chǔ)安全..........................................................................64

數(shù)據(jù)安全..........................................................................64

數(shù)據(jù)銷毀..........................................................................65

運(yùn)營(yíng)安全..........................................................................65

管理安全..........................................................................65

安全檢查..........................................................................65

e)系統(tǒng)軟硬件需求.....................................................................65

f)性能要求...........................................................................66

g)系統(tǒng)集成要求.......................................................................66

項(xiàng)目需求

a）項(xiàng)目總體架構(gòu)

“城市大腦”建設(shè)通過(guò)數(shù)據(jù)深化應(yīng)用，推動(dòng)數(shù)據(jù)融合、開放、共享；整合反饋渠道，實(shí)現(xiàn)咨詢類事件

自幼答復(fù)，處置類事件工單自動(dòng)生成，提高處置效率，提高群眾滿意度；實(shí)時(shí)掌握城市運(yùn)行態(tài)勢(shì)和體征，

不斷優(yōu)化城市運(yùn)營(yíng)管理水平，與地理信息模型結(jié)合，提供所見即所得的可視化服務(wù)。

場(chǎng)

10

葭

用

si治理

城

例同處JS平

助與放平臺(tái)觸今牛向場(chǎng)中臺(tái)重

臺(tái)座臺(tái)

蜀』子筆力

*書信堂模型y化運(yùn)的臺(tái)

城市大?互曬S35數(shù)據(jù)共學(xué)■?支建平臺(tái)

GU3H

怫同運(yùn)營(yíng)指揮中心

開放共享.■合共牛.送代發(fā)展、優(yōu)勝劣汰

6（市IAAS平臺(tái)：區(qū)計(jì)口中心、5G.物聯(lián)網(wǎng)

本期建設(shè)需要遵循“1+3+N”的“城市大腦”整體架構(gòu)。XX市城市大腦整體框架主要包括:

“1”是打造一個(gè)城市大腦運(yùn)行基礎(chǔ)，為城市大腦運(yùn)行提供基礎(chǔ)保障。包括城市協(xié)同運(yùn)營(yíng)指揮中心和

展示體驗(yàn)中心的建設(shè)，城市協(xié)同運(yùn)營(yíng)指揮中心是城市大腦的運(yùn)行實(shí)體。

“3”是建立三大城市中臺(tái)，包括城市數(shù)據(jù)中臺(tái)、城市智慧中臺(tái)、城市業(yè)務(wù)中臺(tái)。其中城市數(shù)據(jù)中臺(tái)

負(fù)責(zé)城市數(shù)據(jù)的歸集、治理、融合、共享；城市智慧中臺(tái)負(fù)責(zé)城市的共性能力建設(shè)；城市業(yè)務(wù)中臺(tái)負(fù)貢能

力共享及業(yè)務(wù)協(xié)同工作。

“N”是N應(yīng)用，在城市中臺(tái)的基礎(chǔ)上根據(jù)XX業(yè)務(wù)需求圍繞城市治理、產(chǎn)業(yè)發(fā)展、信息惠民方向構(gòu)建

、個(gè)數(shù)據(jù)應(yīng)用場(chǎng)景。

b）技術(shù)路線要求

（1）采用微服務(wù)架構(gòu)

應(yīng)將單一應(yīng)用程序劃分成一組小的服務(wù)，服務(wù)之間互相協(xié)調(diào)、互相配合，為用戶提供最終價(jià)值。

（2）國(guó)線計(jì)算、內(nèi)存計(jì)算和流式計(jì)算模式混合

支持離線計(jì)算、內(nèi)存計(jì)算和流式計(jì)算模式混合，實(shí)現(xiàn)高實(shí)時(shí)性的大數(shù)據(jù)查詢和計(jì)算分析，形成新?代

的大數(shù)據(jù)處理系統(tǒng)和平臺(tái)。

（3）支持Hive大數(shù)據(jù)離線倉(cāng)庫(kù)

支持Hive大數(shù)據(jù)離線倉(cāng)庫(kù)工具，將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，提供簡(jiǎn)單的SQL查詢功

能,

（4）支持分布式MPP實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)

支持分布式、大規(guī)模、并行架構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)集群，具備高性能、高可用、高擴(kuò)展特性。

第2頁(yè)

（5）基于機(jī)器學(xué)習(xí)的大數(shù)據(jù)分析挖掘技術(shù)

采用套件化技術(shù)，應(yīng)集成數(shù)據(jù)挖掘，實(shí)現(xiàn)對(duì)聚類分析、分類分析、關(guān)聯(lián)分析、模型預(yù)測(cè)、神經(jīng)網(wǎng)絡(luò)等

常用算法的直接調(diào)用.

（6）靈活的數(shù)據(jù)可視化

支持可配置的圖形分析工具的應(yīng)用，使得數(shù)據(jù)分析結(jié)果能夠以更為簡(jiǎn)潔的方式進(jìn)行展現(xiàn),

（7）數(shù)字李生可視化

基于三維仿真引擎框架，通過(guò)與GIS、CIM、BIM、傾斜攝影、3D模型等的深度融合，構(gòu)建與物理世界

1；1對(duì)應(yīng)的數(shù)字?jǐn)伾鷪?chǎng)景，賦于整個(gè)城市狀態(tài)感知、實(shí)時(shí)分析、自主決策、精準(zhǔn)執(zhí)行的能力°

（8）能力開放

基于JavaScript語(yǔ)言開發(fā)，支持Web頁(yè)面和平臺(tái)之間的編程接口，滿足開發(fā)者基于B/S架構(gòu)下的三

維場(chǎng)景互動(dòng)開發(fā)，進(jìn)行雙向交互，兼容當(dāng)前主流的JavaScript前端框架。

（9）智慈中臺(tái)

智慧中臺(tái)系統(tǒng)基于通用的軟件平臺(tái)架構(gòu)，結(jié)合不同的系統(tǒng)規(guī)模和應(yīng)用場(chǎng)景，衍生出大型的城市級(jí)平臺(tái)

和小型的單體化平臺(tái)，平臺(tái)提供強(qiáng)大的多算法分析引擎以及易于使用的北向能力。平臺(tái)采用云計(jì)算領(lǐng)域最

先進(jìn)的設(shè)計(jì)理念來(lái)搭建整個(gè)軟件架構(gòu)，具備支持十萬(wàn)路級(jí)別的視圖資源所產(chǎn)生的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的

提雙、分析、存儲(chǔ)、應(yīng)用等工作的能力。

（10）全面支持國(guó)產(chǎn)化和IPv6協(xié)議部署

平臺(tái)應(yīng)支持在國(guó)產(chǎn)軟硬件環(huán)境下穩(wěn)定、安全、可靠的運(yùn)行,全面支持主流的國(guó)產(chǎn)CPU、國(guó)產(chǎn)操作系統(tǒng)

和國(guó)產(chǎn)數(shù)據(jù)庫(kù)。全面支持IPv6業(yè)務(wù)部署。

（11）實(shí)現(xiàn)HTTPS協(xié)議全面應(yīng)用

須使用符合國(guó)家要求的密碼技術(shù)產(chǎn)品加強(qiáng)身份驗(yàn)證和數(shù)據(jù)保護(hù)，實(shí)現(xiàn)應(yīng)用系統(tǒng)使用HTTPS協(xié)議加密傳

輸，確保應(yīng)用系統(tǒng)、API接口滿足安全要求。

c）功能需求

本項(xiàng)目功能需求包括城市數(shù)據(jù)中臺(tái)（江淮大數(shù)據(jù)中心XX市子平臺(tái)）、城市智慧中臺(tái)、城市業(yè)務(wù)中臺(tái)、

數(shù)字李生平臺(tái)、智慧應(yīng)用場(chǎng)景、標(biāo)準(zhǔn)規(guī)范體系建設(shè)等。具體建設(shè)需求如H：

XX市市縣一體化城市數(shù)據(jù)中臺(tái)（江淮大數(shù)據(jù)中心XX市子平臺(tái)）

以現(xiàn)有信息化項(xiàng)目建設(shè)成果為基礎(chǔ)，建設(shè)江淮大數(shù)據(jù)中心XX市子平臺(tái)，使得數(shù)據(jù)中臺(tái)具備市縣一體

化的支撐能力，同時(shí)對(duì)數(shù)據(jù)采集,存儲(chǔ)、計(jì)算、質(zhì)量、服務(wù)進(jìn)行集中可視化監(jiān)控管理。本次通過(guò)搭建XX

市市縣一體化城市數(shù)據(jù)中臺(tái)，匯聚全市各部門數(shù)據(jù)資源，形成全市統(tǒng)一的數(shù)據(jù)湖，與江淮大數(shù)據(jù)中心總平

臺(tái)進(jìn)行無(wú)縫對(duì)接，支撐市、縣兩級(jí)大數(shù)據(jù)處理分析需求，實(shí)現(xiàn)全市數(shù)據(jù)共享、應(yīng)用。江淮大數(shù)據(jù)中心XX

市子平臺(tái)需要支持多租戶模式，各市直部門、縣（市、區(qū)）可以通過(guò)多租戶的模式享受數(shù)據(jù)中臺(tái)的各項(xiàng)數(shù)

據(jù)及底層能力服務(wù)。具體內(nèi)容如下：

第3頁(yè)

平臺(tái)體系建設(shè)

江淮大數(shù)據(jù)中心XX市子門戶

各市直部門、縣（市、區(qū)）可在子門戶上實(shí)現(xiàn)數(shù)據(jù)資源檢索、數(shù)據(jù)資源注冊(cè)、數(shù)據(jù)資源申請(qǐng)、數(shù)據(jù)資

源授權(quán)、數(shù)據(jù)資源使用等操作，同時(shí)子門戶可支持子平臺(tái)個(gè)性化服務(wù)、應(yīng)用集成、資料中心等能力。

主要需求包括但不限于：

1.數(shù)據(jù)資源檢索

利用搜索引擎，為子門戶用戶提供數(shù)據(jù)資源檢索能力，支持通過(guò)關(guān)鍵字模糊匹配的方式槍索門戶中共

享的數(shù)據(jù)資源目錄名稱以及服務(wù)接口名稱，檢索結(jié)果展示滿足檢索條件的相關(guān)數(shù)據(jù)資源目錄或服務(wù)接口信

息,同時(shí)支持在門戶中通過(guò)政務(wù)、經(jīng)濟(jì)、社會(huì)不同維度快速檢索數(shù)據(jù)資源。

2.數(shù)據(jù)資源注冊(cè)

市直部門和縣（市、區(qū)）可在門戶中依據(jù)已梳理的數(shù)據(jù)資源目錄進(jìn)行目錄所屬資源信息的梳理、注冊(cè)、

發(fā)布、更新等，資源類型包括數(shù)據(jù)庫(kù)表類、接口類、文件類、音視頻類等。

3.數(shù)據(jù)資源申請(qǐng)

市直部門和縣（市、區(qū)）可基于總門戶的數(shù)據(jù)資源目錄，杈據(jù)實(shí)際應(yīng)用的需求，選擇目錄申請(qǐng)數(shù)據(jù)，

提交申請(qǐng)信息，發(fā)起申請(qǐng)流程。

建立統(tǒng)一的數(shù)據(jù)申請(qǐng)模塊，用戶通過(guò)該模塊統(tǒng)一發(fā)起數(shù)據(jù)申請(qǐng)流程。

4.數(shù)據(jù)資源受理

受理縣（市、區(qū)）和市直部門之間數(shù)據(jù)資源共享申請(qǐng)，由數(shù)據(jù)中臺(tái)進(jìn)行實(shí)施規(guī)范性檢查。

5.數(shù)據(jù)資源授權(quán)

對(duì)于市內(nèi)無(wú)條件共享類數(shù)據(jù)，市直部門和縣（市、區(qū)）可基于數(shù)據(jù)中臺(tái)直接使用。有條件共享類數(shù)據(jù),

由數(shù)據(jù)提供方于7個(gè)工作日內(nèi)完成授權(quán)，不予授權(quán)的應(yīng)提供依據(jù)。

數(shù)據(jù)提供方可采用整體授權(quán)或同等代理授權(quán)方式簡(jiǎn)化授權(quán)過(guò)程。整體授權(quán)是指數(shù)據(jù)提供方將數(shù)據(jù)的授

權(quán)權(quán)限授予XX市數(shù)據(jù)資源管理局，由XX市數(shù)據(jù)資源管理局對(duì)市直部門提出的數(shù)據(jù)共享申請(qǐng)進(jìn)行統(tǒng)一授權(quán)。

數(shù)據(jù)提供方暫停、收I可或終止使用權(quán)限時(shí)須報(bào)XX市數(shù)據(jù)資源管理局審核。

6.數(shù)據(jù)資源使用

市直部門和縣（市、區(qū)）基于數(shù)據(jù)中臺(tái)獲得已授權(quán)的數(shù)據(jù)資源，門戶支持庫(kù)表類、接口類、文件類、

音視頻類等資源的使用。

市直部門和縣（市、區(qū)）在數(shù)據(jù)使用過(guò)程中應(yīng)嚴(yán)格遵守國(guó)家法律法規(guī)和授權(quán)使用方式、范圍和期限，

不得改變數(shù)據(jù)使用方式，不得超范圍、超期限使用數(shù)據(jù)，不得以任何形式提供給第三方。

第4頁(yè)

7.個(gè)性化服務(wù)

數(shù)據(jù)中臺(tái)根據(jù)登錄賬號(hào)類型卻權(quán)限不同提供給用戶個(gè)性化的服務(wù)。為業(yè)務(wù)角色提供個(gè)性化的編目、數(shù)

據(jù)資源檢索、申請(qǐng)、授權(quán)等能力°為技術(shù)類角色提供數(shù)據(jù)資源注冊(cè)、數(shù)據(jù)管理、數(shù)據(jù)治理等能力。為管理

類角色提供數(shù)據(jù)資源目錄、數(shù)據(jù)管理、數(shù)據(jù)治理等不同維度監(jiān)控信息查看能力，并提供智能查看能力。

8.應(yīng)用集成

提供本級(jí)平臺(tái)建設(shè)涉及的所芍應(yīng)用集成能力，包含數(shù)據(jù)資源目錄、數(shù)據(jù)歸集、數(shù)據(jù)治理、數(shù)據(jù)共享各

應(yīng)用系統(tǒng)，支持按照賬號(hào)類型和權(quán)限提供用戶相應(yīng)的應(yīng)用入口，實(shí)現(xiàn)總平臺(tái)內(nèi)所有應(yīng)用統(tǒng)一入口的目標(biāo)。

9.資料中心

在門戶中建立資料中心模塊，提供資料查閱下載服務(wù)。資料包含數(shù)據(jù)資源目錄管理、共享管理等建設(shè)

指導(dǎo)意見，應(yīng)用系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)相關(guān)建設(shè)標(biāo)準(zhǔn)，以及XX市子平臺(tái)操作指南等文件。

目錄管理系統(tǒng)

對(duì)已建成政務(wù)信息資源目錄管理平臺(tái)進(jìn)行功能升級(jí)，各市直部門和縣（市、區(qū)）可以在目錄管理系統(tǒng)

進(jìn)行數(shù)據(jù)資源目錄編制、數(shù)據(jù)資源目錄發(fā)布、數(shù)據(jù)資源目錄變更，支持XX市數(shù)據(jù)資源管理局進(jìn)行數(shù)據(jù)資

源目錄審核。各市直部門和縣（市、區(qū)）掌握的數(shù)據(jù)應(yīng)全部編制目錄并掛載資源。

對(duì)未納入數(shù)據(jù)目錄的本地區(qū)數(shù)據(jù)，經(jīng)XX市數(shù)據(jù)資源管理局同意，可以編制本地區(qū)數(shù)據(jù)資源個(gè)性化目

錄，

參考國(guó)家政務(wù)信息資源相關(guān)標(biāo)準(zhǔn)，提供政務(wù)、經(jīng)濟(jì)、社會(huì)數(shù)據(jù)目錄的編制、審核、發(fā)布零功能，從目

錄分類創(chuàng)建、目錄編制、目錄審核到目錄發(fā)布，構(gòu)建全市統(tǒng)一的數(shù)據(jù)資源目錄管理體系，適用于各政務(wù)類、

行業(yè)類等多種類型業(yè)務(wù)方向，幫助業(yè)務(wù)方實(shí)現(xiàn)內(nèi)部數(shù)據(jù)的“底數(shù)”明確，“資源”清晰；同時(shí)需要與數(shù)據(jù)

資源共享網(wǎng)站、個(gè)人工作平臺(tái)集成，為用戶提供數(shù)據(jù)資源目錄的編制、審核、查詢、導(dǎo)出、上報(bào)等功能。

主要需求包括但不限于：

1.目錄編制流程

各級(jí)管理者可以掌握信息資源的分布狀況，實(shí)現(xiàn)對(duì)信息資源建設(shè)的統(tǒng)一規(guī)劃。對(duì)各業(yè)務(wù)單位進(jìn)行資源

目錄征集，統(tǒng)一定義資源目錄，目錄審定機(jī)構(gòu)對(duì)資源目錄審核，審核通過(guò)后，可上線發(fā)布資源目錄。

2.目錄分類

需要對(duì)數(shù)據(jù)資源分類進(jìn)行類、目的設(shè)置，便于目錄的歸類和細(xì)分。可按部門、主題、基礎(chǔ)等維度對(duì)目

錄進(jìn)行分類維護(hù)，便于后續(xù)資源的歸類和檢索；同時(shí)支持對(duì)每個(gè)類別的代碼的維護(hù)。

3.目錄編制

需要支持政務(wù)、經(jīng)濟(jì)、社會(huì)目錄的新增、編輯等動(dòng)態(tài)管理功能。從自動(dòng)獲取部門在用事項(xiàng)目錄清單信

第5頁(yè)

息、快捷填寫目錄基本信息/屬性信息、到批量模板導(dǎo)入信息項(xiàng)，為目錄編制人員提供簡(jiǎn)單、便捷的目錄

編制工具。

4.目錄審核

需要依照目錄編制流程，提供目錄編制一部門復(fù)核一管理員審核的審核流轉(zhuǎn)機(jī)制；支持對(duì)已創(chuàng)建目錄

的駁回修正、審核意見提交等功能，便于管理人員把控目錄編制的質(zhì)量和潛在風(fēng)險(xiǎn)。

5.目錄上線/下線

需要對(duì)已審?fù)ㄟ^(guò)的目錄進(jìn)行上線、下線管理，與資源掛接無(wú)縫對(duì)接。

6.目錄查找檢索

以多維目錄和樹形層次的方:弋展示資源目錄，可以通過(guò)目錄逐級(jí)查找資源。支持按部門、分類、時(shí)間

等難度進(jìn)行目錄的查詢和檢索，便于管理人員全局掌握目錄的編制情況。

7.目錄下發(fā)/認(rèn)領(lǐng)

需要針對(duì)依照政務(wù)服務(wù)事項(xiàng)編制的政務(wù)數(shù)據(jù)目錄，支持與省平臺(tái)無(wú)縫對(duì)接，由市本級(jí)和各縣區(qū)在系統(tǒng)

內(nèi)對(duì)市直部門下發(fā)的目錄進(jìn)行認(rèn)領(lǐng)編制。

8.目錄升級(jí)

需要支持對(duì)已上線目錄進(jìn)行目錄版本的升級(jí)管理，滿足不同資源使用方的資源共享需求：

9.目錄導(dǎo)出

支持按模板導(dǎo)出目錄信息，便于目錄的多方式管理。

10.目錄上報(bào)

需要通過(guò)上行接口將本市政務(wù)目錄信息報(bào)送至省共享平臺(tái)，為市與省之間的資源共享提供目錄基礎(chǔ)。

11.服務(wù)目錄

對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行整合治理后形成數(shù)據(jù)服務(wù)，支持該數(shù)據(jù)服務(wù)編制成新的目錄并以服務(wù)形式對(duì)外共享開

放,

12.統(tǒng)計(jì)分析

需要提供編目部門、編目數(shù)最、編目狀態(tài)等方面數(shù)據(jù)的統(tǒng)計(jì)分析和展示。便于向管理人員直觀地展示

編目進(jìn)度和整體情況。

數(shù)據(jù)集成平臺(tái)

數(shù)據(jù)集成平臺(tái)作為底層基礎(chǔ)支撐性服務(wù)，是平臺(tái)體系的基礎(chǔ)組成部分。通過(guò)提供多種數(shù)據(jù)集成能力，

將各類數(shù)據(jù)進(jìn)行統(tǒng)一的匯聚接入，存儲(chǔ)到大數(shù)據(jù)存儲(chǔ)組件，并支持?jǐn)?shù)據(jù)的預(yù)處理，為“城市大腦”提供原

始數(shù)據(jù)支撐。

第6頁(yè)

L要需求包括但不限于;

1.數(shù)據(jù)源管理

支持關(guān)系型數(shù)據(jù)庫(kù)、大數(shù)據(jù)存儲(chǔ)組件、實(shí)時(shí)數(shù)據(jù)、文本數(shù)據(jù)、協(xié)議服務(wù)等，多種異構(gòu)數(shù)據(jù)源類型。

2.集成來(lái)源

支持對(duì)需要集成數(shù)據(jù)資源進(jìn)行管理.包括文件的存儲(chǔ)路徑、文件類型、行切割符、列切割符、每列的

字段名，數(shù)據(jù)庫(kù)的表信息、接口的方法信息等

3.集成日的

支持對(duì)需要集成數(shù)據(jù)資源目的地的管理。包括文件的存儲(chǔ)路徑、文件類型、行切割符、列切割符、每

列的字段名，數(shù)據(jù)庫(kù)的表信息、接口的方法信息等。

4.任務(wù)管理

支持通過(guò)拖拽集成來(lái)源，預(yù)處理，集成目的等節(jié)點(diǎn)，可方便快捷的創(chuàng)建數(shù)據(jù)集成的任務(wù)流程。

5.監(jiān)控分析

支持對(duì)數(shù)據(jù)集成過(guò)程實(shí)時(shí)監(jiān)控，及時(shí)展示獲取數(shù)據(jù)量，成功寫入數(shù)據(jù)量，集成速率，集成失敗數(shù)據(jù)量，

并提供監(jiān)控日志等信息。

支持對(duì)數(shù)據(jù)采集任務(wù)的運(yùn)行及所有報(bào)異常的任務(wù)進(jìn)行監(jiān)控，并用任務(wù)日志對(duì)任務(wù)運(yùn)行情況進(jìn)行動(dòng)態(tài)追

蹤,支持對(duì)任務(wù)總數(shù)、線上任務(wù)、正常運(yùn)行任務(wù)、今日運(yùn)行次數(shù)、今日異常實(shí)例等核心指標(biāo)進(jìn)行統(tǒng)計(jì)，并

可以實(shí)現(xiàn)單任務(wù)執(zhí)行狀態(tài)的監(jiān)控、當(dāng)前實(shí)例狀態(tài)監(jiān)控、歷史任務(wù)運(yùn)行數(shù)量的統(tǒng)計(jì)分析。

6.系統(tǒng)管理

需提供口志管理、節(jié)點(diǎn)管理、在線升級(jí)等。

數(shù)據(jù)治理平臺(tái)

對(duì)已建成數(shù)據(jù)治理平臺(tái)進(jìn)行功能升級(jí)，按照總平臺(tái)制定的相關(guān)技術(shù)規(guī)范，治理本級(jí)數(shù)據(jù)。實(shí)現(xiàn)發(fā)現(xiàn)問(wèn)

題數(shù)據(jù)、清洗轉(zhuǎn)換數(shù)據(jù)，實(shí)現(xiàn)達(dá)到規(guī)范數(shù)據(jù)的生成、持續(xù)改進(jìn)數(shù)據(jù)質(zhì)量、最大化數(shù)據(jù)價(jià)值的目標(biāo)。以及掌

握對(duì)數(shù)據(jù)質(zhì)量的分析以及數(shù)據(jù)清洗轉(zhuǎn)換分析。

主要需求包括但不限于：

1.數(shù)據(jù)質(zhì)量

1）常規(guī)檢查規(guī)則

常規(guī)檢查指按照一定初始化、原始的規(guī)則，應(yīng)支持按照一定初始化、原始的規(guī)則的常規(guī)槍查，檢查數(shù)

據(jù)格式和業(yè)務(wù)規(guī)則合規(guī)性，支持按需自定義檢查規(guī)則。

2）自定義規(guī)則

支持自定義數(shù)據(jù)質(zhì)最檢查規(guī)貝」，并配置相應(yīng)的核杳標(biāo)準(zhǔn)以及規(guī)則分類，能夠與常規(guī)檢查規(guī)則互相補(bǔ)充，

第7頁(yè)

完成數(shù)據(jù)質(zhì)量巡檢工作。

3）數(shù)據(jù)質(zhì)量任務(wù)

質(zhì)量任務(wù)設(shè)計(jì)應(yīng)讓數(shù)據(jù)質(zhì)量配置人員通過(guò)簡(jiǎn)單流程化、圖形化的操作完成數(shù)據(jù)質(zhì)量任務(wù)配置，進(jìn)行數(shù)

據(jù)質(zhì)最檢查。

4）質(zhì)量任務(wù)日志

質(zhì)量任務(wù)日志應(yīng)根據(jù)任務(wù)名稱、日期等信息分析任務(wù)的執(zhí)行情況。支持查看包括異常信息、狀態(tài)、核

查的數(shù)據(jù)量、問(wèn)題數(shù)據(jù)量等詳細(xì)信息。

5）數(shù)據(jù)質(zhì)量監(jiān)控

應(yīng)基于數(shù)據(jù)質(zhì)量管理系統(tǒng)提供的質(zhì)量狀態(tài)服務(wù)，及時(shí)獲取數(shù)據(jù)量、數(shù)據(jù)唯-?性、數(shù)據(jù)完整性、數(shù)據(jù)準(zhǔn)

確性等監(jiān)控信息。

6）數(shù)據(jù)質(zhì)軟監(jiān)控報(bào)告

數(shù)據(jù)質(zhì)量監(jiān)控報(bào)告應(yīng)支持查看當(dāng)前配置的數(shù)據(jù)質(zhì)量任務(wù)情況，并生成數(shù)據(jù)質(zhì)量監(jiān)控報(bào)告。支持通過(guò)數(shù)

據(jù)質(zhì)量監(jiān)控報(bào)告宜看本次任務(wù)執(zhí)行過(guò)程中檢查的數(shù)據(jù)以及有問(wèn)題的數(shù)據(jù)，定位問(wèn)題數(shù)據(jù)以及問(wèn)題類型。

7）數(shù)據(jù)增量監(jiān)控

數(shù)據(jù)增量監(jiān)控應(yīng)針對(duì)單表的業(yè)務(wù)數(shù)據(jù)在規(guī)定時(shí)間內(nèi)數(shù)據(jù)變化的監(jiān)控，應(yīng)包括數(shù)據(jù)有無(wú)增量監(jiān)控、數(shù)據(jù)

增量異常監(jiān)控，可以通過(guò)拖拽的方式配置監(jiān)控信息，生成監(jiān)控任務(wù)。

8）數(shù)據(jù)增量監(jiān)控報(bào)告

數(shù)據(jù)增量監(jiān)控應(yīng)支持查看數(shù)據(jù)增顯?監(jiān)控結(jié)果，實(shí)時(shí)、動(dòng)態(tài)的掌握數(shù)據(jù)定時(shí)抽取的情況。支持查看數(shù)據(jù)

增量監(jiān)控任務(wù)每次執(zhí)行開始時(shí)間、結(jié)束時(shí)間、執(zhí)行狀態(tài)以及每次執(zhí)行完成后本次增量監(jiān)控時(shí)間范圍內(nèi)數(shù)據(jù)

的實(shí)際增量、平均增量以及異常比率等報(bào)告信息。

9）數(shù)據(jù)一致性監(jiān)控

數(shù)據(jù)一致性監(jiān)控應(yīng)提供數(shù)據(jù)條數(shù)一致和數(shù)據(jù)內(nèi)容一致監(jiān)控，支持通過(guò)可拖拽、靈活配置的方式進(jìn)行數(shù)

據(jù)一致性監(jiān)控，保障江淮大數(shù)據(jù)中心共享數(shù)據(jù)中心采集的各源系統(tǒng)的實(shí)體數(shù)據(jù)的一致性。

10）數(shù)據(jù)一致性監(jiān)控報(bào)告

數(shù)據(jù)一致性監(jiān)測(cè)報(bào)告應(yīng)支持查看數(shù)據(jù)一致性監(jiān)測(cè)結(jié)果，包括一致性監(jiān)控任務(wù)每次執(zhí)行開始時(shí)間、結(jié)束

時(shí)間、執(zhí)行狀態(tài)以及每次執(zhí)行完成后本次一致性監(jiān)控時(shí)間范圍內(nèi)兩張維表之間的數(shù)據(jù)條數(shù)、條數(shù)差異量、

內(nèi)容差異詳情等報(bào)告信息。

2.數(shù)據(jù)規(guī)整

1）字典規(guī)則轉(zhuǎn)換

提供數(shù)據(jù)源字典與標(biāo)準(zhǔn)字典映射功能，數(shù)據(jù)規(guī)整時(shí)可以根據(jù)字典轉(zhuǎn)換規(guī)則對(duì)非標(biāo)準(zhǔn)的數(shù)據(jù)字典表進(jìn)行

標(biāo)淮化轉(zhuǎn)換。

第8頁(yè)

2）常規(guī)規(guī)則規(guī)整

系統(tǒng)提供初始化常規(guī)清洗轉(zhuǎn)換規(guī)則，包括格式轉(zhuǎn)換（如身份證號(hào)轉(zhuǎn)換，去空格等）、內(nèi)容轉(zhuǎn)換（如字

符串替換、默認(rèn)值填充等）、增加列（如增加哈希值、增加序列等）、字典轉(zhuǎn)換、連接規(guī)則（如合并、關(guān)

聯(lián)等）等常見規(guī)則。

3）規(guī)整任務(wù)

提供簡(jiǎn)單流程化、圖形化的規(guī)整任務(wù)配置功能，完成數(shù)據(jù)清洗、轉(zhuǎn)換、抽取的操作。支持通過(guò)設(shè)置的

規(guī)整任務(wù)模板，進(jìn)行規(guī)整任務(wù)配置，支持任務(wù)的批量提交、查詢、撤回、編輯、查看、刪除等操作，同時(shí)

支持將規(guī)整任務(wù)提交調(diào)度平臺(tái)進(jìn)行一次性或周期性的調(diào)度，實(shí)現(xiàn)數(shù)據(jù)的規(guī)整處理。

4）規(guī)整任務(wù)日志

支持杳看規(guī)整任務(wù)的執(zhí)行情況，包括規(guī)整任務(wù)每次執(zhí)行開始時(shí)間、結(jié)束時(shí)間、耗時(shí)、執(zhí)行狀態(tài)，以及

每次執(zhí)行完成后插入更新的數(shù)據(jù)品，并提供日志信息詳細(xì)查看功能。支持查看包括異常信息、狀態(tài)等詳細(xì)

信息。

3.腳本管理

支持對(duì)腳本進(jìn)行查詢，添加，批量提交，提交，撤回，刪除操作。提供通過(guò)腳本名稱、倉(cāng)J建時(shí)間、腳

本狀態(tài)、腳本類型查詢腳本基本信息。支持存儲(chǔ)過(guò)程、SQL.HiveSQL.SparkSQL等多種類型的腳本處理

能力，并可在調(diào)度管理中進(jìn)行調(diào)用執(zhí)行。

4.數(shù)據(jù)建模

1）模型定義

提供數(shù)據(jù)模型的規(guī)則定義，支持在配置信息項(xiàng)時(shí)獲取對(duì)應(yīng)資源表。

2）模型管理

支持按照業(yè)務(wù)領(lǐng)域?qū)ΜF(xiàn)在數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行整合、配置模型中數(shù)據(jù)計(jì)算規(guī)則，再通過(guò)調(diào)度平臺(tái)進(jìn)行

任務(wù)調(diào)度，后臺(tái)計(jì)算引擎生成新的數(shù)據(jù)資源，為上層應(yīng)用提供數(shù)據(jù)支撐。

3）模型日志

支持查看模型每次執(zhí)行開始E寸間、結(jié)束時(shí)間、耗時(shí)、執(zhí)行狀態(tài)以及每次執(zhí)行完成后插入更新的數(shù)據(jù)最。

提供包括異常信息的日志信息詳細(xì)查看功能。

數(shù)據(jù)資產(chǎn)平臺(tái)

數(shù)據(jù)資產(chǎn)平臺(tái)基于數(shù)據(jù)目錄盤點(diǎn)數(shù)據(jù)資源，以統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)為基礎(chǔ)，規(guī)范元數(shù)據(jù)和主數(shù)據(jù)管理。

主要需求包括但不限于：

1.數(shù)據(jù)資產(chǎn)盤點(diǎn)

第9頁(yè)

以圖表的方式展示數(shù)據(jù)資產(chǎn)現(xiàn)狀，包括數(shù)據(jù)資產(chǎn)沙盤、數(shù)據(jù)資產(chǎn)查看。

1）數(shù)據(jù)資產(chǎn)沙盤

以圖表的方式展示數(shù)據(jù)資產(chǎn)現(xiàn)狀，從各個(gè)維度統(tǒng)計(jì)數(shù)據(jù)倉(cāng)庫(kù)中所有的資產(chǎn)信息，統(tǒng)計(jì)維度包括數(shù)據(jù)標(biāo)

準(zhǔn)、元數(shù)據(jù)、數(shù)據(jù)資源等。

按照數(shù)據(jù)目錄以可視化方式展示倉(cāng)庫(kù)分層數(shù)據(jù)信息，包括數(shù)據(jù)源、資源目錄、數(shù)據(jù)量、存儲(chǔ)量等核心

信息。

2）數(shù)據(jù)資產(chǎn)查看

用于查看H前平臺(tái)中已編制的所有數(shù)據(jù)目錄，并按各層數(shù)據(jù)庫(kù)進(jìn)行分別展示，查看現(xiàn)階段所有數(shù)據(jù)資

產(chǎn)信息，并支持每一層級(jí)所有資產(chǎn)的詳細(xì)信息，同時(shí)可對(duì)資產(chǎn)進(jìn)行導(dǎo)出。

2.數(shù)據(jù)標(biāo)準(zhǔn)管理

進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化管理，包括標(biāo)準(zhǔn)字典管理、數(shù)據(jù)元管理、數(shù)據(jù)源字典管理、指標(biāo)管理、標(biāo)簽管理。

1）標(biāo)準(zhǔn)字典管理

應(yīng)提供統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)定義，支持在各類標(biāo)準(zhǔn)字典分類下新增標(biāo)準(zhǔn)字典表及字典項(xiàng)，擴(kuò)充標(biāo)準(zhǔn)字典庫(kù)，

用于后期對(duì)業(yè)務(wù)數(shù)據(jù)的標(biāo)準(zhǔn)化管理。數(shù)據(jù)標(biāo)準(zhǔn)包括不限于國(guó)標(biāo)、地標(biāo)、行標(biāo)等。

2）數(shù)據(jù)元管理

支持定義數(shù)據(jù)元名稱、標(biāo)識(shí)、長(zhǎng)度、類型、值域等相關(guān)信息，為對(duì)象定義時(shí)提供最小的數(shù)據(jù)單元信息。

3）數(shù)據(jù)源字典管理

用于管理和維護(hù)各業(yè)務(wù)系統(tǒng)未進(jìn)行標(biāo)準(zhǔn)化之前的字典。提供字典分類樹的管理，支持字典表及字典項(xiàng)

的新增和編輯。

4）指標(biāo)管理

支持自定義指標(biāo)分類、自定義指標(biāo)信息，為應(yīng)用系統(tǒng)、數(shù)據(jù)建模提供統(tǒng)一指標(biāo)元數(shù)據(jù)信息，指導(dǎo)應(yīng)用

系統(tǒng)使用與指標(biāo)數(shù)據(jù)建模。

5）標(biāo)簽庫(kù)管理

通過(guò)建立完善的公共數(shù)據(jù)標(biāo)簽體系，對(duì)?大數(shù)據(jù)治理過(guò)程中的關(guān)鍵數(shù)據(jù)進(jìn)行業(yè)務(wù)抽象，滿足大數(shù)據(jù)管理

人員對(duì)數(shù)據(jù)的管理需求，同時(shí)滿足一線業(yè)務(wù)人員對(duì)數(shù)據(jù)的使用需求：滿足各級(jí)業(yè)務(wù)應(yīng)用多樣化、復(fù)雜化的

數(shù)據(jù)需求：標(biāo)簽庫(kù)建設(shè)包含標(biāo)簽庫(kù)系統(tǒng)工具搭建和業(yè)務(wù)標(biāo)簽的規(guī)劃、設(shè)計(jì)與生產(chǎn)。

應(yīng)具備標(biāo)簽生產(chǎn)、標(biāo)簽管理、標(biāo)簽運(yùn)營(yíng)、標(biāo)簽服務(wù)、運(yùn)營(yíng)保隙等能力。標(biāo)簽庫(kù)建設(shè)包含“建標(biāo)簽”、

“打標(biāo)簽”和“用標(biāo)簽”三個(gè)步躲，標(biāo)簽庫(kù)數(shù)據(jù)共享須納入公共數(shù)據(jù)平臺(tái)目錄體系和共享體系，為數(shù)據(jù)共

享、數(shù)據(jù)開放提供支撐。

3.元數(shù)據(jù)管理

提供元素?fù)?jù)管理工具,支持Oracle、MySQL、Swift、H元e、Hbase、ES、Kafka、Gbasc8a,達(dá)夢(mèng)等多

第10頁(yè)

種數(shù)據(jù)庫(kù)類型，支持ETL接入任務(wù)、ETL規(guī)整任務(wù)等多類ETL數(shù)據(jù)源。

4.數(shù)據(jù)資源管理

數(shù)據(jù)資源內(nèi)容包括目錄分類管理、數(shù)據(jù)目錄編制、業(yè)務(wù)目錄映射、數(shù)據(jù)溯源等。

＞支持目錄分類的新增、修改、刪除等功能，支持將數(shù)據(jù)目錄按多層次分類配置形成樹狀結(jié)構(gòu)，用

于分類展示數(shù)據(jù)資源，實(shí)現(xiàn)數(shù)據(jù)資源的快速檢索。

＞支持在數(shù)據(jù)目錄分類節(jié)點(diǎn)下新增數(shù)據(jù)目錄，通過(guò)梳理數(shù)據(jù)資源目錄，形成層次清晰的數(shù)據(jù)資源展

現(xiàn)。

＞支持H錄的批量添加功能，編制完成后數(shù)據(jù)目錄將展示在信息列表中，可導(dǎo)出查看，同時(shí)支持?jǐn)?shù)

據(jù)目錄的啟用與停用功能。

＞支持查詢數(shù)據(jù)的溯源信息，包含數(shù)據(jù)項(xiàng)總數(shù)、相同項(xiàng)個(gè)數(shù)、不同項(xiàng)個(gè)數(shù)等信息

＞支持通過(guò)圖表、列表等方式查看，通過(guò)圖表展示具體實(shí)例信息，體現(xiàn)具體某個(gè)任務(wù)數(shù)據(jù)的變化情

況。

5.主數(shù)據(jù)管理

對(duì)主數(shù)據(jù)進(jìn)行管理內(nèi)容包括編碼規(guī)則管理、對(duì)象分類管理、對(duì)象管理.、主數(shù)據(jù)管理、對(duì)象變更日志、

主數(shù)據(jù)變更FI志。

數(shù)據(jù)調(diào)度平臺(tái)

調(diào)度管理平臺(tái)負(fù)責(zé)對(duì)任務(wù)的調(diào)度、調(diào)度策略進(jìn)行集中化、界面化的調(diào)度管理。支持按照時(shí)間、依賴關(guān)

系的任務(wù)觸發(fā)機(jī)制，支持分鐘、小時(shí)、天、周和月多種調(diào)度周期配置。通過(guò)直觀的圖形化界面，組件化的

配置加工、參數(shù)配置實(shí)現(xiàn)調(diào)度過(guò)程，定制滿足各類'業(yè)務(wù)需求的調(diào)度流程。

主要需求包括但不限于：

1.調(diào)度總覽

展示統(tǒng)計(jì)各狀態(tài)中的作業(yè)數(shù)量、任務(wù)數(shù)曷及各個(gè)時(shí)間段內(nèi)的作業(yè)數(shù)量。

2.離線作業(yè)中心

支持對(duì)離線任務(wù)的編排，離線任務(wù)的管理，通過(guò)定時(shí)器控制作業(yè)任務(wù)的調(diào)度運(yùn)行。

1）離線作業(yè)管理

支持對(duì)調(diào)度作業(yè)任務(wù)的分類管理及作業(yè)的編排、編輯、啟停用等管理操作，進(jìn)而達(dá)到通過(guò)作業(yè)調(diào)度實(shí)

現(xiàn)多離線數(shù)據(jù)任務(wù)的串聯(lián)執(zhí)行的目標(biāo)，包括集成任務(wù)、數(shù)據(jù)質(zhì)量檢查任務(wù)、規(guī)整任務(wù)、SparkProgram等離

線任務(wù)。可以設(shè)計(jì)離線作業(yè)調(diào)度屬性信息，包括定時(shí)器、作業(yè)依賴關(guān)系、各離線任務(wù)失敗策略等信息，能

夠杳看作業(yè)活動(dòng)實(shí)例的信息。

第11頁(yè)

2）離線任務(wù)管理

支持管理從數(shù)據(jù)集成平臺(tái)、數(shù)據(jù)治理以及其他平臺(tái)（Oozie）同步到調(diào)度管理中的離線任務(wù)、本地任

務(wù)，包括對(duì)任務(wù)的啟停，杳看任務(wù)詳情，對(duì)本地任務(wù)（SSH遠(yuǎn)程腳本、接口任務(wù)、SparkProgram等）的創(chuàng)

建等。能夠在任務(wù)管理平臺(tái)查看所有托管的離線任務(wù)信息，查看離線任務(wù)的當(dāng)前活動(dòng)實(shí)例，同時(shí)支持通過(guò)

輸入任務(wù)參數(shù)執(zhí)行立即執(zhí)行任務(wù),

3）定時(shí)器管理

支持通過(guò)簡(jiǎn)易模式或高級(jí)模式;進(jìn)行定時(shí)器的添加，支持分鐘、小時(shí)、日、月、周等不同時(shí)間維度進(jìn)行

定時(shí)器設(shè)置。提供為定時(shí)器添加觸發(fā)任務(wù)的功能，實(shí)現(xiàn)通過(guò)定時(shí)器對(duì)離線作業(yè)的調(diào)度。

3.實(shí)時(shí)作業(yè)中心

支持對(duì)實(shí)時(shí)任務(wù)的編排，離線任務(wù)的管理控制實(shí)時(shí)離線任務(wù)的流程化運(yùn)行工

1）實(shí)時(shí)作業(yè)管理

提供通過(guò)作業(yè)對(duì)實(shí)時(shí)任務(wù)進(jìn)行編排的功能，包括實(shí)時(shí)作業(yè)的新增、編輯、啟停等操作。提供實(shí)時(shí)任務(wù)

新建的快速入口，實(shí)現(xiàn)任務(wù)、作業(yè)的統(tǒng)一管理，流程貫通。

2）實(shí)時(shí)任務(wù)管理

支持管理從數(shù)據(jù)集成平臺(tái)同步到調(diào)度管理中的實(shí)時(shí)任務(wù)、本地任務(wù)（SSH遠(yuǎn)程腳本、SparkProgram）

等，包括對(duì)任務(wù)的啟停，查看任務(wù)詳情等。支持杳看實(shí)時(shí)任務(wù)的被引用情況，輸入?yún)?shù)信息執(zhí)行任務(wù)。

4.離線運(yùn)營(yíng)中心

提供對(duì)離線作業(yè)運(yùn)任務(wù)行日志監(jiān)控，支持查看調(diào)度運(yùn)行日志信息，對(duì)調(diào)度實(shí)例進(jìn)行操作。

1）離線作業(yè)監(jiān)控

支持監(jiān)控各個(gè)離線作業(yè)的運(yùn)行狀態(tài)、調(diào)度情況及與其相關(guān)的作業(yè)拓補(bǔ)圖，包括離線作業(yè)活動(dòng)實(shí)例的當(dāng)

前狀態(tài)以及離線作業(yè)運(yùn)行日志信息。

2）離線任務(wù)監(jiān)控

支持監(jiān)控各個(gè)離線任務(wù)的運(yùn)行狀態(tài)、任務(wù)相關(guān)的所有調(diào)度記錄以及單次任務(wù)調(diào)度的運(yùn)行時(shí)間、耗時(shí)、

運(yùn)行結(jié)果等詳細(xì)的監(jiān)控信息。

3）離線作業(yè)日志

提供所有離線作業(yè)每次調(diào)度執(zhí)行的詳細(xì)日志信息，包括作業(yè)中各個(gè)離線任務(wù)的運(yùn)行的單次調(diào)度的拓?fù)?/p>

圖、調(diào)度時(shí)間、耗時(shí)、狀態(tài)以及本次作業(yè)調(diào)度下各任務(wù)節(jié)點(diǎn)的耗時(shí)、狀態(tài)等詳細(xì)調(diào)度記錄。

4）離線任務(wù)日志

支持查看離線任務(wù)每次調(diào)度執(zhí)行的詳細(xì)日志信息，用于跟蹤查看任務(wù)執(zhí)行情況。可對(duì)正在調(diào)度中的離

線任務(wù)調(diào)度實(shí)例進(jìn)行操作，對(duì)離線任務(wù)進(jìn)行強(qiáng)制停止、查看調(diào)度任務(wù)的詳細(xì)口志信息等。

5.實(shí)時(shí)運(yùn)營(yíng)中心

第12頁(yè)

提供對(duì)實(shí)時(shí)作業(yè)運(yùn)任務(wù)行日志監(jiān)控，支持查看調(diào)度運(yùn)行日志信息，對(duì)調(diào)度實(shí)例進(jìn)行操作。

1）實(shí)時(shí)作業(yè)監(jiān)控

支持監(jiān)控實(shí)時(shí)作業(yè)的運(yùn)行狀態(tài)、調(diào)度情況及與其相關(guān)的作業(yè)拓補(bǔ)圖，支持實(shí)時(shí)作業(yè)的啟動(dòng)、停止，查

看作業(yè)的基本信息，以及每一次調(diào)度記錄。

2）實(shí)時(shí)任務(wù)監(jiān)控

支持查看各個(gè)實(shí)時(shí)任務(wù)的狀態(tài)、分類、類型等相關(guān)信息、可對(duì)任務(wù)進(jìn)行啟動(dòng)、停止操作，查看任務(wù)調(diào)

度詳情，包括實(shí)時(shí)任務(wù)調(diào)度的記錄（全部記錄、等待運(yùn)行、成功記錄、運(yùn)行中、停止中、已停止、失敗記

錄），可對(duì)正在調(diào)度中的調(diào)度實(shí)例進(jìn)行操作。

3）實(shí)時(shí)作業(yè)日志

提供所有實(shí)時(shí)作業(yè)每次調(diào)度執(zhí)行的詳細(xì)口志信息，包括作業(yè)中各個(gè)實(shí)時(shí)任務(wù)的運(yùn)行的單次調(diào)度的拓?fù)?/p>

圖、狀態(tài)以及本次作業(yè)調(diào)度下各任務(wù)節(jié)點(diǎn)的耗時(shí)、狀態(tài)等詳細(xì)調(diào)度記錄。

4）實(shí)時(shí)任務(wù)日志

支持查看實(shí)時(shí)任務(wù)每次調(diào)度執(zhí)行的詳細(xì)日志信息，用于跟蹤查看任務(wù)執(zhí)行情況，展示任務(wù)調(diào)度的詳細(xì)

日志信息，快速定位到任務(wù)報(bào)錯(cuò)原因。

6.參數(shù)管理

支持在線編寫參數(shù)腳本信息、，配置參數(shù)變量達(dá)到參數(shù)管理配置的目標(biāo)，用于在任務(wù)運(yùn)行中調(diào)用參數(shù)執(zhí)

行任務(wù)，支持字符型、整型、浮點(diǎn)型、日期、時(shí)間戳等參數(shù)類型。

7.調(diào)度異常處理

當(dāng)任務(wù)執(zhí)行異常時(shí)，支持通過(guò)人工配置任務(wù)輸入?yún)?shù)、路由參數(shù)等信息，重新執(zhí)行任務(wù)，同時(shí)執(zhí)行該

任務(wù)相關(guān)的作業(yè)，讓作業(yè)繼續(xù)執(zhí)行下去。

8.節(jié)點(diǎn)管理

支持對(duì)調(diào)度的引擎節(jié)點(diǎn)、執(zhí)行節(jié)點(diǎn)的管理，包括引擎節(jié)點(diǎn)后用、停用。引擎節(jié)點(diǎn)停用后，不再接收任

何調(diào)度任務(wù)。支持管理執(zhí)行節(jié)點(diǎn)支持的任務(wù)類型，選中后，則該節(jié)點(diǎn)后續(xù)接收引擎節(jié)點(diǎn)發(fā)送的對(duì)應(yīng)類型任

務(wù)進(jìn)行調(diào)度。支持配置執(zhí)行節(jié)點(diǎn)權(quán)重信息，根據(jù)配置的權(quán)重，引擎節(jié)點(diǎn)進(jìn)行任務(wù)分發(fā)。

數(shù)據(jù)開發(fā)平臺(tái)

需建設(shè)?個(gè)基于大數(shù)據(jù)和人工智能核心技術(shù)的數(shù)據(jù)開發(fā)、數(shù)據(jù)挖掘能力平臺(tái)。

<1）數(shù)據(jù)開發(fā)

數(shù)據(jù)開發(fā)平臺(tái)應(yīng)提供在線開發(fā)編輯器、數(shù)據(jù)源控件庫(kù)、預(yù)處理控件庫(kù)、模型控件庫(kù)、可視化控件庫(kù)、

輸出控件庫(kù)、挖掘算法庫(kù)，為數(shù)據(jù)開發(fā)人員提供一站式便捷易用的開發(fā)工具。

第13頁(yè)

1）算法模型訓(xùn)練

算法模型訓(xùn)練，實(shí)現(xiàn)通過(guò)訓(xùn)練任務(wù)編輯器創(chuàng)建訓(xùn)練任務(wù)，并執(zhí)行訓(xùn)練任務(wù)計(jì)算出算法模型；支持訓(xùn)練

任務(wù)的運(yùn)行、編輯、刪除、提交、停止和查看口志等操作。

訓(xùn)練任務(wù)編輯器，需支持隨機(jī)取樣、JOIN、Union、正則化、類型轉(zhuǎn)換、標(biāo)準(zhǔn)化、分層抽樣、離散化、

填充節(jié)點(diǎn)、數(shù)據(jù)拆分、SQL腳本、過(guò)濾節(jié)點(diǎn)等多種預(yù)處理控件走，用于進(jìn)行數(shù)據(jù)清洗處理等操作；同時(shí)通

過(guò)對(duì)數(shù)據(jù)挖掘算法進(jìn)行封裝，支持決策樹、樸素貝葉斯、邏輯I可歸、線性I可歸、隨機(jī)森林等機(jī)器學(xué)習(xí)庫(kù)。

2）計(jì)算任務(wù)管理

計(jì)算任務(wù)管理.，實(shí)現(xiàn)通過(guò)計(jì)算任務(wù)編輯器創(chuàng)建計(jì)算任務(wù)，基于訓(xùn)練好的算法模型和創(chuàng)建好的規(guī)則模型，

完成計(jì)算任務(wù)的創(chuàng)建和維護(hù)；支持計(jì)算任務(wù)的運(yùn)行、編輯、刪除、提交、停止和查看日志等操作。

3）業(yè)務(wù)規(guī)則模型

業(yè)務(wù)規(guī)則模型，提供規(guī)則模型編輯器服務(wù)，支持評(píng)分卡和決策表的規(guī)則文件創(chuàng)建，同時(shí)可封裝成業(yè)務(wù)

規(guī)則模型，供計(jì)算任務(wù)管理調(diào)用,

4）服務(wù)管理

服務(wù)管理，支持將計(jì)算結(jié)果生成頁(yè)面服務(wù)或數(shù)據(jù)服務(wù)的方式對(duì)外提供。支持服務(wù)任務(wù)的編輯、刪除、

查看日志和查詢等操作。

（2）知識(shí)圖譜

知識(shí)圖譜的構(gòu)建及應(yīng)用應(yīng)分七個(gè)步驟，包括明確業(yè)務(wù)場(chǎng)景、本體建模、知識(shí)抽取、知識(shí)存儲(chǔ)、知識(shí)融

合、知識(shí)計(jì)算和應(yīng)用探索。首先明確業(yè)務(wù)需求、應(yīng)用場(chǎng)景，以業(yè)務(wù)需求和應(yīng)用場(chǎng)景為指導(dǎo)，確定知識(shí)圖譜

的知識(shí)邊界。

數(shù)據(jù)供需協(xié)同平臺(tái)

參照省級(jí)總平臺(tái)建設(shè)要求與建設(shè)內(nèi)容，建設(shè)市域數(shù)據(jù)共享協(xié)同系統(tǒng)，子平臺(tái)與總平臺(tái)實(shí)現(xiàn)需求級(jí)聯(lián)。

主要需求包括但不限于：

1.數(shù)據(jù)需求提交

市直部門在未找到所需數(shù)據(jù)時(shí)，可通過(guò)數(shù)據(jù)供需協(xié)同系統(tǒng)在線提交本部門數(shù)據(jù)需求，通過(guò)提交數(shù)據(jù)需

求名稱、期望資源提供方、資源提供方式、需求數(shù)據(jù)項(xiàng)、申請(qǐng)依據(jù)等信息，形成數(shù)據(jù)需求清單。

2.數(shù)據(jù)需求審核

XX市數(shù)據(jù)資源管理局對(duì)部門提交的數(shù)據(jù)需求單進(jìn)行審核，對(duì)于提交的不合理需求信息，應(yīng)及時(shí)駁回至

提交部門調(diào)整。對(duì)于審核通過(guò)的需求信息，自動(dòng)分發(fā)給數(shù)據(jù)提供部門處理，由XX市數(shù)據(jù)資源管理局跟蹤、

監(jiān)督需求清單的處理進(jìn)度。

第14頁(yè)

3.數(shù)據(jù)需求反饋

數(shù)據(jù)提供部門在數(shù)據(jù)中臺(tái)上查看本部門接收到的數(shù)據(jù)需求單并進(jìn)行反饋，對(duì)于不合理或無(wú)法提供的數(shù)

據(jù)需求可予以駁回，但需說(shuō)明理由或提供相關(guān)依據(jù)，可接收的需求自動(dòng)轉(zhuǎn)換為本部門數(shù)據(jù)責(zé)任清單。

4.數(shù)據(jù)責(zé)任單處理

數(shù)據(jù)提供部門在數(shù)據(jù)中臺(tái)基于數(shù)據(jù)責(zé)任單，進(jìn)行數(shù)據(jù)資源目錄編制以及數(shù)據(jù)資源注冊(cè)，完成對(duì)數(shù)據(jù)責(zé)

任單的處理，完善本部門可共享數(shù)據(jù)資源。

數(shù)據(jù)共享交換平臺(tái)

對(duì)現(xiàn)有的政務(wù)服務(wù)數(shù)據(jù)共享平臺(tái)進(jìn)行功能升級(jí)，推進(jìn)全域數(shù)據(jù)共享交換，具備市縣一體化數(shù)據(jù)共享交

換能力。

1.交換平臺(tái)需求

數(shù)據(jù)交換平臺(tái)升級(jí)建設(shè)總體目標(biāo)是在滿足江淮大數(shù)據(jù)中心XX子平臺(tái)交換需要的基礎(chǔ)上基于原數(shù)據(jù)交

換平臺(tái)，在交換方式、數(shù)據(jù)存儲(chǔ)、前置機(jī)安全、統(tǒng)計(jì)分析?、運(yùn)營(yíng)管理等方面進(jìn)行升級(jí)改造。支撐橫向覆蓋

市直單位，下連8個(gè)縣（市、區(qū)）的前置機(jī)數(shù)據(jù)交換。同時(shí)以應(yīng)用需求為導(dǎo)向，部署數(shù)據(jù)探針（Agent）,

拓寬數(shù)據(jù)交換平臺(tái)的數(shù)據(jù)采集渠道，通過(guò)直接抽取相關(guān)單位的數(shù)據(jù)庫(kù)數(shù)據(jù)，提升數(shù)據(jù)庫(kù)采集交換的實(shí)時(shí)處

理能力。

主要需求包括但不限于：

（1）數(shù)據(jù)交換標(biāo)準(zhǔn)

基于統(tǒng)一數(shù)據(jù)資源目錄，推進(jìn)各類數(shù)據(jù)資源的歸集、應(yīng)匯盡匯，形成全市大數(shù)據(jù)湖；建設(shè)基礎(chǔ)庫(kù)和主

題軍；推進(jìn)重點(diǎn)領(lǐng)域、重點(diǎn)行業(yè)數(shù)據(jù)和互聯(lián)網(wǎng)第三方平臺(tái)數(shù)據(jù)等匯聚。

（2）前置機(jī)組件擴(kuò)展

前置機(jī)組件應(yīng)包括數(shù)據(jù)庫(kù)組件、文件組件、服務(wù)組件、消息組件，為了滿足新的交換方式需要，需要

在原基礎(chǔ)上擴(kuò)展增加級(jí)聯(lián)橋接組件，級(jí)聯(lián)橋接組件主要包括業(yè)務(wù)橋接組件和前置級(jí)聯(lián)組件兩部分。

業(yè)務(wù)橋接組件，應(yīng)提供針對(duì)交換業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)包封裝/解封、力口/解密、壓縮/解壓縮的服務(wù)功能,

并且橋接組件可支持對(duì)主流分布式數(shù)據(jù)庫(kù)、主流關(guān)系型數(shù)據(jù)庫(kù)（人大金倉(cāng)、達(dá)夢(mèng)、南大通用、ORACLE、

SQLSERVER.MYSQL）、消息訂閱及服務(wù)的抽取載入及封裝解封的適配。

前置級(jí)聯(lián)組件，應(yīng)對(duì)管控模塊、緩沖區(qū)、級(jí)聯(lián)模塊、消息通知能力說(shuō)明。

（3）數(shù)據(jù)交換大數(shù)據(jù)分析

任務(wù)綜合分析。任務(wù)日志分析、任務(wù)執(zhí)行可靠性分析、任務(wù)執(zhí)行時(shí)效性分析。實(shí)現(xiàn)對(duì)任務(wù)執(zhí)行異常情

況歸類統(tǒng)計(jì)分析，為任務(wù)異常情況提供歸類整理并為交換故障日愈提供基礎(chǔ)數(shù)據(jù)支撐。

第15頁(yè)

交換綜合分析。交換日志分析應(yīng)從交換量、交換H錄和交換單位方方面對(duì)數(shù)據(jù)交換情況進(jìn)行分析。

前置綜合分析。前置機(jī)物理健康狀況應(yīng)對(duì)前置機(jī)的CPU、內(nèi)存、磁盤情況進(jìn)行分析統(tǒng)計(jì)。

交換監(jiān)測(cè)報(bào)告。交換監(jiān)測(cè)報(bào)告應(yīng)對(duì)數(shù)據(jù)交換前置和數(shù)據(jù)交換按照日、月形成報(bào)告，需以便更加方便直

觀的了解數(shù)據(jù)交換軟硬件運(yùn)行狀況，從而為數(shù)據(jù)交換運(yùn)營(yíng)提供更加方便快捷的信息收集以提高運(yùn)營(yíng)效率。

數(shù)據(jù)交換拓?fù)?，?shù)據(jù)交換拓?fù)鋺?yīng)實(shí)現(xiàn)對(duì)交換資源和訂閱資源的追溯。

（4）部署設(shè)計(jì)

搭建分布式日志存儲(chǔ)中心。建立分布式日志存儲(chǔ)中心，將原存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中的日志信息調(diào)整為存

儲(chǔ)在分布式日志存儲(chǔ)中心，并通過(guò)建立索引機(jī)制實(shí)現(xiàn)快速日志檢索。

搭建分布式前置數(shù)據(jù)中心。分布式前置數(shù)據(jù)中心為了支持大容量，存儲(chǔ)節(jié)點(diǎn)（服務(wù)器）采月了分卷（或

分組）的組織方式。存儲(chǔ)系統(tǒng)需由一個(gè)或多個(gè)卷組成，卷與卷之間的文件是相互獨(dú)立的，所有卷的文件容

展累加就是整個(gè)存儲(chǔ)系統(tǒng)中的文件容最。

前置機(jī)部署。應(yīng)通過(guò)對(duì)原有的前置機(jī)系統(tǒng)進(jìn)升級(jí)部署以實(shí)現(xiàn)前置機(jī)的安全可靠運(yùn)行，并使相關(guān)擴(kuò)容和

維護(hù)更加便捷。

數(shù)據(jù)探針（Agent代理服務(wù)器）部署。數(shù)據(jù)探針Agenl需對(duì)數(shù)據(jù)庫(kù)中數(shù)據(jù)的變化（包括數(shù)據(jù)的增加、

刪除和修改等）進(jìn)行實(shí)時(shí)捕獲、過(guò)游、分析和轉(zhuǎn)發(fā)的功能組件，協(xié)同數(shù)據(jù)交換平臺(tái)實(shí)現(xiàn)數(shù)據(jù)庫(kù)增量數(shù)據(jù)采

集，提升數(shù)據(jù)庫(kù)采集交換的實(shí)時(shí)處理能力。

大批量交換。系統(tǒng)需支持全市各部門、各縣（市、區(qū)）大批量數(shù)據(jù)的實(shí)時(shí)或定時(shí)交換。

2.共享平臺(tái)需求

共享平臺(tái)應(yīng)基于成熟的數(shù)據(jù)共享和數(shù)據(jù)服務(wù)等產(chǎn)品進(jìn)行開發(fā)，利用政務(wù)云基礎(chǔ)設(shè)施，提供靈活部署、

按需使用、彈性擴(kuò)展的數(shù)據(jù)交換服務(wù)。數(shù)據(jù)共享平臺(tái)是數(shù)據(jù)中臺(tái)開放給用戶的使用界面;用戶通過(guò)數(shù)據(jù)共

享平臺(tái)可以實(shí)現(xiàn)數(shù)據(jù)資源的共享、調(diào)用，可進(jìn)行目錄資源的查詢、資源注冊(cè)、資源管理、資源申請(qǐng)、資源

審核、資源使用（數(shù)據(jù)庫(kù)表訂閱、服務(wù)接口調(diào)用、文件下載等）、資源使用共享記錄跟蹤等。數(shù)據(jù)共享平

臺(tái)負(fù)責(zé)市直各部門、縣（市、區(qū)）進(jìn)行數(shù)據(jù)對(duì)接，實(shí)現(xiàn)全市數(shù)據(jù)的共享交換。

主要需求包括但不限于：

（1）目錄查詢

平臺(tái)需要提供杳詢目錄的功能，可按區(qū)域、按部門、按主題、按共享類別、按時(shí)間等維度進(jìn)行展現(xiàn)，

便于政府部門用戶查找、檢索。

（2）資源訂閱

平臺(tái)需要提供訂閱資源的功能，政府部門用戶可通過(guò)政務(wù)信息共享網(wǎng)站的目錄樹查找數(shù)據(jù)資源，選中

數(shù)據(jù)資源后，可以對(duì)該資源進(jìn)行訂閱。

（3）資源申請(qǐng)

第16頁(yè)

平臺(tái)需要提供申請(qǐng)資源的功能，讓資源申請(qǐng)者填寫申請(qǐng)?jiān)颍l(fā)起申請(qǐng)政務(wù)信息資源的流程。

（4）資源審核

平臺(tái)需提供審核資源的功能，由資源提供部門對(duì)資源申請(qǐng)的內(nèi)容進(jìn)行審核，審核通過(guò)，則授予申請(qǐng)部

門該資源的查閱權(quán)，申請(qǐng)部門可通過(guò)多種方式獲取該資源。獲取方式包括信息查詢、資源下教、數(shù)據(jù)交換

等，

（5）資源下載

平臺(tái)需要提供下載文檔開放類資源的功能，用于下載文檔開放類資源，支持下載的資源類型包含XL5、

CS￥等。

（6）征集提醒

平臺(tái)需提供征集提醒功能，提醒內(nèi)容需包含上報(bào)時(shí)限、上報(bào)范圍、上報(bào)條數(shù)等信息，以方便各委辦局

用戶可以及時(shí)上報(bào)相關(guān)資源信息,

（7）資源上報(bào)

平臺(tái)需提供上報(bào)資源的功能，各委辦局可根據(jù)自己部門實(shí)際情況進(jìn)行上報(bào)模式的選擇，上報(bào)模式包括

在淺填報(bào)、數(shù)據(jù)交換、文件交換、服務(wù)接口四種方式。

（8）互動(dòng)反饋

平臺(tái)需提供互動(dòng)反饋的功能，提供政務(wù)信息共享網(wǎng)站對(duì)政府部門用戶信息反饋功能。

（9）統(tǒng)計(jì)分析展示

平臺(tái)需提供對(duì)統(tǒng)計(jì)分析結(jié)果進(jìn)行可視化展示的功能，包括接入部門、接入資源、共享資源等方面統(tǒng)計(jì)、

分析展示圖表。

共享交換平臺(tái)在升級(jí)完善過(guò)程中，應(yīng)保證原有交換任務(wù)正常運(yùn)行使用。

評(píng)估考核平臺(tái)

參照省級(jí)建設(shè)要求與建設(shè)內(nèi)容，結(jié)合XX實(shí)際情況，建設(shè)數(shù)據(jù)評(píng)估考核系統(tǒng)，通過(guò)對(duì)目錄編制、數(shù)據(jù)

歸集、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、供需對(duì)接、數(shù)據(jù)共享等方便設(shè)立合理、有效的評(píng)估指標(biāo)，評(píng)估市域各部門政

務(wù)信息資源共享工作的完成程度即效果，以評(píng)估評(píng)價(jià)強(qiáng)化數(shù)據(jù)資源共享的常態(tài)化工作，結(jié)合行政管理相結(jié)

合的措施，督促各部門保質(zhì)保量完成政務(wù)信息資源共享相關(guān)工作。

1.數(shù)據(jù)評(píng)估考核指標(biāo)需求

依據(jù)安徽省數(shù)據(jù)評(píng)估指標(biāo)，結(jié)合XX實(shí)際，將指標(biāo)和算法內(nèi)置到系統(tǒng)中，根據(jù)指標(biāo)評(píng)估分值、權(quán)重進(jìn)

行指標(biāo)建模，通過(guò)大數(shù)據(jù)的模型運(yùn)算計(jì)算出考核對(duì)象的最終得分，再根據(jù)得分結(jié)果評(píng)估考核對(duì)象的所屬等

級(jí)，

第17頁(yè)

2.大數(shù)據(jù)評(píng)估考核系統(tǒng)功能需求

大數(shù)據(jù)評(píng)估考核系統(tǒng)依托數(shù)據(jù)共享、數(shù)據(jù)交換平臺(tái)，制定針對(duì)匯聚的評(píng)估指標(biāo)數(shù)據(jù)進(jìn)行統(tǒng)一管理及評(píng)

估考核系統(tǒng)。根據(jù)國(guó)家、省評(píng)估指標(biāo)的要求，結(jié)合XX實(shí)際情況，匯聚指標(biāo)評(píng)估所需的相關(guān)業(yè)務(wù)數(shù)據(jù)，并

實(shí)時(shí)對(duì)■業(yè)務(wù)數(shù)據(jù)進(jìn)行動(dòng)態(tài)更新。調(diào)研各縣（市、區(qū)）數(shù)據(jù)使用需求情況，按照業(yè)務(wù)邏輯建立評(píng)估模型，關(guān)

聯(lián)各部門數(shù)據(jù)進(jìn)行建模。通過(guò)提供數(shù)據(jù)抽取、數(shù)據(jù)快照功能，對(duì)評(píng)估數(shù)據(jù)進(jìn)行對(duì)接、采集，在采集過(guò)程中

根據(jù)評(píng)估需求，動(dòng)態(tài)化對(duì)不同數(shù)量、不同類型的指標(biāo)進(jìn)行按需組合，配置特定的數(shù)據(jù)采集流程，形成具有

針對(duì)性的采集任務(wù)。系統(tǒng)提供根據(jù)對(duì)應(yīng)的指標(biāo)體系，臼動(dòng)化計(jì)算各區(qū)劃的指標(biāo)數(shù)據(jù)，可視化展示體系指標(biāo)。

主要需求包括但不限于：

（1）系統(tǒng)流程

應(yīng)對(duì)匯聚后的評(píng)估指標(biāo)數(shù)據(jù)進(jìn)行統(tǒng)一管理，制定評(píng)估考核流程。建立數(shù)據(jù)快照，再對(duì)評(píng)估指標(biāo)進(jìn)行數(shù)

據(jù)建模，通過(guò)模型來(lái)計(jì)算不同區(qū)域不同部門的具體指標(biāo)情況。形成具有針對(duì)性、動(dòng)態(tài)可控的評(píng)估數(shù)據(jù)，構(gòu)

成評(píng)估數(shù)據(jù)結(jié)果庫(kù)。展示不同區(qū)域，不同部門的評(píng)估考核結(jié)果。

（2）系統(tǒng)接口

應(yīng)包含大數(shù)據(jù)評(píng)估考核系統(tǒng)馬數(shù)據(jù)共享、數(shù)據(jù)交換外部接口和指標(biāo)梳理、指標(biāo)建模、數(shù)據(jù)抽取、評(píng)估

指標(biāo)、評(píng)估展示內(nèi)部接口。

（3）數(shù)據(jù)匯聚

應(yīng)根據(jù)國(guó)家、省評(píng)估指標(biāo)的要求，結(jié)合實(shí)際情況，匯聚指標(biāo)評(píng)估所需的相關(guān)業(yè)務(wù)數(shù)據(jù)，并實(shí)時(shí)對(duì)業(yè)務(wù)

數(shù)據(jù)進(jìn)行動(dòng)態(tài)更新。

（4）數(shù)據(jù)清洗

應(yīng)利用數(shù)理統(tǒng)計(jì)、數(shù)據(jù)挖掘或預(yù)定義的清理規(guī)則將匯聚的部門數(shù)據(jù)轉(zhuǎn)化為滿足評(píng)估指標(biāo)計(jì)算要求的數(shù)

據(jù)，

（5）數(shù)據(jù)快照

應(yīng)對(duì)清洗后的數(shù)據(jù)，在不同的時(shí)間點(diǎn)創(chuàng)建數(shù)據(jù)快照，將對(duì)應(yīng)的業(yè)務(wù)數(shù)據(jù)寫入到快照中。

（6）指標(biāo)建模

應(yīng)根據(jù)各縣（市、區(qū)）各部門數(shù)據(jù)使用需求情況，針對(duì)不同的部門行業(yè)考核情況，設(shè)置指標(biāo)建模邊界,

按照不同部門不同區(qū)域的業(yè)務(wù)邏輯建立評(píng)估模型?；诖髷?shù)據(jù)評(píng)估需求，關(guān)聯(lián)各部門數(shù)據(jù)進(jìn)行建模。

（7）評(píng)估計(jì)算

數(shù)據(jù)抽取計(jì)算應(yīng)對(duì)評(píng)估數(shù)據(jù)進(jìn)行對(duì)接、采集，在采集過(guò)程中根據(jù)評(píng)估需求，動(dòng)態(tài)化對(duì)不同數(shù)量、不同

類型的指標(biāo)進(jìn)行按需組合，配置特定的數(shù)據(jù)采集流程，形成具有針對(duì)性的采集任務(wù)。

（8）評(píng)估考核展示

系統(tǒng)應(yīng)根據(jù)對(duì)應(yīng)的指標(biāo)體系，展示不同行政區(qū)劃下的各指標(biāo)，并能根據(jù)系統(tǒng)內(nèi)部算法，自動(dòng)計(jì)算該區(qū)

第18頁(yè)

劃的指標(biāo)數(shù)據(jù)。

數(shù)據(jù)存算平臺(tái)

1.總體需求

數(shù)據(jù)存算平臺(tái)需對(duì)開源組件進(jìn)行封裝及增強(qiáng)，對(duì)外提供穩(wěn)定的大容量的數(shù)據(jù)存儲(chǔ)，查詢和計(jì)算能力。

2.大數(shù)據(jù)基礎(chǔ)管理平臺(tái)需求

大數(shù)據(jù)基礎(chǔ)管理平臺(tái)為部署在集群內(nèi)的服務(wù)提供統(tǒng)?的集群管理能力，應(yīng)包含主機(jī)管理、組件管理、

監(jiān)控管理、口志管理、擴(kuò)容減容、組件升級(jí)、用戶管理、權(quán)限管理和租戶管理功能。

3.大數(shù)據(jù)存儲(chǔ)平臺(tái)需求

針對(duì)大量結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)及分析需求，大數(shù)據(jù)基礎(chǔ)平臺(tái)應(yīng)采用分布式文件系統(tǒng)實(shí)現(xiàn)對(duì)

匯聚的多類型海量數(shù)據(jù)的存儲(chǔ)。本次平臺(tái)建設(shè)要求提供不低于60TB數(shù)據(jù)存儲(chǔ)能力。

主要需求包括但不限于：

（1）分布式文件存儲(chǔ)

分布式文件系統(tǒng)應(yīng)實(shí)現(xiàn)大規(guī)模數(shù)據(jù)可靠的分布式讀寫，支持?jǐn)?shù)據(jù)”?次寫，多次讀”的功能，并保證

數(shù)據(jù)的一致性；支持TB級(jí)海量分布式文件快速讀寫功能，支持處理百萬(wàn)規(guī)模以上的文件數(shù)量；分布式文

件存儲(chǔ)要具有高容錯(cuò)性，支持多個(gè)副本，在某一個(gè)副本丟失后可自動(dòng)恢復(fù)數(shù)據(jù).

（2）分布式NoSQL數(shù)據(jù)庫(kù)

分布式NoSQL數(shù)據(jù)庫(kù)應(yīng)滿足存儲(chǔ)海量非結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)或文檔型數(shù)據(jù)，具備高可靠性、

高性能、可靈活擴(kuò)展伸縮，支持實(shí)時(shí)數(shù)據(jù)讀寫的分布式存儲(chǔ)系統(tǒng)，為應(yīng)用提供可擴(kuò)展的高性能數(shù)據(jù)存儲(chǔ)。

（3）分布式全文搜索引擎

分布式全文搜索引擎應(yīng)具備分布式、高擴(kuò)展、高實(shí)時(shí)的搜索與數(shù)據(jù)分析等功能特點(diǎn)，提供標(biāo)準(zhǔn)查詢分

析器，允許使用者創(chuàng)建各種結(jié)構(gòu)化的查詢，同時(shí)具備可配置、可擴(kuò)展的能力，提供完善的功能管理界面。

支持?jǐn)?shù)據(jù)冗余存儲(chǔ)、分庫(kù)分表、數(shù)據(jù)存儲(chǔ)平滑擴(kuò)容等功能。支持集群平滑擴(kuò)容、在線備份，提供統(tǒng)一的圖

形化管理工具。支持SQL兼容查詢語(yǔ)法、以及Lucene兼容查詢語(yǔ)法。支持?jǐn)?shù)據(jù)訪問(wèn)權(quán)限認(rèn)證以及RestAPI

標(biāo)準(zhǔn)訪問(wèn)端口。

（4）分布式關(guān)系型數(shù)據(jù)庫(kù)

分布式關(guān)系型數(shù)據(jù)庫(kù)，支持大規(guī)模并行計(jì)算能力，可生成分布式執(zhí)行計(jì)劃，通過(guò)分布式并行執(zhí)行引擎,

將計(jì)劃卜.發(fā)至各個(gè)數(shù)據(jù)節(jié)點(diǎn)執(zhí)行，并行利用節(jié)點(diǎn)的計(jì)算能力；支持大規(guī)模數(shù)據(jù)的分布式存儲(chǔ)能力，具備高

性能、高可用、高擴(kuò)展特性；可根據(jù)場(chǎng)景提供行存、列存混合存儲(chǔ)能力。

（5）內(nèi)存數(shù)據(jù)庫(kù)

第19頁(yè)

內(nèi)存數(shù)據(jù)庫(kù)，應(yīng)提供Key-Value格式的數(shù)據(jù)存儲(chǔ)功能，滿足高頻低延時(shí)使用場(chǎng)景的需要。支持集群功

能，可將多個(gè)實(shí)例組合為一個(gè)集群，從而對(duì)外提供一個(gè)分布式數(shù)據(jù)。同時(shí)，支持定期異步數(shù)據(jù)持久化策略,

提供操作日志。

（6）應(yīng)基于大數(shù)據(jù)存儲(chǔ)計(jì)算平臺(tái)中Hdfs等技術(shù)組件提供的狀態(tài)服務(wù)，及時(shí)獲取各組件存儲(chǔ)容最大小、

使用率、告警閾值等信息。

4.大數(shù)據(jù)計(jì)算平臺(tái)需求

主要需求包括但不限于：

（1）批處理計(jì)算平臺(tái)

批處理計(jì)算平臺(tái)批處理或內(nèi)存計(jì)算應(yīng)適合數(shù)據(jù)量大、處理時(shí)間要求不高的場(chǎng)景。

1）分布式批處理引擎

分布式批處理引擎應(yīng)提供一個(gè)統(tǒng)一的并行計(jì)算框架，用于進(jìn)行大規(guī)模數(shù)據(jù)集的并行運(yùn)算，支持操作大

規(guī)模靜態(tài)數(shù)據(jù)集，并在整體數(shù)據(jù)處理完畢后返回結(jié)果。引擎支持分布式并行程序運(yùn)行在計(jì)算機(jī)集群上，利

用多臺(tái)計(jì)算機(jī)并發(fā)完成同一個(gè)數(shù)據(jù)處理任務(wù)，同時(shí)，支持通過(guò)增加新的計(jì)算機(jī)擴(kuò)充集群的計(jì)算能力。

2）統(tǒng)一資源管理和調(diào)度框架

統(tǒng)一資源管理和調(diào)度框架應(yīng)承擔(dān)整個(gè)集群資源的管理和分配，為離線計(jì)算、實(shí)時(shí)計(jì)算提供能力支撐，

當(dāng)對(duì)計(jì)算集群進(jìn)行擴(kuò)容或縮容時(shí)（即增加計(jì)算節(jié)點(diǎn)或刪除計(jì)算節(jié)點(diǎn)），框架對(duì)可分配資源總量進(jìn)行相應(yīng)的

增加或者減少；框架支持配置資源調(diào)度策略，用戶可以按照自己的需求選擇調(diào)度策略；框架需支持資源再

分配，如果把資源分配給某個(gè)任務(wù)之后，在一定的時(shí)間內(nèi)沒(méi)有被使用，那么可回收已分配的貨源并進(jìn)行再

分配；框架同時(shí)需具備資源隔離的能力，當(dāng)通過(guò)資源調(diào)度將資源分配給某個(gè)任務(wù)后，框架可按照要求為任

務(wù)提供相應(yīng)的資源，保證這些資源具有獨(dú)占性。

3）分布式內(nèi)存計(jì)算引擎

分布式內(nèi)存計(jì)算引擎應(yīng)支持大規(guī)模數(shù)據(jù)處理的快速通用的計(jì)算，包含任務(wù)調(diào)度、內(nèi)存管理、錯(cuò)誤恢復(fù)、

與存儲(chǔ)系統(tǒng)交互等模塊，可高效地支持更多計(jì)算模式，包括批處理、迭代算法、交互式查詢和流處理。在

統(tǒng)一的框架下支持這些不同的計(jì)算，可以簡(jiǎn)單而低耗地把各種處理流程整合在一起，減輕原先需要對(duì)各種

平臺(tái)分別管理的負(fù)擔(dān)。

4）數(shù)據(jù)倉(cāng)庫(kù)組件

數(shù)據(jù)倉(cāng)庫(kù)組件應(yīng)提供豐富的SQL查詢方式來(lái)分析存儲(chǔ)在分布式文件系統(tǒng)中的數(shù)據(jù)，支持常見的語(yǔ)句包

括DDL、DML以及常見的聚合函數(shù)、連接查詢、條件查詢，需具備可伸縮、可擴(kuò)展、容錯(cuò)、輸入格式的松

散耦合等特點(diǎn)。數(shù)據(jù)倉(cāng)庫(kù)組件支持將結(jié)構(gòu)化的數(shù)據(jù)文件映射為?張數(shù)據(jù)庫(kù)表的功能，并提供完整的SQL查

詢功能；可以將SQL語(yǔ)句轉(zhuǎn)換為分布式計(jì)算任務(wù)運(yùn)行，然后通過(guò)自己的SQL對(duì)數(shù)據(jù)進(jìn)行查詢、匯總和分析。

5）作業(yè)編排與調(diào)度

第20頁(yè)

大數(shù)據(jù)的作業(yè)編排與調(diào)度應(yīng)提供一站式任務(wù)管理.、調(diào)度、監(jiān)控的能力，提供數(shù)據(jù)集成、數(shù)據(jù)規(guī)整、數(shù)

據(jù)質(zhì)量、數(shù)據(jù)建模、腳本、自定義任務(wù)、ssh遠(yuǎn)程腳本等類型任務(wù)的可視化編排、有序調(diào)度、運(yùn)行監(jiān)控、

異常處理等全流程閉環(huán)管理能力,支持列表模式和DAG模式，支持周期任務(wù)、手動(dòng)任務(wù)、補(bǔ)數(shù)據(jù)、測(cè)試運(yùn)

行,

6）數(shù)據(jù)計(jì)算監(jiān)控

應(yīng)基于大數(shù)據(jù)存儲(chǔ)計(jì)算平臺(tái)中MapReduce、Spark、F】ink等計(jì)算引擎提供的狀態(tài)服務(wù)，及時(shí)獲取各計(jì)

算殂件的計(jì)算任務(wù)數(shù)量、名稱、任務(wù)狀態(tài)、運(yùn)行時(shí)長(zhǎng)等計(jì)算信息。

（2）流處理計(jì)算平臺(tái)需求

1）流式事件處理

流式事件處理工具組件應(yīng)實(shí)時(shí)獲取來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)，進(jìn)行實(shí)時(shí)分析處理，獲得有價(jià)值的信息，

可用于處理數(shù)據(jù)密集型的應(yīng)用。需滿足持續(xù)性、低時(shí)延、事件驅(qū)動(dòng)。流式數(shù)據(jù)處理可用于解決傳統(tǒng)數(shù)據(jù)處

理過(guò)程無(wú)法實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)處理以及對(duì)大規(guī)模、異構(gòu)數(shù)據(jù)支持不足的問(wèn)題，通過(guò)事件驅(qū)動(dòng)的方式，搭建消息

中樞，連接各系統(tǒng)實(shí)現(xiàn)系統(tǒng)間數(shù)據(jù)的交互。

2）流式計(jì)算引擎

流式計(jì)算引擎組件應(yīng)提供數(shù)據(jù)分發(fā)以及并行化計(jì)算的流數(shù)據(jù)處理的能力，負(fù)責(zé)包括原始數(shù)據(jù)預(yù)處理、

準(zhǔn)實(shí)時(shí)計(jì)算（支持默認(rèn)算子和自定義算子）、多種時(shí)間粒度批量計(jì)算、數(shù)據(jù)落地及各種容錯(cuò)處理，同時(shí)支

持自定義高級(jí)功能擴(kuò)展機(jī)制。支持兩類作業(yè)資源、并發(fā)調(diào)整模型，包括手工調(diào)優(yōu)模型、智能調(diào)優(yōu)模型，

智能調(diào)優(yōu)模式支持用戶對(duì)全局的作業(yè)資源調(diào)整，后臺(tái)AI程序自動(dòng)根據(jù)系統(tǒng)運(yùn)行現(xiàn)狀調(diào)整資源。安全性，

支持不同賬號(hào)間工作空間、業(yè)務(wù)邏輯、資源分配的相互隔離，支持用戶使用角色賦權(quán)流計(jì)算訪問(wèn)各自存儲(chǔ)

系統(tǒng)。

3）實(shí)時(shí)數(shù)據(jù)采集

實(shí)時(shí)數(shù)據(jù)采集工具組件應(yīng)滿足不同數(shù)據(jù)源采集信號(hào)對(duì)象的數(shù)據(jù)信息，并通過(guò)處理機(jī)制分析過(guò)濾數(shù)據(jù)和

儲(chǔ)存數(shù)據(jù)。實(shí)時(shí)數(shù)據(jù)采集工具組件支持定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理,

并寫到各種數(shù)據(jù)接收方的能力；需滿足分布式、可靠、和高可用的特點(diǎn)。

4）分布式消息隊(duì)列

分布式消息隊(duì)列是分布式系統(tǒng)中重要的組件，應(yīng)提供異步通信機(jī)制，消息的發(fā)送者不必一直等待到消

息被成功處理才返回，而是立即返回。消息中間件負(fù)責(zé)處理網(wǎng)絡(luò)通信，如果網(wǎng)絡(luò)連接不可用，消息可被暫

存于隊(duì)列當(dāng)中，當(dāng)網(wǎng)絡(luò)暢通的時(shí)候再將消息轉(zhuǎn)發(fā)給相應(yīng)的應(yīng)用程序或者服務(wù)，滿足提高并發(fā)量、降低服務(wù)

之間的耦合度的需求：

本次數(shù)據(jù)存算平臺(tái)建設(shè)需配置20臺(tái)服務(wù)器，依托本地政務(wù)云計(jì)算中心進(jìn)行部署，其中包括6臺(tái)管理

節(jié)點(diǎn)、2臺(tái)網(wǎng)管節(jié)點(diǎn)、3臺(tái)控制節(jié)點(diǎn)、9臺(tái)計(jì)算節(jié)點(diǎn)，為存算平臺(tái)批流處理、海量數(shù)據(jù)存儲(chǔ)提供基礎(chǔ)設(shè)施服

第21頁(yè)

務(wù)，同時(shí)上行按管理網(wǎng)、業(yè)務(wù)網(wǎng)隔離，配置6臺(tái)接入交換機(jī)接入現(xiàn)網(wǎng)核心，以及管理、業(yè)務(wù)網(wǎng)各配置1臺(tái)

BMC管理交換機(jī)。

硬件配置參數(shù)如下:

序號(hào)名稱參數(shù)單位數(shù)量

L2U機(jī)架服務(wù)器，國(guó)產(chǎn)品牌；

2.處理器：配置2顆英特爾處理器，單顆CPU主頻：＞2.2GHz,2

24核;

3.內(nèi)存：配置2768GBDDR4內(nèi)存:

4.硬盤：配置23塊960GBSSD硬盤，21塊480GBSSI）6更盤，28塊

4TBSATA硬盤；21塊3.2TSSD硬盤；

云管理服

15.獨(dú)立RAID卡:2G緩存，支持RAID0/1/5/10；