版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
1省監(jiān)獄局?jǐn)?shù)據(jù)治理及數(shù)據(jù)安全運(yùn)營服務(wù)(2024年)項(xiàng)目采購1.項(xiàng)目概況1.1.基本信息省監(jiān)獄局?jǐn)?shù)據(jù)治理及數(shù)據(jù)安全運(yùn)營服務(wù)(2024年)項(xiàng)目XX省監(jiān)獄管理局。XX省監(jiān)獄管理局及省屬監(jiān)獄單位。本項(xiàng)目目標(biāo)要求:1、完成軟件開發(fā)服務(wù),對(duì)數(shù)據(jù)中心進(jìn)行功能升級(jí)改造,數(shù)據(jù)中心部署于省政務(wù)云上,為加強(qiáng)數(shù)據(jù)采集和數(shù)據(jù)掛接接口安全管理需要,需對(duì)現(xiàn)有數(shù)據(jù)中心系統(tǒng)向業(yè)務(wù)系統(tǒng)采集和向省數(shù)據(jù)資源一網(wǎng)共享平臺(tái)共享數(shù)據(jù)的接口進(jìn)行升級(jí)改造,包括數(shù)據(jù)采集加密模塊和數(shù)據(jù)共享接口配置模塊(政務(wù)外網(wǎng)側(cè))。2、通過數(shù)據(jù)治理服務(wù),完成對(duì)數(shù)據(jù)中心存量數(shù)據(jù)、增量數(shù)據(jù)和新增對(duì)接的291張數(shù)據(jù)表的數(shù)據(jù)治理服務(wù)工作,包括數(shù)據(jù)歸集、數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量監(jiān)測(cè)和數(shù)據(jù)資產(chǎn)管理等服務(wù),實(shí)現(xiàn)數(shù)據(jù)質(zhì)量無缺項(xiàng)漏項(xiàng),一致性達(dá)到100%,數(shù)據(jù)利用率不低于50%(年度利用條數(shù)/新增存量條數(shù))。3、通過數(shù)據(jù)安全運(yùn)營服務(wù):加強(qiáng)數(shù)據(jù)安全管理體系建設(shè),管住數(shù)據(jù)中心接入和共享這兩個(gè)口,作為數(shù)據(jù)安全運(yùn)營成果的基礎(chǔ),規(guī)范數(shù)據(jù)使用權(quán)限,落實(shí)數(shù)2據(jù)安全組織責(zé)任制,優(yōu)化數(shù)據(jù)安全監(jiān)管策略,嚴(yán)格監(jiān)督數(shù)據(jù)安全監(jiān)控措施執(zhí)行,確保數(shù)據(jù)完整性、數(shù)據(jù)保密性,數(shù)據(jù)應(yīng)用安全合規(guī)性,實(shí)現(xiàn)對(duì)監(jiān)獄業(yè)務(wù)數(shù)據(jù)全生命周期的管控,確保數(shù)據(jù)零泄漏。依據(jù)《智慧監(jiān)獄技術(shù)規(guī)范》開展數(shù)據(jù)治理工作,持續(xù)完善數(shù)據(jù)標(biāo)準(zhǔn)體系,根據(jù)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)和統(tǒng)一的數(shù)據(jù)資源目錄體系對(duì)數(shù)據(jù)進(jìn)行ETL調(diào)度和交換,全面推進(jìn)數(shù)據(jù)資源標(biāo)準(zhǔn)化,解決數(shù)據(jù)資源混亂、信息分散、數(shù)據(jù)不全和更有效性、時(shí)效性和共享性等特性。對(duì)標(biāo)《GB/T37988-2019信息安全技術(shù)數(shù)據(jù)安全能力成熟度模型》完善數(shù)據(jù)安全管理體系,在歷年敏感數(shù)據(jù)梳理服務(wù)、數(shù)據(jù)分類分級(jí)梳理服務(wù)等數(shù)據(jù)安全運(yùn)營成果的基礎(chǔ)上,加強(qiáng)數(shù)據(jù)采集安全和數(shù)據(jù)共享api接口安全監(jiān)測(cè),優(yōu)化數(shù)據(jù)安全監(jiān)管策略以支撐數(shù)據(jù)安全管控措施決策,嚴(yán)格數(shù)據(jù)應(yīng)用安全合規(guī)性,實(shí)現(xiàn)對(duì)監(jiān)獄業(yè)務(wù)數(shù)據(jù)全生命周期的管控,為上層應(yīng)用提供數(shù)據(jù)保障。通過全省監(jiān)獄業(yè)務(wù)信息化的建設(shè)及應(yīng)用,沉淀了大量的業(yè)務(wù)數(shù)據(jù),為數(shù)據(jù)關(guān)聯(lián)分析和深度應(yīng)用積累了豐富素材,需要將這些數(shù)據(jù)規(guī)整、校對(duì)、清洗之后共享交換用于各監(jiān)獄業(yè)務(wù)的數(shù)據(jù)分析應(yīng)用。信息系統(tǒng)現(xiàn)狀:XX省監(jiān)獄管理局“數(shù)據(jù)中心”(對(duì)應(yīng)普查系統(tǒng)中“XX省監(jiān)獄管理局?jǐn)?shù)據(jù)中心軟件部分(一期)”)從2016年籌劃并開始建設(shè),到目前省監(jiān)獄局?jǐn)?shù)據(jù)中心一期項(xiàng)目已完成了省局和省屬監(jiān)獄核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)的歸集、治理、3共享。系統(tǒng)于2018年底上線運(yùn)行以來,已先后給監(jiān)獄體系內(nèi)多個(gè)系統(tǒng)提供了數(shù)據(jù)服務(wù)能力支撐,完成了階段性數(shù)據(jù)匯聚工作。數(shù)據(jù)質(zhì)量穩(wěn)步提高,提升了監(jiān)獄業(yè)務(wù)數(shù)據(jù)對(duì)內(nèi)外部共享應(yīng)用的效果。目前省監(jiān)獄局?jǐn)?shù)據(jù)中心已完成安全可靠測(cè)評(píng)改造,部署在省政務(wù)云司法專區(qū)。數(shù)據(jù)治理運(yùn)營現(xiàn)狀:省監(jiān)獄局?jǐn)?shù)據(jù)中心一期項(xiàng)目已完成了省局和26所省屬監(jiān)獄核心業(yè)務(wù)系統(tǒng)數(shù)據(jù)的歸集、治理、共享,同時(shí)對(duì)外共享方面,給監(jiān)獄體系外的省級(jí)政務(wù)部門提供了數(shù)據(jù)服務(wù)能力,并定期按上級(jí)要求完成監(jiān)獄業(yè)務(wù)數(shù)據(jù)上報(bào)。數(shù)據(jù)安全運(yùn)營現(xiàn)狀:2023年起,為貫徹落實(shí)《中華人民共和國數(shù)據(jù)安全法》有關(guān)數(shù)據(jù)安全主體責(zé)任的要求,初步建立起數(shù)據(jù)管理管理體系制度、完成數(shù)據(jù)分類分級(jí)并按分類分級(jí)管理要求實(shí)施數(shù)據(jù)應(yīng)用分級(jí)授權(quán)管理,并開展數(shù)據(jù)共享API接口安全監(jiān)測(cè),保護(hù)數(shù)據(jù)共享出口的安全?,F(xiàn)仍需加強(qiáng)數(shù)據(jù)采集監(jiān)測(cè)、數(shù)據(jù)共享的安全管理,并持續(xù)優(yōu)化數(shù)據(jù)安全監(jiān)管策略以支撐數(shù)據(jù)安全防控措施的決策。本項(xiàng)目總預(yù)算為X萬元。本項(xiàng)目委托服務(wù)期限:以采購人確認(rèn)的服務(wù)啟動(dòng)報(bào)審備案時(shí)間為服務(wù)起始時(shí)間,服務(wù)期為12個(gè)月。本項(xiàng)目總體建設(shè)內(nèi)容含軟件開發(fā)服務(wù)、數(shù)據(jù)治理運(yùn)營服務(wù)和數(shù)據(jù)安全運(yùn)營服務(wù),服務(wù)期1年。具體服務(wù)內(nèi)容如下:為加強(qiáng)數(shù)據(jù)采集和數(shù)據(jù)掛接接口安全管理需要,需對(duì)現(xiàn)有數(shù)據(jù)中心系統(tǒng)向業(yè)4務(wù)系統(tǒng)采集和向省數(shù)據(jù)資源一網(wǎng)共享平臺(tái)共享數(shù)據(jù)的接口進(jìn)行升級(jí)改造,包括數(shù)據(jù)采集加密模塊和數(shù)據(jù)共享接口配置模塊(政務(wù)外網(wǎng)側(cè))。、數(shù)據(jù)采集加密模塊對(duì)于使用數(shù)據(jù)歸集接進(jìn)行數(shù)據(jù)采集采集的業(yè)務(wù)系統(tǒng),為進(jìn)一步加強(qiáng)數(shù)據(jù)傳輸安全,新增數(shù)據(jù)采集加密功能。數(shù)據(jù)中心為每一個(gè)接入系統(tǒng)分配獨(dú)立且隨機(jī)的數(shù)據(jù)加密和解碼的秘鑰,業(yè)務(wù)系統(tǒng)的數(shù)據(jù)由數(shù)據(jù)中心監(jiān)獄前置機(jī)先對(duì)數(shù)據(jù)進(jìn)行加密后再上傳至數(shù)據(jù)中心,數(shù)據(jù)中心收到數(shù)據(jù)后采用同樣的秘鑰對(duì)數(shù)據(jù)進(jìn)行解密,成功解密的數(shù)據(jù)才能入庫到數(shù)據(jù)中心。明確數(shù)據(jù)來源部門,實(shí)現(xiàn)數(shù)據(jù)采集任務(wù)對(duì)采集的數(shù)據(jù)進(jìn)行加密,包括數(shù)源部門信息、數(shù)據(jù)資產(chǎn)與數(shù)據(jù)部門綁定信息、采集數(shù)據(jù)加密接口信息、采集數(shù)據(jù)解密接口信息。按照數(shù)據(jù)管理組織制度,新增數(shù)源部門信息,包括數(shù)據(jù)部門名稱、數(shù)源部門主管系統(tǒng)信息、數(shù)源部門負(fù)責(zé)人、數(shù)源部門數(shù)據(jù)安全管理員等信息。將分類分級(jí)后的數(shù)據(jù)資產(chǎn)信息綁定到對(duì)應(yīng)的數(shù)源部門進(jìn)行管理,包括元數(shù)據(jù)、數(shù)據(jù)血緣和數(shù)源部門等信息。在數(shù)據(jù)中心商用密碼應(yīng)用改造后的基礎(chǔ)上,調(diào)用數(shù)據(jù)中心的密碼資源池管理功能,新增數(shù)據(jù)采集階段對(duì)數(shù)據(jù)加密的配置管理,包括需加密數(shù)據(jù)、選配加密算法等配置信息。為數(shù)據(jù)采集提供與加密數(shù)據(jù)對(duì)稱的解密信息管理,獲取與加密對(duì)稱的解密方法,并調(diào)用解密接口對(duì)數(shù)據(jù)進(jìn)行解密。、數(shù)據(jù)共享接口配置模塊(政務(wù)外網(wǎng)側(cè))將省局?jǐn)?shù)據(jù)中心在政務(wù)外網(wǎng)普通區(qū)配置前置庫掛接數(shù)據(jù)的方式改為通過接口訪問指定數(shù)據(jù)的方式。功能包括查詢腳本信息、共享數(shù)據(jù)記錄信息、接口協(xié)議配置信息、訪問授權(quán)信息、訪問控制配置信息、接口發(fā)布申請(qǐng)信息、接口發(fā)布審批信息、接口發(fā)布撤回及注銷信息、接口調(diào)用狀態(tài)監(jiān)測(cè)信息、日志定期清理信息。提供以SQL腳本的方式查詢出需要掛接的數(shù)據(jù)集合,并展示數(shù)據(jù)樣例,包括SQL腳本、查詢失敗提示、數(shù)據(jù)樣例等信息。對(duì)通過接口調(diào)用共享出去的數(shù)據(jù)進(jìn)行記錄,包括對(duì)應(yīng)的共享任務(wù)、共享接口、數(shù)據(jù)表、數(shù)據(jù)條數(shù)等信息。為查詢出的數(shù)據(jù)集合配置接口協(xié)議和url,包括調(diào)用協(xié)議(webservice、json或其他主流協(xié)議),url路徑、報(bào)文格式等。為共享接口配置訪問授權(quán)管理,包括接口、訪問ID、訪問授權(quán)碼等。為共享接口配置訪問控制管理,包括訪問頻率限制、授權(quán)訪問時(shí)限等。將配置好的共享接口發(fā)布到數(shù)據(jù)API服務(wù)上線使用需提交給數(shù)源部門申請(qǐng)發(fā)布。包括申請(qǐng)單號(hào),申請(qǐng)單位、申請(qǐng)人,接口協(xié)議信息、接口訪問授權(quán)、接口6訪問控制、申請(qǐng)時(shí)間等信息。數(shù)源部門對(duì)省局?jǐn)?shù)據(jù)中心政務(wù)外網(wǎng)需共享的數(shù)據(jù)接口進(jìn)行審批,包括審批單位、審批人、審批時(shí)間、是否同意等信息。數(shù)源部門對(duì)省局?jǐn)?shù)據(jù)中心審批通過的數(shù)據(jù)接口進(jìn)行撤回,撤回的數(shù)據(jù)接口可修改后再次發(fā)布審批,撤回信息包括撤回單位、撤回審批人、撤回時(shí)間、撤回原因等信息。對(duì)于不再使用的數(shù)據(jù)接口,數(shù)源單位可申請(qǐng)注銷,經(jīng)注銷后的數(shù)據(jù)接口不再供第三方業(yè)務(wù)系統(tǒng)調(diào)用,注銷信息包括注銷單位、注銷人、注銷時(shí)間、注銷原因等信息。24小時(shí)集中訪問時(shí)間分析、訪問失敗記錄等信息。對(duì)于識(shí)別為非法訪問(如高頻率調(diào)用、非法訪問IP、越權(quán)等)的數(shù)據(jù)接口調(diào)用行為,應(yīng)即時(shí)向數(shù)源部門、省局?jǐn)?shù)據(jù)中心管理員等發(fā)送調(diào)用預(yù)警信息,加強(qiáng)數(shù)據(jù)安全風(fēng)險(xiǎn)防控。預(yù)警消息包括調(diào)用賬號(hào)、訪問接口名稱、訪問時(shí)間、訪問來源IP地址、非法原因等。大類的歷史數(shù)據(jù)共享日志信息占用存儲(chǔ)空間,影響基于日志的數(shù)據(jù)統(tǒng)計(jì)性能和效率,系統(tǒng)需支持對(duì)數(shù)據(jù)共享日志進(jìn)行定期清理,定期清理的頻率可配置,需記錄日志清理的過程信息,包括清理時(shí)間、清理數(shù)據(jù)量、清理結(jié)果(成功或失敗)7本項(xiàng)目系統(tǒng)業(yè)務(wù)運(yùn)營服務(wù)主要內(nèi)容為提供一年期的數(shù)據(jù)治理運(yùn)營服務(wù)和數(shù)據(jù)安全運(yùn)營服務(wù)。本項(xiàng)目數(shù)據(jù)處理運(yùn)營服務(wù)(含數(shù)據(jù)治理運(yùn)營服務(wù)和數(shù)據(jù)安全運(yùn)用服務(wù))的服務(wù)對(duì)象包括省監(jiān)獄局?jǐn)?shù)據(jù)中心現(xiàn)有的數(shù)據(jù)資產(chǎn)(含存量數(shù)據(jù)、已對(duì)接系統(tǒng)的增量數(shù)據(jù))和新增的數(shù)據(jù)表清單。新增的數(shù)據(jù)表清單如下:表2:新增需歸集數(shù)據(jù)情況1教育改造系統(tǒng)罪犯危險(xiǎn)性評(píng)估系統(tǒng)(升級(jí))1待驗(yàn)收2醫(yī)療管理系統(tǒng)醫(yī)療管理二期1待驗(yàn)收3刑罰執(zhí)行系統(tǒng)刑罰執(zhí)行升級(jí)(2021年)188已終驗(yàn)4改造評(píng)估及心理測(cè)量與矯治系統(tǒng)罪犯改造質(zhì)量1待驗(yàn)收5心理測(cè)量與矯治系統(tǒng)1待驗(yàn)收6統(tǒng)一管理平臺(tái)統(tǒng)一管理平臺(tái)1已終驗(yàn)8(一)服務(wù)目標(biāo)(二)服務(wù)內(nèi)容庫訪問、數(shù)據(jù)API等實(shí)時(shí)抽取數(shù)據(jù)的技術(shù)方式完成數(shù)據(jù)對(duì)接,實(shí)現(xiàn)新建系統(tǒng)或共需采集6個(gè)系統(tǒng)的291張數(shù)據(jù)來源表,通過歸集服務(wù)按業(yè)務(wù)系統(tǒng)歸集合并出291張業(yè)務(wù)數(shù)據(jù)歸集表。務(wù)范圍包括已對(duì)接的169個(gè)系統(tǒng)、8529張數(shù)據(jù)來源表、26臺(tái)數(shù)據(jù)采集前置機(jī),共涉及29個(gè)歸集庫(含913張歸集表)。主要內(nèi)容包括:完成數(shù)據(jù)中心存量數(shù)據(jù)、已對(duì)接系統(tǒng)的增量數(shù)據(jù)和新增291張表的業(yè)務(wù)數(shù)據(jù)過數(shù)據(jù)庫直連、數(shù)據(jù)共享交換、數(shù)據(jù)API接口等多種方式,歸集業(yè)務(wù)系統(tǒng)數(shù)據(jù)務(wù)管理、周期性采集任務(wù)管理、接口對(duì)接采集、數(shù)據(jù)預(yù)處理和數(shù)據(jù)抽取等工作。9②數(shù)據(jù)采集器配置術(shù)方案以DB數(shù)據(jù)源、Http數(shù)據(jù)源(get、post兩種采集數(shù)據(jù)方式)為例,提供數(shù)創(chuàng)建需要同步的Http數(shù)據(jù)庫信息。所需填寫的信息包括名稱、描述、根目錄、獲取類型(包括GET、POST)URL等。數(shù)據(jù)采集器任務(wù)管理提供創(chuàng)建、復(fù)制、啟動(dòng)、停止、刪除采集器任務(wù)配1)數(shù)據(jù)導(dǎo)入下幾點(diǎn):“任務(wù)名稱”:創(chuàng)建同步數(shù)據(jù)任務(wù)的名稱“表選擇”:選擇需要同步數(shù)據(jù)庫中的哪一張表“數(shù)據(jù)過濾”:按照sql語法填寫where語句,但是不用加where,直接填“刷新數(shù)據(jù)”:選擇的表數(shù)據(jù)加上過濾條件后的數(shù)據(jù)預(yù)覽“返回”:返回到數(shù)據(jù)同步頁面2)選擇同步數(shù)據(jù)目標(biāo)選擇同步的數(shù)據(jù)內(nèi)容主要有以下幾點(diǎn):“目標(biāo)選擇”:從“資源目錄”-“數(shù)據(jù)集”中選擇數(shù)據(jù)需要導(dǎo)入到HDFS(目前支持HDFS和KAFKA)的數(shù)據(jù)集名稱“Name”:需要同步到HDFS的數(shù)據(jù)集名稱“Path”:數(shù)據(jù)存放到HDFS的路徑“Format”:數(shù)據(jù)存放的格式“Type”:數(shù)據(jù)存儲(chǔ)的類型“取消”:返回到數(shù)據(jù)同步頁面3)字段映射及脫敏字段映射及脫敏的內(nèi)容主要有:“源頭表”:源數(shù)據(jù)表中選擇需要同步的字段“目標(biāo)表”:目標(biāo)數(shù)據(jù)集中的所有字段,不支持修改(源頭表中的字段少于目標(biāo)表時(shí),為映射的字段數(shù)據(jù)為null)“自動(dòng)匹配”:源數(shù)據(jù)字段名稱和目標(biāo)表字段相同時(shí),系統(tǒng)自動(dòng)映射“脫敏規(guī)則”:用*隱藏:同步的數(shù)據(jù)全部用*代替;去除數(shù)據(jù):同步的數(shù)據(jù)用null代替“取消”:返回到數(shù)據(jù)同步頁面4)選擇執(zhí)行方式執(zhí)法方式的內(nèi)容主要有:“并行度”:任務(wù)執(zhí)行的并行度“錯(cuò)誤控制”:當(dāng)任務(wù)處理的錯(cuò)誤條數(shù)到達(dá)這個(gè)數(shù)字就會(huì)將這個(gè)任務(wù)kill“觸發(fā)器”:立即執(zhí)行:任務(wù)啟動(dòng)后立即執(zhí)行,只執(zhí)行一次;周期執(zhí)行:設(shè)置任務(wù)的執(zhí)行周期,任務(wù)啟動(dòng)后開始計(jì)算任務(wù)周期“周期”:任務(wù)執(zhí)行周期“增量字段”:設(shè)定增量更新標(biāo)志位字段,根據(jù)該字段的增加進(jìn)行數(shù)據(jù)更新,目前支持通過id和時(shí)間戳進(jìn)行增量更新?!胺謪^(qū)鍵”:同步到HDFS中的數(shù)據(jù)根據(jù)指定的字段進(jìn)行分區(qū)“分區(qū)鍵格式”:指定對(duì)分區(qū)鍵時(shí)間格式,目前只支持對(duì)date和timestamp類型的數(shù)據(jù)指定分區(qū)格式“執(zhí)行參數(shù)”:執(zhí)行任務(wù)的參數(shù)“樣例”:支持的時(shí)間格式“取消”:返回到數(shù)據(jù)同步頁面5)任務(wù)預(yù)覽創(chuàng)建任務(wù)成功,任務(wù)狀態(tài)為“已創(chuàng)建”。“名稱”:同步任務(wù)的名稱“數(shù)據(jù)源”:同步數(shù)據(jù)庫的源數(shù)據(jù)名稱“同步對(duì)象”:同步數(shù)據(jù)的表名“數(shù)據(jù)集”:同步數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)集名稱“周期情況”:任務(wù)的執(zhí)行周期“創(chuàng)建時(shí)間”:任務(wù)創(chuàng)建的時(shí)間“狀態(tài)”:任務(wù)當(dāng)前的狀態(tài)“最后一次讀入”:最后一次執(zhí)行讀入多少條數(shù)據(jù)“最后一次寫入”:最后一次執(zhí)行寫入多少條數(shù)據(jù)“最近變更”:最后一次執(zhí)行和上一次執(zhí)行讀取條數(shù)的變化“最后執(zhí)行時(shí)間”:最后一個(gè)任務(wù)執(zhí)行完成后的時(shí)間“最后執(zhí)行狀態(tài)”:最后一個(gè)任務(wù)執(zhí)行完成后的狀態(tài)“執(zhí)行列表”:同步任務(wù)的執(zhí)行記錄6)數(shù)據(jù)采集任務(wù)執(zhí)行數(shù)據(jù)采集任務(wù)執(zhí)行內(nèi)容:“啟動(dòng)時(shí)間”:任務(wù)執(zhí)行的開始時(shí)間“完成時(shí)間”:任務(wù)執(zhí)行的完成時(shí)間“讀入”:任務(wù)執(zhí)行同步數(shù)據(jù)的讀入條數(shù)“寫出”:任務(wù)執(zhí)行同步數(shù)據(jù)的寫出條數(shù)“錯(cuò)誤寫出”:任務(wù)執(zhí)行同步數(shù)據(jù)的錯(cuò)誤寫出條數(shù)“狀態(tài)”:任務(wù)執(zhí)行完成后的狀態(tài)“查看日志”:任務(wù)執(zhí)行過程生成的日志⑤Http數(shù)據(jù)源采集任務(wù)管理1)HTTP采集任務(wù)創(chuàng)建HTTP采集任務(wù)主要內(nèi)容有:“任務(wù)名稱”:創(chuàng)建同步數(shù)據(jù)任務(wù)的名稱“數(shù)據(jù)源”:從“資源目錄”-“數(shù)據(jù)源”下選擇需要同步的http的數(shù)據(jù)源名稱“Schema”:同步的http數(shù)據(jù)源對(duì)應(yīng)的schema字段,支持同步全部字段和部分字段“數(shù)據(jù)過濾”:同步數(shù)據(jù)的過濾條件“返回”:返回到數(shù)據(jù)同步頁面選擇同步數(shù)據(jù)目標(biāo)2)字段映射及脫敏字段映射及脫敏主要內(nèi)容:“源頭表”:源數(shù)據(jù)表中選擇需要同步的字段“目標(biāo)表”:目標(biāo)數(shù)據(jù)集中的所有字段,不支持修改(源頭表中的字段少于目標(biāo)表時(shí),為映射的字段數(shù)據(jù)為null)“自動(dòng)匹配”:源數(shù)據(jù)字段名稱和目標(biāo)表字段相同時(shí),系統(tǒng)自動(dòng)映射“脫敏規(guī)則”:用*隱藏:同步的數(shù)據(jù)全部用*代替;去除數(shù)據(jù):同步的數(shù)據(jù)用null代替“取消”:返回到數(shù)據(jù)同步頁面3)執(zhí)行方式選擇執(zhí)行方式主要內(nèi)容:“并行度”:任務(wù)執(zhí)行的并行度“錯(cuò)誤控制”:當(dāng)任務(wù)處理的錯(cuò)誤條數(shù)到達(dá)這個(gè)數(shù)字就會(huì)將這個(gè)任務(wù)kill“觸發(fā)器”:立即執(zhí)行:任務(wù)啟動(dòng)后立即執(zhí)行,只執(zhí)行一次;周期執(zhí)行:設(shè)置任務(wù)的執(zhí)行周期,任務(wù)啟動(dòng)后開始計(jì)算任務(wù)周期“周期”:任務(wù)執(zhí)行周期“增量字段”:設(shè)定增量更新標(biāo)志位字段,根據(jù)該字段的增加進(jìn)行數(shù)據(jù)更新,目前支持通過id和時(shí)間戳進(jìn)行增量更新?!胺謪^(qū)鍵”:同步到HDFS中的數(shù)據(jù)根據(jù)指定的字段進(jìn)行分區(qū)“分區(qū)鍵格式”:指定對(duì)分區(qū)鍵時(shí)間格式,目前只支持對(duì)date和timestamp類型的數(shù)據(jù)指定分區(qū)格式“執(zhí)行參數(shù)”:執(zhí)行任務(wù)的參數(shù)“樣例”:支持的時(shí)間格式“取消”:返回到數(shù)據(jù)同步頁面4)任務(wù)預(yù)覽創(chuàng)建任務(wù)成功,任務(wù)狀態(tài)為“已創(chuàng)建”。“名稱”:同步任務(wù)的名稱“數(shù)據(jù)源”:同步數(shù)據(jù)庫的源數(shù)據(jù)名稱“同步對(duì)象”:同步數(shù)據(jù)的表名“數(shù)據(jù)集”:同步數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)集名稱“周期情況”:任務(wù)的執(zhí)行周期“創(chuàng)建時(shí)間”:任務(wù)創(chuàng)建的時(shí)間“狀態(tài)”:任務(wù)當(dāng)前的狀態(tài)“最后一次讀入”:最后一次執(zhí)行讀入多少條數(shù)據(jù)“最后一次寫入”:最后一次執(zhí)行寫入多少條數(shù)據(jù)“最近變更”:最后一次執(zhí)行和上一次執(zhí)行讀取條數(shù)的變化“最后執(zhí)行時(shí)間”:最后一個(gè)任務(wù)執(zhí)行完成后的時(shí)間“最后執(zhí)行狀態(tài)”:最后一個(gè)任務(wù)執(zhí)行完成后的狀態(tài)“執(zhí)行列表”:同步任務(wù)的執(zhí)行記錄⑥周期性采集任務(wù)管理1)定義數(shù)據(jù)源創(chuàng)建同步數(shù)據(jù)頁面,選擇需要同步的數(shù)據(jù)源:“任務(wù)名稱”:創(chuàng)建同步數(shù)據(jù)任務(wù)的名稱“數(shù)據(jù)源”:從“資源目錄”-“數(shù)據(jù)源”下選擇需要同步的數(shù)據(jù)庫的數(shù)據(jù)源名稱“表選擇”:選擇需要同步數(shù)據(jù)庫中的哪一張表“數(shù)據(jù)過濾”:按照sql語法填寫where語句,但是不用加where,直接填“刷新數(shù)據(jù)”:選擇的表數(shù)據(jù)加上過濾條件后的數(shù)據(jù)預(yù)覽“返回”:返回到數(shù)據(jù)同步頁面2)同步數(shù)據(jù)目標(biāo)同步數(shù)據(jù)目標(biāo)主要有:“目標(biāo)選擇”:從“資源目錄”-“數(shù)據(jù)集”中選擇數(shù)據(jù)需要同步到HDFS或KAFKA的數(shù)據(jù)集名稱“Name”:需要同步到HDFS的數(shù)據(jù)集名稱“Path”:數(shù)據(jù)存放到HDFS的路徑“Format”:數(shù)據(jù)存放的格式“Type”:數(shù)據(jù)存儲(chǔ)的類型“Separator”:數(shù)據(jù)存儲(chǔ)的分隔符“返回”:返回到數(shù)據(jù)同步頁面3)字段映射與脫敏字段映射與脫敏主要內(nèi)容:“源頭表”:源數(shù)據(jù)表中選擇需要同步的字段“目標(biāo)表”:目標(biāo)數(shù)據(jù)集中的所有字段,不支持修改(源頭表中的字段少于目標(biāo)表時(shí),為映射的字段數(shù)據(jù)為null)“自動(dòng)匹配”:源數(shù)據(jù)字段名稱和目標(biāo)表字段相同時(shí),系統(tǒng)自動(dòng)映射“脫敏規(guī)則”:用*隱藏:同步的數(shù)據(jù)全部用*代替;去除數(shù)據(jù):同步的數(shù)據(jù)用null代替“返回”:返回到數(shù)據(jù)同步頁面4)任務(wù)執(zhí)行方式任務(wù)執(zhí)行方式主要內(nèi)容:“并行度”:任務(wù)執(zhí)行的并行度“錯(cuò)誤記錄上限數(shù)”:當(dāng)任務(wù)處理的錯(cuò)誤條數(shù)到達(dá)這個(gè)數(shù)字就會(huì)將這個(gè)任“觸發(fā)器”:立即執(zhí)行:任務(wù)啟動(dòng)后立即執(zhí)行,只執(zhí)行一次;周期執(zhí)行:設(shè)置任務(wù)的執(zhí)行周期,任務(wù)啟動(dòng)后開始計(jì)算任務(wù)周期“周期”:任務(wù)執(zhí)行周期“增量字段”:設(shè)定增量更新標(biāo)志位字段,根據(jù)該字段的增加進(jìn)行數(shù)據(jù)更新,目前支持通過id和時(shí)間戳進(jìn)行增量更新?!胺謪^(qū)鍵”:同步到HDFS中的數(shù)據(jù)根據(jù)指定的字段進(jìn)行分區(qū)“返回”:返回到數(shù)據(jù)同步頁面5)同步任務(wù)管理創(chuàng)建同步任務(wù)成功,任務(wù)狀態(tài)為“已創(chuàng)建”?!懊Q”:同步任務(wù)的名稱“數(shù)據(jù)源”:同步數(shù)據(jù)庫的源數(shù)據(jù)名稱“同步對(duì)象”:同步數(shù)據(jù)的表名“數(shù)據(jù)集”:同步數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)集名稱“周期情況”:任務(wù)的執(zhí)行周期“創(chuàng)建時(shí)間”:任務(wù)創(chuàng)建的時(shí)間“狀態(tài)”:任務(wù)當(dāng)前的狀態(tài)“最后執(zhí)行時(shí)間”:最后一個(gè)任務(wù)執(zhí)行完成后的時(shí)間“最后執(zhí)行狀態(tài)”:最后一個(gè)任務(wù)執(zhí)行完成后的狀態(tài)“執(zhí)行列表”:同步任務(wù)的執(zhí)行記錄5)周期性采集任務(wù)周期性采集的主內(nèi)容:“啟動(dòng)時(shí)間”:任務(wù)執(zhí)行的開始時(shí)間“記錄數(shù)”:任務(wù)執(zhí)行同步數(shù)據(jù)的條數(shù)“完成時(shí)間”:任務(wù)執(zhí)行的完成時(shí)間“狀態(tài)”:任務(wù)執(zhí)行完成后的狀態(tài)“查看日志”:任務(wù)執(zhí)行過程生成的日志“預(yù)覽數(shù)據(jù)集”:預(yù)覽同步到數(shù)據(jù)集的數(shù)據(jù)⑦接口對(duì)接采集接口對(duì)接采集主要實(shí)現(xiàn)針對(duì)數(shù)據(jù)庫備份文件、文檔文件、圖片、視頻、音頻等非結(jié)構(gòu)化數(shù)據(jù)文件的采集匯聚。通過前置機(jī)以接口方式完成非結(jié)構(gòu)化數(shù)據(jù)采集,同時(shí)具備非結(jié)構(gòu)化數(shù)據(jù)增量比對(duì)處理能力,避免歷史非結(jié)構(gòu)化數(shù)據(jù)的重復(fù)采集。具體如下:1)獲取數(shù)據(jù)任務(wù)名稱、目標(biāo)業(yè)務(wù)系統(tǒng)、文件名稱、文件格式、文件大小、更新時(shí)間、首次執(zhí)行時(shí)間、最新執(zhí)行時(shí)間、執(zhí)行結(jié)果、最新增量情況。2)數(shù)據(jù)格式、數(shù)據(jù)量及頻次Xml格式加密包,實(shí)時(shí)觸發(fā)或手動(dòng)觸發(fā)。3)接口類型:程序自動(dòng)輸入輸出的Webservice接口、數(shù)據(jù)抽取加載工具定期自動(dòng)輸入輸出。4)接口格式非結(jié)構(gòu)化數(shù)據(jù)的描述格式,定制基于非結(jié)構(gòu)化數(shù)據(jù)格式的采集接口,進(jìn)行數(shù)據(jù)采集同步。(1)數(shù)據(jù)獲取函數(shù)非結(jié)構(gòu)化數(shù)據(jù)接口數(shù)據(jù)獲取函數(shù)如下:函數(shù)名稱GetFJGZLTBList作用說明:通過輸入?yún)?shù)獲取非結(jié)構(gòu)化數(shù)據(jù)采集信息函數(shù)調(diào)用。輸入?yún)?shù)主要有:開始時(shí)間、截至?xí)r間、時(shí)間戳、表示數(shù)據(jù)獲取時(shí)間輸出參數(shù):機(jī)構(gòu)名稱、任務(wù)名稱、目標(biāo)業(yè)務(wù)系統(tǒng)、文件名稱、文件格式、文件大小、更新時(shí)間、首次執(zhí)行時(shí)間、最新執(zhí)行時(shí)間、執(zhí)行結(jié)果(成功或失敗)最新增量情況(2)數(shù)據(jù)輸入函數(shù)非結(jié)構(gòu)化數(shù)據(jù)采集相關(guān)數(shù)據(jù)輸入函數(shù)如下:函數(shù)名稱作用說明:通過輸入?yún)?shù),實(shí)現(xiàn)調(diào)取非結(jié)構(gòu)化數(shù)據(jù)信息。函數(shù)方法:采用函數(shù)調(diào)用輸入?yún)?shù)主要有:機(jī)構(gòu)名稱:涉及數(shù)據(jù)采集匯聚的機(jī)構(gòu)名稱信息。業(yè)務(wù)系統(tǒng)名稱:采集任務(wù)中數(shù)據(jù)提供方所提供的業(yè)務(wù)系統(tǒng)名稱信息。增量比對(duì)任務(wù)名稱:非結(jié)構(gòu)化數(shù)據(jù)增量比對(duì)任務(wù)名稱信息。文件名稱:非結(jié)構(gòu)化數(shù)據(jù)文件名稱信息。文件格式:非結(jié)構(gòu)化數(shù)據(jù)文件格式信息。文件大小:非結(jié)構(gòu)化數(shù)據(jù)文件大小信息。更新時(shí)間:非結(jié)構(gòu)化數(shù)據(jù)文件上傳至FTP前置機(jī)時(shí)間。首次執(zhí)行時(shí)間:非結(jié)構(gòu)化增量比對(duì)任務(wù)第一次執(zhí)行時(shí)間。最新執(zhí)行時(shí)間:非結(jié)構(gòu)化增量比對(duì)任務(wù)最近一次執(zhí)行時(shí)間。執(zhí)行結(jié)果:非結(jié)構(gòu)化增量比對(duì)任務(wù)執(zhí)行結(jié)果信息。最新增量情況:非結(jié)構(gòu)化比對(duì)任務(wù)最近一次成功執(zhí)行后所采集的增量數(shù)據(jù)個(gè)數(shù)信息。輸出參數(shù)主要有:成功或者失敗輸入操作信息:輸入成功則返回每類數(shù)據(jù)成功輸入的數(shù)據(jù)量;輸入失敗則返回失敗狀態(tài)及原因⑧數(shù)據(jù)預(yù)處理在數(shù)據(jù)采集時(shí),需要對(duì)多源數(shù)據(jù)進(jìn)行預(yù)處理。預(yù)處理過程中除了更正、修復(fù)系統(tǒng)中的一些錯(cuò)誤數(shù)據(jù)之外。更多的是對(duì)數(shù)據(jù)進(jìn)行歸并整理,并存儲(chǔ)到相應(yīng)原始數(shù)據(jù)庫中。⑨數(shù)據(jù)抽取數(shù)據(jù)抽取是從數(shù)據(jù)源中抽取數(shù)據(jù)的過程。數(shù)據(jù)抽取最常用的是ETL技術(shù),具體數(shù)據(jù)抽取工具種類繁多,可根據(jù)實(shí)際業(yè)務(wù)數(shù)據(jù)的特點(diǎn)進(jìn)行選擇。從數(shù)據(jù)庫中抽取數(shù)據(jù)一般有以下兩種方式。1)全量抽取全量抽取類似于數(shù)據(jù)鏡像或數(shù)據(jù)復(fù)制,它將數(shù)據(jù)源中的表或試圖的數(shù)據(jù)原封不動(dòng)的從數(shù)據(jù)庫中抽取出來。該方法主要用于在系統(tǒng)數(shù)據(jù)初始化時(shí)使用。2)增量抽取(更新)增量抽取是指在上次抽取完成后,對(duì)數(shù)據(jù)庫中的新增或修改的數(shù)據(jù)的抽取。(三)服務(wù)交付物完成數(shù)據(jù)中心存量數(shù)據(jù)、已對(duì)接系統(tǒng)的增量數(shù)據(jù)和新增的291張表的業(yè)務(wù)數(shù)據(jù)歸集入數(shù)據(jù)中心,在數(shù)據(jù)中心內(nèi)實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)的歸集配置、歸集任務(wù)管理和歸集狀態(tài)監(jiān)測(cè),最終按系統(tǒng)類型歸集整合到數(shù)據(jù)歸集庫中,輸出《數(shù)據(jù)歸集完成的(一)服務(wù)目標(biāo)對(duì)接系統(tǒng)的增量數(shù)據(jù)新增歸集入庫的291張表的業(yè)務(wù)數(shù)據(jù)按系統(tǒng)類型進(jìn)行整合(二)服務(wù)內(nèi)容理,包括清洗、標(biāo)準(zhǔn)化轉(zhuǎn)換、數(shù)據(jù)標(biāo)識(shí)和數(shù)據(jù)存儲(chǔ)等服務(wù)。新增治理291張表,每張表平均20個(gè)字段,共涉及5820個(gè)字段需要做數(shù)據(jù)處理。清洗和匯聚司法部數(shù)據(jù)庫系統(tǒng)所需的業(yè)務(wù)數(shù)據(jù)(目前20張表,隨司法部要求可涉及現(xiàn)有約30000個(gè)字段估算,每年因業(yè)務(wù)系統(tǒng)優(yōu)化新增或變更數(shù)據(jù)字段約占10%,即約3000個(gè)數(shù)據(jù)字段需做數(shù)據(jù)處理。①數(shù)據(jù)清洗的比對(duì)清洗,驗(yàn)證各種數(shù)據(jù)的有效性,數(shù)據(jù)排重,去除重復(fù)的數(shù)據(jù);保證數(shù)據(jù)的正確性和合法性。數(shù)據(jù)清洗的主要工作包括:過濾:通過對(duì)信息進(jìn)行辨別和分離,實(shí)現(xiàn)冗余及垃圾信息的濾除。主要包括:基于數(shù)據(jù)標(biāo)準(zhǔn)和過濾規(guī)則,對(duì)不符合標(biāo)準(zhǔn)及規(guī)則的數(shù)據(jù)過濾;基于樣本和內(nèi)容分析,對(duì)冗余或垃圾信息進(jìn)行辨別、分離和過濾。被識(shí)別為冗余或垃圾信息的數(shù)據(jù)可以直接濾除,或標(biāo)識(shí)后照常處理并交由后端模塊(或人工)判斷如何進(jìn)一步處去重:在各類場(chǎng)景下設(shè)定相應(yīng)的數(shù)據(jù)重復(fù)判別規(guī)則以及合并、清除策略,對(duì)數(shù)據(jù)進(jìn)行重復(fù)性辨別,并對(duì)重復(fù)數(shù)據(jù)進(jìn)行合并或清楚處理。②標(biāo)準(zhǔn)化轉(zhuǎn)換數(shù)據(jù)標(biāo)準(zhǔn)化轉(zhuǎn)換將根據(jù)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范要求,對(duì)歸集來的業(yè)務(wù)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)換、格式校驗(yàn)等,保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)和信息模型具有一致性和完整性。標(biāo)準(zhǔn)化轉(zhuǎn)換:根據(jù)數(shù)據(jù)元標(biāo)準(zhǔn)把非標(biāo)數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的標(biāo)準(zhǔn)格式進(jìn)行輸出。針對(duì)不同來源的同類數(shù)據(jù)按照統(tǒng)一轉(zhuǎn)換規(guī)則進(jìn)行轉(zhuǎn)換,如對(duì)地址、名稱、負(fù)責(zé)人身份號(hào)碼、時(shí)間等屬性進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)換。格式校驗(yàn):根據(jù)校驗(yàn)知識(shí)庫對(duì)數(shù)據(jù)進(jìn)行檢驗(yàn),符合標(biāo)準(zhǔn)的數(shù)據(jù)直接入庫,不符合標(biāo)準(zhǔn)的數(shù)據(jù)可進(jìn)入問題數(shù)據(jù)庫以便進(jìn)一步分析處理。校驗(yàn)主要包括數(shù)據(jù)的完整性校驗(yàn)、規(guī)范性校驗(yàn)、一致性校驗(yàn)等。常用的校驗(yàn)規(guī)則有:空值校驗(yàn)、取值范圍校驗(yàn)等校驗(yàn)、數(shù)值校驗(yàn)、長度校驗(yàn)、精度校驗(yàn)等。此外,還有更為復(fù)雜的多字段條件校驗(yàn)、業(yè)務(wù)規(guī)則校驗(yàn)等。③數(shù)據(jù)標(biāo)識(shí)數(shù)據(jù)標(biāo)識(shí)是基于歸集庫和專題庫的數(shù)據(jù)目錄體系要求,利用數(shù)據(jù)標(biāo)簽對(duì)數(shù)進(jìn)行比對(duì)分析,并對(duì)其打上標(biāo)簽,為業(yè)務(wù)應(yīng)用提供支撐。需分為通用標(biāo)簽和業(yè)務(wù)標(biāo)簽。通用標(biāo)簽是數(shù)據(jù)自身所蘊(yùn)含特性的顯性化,通常根據(jù)歸集庫需求,結(jié)合數(shù)據(jù)自身屬性或關(guān)聯(lián)對(duì)比結(jié)果來確定的標(biāo)簽,如敏感級(jí)別、語言、區(qū)域等;業(yè)務(wù)標(biāo)簽是根據(jù)專題庫需求對(duì)數(shù)據(jù)標(biāo)注的具有明確業(yè)務(wù)含義的標(biāo)簽。數(shù)據(jù)標(biāo)識(shí)主要包括:規(guī)則解析:解析標(biāo)簽規(guī)則,獲取相應(yīng)的參數(shù)信息。規(guī)則路由:根據(jù)規(guī)則指定執(zhí)行系統(tǒng),或根據(jù)打標(biāo)類型、數(shù)據(jù)分布、系統(tǒng)可用資源等智能選擇合適的執(zhí)行系統(tǒng)。規(guī)則編譯:編譯生成執(zhí)行系統(tǒng)能夠標(biāo)識(shí)的打標(biāo)任務(wù)。④數(shù)據(jù)存儲(chǔ)定期將采集與清洗轉(zhuǎn)換后數(shù)據(jù),準(zhǔn)確、及時(shí)地存儲(chǔ)到不同目標(biāo)表和目標(biāo)庫中,包括數(shù)據(jù)加載和數(shù)據(jù)路由設(shè)置1)數(shù)據(jù)加載基于過程中的數(shù)據(jù)質(zhì)量檢查,根據(jù)數(shù)據(jù)邏輯判斷規(guī)則,將干凈的數(shù)據(jù)裝載到目標(biāo)表和目標(biāo)庫中,將判斷有問題的數(shù)據(jù)路由到數(shù)據(jù)庫表或者數(shù)據(jù)文件中。依據(jù)數(shù)據(jù)的加載方式包括文件加載、流加載、壓縮加載、不落地加載等。數(shù)據(jù)庫表做目標(biāo)時(shí),需支持交換前按條件刪除目標(biāo)數(shù)據(jù),包括動(dòng)態(tài)條件刪除、條件語句刪除,還支持重復(fù)記錄的覆蓋策略,支持覆蓋重復(fù)記錄或者將重復(fù)記錄寫到文件中。2)數(shù)據(jù)路由設(shè)置數(shù)據(jù)路由包括:干凈數(shù)據(jù)路由、異常數(shù)據(jù)路由、業(yè)務(wù)規(guī)則路由等。路由條件可以是邏輯判斷,也可以是等于、不等于、小于、小于等于、大于、大于等于、大于且小于、大于等于且小于、大于且小于等于、大于等于且小于等于、規(guī)則表達(dá)、是空、非空、在列表中、包含、開始為、結(jié)束為、為真、為假等方法。數(shù)據(jù)路由也可以是條件的組合,可以是and也可以是or。3)存儲(chǔ)調(diào)度存儲(chǔ)任務(wù)調(diào)度:對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行任務(wù)配置,包括任務(wù)注冊(cè)、報(bào)文模板配置和存儲(chǔ)任務(wù)隊(duì)列:包括任務(wù)信息、任務(wù)執(zhí)行情況及結(jié)果情況。數(shù)據(jù)存儲(chǔ):根據(jù)任務(wù)注冊(cè)信息獲取數(shù)據(jù),按照模板組裝數(shù)據(jù),并向指定目標(biāo)庫表發(fā)送組裝后的數(shù)據(jù)報(bào)文。分發(fā)統(tǒng)計(jì):統(tǒng)計(jì)數(shù)據(jù)分發(fā)及處理情況。任務(wù)監(jiān)控:持續(xù)對(duì)分發(fā)任務(wù)的狀態(tài)監(jiān)控。(三)服務(wù)交付物1.完成數(shù)據(jù)中心存量數(shù)據(jù)、已對(duì)接系統(tǒng)的增量數(shù)據(jù)和新增的291個(gè)庫表的業(yè)務(wù)數(shù)據(jù)處理工作,包括數(shù)據(jù)清洗、標(biāo)準(zhǔn)化轉(zhuǎn)換、數(shù)據(jù)標(biāo)識(shí)和數(shù)據(jù)存儲(chǔ)。輸出《數(shù)據(jù)治理處理完成的業(yè)務(wù)數(shù)據(jù)表清單》。2.要求結(jié)合《GB/T34960.5信息技術(shù)服務(wù)治理_第5部分?jǐn)?shù)據(jù)治理規(guī)范》、《GB/T44109-2024信息技術(shù)大數(shù)據(jù)數(shù)據(jù)治理實(shí)施指南》等數(shù)據(jù)治理相關(guān)國標(biāo),結(jié)合本項(xiàng)目數(shù)據(jù)治理服務(wù)要求,輸出《省監(jiān)獄局?jǐn)?shù)據(jù)治理運(yùn)營內(nèi)部操作手冊(cè)》。(一)服務(wù)目標(biāo)為衡量數(shù)據(jù)中心已存儲(chǔ)的數(shù)據(jù)質(zhì)量,通過“定義、過程控制、日常監(jiān)測(cè)、問題分析與診斷、問題整改、評(píng)估”的閉環(huán)機(jī)制開展數(shù)據(jù)質(zhì)量管理工作,來確保數(shù)據(jù)滿足提供方、使用方和管理方的需求,通過對(duì)數(shù)據(jù)質(zhì)量進(jìn)行全方位的診斷和整改,解決數(shù)據(jù)不一致、數(shù)據(jù)可用性、數(shù)據(jù)不及時(shí)等數(shù)據(jù)質(zhì)量問題,從而提升數(shù)據(jù)(二)服務(wù)內(nèi)容充分利用數(shù)據(jù)中心已有功能實(shí)施數(shù)據(jù)質(zhì)量監(jiān)測(cè)服務(wù),使得數(shù)據(jù)更加規(guī)范、準(zhǔn)確、貼近業(yè)務(wù)實(shí)際,為后續(xù)的數(shù)據(jù)應(yīng)用和決策分析提供更好的數(shù)據(jù)基礎(chǔ)。服務(wù)內(nèi)容主要包括優(yōu)化質(zhì)量核驗(yàn)規(guī)則、元數(shù)據(jù)質(zhì)量管理、實(shí)施數(shù)據(jù)質(zhì)量控制和數(shù)據(jù)質(zhì)量評(píng)估報(bào)告。服務(wù)范圍為數(shù)據(jù)中心中所有數(shù)據(jù)資源,涉及約30000個(gè)數(shù)據(jù)字段。①優(yōu)化質(zhì)量檢核規(guī)則數(shù)據(jù)質(zhì)量檢核規(guī)則需動(dòng)態(tài)根據(jù)數(shù)據(jù)質(zhì)量評(píng)估報(bào)告、數(shù)據(jù)資源現(xiàn)狀和質(zhì)量目標(biāo),及時(shí)優(yōu)化調(diào)整規(guī)則,以滿足業(yè)務(wù)應(yīng)用對(duì)數(shù)據(jù)質(zhì)量要求。另數(shù)據(jù)質(zhì)量問題大多在數(shù)據(jù)填報(bào)或自動(dòng)采集階段成因,數(shù)據(jù)質(zhì)量檢核規(guī)則需要根據(jù)業(yè)務(wù)數(shù)據(jù)填報(bào)的情況進(jìn)行動(dòng)態(tài)優(yōu)化。服務(wù)范圍為數(shù)據(jù)中心中所有數(shù)據(jù)資源,涉及約30000個(gè)數(shù)據(jù)字段。數(shù)據(jù)質(zhì)量檢核規(guī)則優(yōu)化包括標(biāo)識(shí)數(shù)據(jù)質(zhì)量檢核關(guān)鍵數(shù)據(jù)項(xiàng)(即明確數(shù)據(jù)質(zhì)量檢核范圍)優(yōu)化數(shù)據(jù)質(zhì)量檢核規(guī)則、優(yōu)化數(shù)據(jù)質(zhì)量測(cè)量指標(biāo)、優(yōu)化數(shù)據(jù)質(zhì)量控制和監(jiān)測(cè)方式、優(yōu)化數(shù)據(jù)采集規(guī)范。優(yōu)化數(shù)據(jù)質(zhì)量檢核規(guī)則的主要工作內(nèi)容和步驟如下:1)關(guān)鍵數(shù)據(jù)項(xiàng)標(biāo)識(shí)在數(shù)據(jù)質(zhì)量的檢核工作開展之前,需明確數(shù)據(jù)質(zhì)量檢核的范圍,即確定數(shù)據(jù)質(zhì)量檢核的關(guān)鍵數(shù)據(jù)項(xiàng)。關(guān)鍵數(shù)據(jù)項(xiàng)是指對(duì)業(yè)務(wù)流程、業(yè)務(wù)管理和數(shù)據(jù)應(yīng)用有重大影響的數(shù)據(jù)項(xiàng),這些數(shù)據(jù)項(xiàng)將嚴(yán)重影響到對(duì)數(shù)據(jù)中心的建設(shè)質(zhì)量。其內(nèi)容包括:業(yè)務(wù)部門提出數(shù)據(jù)質(zhì)量需求;信息系統(tǒng)的業(yè)務(wù)主管部門及項(xiàng)目組分析整理數(shù)據(jù)質(zhì)量需求,明確數(shù)據(jù)質(zhì)量管理范圍,即關(guān)鍵數(shù)據(jù)項(xiàng);分析和補(bǔ)充基礎(chǔ)庫各主題的基準(zhǔn)數(shù)據(jù)作為關(guān)鍵數(shù)據(jù)項(xiàng);針對(duì)重要報(bào)表和數(shù)據(jù)應(yīng)用的必填項(xiàng)作為關(guān)鍵數(shù)據(jù)項(xiàng);信息系統(tǒng)的業(yè)務(wù)主管部門及項(xiàng)目組根據(jù)業(yè)務(wù)決策和分析的重要數(shù)據(jù)項(xiàng)作為關(guān)鍵數(shù)據(jù)項(xiàng)。例如:對(duì)于流程性系統(tǒng),關(guān)鍵業(yè)務(wù)流程所應(yīng)用的業(yè)務(wù)數(shù)據(jù)需求為本系統(tǒng)關(guān)鍵數(shù)據(jù);對(duì)于管理性信息系統(tǒng),支持重要業(yè)務(wù)功能的業(yè)務(wù)數(shù)據(jù)需求應(yīng)確定為本系統(tǒng)關(guān)鍵數(shù)據(jù)等。2)數(shù)據(jù)質(zhì)量檢核規(guī)則優(yōu)化數(shù)據(jù)質(zhì)量檢核規(guī)則的設(shè)計(jì)一方面依據(jù)基礎(chǔ)庫所涉及到的數(shù)據(jù)元標(biāo)準(zhǔn);一方面是業(yè)務(wù)需求人員對(duì)關(guān)鍵數(shù)據(jù)項(xiàng)在數(shù)據(jù)質(zhì)量方面的具體要求描述。3)數(shù)據(jù)質(zhì)量檢核指標(biāo)優(yōu)化基于數(shù)據(jù)質(zhì)量檢核規(guī)則,優(yōu)化關(guān)鍵數(shù)據(jù)項(xiàng)的數(shù)據(jù)質(zhì)量測(cè)量指標(biāo),用以描述關(guān)鍵數(shù)據(jù)項(xiàng)的數(shù)據(jù)質(zhì)量情況。(見下表)表3:數(shù)據(jù)質(zhì)量檢核指標(biāo)表測(cè)量指標(biāo)說明準(zhǔn)確性指標(biāo)完整性、有效性指標(biāo)時(shí)效性指標(biāo)一致性指標(biāo)唯一性指標(biāo)真實(shí)性指標(biāo)4)優(yōu)化數(shù)據(jù)質(zhì)量控制和監(jiān)控方式定義根據(jù)數(shù)據(jù)質(zhì)量檢核指標(biāo),優(yōu)化數(shù)據(jù)質(zhì)量控制和監(jiān)測(cè)方式。其中,數(shù)據(jù)質(zhì)量控制方式是在系統(tǒng)或組件中對(duì)數(shù)據(jù)質(zhì)量進(jìn)行校驗(yàn)或控制的相關(guān)措施。監(jiān)測(cè)方式是對(duì)于已創(chuàng)建、采集或存儲(chǔ)的數(shù)據(jù)項(xiàng)進(jìn)行檢查和核對(duì)的措施。在確定數(shù)據(jù)質(zhì)量控制方式時(shí),需根據(jù)數(shù)據(jù)質(zhì)量規(guī)則來明確數(shù)據(jù)創(chuàng)建、加工、流轉(zhuǎn)和存儲(chǔ)各環(huán)節(jié)的控制措施,包括:(1)確定是否需要建立數(shù)據(jù)創(chuàng)建階段的控制措施,如有必要,則綜合考慮數(shù)據(jù)創(chuàng)建的業(yè)務(wù)場(chǎng)景、數(shù)據(jù)質(zhì)量規(guī)則、取值范圍等,明確錄入界面控制等控制方(2)確定是否需要建立數(shù)據(jù)加工階段的控制措施,如有必要,則綜合考慮數(shù)據(jù)加工的業(yè)務(wù)場(chǎng)景、數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)加工規(guī)則,加工后數(shù)據(jù)與原始數(shù)據(jù)的交叉核對(duì)規(guī)則等明確加工控制方式;(3)確定是否需建立數(shù)據(jù)流轉(zhuǎn)階段的驗(yàn)證和控制措施,如有必要,則綜合考慮數(shù)據(jù)流轉(zhuǎn)的業(yè)務(wù)場(chǎng)景、數(shù)據(jù)質(zhì)量規(guī)則等明確接口文件控制和文件傳輸控制方(4)確定是否需建立數(shù)據(jù)存儲(chǔ)階段的驗(yàn)證和控制措施,如有必要,則綜合考慮數(shù)據(jù)質(zhì)量規(guī)則、數(shù)據(jù)存儲(chǔ)場(chǎng)景等明確數(shù)據(jù)庫控制方式。5)優(yōu)化數(shù)據(jù)采集規(guī)范通過優(yōu)化數(shù)據(jù)采集規(guī)范,指導(dǎo)和規(guī)范數(shù)據(jù)錄入端的錄入行為,是確保數(shù)據(jù)質(zhì)量的第一道防線。采集規(guī)范是指在獲取或者錄入數(shù)據(jù)時(shí),為滿足各項(xiàng)數(shù)據(jù)質(zhì)量規(guī)則,數(shù)據(jù)項(xiàng)所應(yīng)遵循的規(guī)范和要求。根據(jù)關(guān)鍵數(shù)據(jù)項(xiàng)的業(yè)務(wù)定義和數(shù)據(jù)質(zhì)量規(guī)則明確數(shù)據(jù)錄入時(shí)的錄入方式、錄入規(guī)則等。②元數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)質(zhì)量管理包括審核規(guī)則管理、審核任務(wù)調(diào)度、審核結(jié)果分析、數(shù)據(jù)質(zhì)量評(píng)估等服務(wù)。服務(wù)范圍為數(shù)據(jù)中心中所有數(shù)據(jù)資源,涉及約30000個(gè)數(shù)據(jù)字段。1)審核規(guī)則管理對(duì)元數(shù)據(jù)中的名稱重復(fù)、主鍵重復(fù)、類型空、表間映射關(guān)系等進(jìn)行審核。支持對(duì)審核規(guī)則進(jìn)行多級(jí)分類管理,包括新增、修改、刪除分類或者子分類。支持在分類下管理審核規(guī)則,包括審核規(guī)則的新增審核規(guī)則包括審核規(guī)則ID、審核規(guī)則名稱、審核對(duì)象(系統(tǒng))審核類型等信息,2)審核任務(wù)調(diào)度3)審核結(jié)果分析4)數(shù)據(jù)質(zhì)量評(píng)估③實(shí)施數(shù)據(jù)質(zhì)量控制約30000個(gè)數(shù)據(jù)字段。1)配合業(yè)務(wù)部門診斷現(xiàn)有數(shù)據(jù)質(zhì)量問題確定數(shù)據(jù)質(zhì)量分析需求、數(shù)據(jù)質(zhì)量分析范圍(包括數(shù)據(jù)庫表等)數(shù)據(jù)質(zhì)量問題類表4:數(shù)據(jù)質(zhì)量檢核規(guī)則表完備性一致性數(shù)據(jù)關(guān)聯(lián)缺失唯一性主鍵重復(fù)無意義、不符合業(yè)務(wù)定義、代碼取值越界數(shù)值精度不夠真實(shí)性與實(shí)際業(yè)務(wù)不符(數(shù)值)時(shí)效性數(shù)據(jù)到達(dá)延誤、與實(shí)際業(yè)務(wù)不符(維度)2)制定數(shù)據(jù)質(zhì)量整改方案根據(jù)前述已定義的數(shù)據(jù)質(zhì)量規(guī)則,通過數(shù)據(jù)中心平臺(tái),實(shí)現(xiàn)對(duì)重點(diǎn)數(shù)據(jù)項(xiàng)的數(shù)據(jù)質(zhì)量檢查,并根據(jù)數(shù)據(jù)質(zhì)量檢核報(bào)告,形成數(shù)據(jù)質(zhì)量整改方案。3)執(zhí)行數(shù)據(jù)質(zhì)量整改方案在相關(guān)業(yè)務(wù)部門確認(rèn)整改方案后,推動(dòng)數(shù)據(jù)質(zhì)量整改方案的落地執(zhí)行。具體包括以下3個(gè)方面的數(shù)據(jù)質(zhì)量整改。(1)修訂數(shù)據(jù)元標(biāo)準(zhǔn)根據(jù)業(yè)務(wù)管理、業(yè)務(wù)操作、業(yè)務(wù)系統(tǒng)、數(shù)據(jù)中心的數(shù)據(jù)質(zhì)量提升要求,修訂數(shù)據(jù)元標(biāo)準(zhǔn)。(2)業(yè)務(wù)流程優(yōu)化通過完善業(yè)務(wù)制度、業(yè)務(wù)流程和業(yè)務(wù)操作,提升關(guān)鍵數(shù)據(jù)項(xiàng)在采集、加工、流轉(zhuǎn)、存儲(chǔ)過程中的數(shù)據(jù)質(zhì)量控制。即根據(jù)設(shè)計(jì)的數(shù)據(jù)質(zhì)量整改方案,制定業(yè)務(wù)流程優(yōu)化需求,對(duì)現(xiàn)有業(yè)務(wù)流程(含業(yè)務(wù)規(guī)則)和相關(guān)業(yè)務(wù)制度進(jìn)行梳理、完善和改進(jìn)。(3)數(shù)據(jù)清洗/補(bǔ)錄根據(jù)設(shè)計(jì)的數(shù)據(jù)質(zhì)量整改方案,制定數(shù)據(jù)清洗/補(bǔ)錄的實(shí)施方案,并執(zhí)行該方案。具體操作步驟包括:根據(jù)數(shù)據(jù)質(zhì)量整改方案,對(duì)于采取數(shù)據(jù)清洗/補(bǔ)錄的方式解決數(shù)據(jù)質(zhì)量問題的情況,首先確認(rèn)數(shù)據(jù)清洗/補(bǔ)錄范圍;制定數(shù)據(jù)清洗/補(bǔ)錄的業(yè)務(wù)規(guī)則。其中,補(bǔ)錄規(guī)則應(yīng)參考數(shù)據(jù)采集規(guī)范;數(shù)據(jù)清洗應(yīng)考慮數(shù)據(jù)規(guī)范,分析數(shù)據(jù)清洗前后的差異,定義適當(dāng)?shù)霓D(zhuǎn)換規(guī)則;對(duì)于需手工補(bǔ)錄的數(shù)據(jù)項(xiàng),組織相關(guān)人員按照數(shù)據(jù)采集規(guī)范和補(bǔ)錄規(guī)則進(jìn)行數(shù)據(jù)資源,涉及約30000個(gè)數(shù)據(jù)字段。1)制定評(píng)估方案(1)根據(jù)數(shù)據(jù)質(zhì)量整改方案及其解決的數(shù)據(jù)質(zhì)量問題,確定數(shù)據(jù)質(zhì)量評(píng)估的范圍;(2)根據(jù)整改方案所解決的數(shù)據(jù)質(zhì)量問題來源不同,確定數(shù)據(jù)質(zhì)量評(píng)估的為評(píng)估規(guī)則;其它來源的數(shù)據(jù)質(zhì)量問題,則應(yīng)與問題提出方(如用戶部門、相關(guān)應(yīng)用系統(tǒng)等)進(jìn)行討論確認(rèn)評(píng)估規(guī)則;(3)針對(duì)每個(gè)評(píng)估規(guī)則,定義數(shù)據(jù)達(dá)標(biāo)的評(píng)估標(biāo)準(zhǔn)。2)形成評(píng)估報(bào)告(1)分析數(shù)據(jù)質(zhì)量評(píng)估結(jié)果,判斷整改結(jié)果是否達(dá)到業(yè)務(wù)預(yù)期。進(jìn)一步完(2)將數(shù)據(jù)質(zhì)量評(píng)估結(jié)果與評(píng)估標(biāo)準(zhǔn)進(jìn)行逐一比對(duì)和分析,確認(rèn)評(píng)估結(jié)果(3)如果評(píng)估結(jié)果達(dá)標(biāo),則數(shù)據(jù)質(zhì)量整改完成,將整改階段形成的技術(shù)方(4)如果評(píng)估結(jié)果不達(dá)標(biāo),需進(jìn)行新一輪的數(shù)據(jù)質(zhì)量問題根因分析和整改(5)分析評(píng)估規(guī)則和評(píng)估標(biāo)準(zhǔn),豐富和完善數(shù)據(jù)質(zhì)量規(guī)則、控制和監(jiān)測(cè)方(三)服務(wù)交付物(一)服務(wù)目標(biāo)(二)服務(wù)內(nèi)容1)數(shù)據(jù)目錄管理服務(wù)批和目錄發(fā)布6個(gè)過程以及服務(wù)安全保障和服務(wù)授權(quán)管理。(1)資源目錄注冊(cè)和注冊(cè)。(2)資源目錄導(dǎo)入資源目錄的導(dǎo)入支持單條和批量處理兩種模式。用戶能夠通過目錄的批量導(dǎo)入,實(shí)現(xiàn)一個(gè)/多個(gè)目錄的上傳工作,實(shí)現(xiàn)目錄的批量創(chuàng)建。目錄批量導(dǎo)入支持豐富的的格式。(3)資源目錄導(dǎo)出資源目錄的導(dǎo)出支持單條和批量處理兩種模式。用戶能夠選擇一個(gè)/多個(gè)需要的目錄,通過批量導(dǎo)出功能,實(shí)現(xiàn)批量目錄目錄批量導(dǎo)出支持豐富的格式。(4)資源目錄編輯對(duì)巳經(jīng)發(fā)布的目錄,資源目錄編輯能夠提供目錄分類以及目錄內(nèi)容的刪除、修改、停用、更新、重組等功能。(5)資源目錄發(fā)布資源目錄發(fā)布根據(jù)目錄發(fā)布方完成數(shù)據(jù)資源目錄梳理和創(chuàng)建后,可通過數(shù)據(jù)目錄管理功能實(shí)現(xiàn)資源目錄的發(fā)布,可以設(shè)置資源目錄的基礎(chǔ)描述信息、目錄目標(biāo)數(shù)據(jù)、資源目錄訪問權(quán)限以及資源目錄的生命周期等。目錄成功發(fā)布后,基于數(shù)據(jù)資源目錄的配置情況,將創(chuàng)建相應(yīng)的數(shù)據(jù)集。最終支持基于該資源目錄的數(shù)據(jù)集發(fā)布。(6)流程化審批針對(duì)資源發(fā)布、資源申請(qǐng)以及資源供應(yīng),基于審核功能提供半自動(dòng)化的流程化審批機(jī)制。流程化審批評(píng)審標(biāo)準(zhǔn)主要包括使用人員的權(quán)限等級(jí)、資源生命周期、資源訪問權(quán)限等。(7)服務(wù)安全保障提供基于WS—Security(Web服務(wù)安全)規(guī)范的安全保護(hù)機(jī)制,以及WebService安全機(jī)制,包括WebService訪問的身份驗(yàn)證機(jī)制,消息加密/解密傳輸機(jī)制,消息的簽名和驗(yàn)簽機(jī)制,在傳輸層、實(shí)現(xiàn)功能包含發(fā)送消息安全配置、收消息安全配置等。(8)服務(wù)授權(quán)管理具有授權(quán)管理功能,可實(shí)現(xiàn)服務(wù)接口對(duì)服務(wù)請(qǐng)求方的授權(quán)管理。本項(xiàng)目要求資源目錄支持對(duì)普查成果資源目錄展示、資源數(shù)據(jù)量分類統(tǒng)計(jì)、資源目錄管理。1.數(shù)據(jù)資源目錄展示提供一張圖數(shù)據(jù)資源清單,直觀展示歸集庫、專題庫、共享庫3個(gè)大類包含的數(shù)據(jù)小類內(nèi)容。2.資源數(shù)據(jù)量分類統(tǒng)計(jì)支持對(duì)數(shù)據(jù)存儲(chǔ)總量及條數(shù)進(jìn)行統(tǒng)計(jì)、以及對(duì)各數(shù)據(jù)庫包含小類的數(shù)據(jù)量及條數(shù)統(tǒng)計(jì)。3.資源目錄管理支持以數(shù)據(jù)管理員角色進(jìn)行數(shù)據(jù)的管理維護(hù)。支持以導(dǎo)航欄形式展示目錄清單并能夠快速定位至關(guān)注項(xiàng);支持對(duì)各級(jí)目錄項(xiàng)進(jìn)行目錄重命名、刪除本級(jí)目錄、添加下級(jí)目錄;支持查看具體數(shù)據(jù)項(xiàng)分類名稱、數(shù)據(jù)類型、更新時(shí)間、總記錄條數(shù)等概要信息,以及實(shí)現(xiàn)對(duì)根目錄數(shù)據(jù)項(xiàng)的重命名、進(jìn)入具體數(shù)據(jù)頁以及刪除目錄。2)數(shù)據(jù)目錄更新實(shí)施服務(wù)1、評(píng)估業(yè)務(wù)目標(biāo),確定需求范圍。2、根據(jù)業(yè)務(wù)維度分析數(shù)據(jù)滿足度,確定數(shù)據(jù)整合加工的數(shù)據(jù)范圍、整合粒度和更新頻度等。3、根據(jù)需求分析結(jié)果,對(duì)數(shù)據(jù)進(jìn)行梳理,歸納提煉共性內(nèi)容。4、搭建特定主題和特定專題的數(shù)據(jù)整合層邏輯模型的基本框架。5、確定特定業(yè)務(wù)域的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)實(shí)體、實(shí)體間關(guān)系及數(shù)據(jù)加工規(guī)則。6、依照數(shù)據(jù)模型設(shè)計(jì),制定數(shù)據(jù)整合方案,設(shè)定數(shù)據(jù)映射規(guī)則、衍生指標(biāo)計(jì)算規(guī)則等,建立字段的映射關(guān)系。7、將邏輯模型轉(zhuǎn)換為物理模型,建庫表。8、根據(jù)數(shù)據(jù)映射關(guān)系,完成ETL腳本開發(fā),將歸集庫中的源頭數(shù)據(jù)進(jìn)行整合加工,按業(yè)務(wù)數(shù)據(jù)分發(fā)配置到專題庫和共享庫中,并對(duì)腳本運(yùn)行結(jié)果進(jìn)行迭代檢驗(yàn)分析。9、根據(jù)整合數(shù)據(jù)的更新頻度,配置相應(yīng)的ETL調(diào)度規(guī)則,支持作業(yè)重跑追數(shù)、日志查詢報(bào)警等服務(wù)。11、制定上線計(jì)劃和上線方案,完成生產(chǎn)環(huán)境相關(guān)配置,保障試運(yùn)行階段的穩(wěn)定與安全。3)數(shù)據(jù)用戶管理服務(wù)錄、數(shù)據(jù)服務(wù)申請(qǐng)和數(shù)據(jù)可視化頁面等進(jìn)行可查數(shù)據(jù)共享運(yùn)營服務(wù)通過文件/數(shù)據(jù)庫共享、離線共享和API接口共享等方1)數(shù)據(jù)共享門戶內(nèi)容更新的提供者,通過整合形成監(jiān)獄業(yè)務(wù)數(shù)據(jù)資源共享目錄。主要包括資源目錄檢索、資源目錄導(dǎo)航、資源目錄管理、數(shù)據(jù)資源申請(qǐng)、資源共享統(tǒng)計(jì)等內(nèi)容更新服快速找到所需數(shù)據(jù),并根據(jù)數(shù)據(jù)資源目錄的詳細(xì)描述,快速了解數(shù)據(jù)資源內(nèi)容、數(shù)據(jù)資源目錄檢索展示主要提供對(duì)監(jiān)獄業(yè)務(wù)數(shù)據(jù)資源進(jìn)行統(tǒng)一的目錄檢索在平臺(tái)內(nèi)完成數(shù)據(jù)審批流程后,用戶可以通過文件/數(shù)據(jù)庫共享、離線共享和2)數(shù)據(jù)共享技術(shù)支撐服務(wù)1、共享數(shù)據(jù)需求整理:協(xié)助用戶進(jìn)行從業(yè)務(wù)需求到數(shù)據(jù)需求的轉(zhuǎn)換2、共享數(shù)據(jù)需求申請(qǐng):支撐部門錄入數(shù)據(jù)共享需求申請(qǐng),支撐包括對(duì)同層3、共享數(shù)據(jù)需求評(píng)估:1)分析需求信息類是否編目、是否掛接、是否需要據(jù)等;2)制定需求實(shí)施計(jì)劃。4、數(shù)據(jù)共享工單的預(yù)處理:駐場(chǎng)工程師需要響應(yīng)各監(jiān)獄用戶或其它單位提5、共享數(shù)據(jù)匯報(bào)材料整理及分析結(jié)果報(bào)告:根據(jù)需求分析結(jié)果,提供匯報(bào)6、支撐政務(wù)數(shù)據(jù)共享管控制度實(shí)施:根據(jù)數(shù)據(jù)共享管控制度,支撐管理部3)數(shù)據(jù)共享實(shí)施服務(wù)數(shù)據(jù)共享實(shí)施服務(wù)通過文件/數(shù)據(jù)庫共享、離線共享和API接口共享等方(1)文件/數(shù)據(jù)庫共享將數(shù)據(jù)直接以文件/數(shù)據(jù)庫的形式直接面向申請(qǐng)者進(jìn)行共享調(diào)用。為了保障數(shù)據(jù)的安全,確保數(shù)據(jù)共享效率,文件/數(shù)據(jù)庫共享的方式,為各相關(guān)部門提供數(shù)據(jù)通過文件/數(shù)據(jù)庫共享的方式為用戶提供共享數(shù)據(jù)。(2)離線共享(3)API接口共享將共享數(shù)據(jù)進(jìn)行API封裝,在數(shù)據(jù)共享申請(qǐng)通過后以API的形式提供給申請(qǐng)者、應(yīng)用程序進(jìn)行訪問使用。以API接口方式提供數(shù)據(jù)共享服務(wù)為數(shù)據(jù)需求的數(shù)據(jù)共享審批流程進(jìn)行流轉(zhuǎn)審批,審批完成后通過數(shù)據(jù)共享API接口直接進(jìn)(4)共享管理共享管理提供對(duì)數(shù)據(jù)共享全過程實(shí)時(shí)監(jiān)控,包括每一個(gè)共享業(yè)務(wù)的源信息、目標(biāo)信息、共享用時(shí)、報(bào)錯(cuò)信息、共享歷吏、當(dāng)前狀態(tài)等內(nèi)容。通過共享數(shù)據(jù)實(shí)時(shí)監(jiān)控可以動(dòng)態(tài)掌握數(shù)據(jù)共享情況。(三)服務(wù)交付物交付物包括完成歸集庫和專題庫的數(shù)據(jù)目錄更新,共享庫的新增共享接口定制和管理,輸出《數(shù)據(jù)資產(chǎn)管理運(yùn)營工作記錄表》。監(jiān)獄業(yè)務(wù)數(shù)據(jù)作為監(jiān)獄的核心資產(chǎn),且有大量的敏感數(shù)據(jù),為堅(jiān)守安全底線,降低數(shù)據(jù)安全風(fēng)險(xiǎn),防止數(shù)據(jù)泄漏。隨著內(nèi)部數(shù)據(jù)共享和跨部門數(shù)據(jù)交換需求對(duì)數(shù)據(jù)種類和數(shù)據(jù)量的不斷攀升,需要加強(qiáng)數(shù)據(jù)安全管理,數(shù)據(jù)采集入口尚未建立起必要的數(shù)據(jù)采集安全管控,為構(gòu)建起覆蓋數(shù)據(jù)采集、傳輸、訪問、存儲(chǔ)、銷毀全生命周期,全面、先進(jìn)、完善的數(shù)據(jù)安全治理體系。以2023年數(shù)據(jù)分類分級(jí)服務(wù)基礎(chǔ),為省監(jiān)獄局?jǐn)?shù)據(jù)中心提供數(shù)據(jù)采集安全監(jiān)測(cè)、數(shù)據(jù)共享api接口安全監(jiān)測(cè)、數(shù)據(jù)安全管控策略優(yōu)化與決策支撐等數(shù)據(jù)安全運(yùn)營服務(wù)。(一)服務(wù)目標(biāo)數(shù)據(jù)采集安全是數(shù)據(jù)安全生命周期的第一個(gè)過程,是對(duì)數(shù)據(jù)來源安全的管理,這是整個(gè)數(shù)據(jù)安全治理體系能夠落實(shí)好的基礎(chǔ)階段,所有的后續(xù)工作都是以此為基礎(chǔ)。所以該階段的重要性不言而喻。利用現(xiàn)有數(shù)據(jù)分級(jí)分類工具、數(shù)據(jù)庫審計(jì)工具及數(shù)據(jù)采集等相關(guān)工具,統(tǒng)一的數(shù)據(jù)采集流程建設(shè),優(yōu)化數(shù)據(jù)采集安全策略和安全能力,以保證組織數(shù)據(jù)采集流程實(shí)現(xiàn)的一致性,同時(shí)相關(guān)系統(tǒng)應(yīng)具備詳細(xì)的日志記錄功能,確保數(shù)據(jù)采集授權(quán)過程的完整記錄。對(duì)數(shù)據(jù)采集過程、采集的數(shù)據(jù)、采集的異常行為進(jìn)行監(jiān)測(cè)和省局?jǐn)?shù)據(jù)中心的業(yè)務(wù)數(shù)據(jù)主要由全省監(jiān)獄主要業(yè)務(wù)系統(tǒng)接入?yún)R集而來,也包含大量攝像機(jī)、報(bào)警設(shè)備等智能終端自動(dòng)采集的數(shù)據(jù),包括獄政數(shù)據(jù)、刑罰執(zhí)行數(shù)據(jù)、教育改造數(shù)據(jù)、醫(yī)療數(shù)據(jù)、生活衛(wèi)生數(shù)據(jù)、勞動(dòng)改造數(shù)據(jù)、智能安防數(shù)據(jù)等重要數(shù)據(jù)和敏感數(shù)據(jù),主要包括關(guān)系數(shù)據(jù)庫、文件系統(tǒng)、物聯(lián)網(wǎng)等,數(shù)據(jù)采集階段主要風(fēng)險(xiǎn)包括:1、目前尚未對(duì)數(shù)據(jù)采集進(jìn)行安全規(guī)范,隨著越來越多業(yè)務(wù)系統(tǒng)、智能終端等數(shù)據(jù)的接入,若缺乏數(shù)據(jù)采集規(guī)范,則出現(xiàn)安全接入管理不規(guī)范或者接入管控失誤,容易引起非授權(quán)訪問、偽造數(shù)據(jù)接入等問題,影響到數(shù)據(jù)的完整性及保密性,且由于接入情況復(fù)雜,涉及部門多,安全數(shù)據(jù)事故定責(zé)困難。2、容易因端木馬、程序漏洞、病毒等在數(shù)據(jù)采集階段對(duì)數(shù)據(jù)造成非法入侵、數(shù)據(jù)仿冒和偽造問題。3、在數(shù)據(jù)采集階段持續(xù)實(shí)施數(shù)據(jù)分類分級(jí)應(yīng)用,根據(jù)2023年已完成的數(shù)據(jù)分類分級(jí)工作,對(duì)罪犯?jìng)€(gè)人信息、監(jiān)管敏感信息等重要數(shù)據(jù)采取針對(duì)性的管控策略,在數(shù)據(jù)入庫過程中就根據(jù)數(shù)據(jù)分類分級(jí)規(guī)則確定數(shù)據(jù)權(quán)限訪問范圍等問題。針對(duì)以上風(fēng)險(xiǎn)問題,依托數(shù)據(jù)分級(jí)分類工具、數(shù)據(jù)庫審計(jì)工具及數(shù)據(jù)采集等相關(guān)工具,統(tǒng)一的數(shù)據(jù)采集流程建設(shè),優(yōu)化數(shù)據(jù)采集安全策略和安全能力,以保證組織數(shù)據(jù)采集流程實(shí)現(xiàn)的一致性。1、制定安全采集管理規(guī)范,制定數(shù)據(jù)安全事故責(zé)任界定規(guī)范,確保數(shù)據(jù)安全采集工作有序開展。2、檢查接入端木馬、程序漏洞、病毒等安全風(fēng)險(xiǎn),對(duì)接入端進(jìn)行基線核查,確保接入端符合基線要求才能接入數(shù)據(jù)中心采集范圍。3、對(duì)數(shù)據(jù)安全接入進(jìn)行監(jiān)測(cè)和審計(jì),通過日志記錄確保數(shù)據(jù)采集授權(quán)過程、數(shù)據(jù)接入時(shí)間、數(shù)據(jù)接入內(nèi)容等的完整記錄。4、數(shù)據(jù)分級(jí)及安全策略稽查和審計(jì),稽查和審計(jì)接入系統(tǒng)的數(shù)據(jù)核對(duì)數(shù)據(jù)安全級(jí)別、權(quán)限范圍、敏感數(shù)據(jù)時(shí)效性、敏感數(shù)據(jù)脫敏策略等。(二)服務(wù)內(nèi)容①數(shù)據(jù)安全采集能力設(shè)計(jì)依托數(shù)據(jù)分級(jí)分類工具、數(shù)據(jù)庫審計(jì)工具及數(shù)據(jù)采集授權(quán)審批加密等相關(guān)工具,調(diào)研分析數(shù)據(jù)采集現(xiàn)狀,評(píng)估采集過程風(fēng)險(xiǎn),設(shè)計(jì)統(tǒng)一的數(shù)據(jù)采集流程建設(shè),優(yōu)化數(shù)據(jù)采集安全策略和安全能力,以保證組織數(shù)據(jù)采集流程實(shí)現(xiàn)的一致性,同時(shí)相關(guān)系統(tǒng)應(yīng)具備詳細(xì)的日志記錄功能,確保數(shù)據(jù)采集授權(quán)過程的完整記錄。②采集過程安全監(jiān)控對(duì)數(shù)據(jù)采集過程進(jìn)行檢測(cè),對(duì)采集的方式進(jìn)行ETL命令監(jiān)測(cè)、API接口監(jiān)測(cè)管理。對(duì)采集的數(shù)據(jù)進(jìn)行監(jiān)測(cè)管理,對(duì)采集的數(shù)據(jù)進(jìn)行掃描發(fā)現(xiàn)、分級(jí)分類標(biāo)識(shí)等。對(duì)采集的異常行為進(jìn)行管理,如接口異常、ETL命令異常等。③接入數(shù)據(jù)分類分級(jí)管理按照分類分級(jí)服務(wù)確定的定級(jí)原則、定級(jí)標(biāo)準(zhǔn)及定級(jí)方法,指導(dǎo)促進(jìn)各個(gè)接入系統(tǒng)主管部門完成數(shù)據(jù)分類分級(jí)。支持?jǐn)?shù)據(jù)治理過程中接入管理,按照接入系統(tǒng)主管部門確定的數(shù)據(jù)安全級(jí)別和安全策略,對(duì)采集的數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理,數(shù)據(jù)預(yù)處理將分散、多樣化的敏感數(shù)據(jù)進(jìn)行登記,實(shí)現(xiàn)與接入系統(tǒng)主管部門一致的數(shù)據(jù)安全級(jí)別標(biāo)識(shí)和安全策略,完成數(shù)據(jù)采集和數(shù)據(jù)分層、數(shù)據(jù)整理、數(shù)據(jù)分級(jí)的治理內(nèi)容,實(shí)現(xiàn)對(duì)數(shù)據(jù)分類分級(jí)標(biāo)識(shí),確定數(shù)據(jù)權(quán)限訪問范圍。④數(shù)據(jù)接入認(rèn)證服務(wù)檢查接入客戶端木馬、程序漏洞、病毒等安全風(fēng)險(xiǎn),確保接入主機(jī)的安全防護(hù)符合安全基線要求。對(duì)接入主機(jī)進(jìn)行識(shí)別和安全認(rèn)證,確保接入主機(jī)接入數(shù)據(jù)中心系統(tǒng)的安全可控。⑤編制《數(shù)據(jù)安全采集管理規(guī)范》編制輸出《數(shù)據(jù)安全采集管理規(guī)范》,在采集內(nèi)外部業(yè)務(wù)系統(tǒng)數(shù)據(jù)的過程中,需明確采集數(shù)據(jù)的目的和用途,并明確數(shù)據(jù)采集渠道、規(guī)范數(shù)據(jù)格式以及相關(guān)的流程和方式,從而保證數(shù)據(jù)采集的合規(guī)性、正當(dāng)性、一致性,界定相關(guān)部門的責(zé)任,確保數(shù)據(jù)安全采集工作有序開展。(三)服務(wù)交付物完成省監(jiān)獄局?jǐn)?shù)據(jù)中心系統(tǒng)在數(shù)據(jù)采集階段的安全監(jiān)測(cè)服務(wù),保證組織數(shù)據(jù)采集流程實(shí)現(xiàn)的一致性,交付輸出物包括《數(shù)據(jù)安全采集管理規(guī)范》、《數(shù)據(jù)安全、數(shù)據(jù)共享api接口安全監(jiān)測(cè)(一)服務(wù)目標(biāo)省監(jiān)獄局的內(nèi)部數(shù)據(jù)共享和外部數(shù)據(jù)共享主要是依托數(shù)據(jù)中心定制開放的各類數(shù)據(jù)共享API接口,API自身的無狀態(tài)性、對(duì)請(qǐng)求中資源的可識(shí)別性、刪除/修改服務(wù)端資源的可操作性、以及服務(wù)端返回的足夠詳細(xì)的信息所帶來的資源暴露面的擴(kuò)大等,這些脆弱性成為API被攻擊的天然漏洞。因此數(shù)據(jù)API接口(二)服務(wù)內(nèi)容享接口(數(shù)據(jù)共享API等)開展深度數(shù)據(jù)安全監(jiān)測(cè),主動(dòng)對(duì)數(shù)據(jù)接口進(jìn)行安全①API接口識(shí)別估流量中的API接口,對(duì)系統(tǒng)獲取的API注冊(cè)數(shù)據(jù),與已注冊(cè)API接口信息比對(duì),發(fā)現(xiàn)未知API接口,定期每月1次對(duì)API接口進(jìn)行識(shí)別、梳理和分組,輸②API接口防護(hù)況,對(duì)有異常的API接口及時(shí)阻斷或限流,并立即與訪問方核實(shí)訪問操作技術(shù)細(xì)節(jié),從而通過調(diào)整API訪問控制策略,實(shí)現(xiàn)API請(qǐng)求參數(shù)的合規(guī)管符合規(guī)范的請(qǐng)求參數(shù)進(jìn)行技術(shù)分析,識(shí)別違規(guī)操作。定期每月1次對(duì)API接口有通過API接口訪問共享出去的敏感數(shù)據(jù),并記錄輸出敏感數(shù)據(jù)據(jù)安全風(fēng)險(xiǎn)。定期每月1次對(duì)輸出敏感數(shù)據(jù)的接口運(yùn)營狀態(tài)進(jìn)行管控,輸出《敏服務(wù)人員利用系統(tǒng)工具對(duì)API接口的訪問行為進(jìn)行監(jiān)控和分析。一方面,過分析API認(rèn)證和鑒權(quán)數(shù)據(jù),防止未授權(quán)的API調(diào)用,保障API接口只能被合法用戶訪問。定期每月1次對(duì)API接口訪問日志異常信息進(jìn)行評(píng)估分析,輸出⑤API數(shù)據(jù)安全風(fēng)險(xiǎn)評(píng)估安全技術(shù)工具要求訪問IP、用戶、訪問的接口信息、訪問時(shí)間等訪問日志信息,需監(jiān)測(cè)出包括如下異?,F(xiàn)象(包括但不限于):越權(quán)訪問、敏感數(shù)據(jù)泄漏、單用戶訪問IP頻繁變更等;需支持部署在政務(wù)云上,支持國產(chǎn)化部署能在國(三)服務(wù)交付物在服務(wù)期內(nèi),每月完成數(shù)據(jù)中心系統(tǒng)向內(nèi)網(wǎng)和政務(wù)外網(wǎng)區(qū)共享數(shù)據(jù)的所有(一)服務(wù)目標(biāo)(二)服務(wù)內(nèi)容重要數(shù)據(jù)的規(guī)則定義(含分類分級(jí)管理和敏感數(shù)據(jù)定義)等管控策略,包括數(shù)據(jù)重要數(shù)據(jù)的分類分級(jí)策略、敏感數(shù)據(jù)規(guī)則定義)等數(shù)據(jù)安全管控策略進(jìn)行優(yōu)化,成熟度等級(jí)(二級(jí))評(píng)估工作。最關(guān)鍵因素之一。②告警事件分析數(shù)據(jù)以及發(fā)揮重要數(shù)據(jù)的價(jià)值,根據(jù)業(yè)務(wù)需求和數(shù)據(jù)價(jià)值對(duì)重要數(shù)據(jù)動(dòng)態(tài)調(diào)整分類分級(jí)策略,同步維護(hù)敏感數(shù)據(jù)定義規(guī)則。⑤數(shù)據(jù)安全監(jiān)管決策支撐對(duì)數(shù)據(jù)安全管理措施、數(shù)據(jù)資產(chǎn)的管理、數(shù)據(jù)安全的防護(hù)手段、發(fā)生的各類數(shù)據(jù)安全事件進(jìn)行監(jiān)管決策建議。(三)服務(wù)交付物完成省監(jiān)獄局?jǐn)?shù)據(jù)安全管控策略優(yōu)化與決策支撐,交付輸出物包括《數(shù)據(jù)安全防控報(bào)告》(含策略優(yōu)化和決策支撐數(shù)據(jù))。服務(wù)人數(shù)及資質(zhì)要求見5.2.1.服務(wù)人員章節(jié)。駐場(chǎng)運(yùn)營服務(wù)要求以派駐安全專業(yè)人員在現(xiàn)場(chǎng)提供技術(shù)支持,積極開展落實(shí)日常數(shù)據(jù)安全運(yùn)營工作,幫助省監(jiān)獄局降低及控制數(shù)據(jù)安全風(fēng)險(xiǎn)的相關(guān)安全技術(shù)駐場(chǎng)人員主要職責(zé)要求:1.負(fù)責(zé)監(jiān)控及分析省監(jiān)獄局現(xiàn)有數(shù)據(jù)安全技術(shù)工具的運(yùn)行日志,確保設(shè)備的2.負(fù)責(zé)每月定期巡檢省監(jiān)獄局的數(shù)據(jù)安全技術(shù)工具,輸出巡檢報(bào)告,提供相關(guān)的策略優(yōu)化建議、安全防護(hù)規(guī)則升級(jí)建議等;3.負(fù)責(zé)排查處理省監(jiān)獄局日常數(shù)據(jù)安全運(yùn)營中的一般性故障問題,編制匯總故障、問題分析報(bào)告,并定期提交相關(guān)報(bào)告;4.負(fù)責(zé)配合省監(jiān)獄局處置在日常運(yùn)維中發(fā)現(xiàn)的數(shù)據(jù)安全事件,提供相關(guān)工作的現(xiàn)場(chǎng)技術(shù)支持。4.2.4.服務(wù)交付物要求表5:服務(wù)交付物要求1數(shù)據(jù)治理服務(wù)數(shù)據(jù)歸集完成數(shù)據(jù)中心增量數(shù)據(jù)和新增291張表的業(yè)務(wù)數(shù)據(jù)歸集,需對(duì)略,規(guī)范數(shù)據(jù)采集口徑、采集方式。通過數(shù)據(jù)庫直連、數(shù)據(jù)共享交換、數(shù)據(jù)API接口等多種方式,歸集業(yè)務(wù)系統(tǒng)數(shù)據(jù)資源。輸出《數(shù)據(jù)歸集完成的業(yè)務(wù)數(shù)據(jù)表清單》。驗(yàn)收前交付1份。2數(shù)據(jù)處理完成將數(shù)據(jù)中心存量數(shù)據(jù)、增量數(shù)據(jù)和新增歸集入庫的291個(gè)庫表的業(yè)務(wù)數(shù)據(jù),根據(jù)統(tǒng)一的數(shù)數(shù)據(jù)進(jìn)行清洗、標(biāo)準(zhǔn)化轉(zhuǎn)換、數(shù) 驗(yàn)收前交付1份。3治理質(zhì)量監(jiān)測(cè)完成對(duì)數(shù)據(jù)中心現(xiàn)有及新增的近30000個(gè)數(shù)據(jù)字段進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)測(cè),包括優(yōu)化質(zhì)量核驗(yàn)規(guī)則、實(shí)施數(shù)據(jù)質(zhì)量控制和數(shù)據(jù)質(zhì)量評(píng)估報(bào)告等工作服務(wù)。告》。出1份。4數(shù)據(jù)資庫、標(biāo)準(zhǔn)庫、共享庫的數(shù)據(jù)資產(chǎn)新、數(shù)據(jù)共享技術(shù)支撐等服務(wù)。出1份。5數(shù)據(jù)安全運(yùn)營服務(wù)數(shù)據(jù)采集安全監(jiān)測(cè)程、采集的數(shù)據(jù)、采集的異常行為進(jìn)行監(jiān)測(cè)和管理,保證組織數(shù)規(guī)范》、《數(shù)據(jù)安全采集監(jiān)測(cè)報(bào)告》。輸出《數(shù)據(jù)安全采集管理規(guī)范》、《數(shù)據(jù)安全驗(yàn)收前交付1份。6數(shù)據(jù)共享api接口安全監(jiān)測(cè)在服務(wù)期內(nèi),對(duì)數(shù)據(jù)中心系統(tǒng)向內(nèi)網(wǎng)和政務(wù)外網(wǎng)區(qū)的所有數(shù)據(jù)展深度數(shù)據(jù)安全監(jiān)測(cè),交付輸出物包括《API接口防護(hù)報(bào)告》。輸出物包括《API接口防護(hù)報(bào)告》(含《API接口出1份。7數(shù)據(jù)安全監(jiān)管策略優(yōu)策支撐并提出改進(jìn)建議以支撐數(shù)據(jù)安全監(jiān)管決策實(shí)施。交付輸出物包括《數(shù)據(jù)安全防控報(bào)告》(含策略優(yōu)化和決策支撐數(shù)據(jù))。告》(含策略優(yōu)化和決策支撐數(shù)據(jù))。每季度輸出1份??傮w技術(shù)要求包括但不限于需符合政策、保證業(yè)務(wù)順暢運(yùn)行、動(dòng)態(tài)規(guī)劃、同步規(guī)劃、標(biāo)準(zhǔn)化、綜合防護(hù)和先進(jìn)性。數(shù)據(jù)服務(wù)技術(shù)上沿用省監(jiān)獄局?jǐn)?shù)據(jù)中心原技術(shù)路線,應(yīng)遵循基于微服務(wù)架構(gòu)、UML統(tǒng)一建模語言、組件技術(shù)、系統(tǒng)接口技術(shù)、數(shù)據(jù)防篡改技術(shù)、數(shù)據(jù)采集及(1)業(yè)務(wù)系統(tǒng)性能指標(biāo)業(yè)務(wù)信息系統(tǒng)應(yīng)提供7×24信息的服務(wù);服務(wù)支持7×24服務(wù);系統(tǒng)運(yùn)行方(2)數(shù)據(jù)庫信息處理指標(biāo)系統(tǒng)采用大型數(shù)據(jù)庫管理系統(tǒng)進(jìn)行本地?cái)?shù)據(jù)庫信息的管理,針對(duì)10萬條記錄查詢時(shí),特定記錄的搜尋時(shí)間平均小于500的訪問時(shí)間則視具體情況而定,一般也不應(yīng)超過1s。(3)應(yīng)用軟件系統(tǒng)主要性能指標(biāo)支持最大同時(shí)在線檢索人數(shù):1000人以系統(tǒng)吞吐量:每分鐘處理事務(wù)數(shù)量在1000以上;數(shù)據(jù)一致性:系統(tǒng)根據(jù)不同業(yè)務(wù)需求,提供一致性保證。同步業(yè)務(wù)100%一致性,操作完成即一致完整;異步業(yè)務(wù)根據(jù)業(yè)務(wù)需求保證100%一致性,延時(shí)10秒(跨系統(tǒng)業(yè)務(wù)調(diào)用)-24小時(shí)(離線分析業(yè)務(wù))。(4)響應(yīng)指標(biāo)系統(tǒng)響應(yīng)時(shí)間:要求系統(tǒng)平均響應(yīng)時(shí)間必須小于2秒,單用戶訪問響應(yīng)時(shí)間小于2秒,200個(gè)用戶并發(fā)訪問平均響應(yīng)時(shí)間小于3秒;復(fù)雜查詢和統(tǒng)計(jì)的平均響應(yīng)時(shí)間要求小于5秒。本次升級(jí)改造的數(shù)據(jù)采集加密和共享接口的性能:數(shù)據(jù)采集加密采用SM4集接口和數(shù)據(jù)共享接口限制單次處理數(shù)據(jù)不小于1000條,響應(yīng)時(shí)間小于5秒;通過數(shù)據(jù)采集接口采集數(shù)據(jù)時(shí),單次解密不低于300條/秒。通過數(shù)據(jù)共享接口共享數(shù)據(jù)時(shí),單次加密不低于300條/秒。表6:等保和密評(píng)需求工作項(xiàng)目信息系統(tǒng)安全等級(jí)保護(hù)軟件開發(fā)服務(wù)內(nèi)容應(yīng)嚴(yán)格按照信息系統(tǒng)網(wǎng)絡(luò)安全等級(jí)保護(hù)等保三級(jí)要求實(shí)第三方機(jī)構(gòu)的等保三級(jí)測(cè)評(píng)(由采購人委托),使系統(tǒng)滿足網(wǎng)絡(luò)安全等保三級(jí)要求。保差測(cè),初驗(yàn)后終驗(yàn)前等保測(cè)評(píng)第三方機(jī)構(gòu)服務(wù)費(fèi)用,由采購人支付。商用密碼應(yīng)用軟件開發(fā)服務(wù)在現(xiàn)有數(shù)據(jù)中心數(shù)據(jù)上改造,涉及新建的2個(gè)功能模塊都應(yīng)嚴(yán)格依據(jù)數(shù)據(jù)中心原商用密碼應(yīng)用方案內(nèi)容應(yīng)通過第三方機(jī)構(gòu)的商用密碼應(yīng)用安全性評(píng)估(由采購人委托),使系統(tǒng)符合商用密碼應(yīng)用要求。初驗(yàn)后終驗(yàn)前完成密評(píng)服務(wù)商應(yīng)對(duì)系統(tǒng)實(shí)際運(yùn)行情況進(jìn)行下列測(cè)試,其中安全測(cè)試和驗(yàn)收測(cè)試由采購人、監(jiān)理公司、服務(wù)商和第三方測(cè)試機(jī)構(gòu)四方共同成立項(xiàng)目測(cè)試組。(1)單元測(cè)試;(2)集成測(cè)試;(3)系統(tǒng)測(cè)試;(4)安全測(cè)試;(5)驗(yàn)收測(cè)試。服務(wù)商應(yīng)指派固定的團(tuán)隊(duì)為本項(xiàng)目提供專業(yè)服務(wù),服務(wù)團(tuán)隊(duì)成員不得少于12人。在服務(wù)期內(nèi)按采購人工作時(shí)間提供工作日(8:30-17:30)和重?;顒?dòng)期間的駐場(chǎng)運(yùn)營服務(wù),重?;顒?dòng)期間的工作安排與采購人值班安排一致(記考勤)。人員資歷和證書要求見下表,出勤要求見5.4.3.服務(wù)響應(yīng)要求章節(jié)。表7:服務(wù)團(tuán)隊(duì)人員要求清單項(xiàng)目經(jīng)理對(duì)項(xiàng)目實(shí)行質(zhì)量、安全、進(jìn)度、成本管理的責(zé)任保證體系和全面提高項(xiàng)目管理水平1具備3年以上政務(wù)信息化項(xiàng)目經(jīng)驗(yàn)具備計(jì)算機(jī)類相關(guān)專業(yè)的本科及以上學(xué)歷,須具備計(jì)算機(jī)技術(shù)與軟件專業(yè)技術(shù)資格(軟考)“信息系統(tǒng)項(xiàng)目實(shí)施人員負(fù)責(zé)軟件開發(fā)、數(shù)據(jù)歸集、數(shù)據(jù)處理、治理質(zhì)量監(jiān)測(cè)等項(xiàng)目生產(chǎn)及輔助工作具備2年以上軟件運(yùn)營項(xiàng)目或信息化集成項(xiàng)目服務(wù)經(jīng)驗(yàn)具備計(jì)算機(jī)類相關(guān)專業(yè)的??萍耙陨蠈W(xué)歷,具備下列其中一項(xiàng):信息安全工程師(計(jì)算機(jī)技術(shù)與軟件人員(CISP)(信息安全測(cè)評(píng)中心頒證中心或中國網(wǎng)絡(luò)安全審查認(rèn)證和項(xiàng)專業(yè)證書。遠(yuǎn)程保障人員期間突發(fā)事件的等應(yīng)急問題進(jìn)行遠(yuǎn)程保障按需具備2年以上軟件運(yùn)營項(xiàng)目或信息安全類項(xiàng)目的遠(yuǎn)程技術(shù)支撐服務(wù)經(jīng)驗(yàn)數(shù)據(jù)治理駐場(chǎng)工作日8:30-17:30崗,至少派一人到采購人制定地點(diǎn)出勤2具備2年以上數(shù)據(jù)治理運(yùn)營駐場(chǎng)數(shù)據(jù)安全駐場(chǎng)工作日8:30-17:30崗,至少派一人到采購人制定地點(diǎn)出勤2具備2年以上數(shù)據(jù)安全運(yùn)營駐場(chǎng)培訓(xùn)師供開發(fā)接口使用培訓(xùn)、軟件維護(hù)培訓(xùn)等。針對(duì)用戶則以數(shù)據(jù)處理操作技巧培訓(xùn)、數(shù)據(jù)安全按需具備2年以上數(shù)據(jù)治理或數(shù)據(jù)安供應(yīng)商應(yīng)書面承諾,如在項(xiàng)目實(shí)際執(zhí)行過程中發(fā)生項(xiàng)目經(jīng)理不能按采購文件要求勝任相關(guān)工作的,采購人有權(quán)要求更換項(xiàng)目經(jīng)理,供應(yīng)商應(yīng)在兩周內(nèi)調(diào)整為符合采購文件要求且能勝任相關(guān)工作的項(xiàng)目經(jīng)理并到位開展工作,否則采購人有權(quán)終止合同并報(bào)相關(guān)管理部門進(jìn)行處理。供應(yīng)商承諾的項(xiàng)目經(jīng)理和開發(fā)實(shí)施的主要人員未經(jīng)用戶同意不得調(diào)整;供應(yīng)商如中途更換項(xiàng)目經(jīng)理和主要開發(fā)技術(shù)人員,應(yīng)征得用戶同意,否則采購人有權(quán)終止合同。如需調(diào)整服務(wù)團(tuán)隊(duì)成員,應(yīng)書面向采購人提出申請(qǐng),說明申請(qǐng)理由,經(jīng)采購人書面同意方可調(diào)整團(tuán)隊(duì)人員,調(diào)入人員的資歷和從業(yè)經(jīng)驗(yàn)不低于調(diào)出人員,否則視為違約行為,采購人有權(quán)終止服務(wù)合同。應(yīng)提供以上人員相關(guān)證明資料復(fù)印件并加蓋公章,并提供以上人員在本公司任職的有效外部證明材料(如加蓋政府有關(guān)部門印章的《投保單》或《社會(huì)保險(xiǎn)參保人員證明》,或單位代繳個(gè)人所得稅稅單等,事業(yè)法人的相關(guān)人員應(yīng)提供該單位的相關(guān)證明)復(fù)印件。本項(xiàng)目服務(wù)總周期是12個(gè)月,其中軟件開發(fā)服務(wù)須在服務(wù)啟動(dòng)后6個(gè)月內(nèi)完成系統(tǒng)開發(fā)及上線交付,初驗(yàn)后進(jìn)入系統(tǒng)試運(yùn)行;系統(tǒng)業(yè)務(wù)運(yùn)營服務(wù)期限為服務(wù)啟動(dòng)之日起12個(gè)月。本期項(xiàng)目進(jìn)度計(jì)劃要求:(T表示服務(wù)啟動(dòng)之日)表8:軟件開發(fā)服務(wù)進(jìn)度計(jì)劃開始時(shí)間(天)完成時(shí)間(天)項(xiàng)目啟動(dòng)項(xiàng)目正式啟動(dòng),啟動(dòng)軟件開發(fā)服務(wù)。需求調(diào)研調(diào)研報(bào)告需求分析確認(rèn)業(yè)務(wù)需求說明書開始時(shí)間(天)完成時(shí)間(天)系統(tǒng)開發(fā)完成系統(tǒng)主體功能開發(fā)功能測(cè)試完成主體功能測(cè)試報(bào)告部署上線完成系統(tǒng)上線總結(jié)系統(tǒng)完善和優(yōu)化完成缺陷修復(fù)及功能優(yōu)化系統(tǒng)正式上線系統(tǒng)正式上線項(xiàng)目初驗(yàn)系統(tǒng)交付完成初驗(yàn)試運(yùn)行項(xiàng)目驗(yàn)收完成本項(xiàng)目所有服務(wù)內(nèi)容,滿足項(xiàng)目驗(yàn)收條件要求,配合采購人開展項(xiàng)目終驗(yàn)按審查結(jié)果確定最終日期表9:業(yè)務(wù)系統(tǒng)運(yùn)營服務(wù)進(jìn)度計(jì)劃開始時(shí)間(天)完成時(shí)間(天)項(xiàng)目啟動(dòng)項(xiàng)目正式啟動(dòng),啟動(dòng)系統(tǒng)運(yùn)營服務(wù)。需求調(diào)研調(diào)研報(bào)告需求分析確認(rèn)業(yè)務(wù)需求說明書系統(tǒng)運(yùn)營實(shí)施系統(tǒng)運(yùn)營服務(wù)項(xiàng)目驗(yàn)收完成本項(xiàng)目所有服務(wù)內(nèi)容,滿足項(xiàng)目驗(yàn)收條件要求,配合采購人開展項(xiàng)目終驗(yàn)按審查結(jié)果確定最終日期為使項(xiàng)目按質(zhì)、按量、按時(shí)及有序?qū)嵤?yīng)商應(yīng)建立完善、穩(wěn)定的項(xiàng)目團(tuán)隊(duì)、內(nèi)部組織管理方式及管理機(jī)構(gòu)、協(xié)調(diào)機(jī)制、技術(shù)基礎(chǔ),支撐保障要求及其他相關(guān)要求。在項(xiàng)目日常管理和條件保障方面,從行政組織、后勤保障和支撐條件各方面創(chuàng)造良好的服務(wù)環(huán)境,確保項(xiàng)目的順利實(shí)施。供應(yīng)商應(yīng)在項(xiàng)目完成時(shí),將本項(xiàng)目所有文檔、資料匯集成冊(cè)交付給采購人,所有文件要求用中文書寫或有完整的中文注釋。驗(yàn)收后,供應(yīng)商按國家、省以及采購人檔案管理要求,向采購人提供裝訂成冊(cè)的紙質(zhì)文檔至少1套,電子文檔1為保證本項(xiàng)目能按時(shí)高質(zhì)的順利完成,規(guī)避項(xiàng)目風(fēng)險(xiǎn)或?qū)L(fēng)險(xiǎn)降至最低程度,供應(yīng)商應(yīng)建立項(xiàng)目質(zhì)量管理體系,包括但不限問題處理計(jì)劃、質(zhì)量評(píng)價(jià)、整改完善等內(nèi)容,并建立獎(jiǎng)懲制度。以項(xiàng)目周期為服務(wù)時(shí)間,產(chǎn)出的交付成果為服務(wù)內(nèi)容所要求的工作內(nèi)容。1.初驗(yàn)針對(duì)軟件開發(fā)部分開展,即:供應(yīng)商應(yīng)完成軟件開發(fā)服務(wù)需求,軟件開發(fā)服務(wù)相關(guān)功能測(cè)試通過后,由甲方組織初步驗(yàn)收;初步驗(yàn)收后進(jìn)入三個(gè)月的試運(yùn)行,供應(yīng)商在試運(yùn)行階段需持續(xù)對(duì)相關(guān)功能進(jìn)行優(yōu)化整改。試運(yùn)行結(jié)束后系統(tǒng)正式上線,達(dá)到終驗(yàn)條件,在運(yùn)營服務(wù)期滿后采購人組織最終整體驗(yàn)收。數(shù)據(jù)安全運(yùn)營工具的部署應(yīng)在初驗(yàn)前完成。2.供應(yīng)商應(yīng)負(fù)責(zé)在項(xiàng)目驗(yàn)收時(shí)將系統(tǒng)的全部有關(guān)軟件開發(fā)設(shè)計(jì)文檔、各分項(xiàng)服務(wù)交付物等文檔交付采購人,各種技術(shù)文檔、運(yùn)營服務(wù)文檔和驗(yàn)收資料完備,符合合同的內(nèi)容;驗(yàn)收需要提供的主要交付物包括:1)《數(shù)據(jù)歸集完成的業(yè)務(wù)數(shù)據(jù)表清單》2)《數(shù)據(jù)治理處理完成的業(yè)務(wù)數(shù)據(jù)表清單》3)《數(shù)據(jù)質(zhì)量監(jiān)測(cè)報(bào)告》4)《數(shù)據(jù)資產(chǎn)管理運(yùn)營工作記錄表》5)《數(shù)據(jù)安全采集管理規(guī)范》、《數(shù)據(jù)安全采集監(jiān)測(cè)報(bào)告》6)《API接口防護(hù)報(bào)告》7)《數(shù)據(jù)安全防控報(bào)告》(含策略優(yōu)化和決策支撐數(shù)據(jù))3.由供應(yīng)商提出驗(yàn)收申請(qǐng),經(jīng)采購人同意后由采購人組織系統(tǒng)功能匯報(bào)及演示,采取會(huì)議集中驗(yàn)收的方式進(jìn)行項(xiàng)目驗(yàn)收。本項(xiàng)目的驗(yàn)收應(yīng)符合XX省監(jiān)獄管理局相關(guān)驗(yàn)收管理辦法的要求。本項(xiàng)目需遵循的標(biāo)準(zhǔn)規(guī)范包括但不限于:1.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF/T0028-2018智慧監(jiān)獄技術(shù)規(guī)范》2.《信息技術(shù)服務(wù)治理_第1部分:通用要求》GBT34960.1-20173.《信息技術(shù)服務(wù)治理_第4部分:審計(jì)導(dǎo)則》GB/T34960.4-20174.《信息技術(shù)服務(wù)治理_第5部分:數(shù)據(jù)治理規(guī)范》GBT34960.5-20175.《信息安全技術(shù)數(shù)據(jù)安全能力成熟度模型》6.《信息安全技術(shù)個(gè)人信息安全規(guī)范》GB/T35273-20207.《信息安全技術(shù)政務(wù)信息共享數(shù)據(jù)安全技術(shù)要8.《信息安全技術(shù)信息安全風(fēng)險(xiǎn)評(píng)估規(guī)范》GB/T20984-20079.《信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求》GB/T10.《信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)測(cè)11.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF/T0008-2017全國司法行政信息化總體技術(shù)規(guī)范》12.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF/T0011-2017全國司法行政信息資13.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF/T0012-2017全國司法行政系統(tǒng)網(wǎng)絡(luò)平臺(tái)技術(shù)規(guī)范》14.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF/T0014-2017全國監(jiān)獄信息化應(yīng)用技術(shù)規(guī)范》15.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF/T0009-2017全國司法行政系統(tǒng)指揮中心建設(shè)技術(shù)規(guī)范》16.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF/T0011-2017全國司法行政信息資源交換規(guī)范》17.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF/T0054-2024監(jiān)獄罪犯基礎(chǔ)數(shù)據(jù)元和代碼集》18.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF0019-2017全國安置幫教信息采集及數(shù)據(jù)交換技術(shù)規(guī)范》19.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF/03001監(jiān)獄信息化罪犯信息庫編20.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF/03004監(jiān)獄信息化獄政管理業(yè)務(wù)21.《中華人民共和國司法行政行業(yè)標(biāo)準(zhǔn)SF/03006監(jiān)獄信息化應(yīng)急指
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 新版藥品GMP總則精要
- 公開課教學(xué)藝術(shù)
- 《GBT 34998-2017 移動(dòng)終端瀏覽器軟件技術(shù)要求》專題研究報(bào)告
- 《寵物鑒賞》課件-犬展的起源與歷史
- Tiamo-basical-database參考資料說明
- 元宇宙展會(huì)信息策劃服務(wù)協(xié)議
- 智能檢測(cè)行業(yè)機(jī)器視覺檢測(cè)工程師崗位招聘考試試卷及答案
- 種子行業(yè)雜交種子研發(fā)工程師崗位招聘考試試卷及答案
- 2026年護(hù)理工作計(jì)劃3篇
- 2026學(xué)年教師培訓(xùn)工作計(jì)劃(3篇)
- 2025河北廊坊市工會(huì)社會(huì)工作公開招聘崗位服務(wù)人員19名考試筆試備考試題及答案解析
- 2025國家電投集團(tuán)中國重燃招聘18人筆試歷年參考題庫附帶答案詳解
- 框架日常維修協(xié)議書
- 智研咨詢發(fā)布-2025年中國電子變壓器件行業(yè)市場(chǎng)運(yùn)行態(tài)勢(shì)及發(fā)展趨勢(shì)預(yù)測(cè)報(bào)告
- 護(hù)理溝通中的積極反饋與正向激勵(lì)
- 創(chuàng)傷后成長(PTG)視角下敘事護(hù)理技術(shù)的臨床應(yīng)用
- 2024年軍事理論期末考試題庫+答案
- 生物安全培訓(xùn)課件檢驗(yàn)科
- 十二生肖課件圖文
- 2024年河北醫(yī)科大學(xué)第四醫(yī)院招聘筆試真題
- 四川省教育考試院2025年公開招聘編外聘用人員考試筆試模擬試題及答案解析
評(píng)論
0/150
提交評(píng)論