ICS35.022201CityintelligentagentdatagovernanceIDB2201/T16—2022本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由吉林科訊信息科技有限公司提出。本文件由長(zhǎng)春市政務(wù)服務(wù)和數(shù)字化建設(shè)管理局歸口。本文件起草單位：吉林科訊信息科技有限公司、訊飛智元信息科技有限公司。本文件主要起草人：程玉柱、孫權(quán)、江志國(guó)、于躍、倪偉、丁慧東、柳羽輝、孟紅月、劉爍、冷皓。DB2201/T16—20221城市智能體數(shù)據(jù)治理技術(shù)規(guī)范本文件規(guī)定了城市智能體數(shù)據(jù)治理技術(shù)的縮略語(yǔ)、數(shù)據(jù)探查、數(shù)據(jù)規(guī)整、治理管理的內(nèi)容。本文件適用于指導(dǎo)城市智能體大數(shù)據(jù)平臺(tái)關(guān)于數(shù)據(jù)治理設(shè)計(jì)單位以及城市智能體建設(shè)部門在城市智能體中數(shù)據(jù)治理的技術(shù)設(shè)計(jì)工作。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T34960.5－2018信息技術(shù)服務(wù)治理第5部分：數(shù)據(jù)治理規(guī)范GB/T13000－2010信息技術(shù)通用多八位編碼字符集（UCS）3術(shù)語(yǔ)和定義GB/T34960.5界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1城市智能體城市智能體將視聯(lián)網(wǎng)、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)等信息化渠道構(gòu)建成城市感知體系，以云計(jì)算為基礎(chǔ)，人工智能技術(shù)為手段，將各行業(yè)領(lǐng)域的數(shù)據(jù)進(jìn)行匯集和共享，向各類業(yè)務(wù)場(chǎng)景提供數(shù)據(jù)、算力和技術(shù)能力支撐，為城市經(jīng)濟(jì)、社會(huì)、城市數(shù)字化轉(zhuǎn)型等提供支持的智慧城市巨系統(tǒng)。3.2數(shù)據(jù)治理數(shù)據(jù)資源及其應(yīng)用過(guò)程中相關(guān)管控活動(dòng)、績(jī)效和風(fēng)險(xiǎn)管理的集合。[來(lái)源：GB/T34960.5—2018，定義3.1]4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。DDL：數(shù)據(jù)庫(kù)模式定義語(yǔ)言（DataDefinitionLanguage）ETL：描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取、轉(zhuǎn)換、加載至目的端的過(guò)程（Extract-Transform-Load）HASH：散列函數(shù)（Hashfunction）MD5:信息摘要算法（MD5Message-DigestAlgorithm）SHA：安全散列算法（SecureHashAlgorithm）DB2201/T16—20221UUID：通用唯一識(shí)別碼（UniversallyUniqueIdentifier）2DB2201/T16—20225數(shù)據(jù)探查5.1數(shù)據(jù)常規(guī)檢查數(shù)據(jù)常規(guī)檢查規(guī)則見表1。表1常規(guī)檢查規(guī)則基礎(chǔ)類檢查數(shù)值大小校驗(yàn)檢查業(yè)務(wù)類檢查身份證合法性檢查身份證號(hào)碼與性身份證號(hào)碼與出身份證有效期檢查身份證號(hào)重復(fù)檢查DB2201/T16—20223表1常規(guī)檢查規(guī)則（續(xù)）業(yè)務(wù)類檢查出生日期合法性5.2數(shù)據(jù)自定義檢查除5.1檢查外，根據(jù)業(yè)務(wù)實(shí)際需要設(shè)置自定義檢查項(xiàng)。5.3數(shù)據(jù)一致性檢查為保障采集的各源系統(tǒng)的實(shí)體數(shù)據(jù)的一致性，檢查獲取的數(shù)據(jù)表和各源系統(tǒng)數(shù)據(jù)表業(yè)務(wù)字段數(shù)據(jù)的一致性，包括但不局限于數(shù)據(jù)條數(shù)一致和數(shù)據(jù)內(nèi)容一致兩個(gè)方面。6數(shù)據(jù)規(guī)整6.1數(shù)據(jù)規(guī)整方法通過(guò)數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗、關(guān)聯(lián)整合等技術(shù)手段，對(duì)問(wèn)題數(shù)據(jù)，包括但不局限于數(shù)據(jù)標(biāo)準(zhǔn)不一致、數(shù)據(jù)格式雜亂、數(shù)據(jù)錯(cuò)誤、數(shù)據(jù)缺失等，進(jìn)行有效的數(shù)據(jù)整理。6.2數(shù)據(jù)規(guī)整規(guī)則數(shù)據(jù)規(guī)整規(guī)則主要包括：DB2201/T16—20224a)字典轉(zhuǎn)換：將非標(biāo)準(zhǔn)的字典數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化轉(zhuǎn)換；b)規(guī)整任務(wù)設(shè)計(jì)：規(guī)整任務(wù)設(shè)計(jì)應(yīng)讓數(shù)據(jù)規(guī)整人員通過(guò)簡(jiǎn)單流程化、圖形化的操作完成數(shù)據(jù)清洗、轉(zhuǎn)換、抽取的操作。規(guī)整任務(wù)設(shè)計(jì)能力包括但不局限于配置輸入、配置輸出、配置規(guī)則組件等；c)常規(guī)轉(zhuǎn)換：應(yīng)根據(jù)業(yè)務(wù)需要，完成常規(guī)數(shù)據(jù)的規(guī)整。主要包括但不局限于格式轉(zhuǎn)換規(guī)則、內(nèi)容轉(zhuǎn)換規(guī)則、增加列規(guī)則、字典轉(zhuǎn)換規(guī)則和鏈接規(guī)則，具體規(guī)則見表2～表6。表2格式轉(zhuǎn)換規(guī)則表3內(nèi)容轉(zhuǎn)換規(guī)則將字段中的值統(tǒng)一全部替換為另外一個(gè)值。例如：將原字段日期中值“1997年元月”日期格式字段值應(yīng)轉(zhuǎn)換為字符串類字段。例如：yy/MM/ddHH:mm:ss；yy-MM-ddHH:mm:ss；yyMMddHHmmss；yyMMddHHmm；yyMM當(dāng)字段值為空時(shí)，應(yīng)配置填充的數(shù)據(jù)，分為統(tǒng)一默認(rèn)值填充和從關(guān)聯(lián)字段獲取填充兩DB2201/T16—20225表4增加列規(guī)則表5字典轉(zhuǎn)換規(guī)則將字段值按照配置的標(biāo)準(zhǔn)字典進(jìn)行標(biāo)準(zhǔn)轉(zhuǎn)換。例如：將性別字段值轉(zhuǎn)換為標(biāo)準(zhǔn)字典中性表6連接規(guī)則合并表數(shù)據(jù)，將第一張表中字段及數(shù)據(jù)合并到第二關(guān)聯(lián)表數(shù)據(jù)，將兩張表通過(guò)關(guān)聯(lián)字段進(jìn)行關(guān)聯(lián)配置，選擇關(guān)聯(lián)后的字段信息傳輸?shù)较乱欢?治理管理數(shù)據(jù)標(biāo)準(zhǔn)管理是數(shù)據(jù)資產(chǎn)管理的基礎(chǔ)性工作，提供統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)定義，是衡量數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)和管理水平的評(píng)估依據(jù)。數(shù)據(jù)標(biāo)準(zhǔn)管理主要包括：a)標(biāo)準(zhǔn)文檔庫(kù)管理：應(yīng)具備國(guó)標(biāo)、行標(biāo)的數(shù)據(jù)元錄入、查詢、編輯、狀態(tài)的管理；標(biāo)準(zhǔn)文檔收錄、查閱、狀態(tài)的管理；b)限定詞、同義詞、術(shù)語(yǔ)等信息庫(kù)管理：應(yīng)具備限定詞、同義詞、術(shù)語(yǔ)等信息庫(kù)收錄、查閱、關(guān)聯(lián)顯示、狀態(tài)信息的增加、查詢、刪除和修改的管理；c)標(biāo)準(zhǔn)字典管理：編輯已有的標(biāo)準(zhǔn)字典信息的管理，及在各類標(biāo)準(zhǔn)字典分類下新增標(biāo)準(zhǔn)字典表及字典項(xiàng)，擴(kuò)充標(biāo)準(zhǔn)字典庫(kù)的管理；d)數(shù)據(jù)源字典管理：應(yīng)具備業(yè)務(wù)系統(tǒng)未進(jìn)行標(biāo)準(zhǔn)化之前的字典的維護(hù)和管理。7.2元數(shù)據(jù)管理元數(shù)據(jù)是描述信息資源特征的數(shù)據(jù)，它從信息內(nèi)容、載體形態(tài)、信息資源集合及其組織體系、管理與服務(wù)機(jī)制以及過(guò)程與系統(tǒng)等方面去描述信息資源的特征和屬性。元數(shù)據(jù)管理對(duì)數(shù)據(jù)存儲(chǔ)、計(jì)算過(guò)程中涉及的數(shù)據(jù)源、數(shù)據(jù)庫(kù)、表、維度等進(jìn)行記錄和管理。元數(shù)據(jù)管理主要包括：DB2201/T16—20226a)數(shù)據(jù)源管理：通過(guò)增加、修改、刪除等方式管理各類數(shù)據(jù)庫(kù)的連接信息，以便同步各應(yīng)用系統(tǒng)b)元模型管理：用于獲取不同數(shù)據(jù)庫(kù)類型的元模型信息，并展示出各類異構(gòu)數(shù)據(jù)庫(kù)的所有元模型及屬性信息；c)元數(shù)據(jù)注冊(cè)：在數(shù)據(jù)源下依托元模型進(jìn)行元數(shù)據(jù)注冊(cè)，包括但不局限于表、視圖、索引、字段、列族、消息、ETL等各類元模型下元數(shù)據(jù)的注冊(cè)；d)元數(shù)據(jù)分析：應(yīng)支持按數(shù)據(jù)源查看已注冊(cè)的所有元數(shù)據(jù)以及元數(shù)據(jù)的血緣影響關(guān)系，并在此基礎(chǔ)上支撐創(chuàng)建DDL表功能，新增編輯表、字段、索引等元數(shù)據(jù)信息，擴(kuò)展數(shù)據(jù)庫(kù)元數(shù)據(jù)信息。7.3數(shù)據(jù)資源管理通過(guò)對(duì)各層數(shù)據(jù)庫(kù)中數(shù)據(jù)資源進(jìn)行梳理盤點(diǎn)，構(gòu)建分層管理的數(shù)據(jù)倉(cāng)庫(kù)體系，將數(shù)據(jù)目錄與業(yè)務(wù)目錄進(jìn)行映射。數(shù)據(jù)資源管理主要包括：a)目錄分類管理：將數(shù)據(jù)目錄按多層次分類配置