數(shù)據治理體系目錄范圍1標準性引用文件1術語、定義和縮略語5總體說明8概述8目標8原如此9數(shù)據治理體系9總體框架10組織架構10組織構成10角色職責11系統(tǒng)架構11系統(tǒng)功能框架11.系統(tǒng)模塊流程12系統(tǒng)邊界13與企業(yè)級省大數(shù)據平臺關系14與對外能力開放平臺關系14與平臺運維系統(tǒng)關系14數(shù)據治理核心模塊146.1.數(shù)據標準管理14背景15.錯誤!未定義書簽。目標及原如此15業(yè)務分類和定義166.1.5.技術功能要求19本期建設范圍及內容21實施要求錯誤!未定義書簽。元數(shù)據管理22背景和定義22元數(shù)據運營模式23元模型標準23元數(shù)據運維276.2.5.本期重點建設內容27數(shù)據質量管理28與傳統(tǒng)經營分析系統(tǒng)的區(qū)別28范圍和原如此29與其它功能模塊的關系29本期數(shù)據質量功能需求30本期數(shù)據質量運維要求31數(shù)據資產管理32數(shù)據資產概述32數(shù)據資產范圍33與其它功能模塊的關系33本期數(shù)據資產功能需求34本期建設內容36數(shù)據平安管理36數(shù)據平安概述36建設原如此36建設內容37邊界關系37技術功能38管理要求387.數(shù)據治理場景41背景描述41場景一：銀行偽卡交易判別42背景介紹42場景描述427.3.場景二：銀彳亍貸業(yè)務43背景介紹43場景描述448.附錄44附錄一：數(shù)據標準框架44附錄二：數(shù)據標準體系定義內容示例為45刖言本標準的制訂是為了更好地實現(xiàn)中國移動企業(yè)級省大數(shù)據平臺數(shù)據治理子系統(tǒng)的建設和管理，為省大數(shù)據平臺上的各類根底技術和應用提供支撐，加強省大數(shù)據平臺上數(shù)據的管控力度，增強數(shù)據治理子系統(tǒng)自身管理能力。本標準主要包括以下幾方面的內容：總體說明、數(shù)據治理體系、數(shù)據治理核心模塊、數(shù)據治理場景等。本標準是中國移動企業(yè)級大數(shù)據平臺系列標準之一。該系列標準的結構、名稱或預計的名稱如下：序號標準編號標準名稱[1]QB-Y-***-2021中國移動企業(yè)級大數(shù)據平臺目標架構[2]QB-Y-***-2021中國移動企業(yè)級省大數(shù)據平臺技術標準總冊[3]QB-Y-***-2021中國移動企業(yè)級省大數(shù)據平臺技術標準分冊[4]QB-Y-***-2021中國移動企業(yè)級省大數(shù)據平臺技術標準技術[5]QB-Y-***-2021方案分冊中國移動企業(yè)級省大數(shù)據平臺技術標準數(shù)據[6]QB-Y-***-2021模型分冊中國移動企業(yè)級省大數(shù)據平臺技術標準外部[7]QB-Y-***-2021接口分冊中國移動企業(yè)級省大數(shù)據平臺技術標準效勞開放分冊

[8]QB-Y-***-2021中國移動企業(yè)級省大數(shù)據平臺技術標準效勞[9]QB-Y-***-2021開放技術方案分冊中國移動企業(yè)級省大數(shù)據平臺技術標準數(shù)據[10]QB-Y-***-2021治理分冊中國移動企業(yè)級省大數(shù)據平臺技術標準數(shù)據[11]QB-Y-***-2021治理技術方案分冊中國移動企業(yè)級省大數(shù)據平臺技術標準運營[12]QB-Y-***-2021維護分冊中國移動企業(yè)級省大數(shù)據平臺技術標準平安管理技術方案本標準由中移技(XX)XX印發(fā)。本標準由中國移動通信集團公司業(yè)務支撐系統(tǒng)部提出，集團公司技術部歸口。本標準起草單位：中國移動通信集團公司業(yè)務支撐系統(tǒng)部。本標準主要起草人：段云峰、汪新勇、趙靜、周立、、任怡健、王保強、潘剛、劉童桐、王金金、陶濤、劉虹、張紅星、魏春輝。1.范圍本標準規(guī)定了中國移動企業(yè)級省大數(shù)據平臺數(shù)據治理子系統(tǒng)的建設內容，適用于中國移動各省〔直轄市、自治區(qū)〕公司企業(yè)級省大數(shù)據平臺數(shù)據治理子系統(tǒng)的建設。標準性引用文件如下文件中的條款通過本標準的引用而成為本標準的條款。但凡標注日期的引用文件，其隨后所有的修改單〔不包括勘誤的內容〕或修訂版均不適用于本標準。然而，鼓勵根據本標準達成協(xié)議的各方對是否使用這些文件的最新版本進展研究。但凡不標注日期的引用文件，其最新版本適用于本標準。[1]中國移動省級經營分析系統(tǒng)業(yè)務標準(v1.0)?中國移動通信[2]中國移動省級經營分析系統(tǒng)技術標準(v1.0)?中國移動通信[3]QB-J-010-2006中國移動省級經營分析系統(tǒng)數(shù)據質量管理系統(tǒng)建設方案〔v1.5〕?中國移動通信[4]QB-J-006-2006中國移動省級經營分析系統(tǒng)數(shù)據倉庫邏輯數(shù)據模型說明(v1.5)?中國移動通信[5]QB-J-007-2006中國移動省級經營分析系統(tǒng)數(shù)據集市業(yè)務技術標準(v1.5)?中國移動通信[6]QB-J-008-2006中國移動省級經營分析系統(tǒng)與源系統(tǒng)接口標準(v1.5)?中國移動通信[7]QB-J-009-2006中國移動省級經營分析系統(tǒng)與BOSS系統(tǒng)互動技術標準(v1.5)?中國移動通信[8]QB-J-003-2006中國移動省級經營分析系統(tǒng)業(yè)務標準〔v1.5〕一根底業(yè)務分冊？中國移動通信[9]QB-J-004-2006中國移動省級經營分析系統(tǒng)業(yè)務標準〔v1.5〕一數(shù)據業(yè)務分冊？中國移動通信[10]QB-J-005-2006中國移動省級經營分析系統(tǒng)業(yè)務標準〔v1.5〕一集團客戶分冊？中國移動業(yè)務運營支撐系統(tǒng)中國移動通信[11]QB-J-001-2006〔BOSS〕業(yè)務技術標準營銷資源管理分冊〔2.0版〕？中國移動通信中國移動業(yè)務運營支撐系統(tǒng)[12]QB-J-001-2006〔BOSS〕業(yè)務技術標準客服信息分中國移動通信冊〔2.0版〕?

[13]QB-J-001-2006中國移動業(yè)務運營支撐系統(tǒng)〔BOSS〕業(yè)務技術標準〔2.0版〕？中國移動通信[14]QB-J-021-2007中國移動省級經營分析系統(tǒng)數(shù)據倉庫邏輯數(shù)據模型標準〔v2.0〕?中國移動通信[15]QB-J-020-2007中國移動省級經營分析系統(tǒng)與源數(shù)據接口標準〔v2.0〕?中國移動通信[16]QB-J-022-2007中國移動省級經營分析系統(tǒng)數(shù)據集市業(yè)務技術標準〔v2.0〕?中國移動通信[17]QB-J-019-2007中國移動省級經營分析系統(tǒng)業(yè)務標準渠道運營管理分析監(jiān)控分冊〔v1.0〕？中國移動通信[18]QB-J-018-2007中國移動省級經營分析系統(tǒng)業(yè)務標準客戶效勞分冊〔v2.0〕?中國移動通信[19]QB-J-017-2007中國移動省級經營分析系統(tǒng)業(yè)務標準集團客戶分冊〔v2.0?中國移動通信[20]QB-J-016-2007中國移動省級經營分析系統(tǒng)數(shù)據質量管理系統(tǒng)業(yè)務技術標準〔V2.0)?中國移動通信[21]中國移動業(yè)務支撐網4A平安技術標準?中國移動通信[22]中國移動省級經營分析系統(tǒng)技術標準總冊〔v2.0全量版〕？中國移動通信[23]中國移動省級經營分析系統(tǒng)技術標準邏輯模型分冊〔v2.0全量版〕？中國移動通信[24]中國移動省級經營分析系統(tǒng)技術標準數(shù)據集市分冊〔v2.0全量版〕？中國移動通信中國移動省級經營分析系統(tǒng)技術標準[25]數(shù)據質量管理子系統(tǒng)分冊〔v2.0全量版〕？中國移動通信[26]中國移動省級經營分析系統(tǒng)業(yè)務標準〔v2.0全量版〕？中國移動通信[27]中國移動省級經營分析系統(tǒng)技術標準源系統(tǒng)接口分冊〔v2.0全量版〕？中國移動通信[28]QB-J-002-2021中國移動省級NG1-BASS技術標準總冊(v1.0)?中國移動通信集團公司[29]QB-J-003-2021中國移動省級NG1-BASS技術標準數(shù)據集市分冊(v1.0)?中國移動通信集團公司[30]QB-J-004-2021中國移動省級NG1-BASS技術標準邏輯模型分冊(v1.0)?中國移動通信集團公司[31]QB-J-005-2021中國移動省級NG1-BASS技術標準源系統(tǒng)接口分冊(v1.0)?中國移動通信集團公司

[32]QB-J-006-2021中國移動省級NG1-BASS技術標準元數(shù)據管理分冊(v1.0)?中國移動通信集團公司[33]QB-J-007-2021中國移動省級NG1-BASS技術標準中國移動通信集團數(shù)據質量管理子系統(tǒng)分冊(v1.0)?公司[34]QB-J-008-2021中國移動省級NG1-BASS業(yè)務技術中國移動通信集團標準客戶分析及運營分冊(v1.0)?公司[35]QB-J-001-2021中國移動省級NG1-BASS業(yè)務標準(v1.0)?中國移動通信集團公司[36]QB-Y-003-2021中國移動省級NG1-BASS技術標準總冊(v2.0)?中國移動通信集團公司[37]QB-Y-004-2021中國移動省級NG1-BASS技術標準數(shù)據集市分冊(v2.0)?中國移動通信集團公司[38]QB-Y-005-2021中國移動省級NG1-BASS技術標準邏輯模型分冊(v2.0)?中國移動通信集團公司[39]QB-Y-006-2021中國移動省級NG1-BASS技術標準外部接口分冊(v2.0)?中國移動通信集團公司[40]QB-Y-007-2021中國移動省級NG1-BASS技術標準元數(shù)據管理分冊(v2.0)?中國移動通信集團公司[41]QB-Y-008-2021中國移動省級NG1-BASS技術標準數(shù)據質量管理子系統(tǒng)分冊(v2.0)?中國移動通信集團公司[42]QB-Y-002-2021中國移動省級NG1-BASS業(yè)務標準(v2.0)?中國移動通信集團公司[43]QB-Y-052-2021中國移動省級NG2-BASS(v3.0)業(yè)務標準?中國移動通信集團公司[44]QB-Y-053-2021中國移動省級NG2-BASS(v3.0)技術標準總冊?中國移動通信集團公司[45]QB-Y-054-2021中國移動省級NG2-BASS(v3.0)技術標準數(shù)據集市分冊？中國移動通信集團公司[46]QB-Y-055-2021中國移動省級NG2-BASS(v3.0)技術標準邏輯模型分冊?中國移動通信集團公司[47]QB-Y-056-2021中國移動省級NG2-BASS(v3.0)技術標準外部接口分冊?中國移動通信集團公司[48]QB-Y-057-2021中國移動省級NG2-BASS(v3.0)技術標準元數(shù)據管理分冊?中國移動通信集團公司[49]QB-Y-058-2021中國移動省級NG2-BASS(v3.0)技術標準數(shù)據質量管理子系統(tǒng)分冊?中國移動通信集團公司[50]QB-Y-059-2021中國移動省級NG2-BASS(v3.0)技術標準多OP能力交互分冊？中國移動通信集團公司

[51]QB-Y-060-2021中國移動省級增值業(yè)務綜合運營平臺業(yè)務標準(v1.0)?中國移動通信集團公司[52]QB-Y-061-2021中國移動省級增值業(yè)務綜合運營平臺技術標準(v1.0)?中國移動通信集團公司[53]QB-Y-062-2021中國移動省級增值業(yè)務綜合運營平臺技術標準-數(shù)據管理分冊(v1.0)?中國移動通信集團公司[54]QB-Y-063-2021中國移動省級增值業(yè)務綜合運營平臺接口標準？中國移動通信集團公司[55]QB-Y-039-2021中國移動省級NG2-BASS(v3.5)業(yè)務標準?中國移動通信集團公司[56]QB-Y-038-2021中國移動省級NG2-BASS(v3.5)技術標準總冊？中國移動通信集團公司[57]QB-Y-040-2021中國移動省級NG2-BASS(v3.5)技術標準數(shù)據集市分冊？中國移動通信集團公司[58]QB-Y-041-2021中國移動省級NG2-BASS(v3.5)技術標準邏輯模型分冊？中國移動通信集團公司[59]QB-Y-042-2021中國移動省級NG2-BASS(v3.5)技術標準外部接口分冊？中國移動通信集團公司[60]QB-Y-043-2021中國移動省級NG2-BASS(v3.5)技術標準元數(shù)據管理分冊？中國移動通信集團公司[61]QB-Y-044-2021中國移動省級NG2-BASS(v3.5)技術標準數(shù)據質量管理子系統(tǒng)分冊？中國移動通信集團公司[62]QB-Y-045-2021中國移動省級NG2-BASS(v3.5)技術標準OP能力交互分冊？中國移動通信集團公司[63]QB-Y-046-2021中國移動省級增值業(yè)務綜合運營平臺業(yè)務標準(v1.5)?中國移動通信集團公司[64]QB-Y-047-2021中國移動省級增值業(yè)務綜合運營平臺技術標準(v1.5)?中國移動通信集團公司[65]QB-Y-048-2021中國移動省級NG2-BASS技術標準系統(tǒng)平安管理分冊(v1.5)?中國移動通信集團公司[66]QB-Y-044-2021中國移動省級NG2-BASS(v4.0)業(yè)務標準？中國移動通信集團公司[67]QB-Y-045-2021中國移動省級NG2-BASS(v4.0)技術標準總冊？中國移動通信集團公司[68]QB-Y-045.1-2021中國移動省級NG2-BASS(v4.0)技術標準數(shù)據集市分冊？中國移動通信集團公司[69]QB-Y-045.2-2021中國移動省級NG2-BASS(v4.0)技術標準邏輯模型分冊？中國移動通信集團公司

[70]QB-Y-045.3-2021中國移動省級NG2-BASS(v4.0)技術標準外部接口分冊？中國移動通信集團公司[72]QB-Y-045.4-2021中國移動省級NG2-BASS(v4.0)技術標準元數(shù)據管理分冊？中國移動通信集團公司[73]QB-Y-045.5-2021中國移動省級NG2-BASS(v4.0)技術標準數(shù)據質量管理子系統(tǒng)分冊？中國移動通信集團公司[74]QB-Y-046-2021中國移動省級增值業(yè)務綜合運營平臺業(yè)務標準？中國移動通信集團公司[75]QB-Y-047-2021中國移動省級增值業(yè)務綜合運營平臺技術標準？中國移動通信集團公司[76]QB-Y-047.1-2021中國移動省級增值業(yè)務綜合運營平臺技術標準數(shù)據管理分冊？中國移動通信集團公司[77]QB-Y-044-2021中國移動省級NG2-BASS(v4.5)業(yè)務標準？中國移動通信集團公司[78]QB-Y-045-2021中國移動省級NG2-BASS(v4.5)技術標準總冊？中國移動通信集團公司[79]QB-Y-045.1-2021中國移動省級NG2-BASS(v4.5)技術標準數(shù)據集市分冊？中國移動通信集團公司[80]QB-Y-045.2-2021中國移動省級NG2-BASS(v4.5)技術標準邏輯模型分冊？中國移動通信集團公司[81]QB-Y-045.3-2021中國移動省級NG2-BASS(v4.5)技術標準外部接口分冊？中國移動通信集團公司[82]QB-Y-045.4-2021中國移動省級NG2-BASS(v4.5)技術標準元數(shù)據管理分冊？中國移動通信集團公司[83]QB-Y-045.5-2021中國移動省級NG2-BASS(v4.5)技術標準數(shù)據質量管理子系統(tǒng)分冊？中國移動通信集團公司[84]QB-Y-045.6-2021中國移動省級NG2-BASS(v4.5)技術中國移動通信集團公司標準平安管理技術方案？[85]QB-Y-046-2021中國移動省級增值業(yè)務綜合運營平臺業(yè)務標準V2.5.0?中國移動通信集團公司[86]QB-Y-047-2021中國移動省級增值業(yè)務綜合運營平臺技術標準V2.5.0?中國移動通信集團公司[87]QB-Y-047.1-2021中國移動省級增值業(yè)務綜合運營平臺技術標準數(shù)據管理分冊V2.5.0?中國移動通信集團公司術語、定義和縮略語如下術語、定義適用于本標準:

字母名詞解釋CCWMCWM標準是OMG組織定義的數(shù)據倉庫和相關系統(tǒng)的國際元數(shù)據標準，給出了各種元數(shù)據結構的標準定義。CWM標準的目的在于：使數(shù)據倉庫和商業(yè)智能軟件的元數(shù)據在異構的數(shù)據分析工具、數(shù)據倉庫平臺、元數(shù)據存儲庫等系統(tǒng)之間進展交互。EETL特指從數(shù)據源系統(tǒng)到大數(shù)據平臺的數(shù)據抽取、轉換和加載。G管理元數(shù)據描述大數(shù)據平臺中管理領域相關概念、關系、規(guī)如此的數(shù)據，主要包括人員角色、崗位職責、管理流程等信息。H核心元模型大數(shù)據平臺核心元模型是以CWM為根底擴展形成的，針對大數(shù)據平臺的物理模型、邏輯模型、數(shù)據處理過程、接口單元、指標和維度編碼等主要實體進展準確定義，并要求各省大數(shù)據平臺統(tǒng)一遵循的元模型。定義核心元模型的目的是建立大數(shù)據平臺的統(tǒng)一元數(shù)據管理標準，為元數(shù)據管理的功能層與應用層解耦、為企業(yè)級總部大數(shù)據平臺和企業(yè)級省大數(shù)據平臺的元數(shù)據交換和相互理解提供統(tǒng)一的語義根底。H核心元模型參照表核心元模型參照表是對核心元模型中的枚舉類型屬性進展枚舉值定義的編碼表。參照表為枚舉類型屬性的每個枚舉值定義了唯一的編碼，并明確該編碼的語義，是核心元模型標準化定義的重要組成局部。J技術兀數(shù)據描述大數(shù)據平臺中技術領域相關概念、關系、規(guī)如此的數(shù)據。主要包括對數(shù)據結構、數(shù)據處理方面的特征描述，覆蓋大數(shù)據平臺數(shù)據源接口、數(shù)據倉庫、ETL、OLAP、數(shù)據挖掘、前端展現(xiàn)等全部數(shù)據處理環(huán)節(jié)。S數(shù)據處理過程數(shù)據從數(shù)據源系統(tǒng)到大數(shù)據平臺前端使用的整個處理過程，包含大數(shù)據平臺數(shù)據倉庫內部的數(shù)據抽取、轉換和加載。S數(shù)據采集點覆蓋大數(shù)據平臺數(shù)據處理環(huán)節(jié)的、獲取每個環(huán)節(jié)運行狀態(tài)的實體。該實體可以是程序實體也可以是任務實體S數(shù)據質量報告數(shù)據質量報告是對數(shù)據質量日常監(jiān)控以及質量評估等過程累積的各種信息進展匯總、梳理、統(tǒng)計和分析，形成的統(tǒng)計報告S數(shù)據質量監(jiān)控通過獲取大數(shù)據平臺各環(huán)節(jié)的數(shù)據質量監(jiān)控信息，結合元數(shù)據庫中的有關檢查規(guī)如此，對各個環(huán)節(jié)的數(shù)據質量情況進展判斷，并及時向數(shù)據質量監(jiān)控人員報告。

字母名詞解釋S數(shù)據質量規(guī)如此庫數(shù)據質量規(guī)如此庫是對數(shù)據質量管理活動所用到的各種判斷及校驗規(guī)如此進展歸類和存放的存儲結構，存儲的內容包括采集規(guī)如此、監(jiān)控規(guī)如此、告警規(guī)如此和審計規(guī)如此等S數(shù)據質量信息庫數(shù)據質量管理子系統(tǒng)存儲層上的存儲結構，用于存儲數(shù)據質量信息采集程序采集的數(shù)據質量信息、質量評估信息、問題解決方案和問題處理流程信息等S省公司中國移動通信集團各省〔直轄市、自治區(qū)〕移動通信。SSQL腳本自動解析SQL腳本自動解析指通過對SQL腳本的詞法、語法和語義進展分析，自動生成滿足CWM標準要求的數(shù)據處理過程的技術元數(shù)據的功能。Y業(yè)務元數(shù)據描述大數(shù)據平臺中業(yè)務領域相關概念、關系、規(guī)如此的數(shù)據。主要包括業(yè)務術語、信息分類、指標定義〔指標口徑〕、業(yè)務規(guī)如此等信息。Y元模型元模型是描述元數(shù)據的根底模型結構，用于說明元數(shù)據對象的各種屬性、結構和關系。Y元數(shù)據元數(shù)據是描述數(shù)據間關系的數(shù)據。大數(shù)據平臺中元數(shù)據泛指描述數(shù)據概念〔Concepts〕、數(shù)據間關系〔Roles〕、數(shù)據處理規(guī)如此〔Rules〕的數(shù)據，其中，領域語義〔Semantics〕和知識〔Knowledge〕也屬于兀數(shù)據的范疇。D數(shù)據標準指在中國移動臺企業(yè)級省大數(shù)據平臺下為了使企業(yè)內外部使用和交換的數(shù)據是一致和準確的，經協(xié)商一致制定并由大數(shù)據治理委員會主管機構批準，具有行業(yè)特點且共同使用和重復使用的一種標準性約束。D數(shù)據標準體系指數(shù)據標準按照中國移動企業(yè)級省大數(shù)據平臺需求對數(shù)據進展標準化的劃分歸類。D數(shù)據標準內容按照數(shù)據標準體系劃分的要求分別給出各數(shù)據標準制定的標準內容。D行業(yè)參考模型實體中國移動標準中原定義或新增加的邏輯數(shù)據模型LDM實體。D公共代碼標準需要引用外部公共標準機構的標準。如：世界各國和地區(qū)名稱代碼等。如下略縮語適用于本標準:縮寫英文描述中文描述ASTAbstractSyntaxTree抽象語法樹BOSSBusinessOperationSupportSystem業(yè)務運營支撐系統(tǒng)CWMCommonWarehouseMetamodel公共倉庫元模型ETLExtractionTransformationLoading抽取、轉換和加載OLAPOn-lineAnalysisProcess在線分析處理XMIXMLMetadataInterchangeXML元數(shù)據交換BIBusinessIntelligence商務智能RESTRepresentationalStateTransfer表述性狀態(tài)轉移總體說明概述本標準用于指導企業(yè)級省大數(shù)據平臺數(shù)據治理子系統(tǒng)建設，規(guī)定了省大數(shù)據平臺數(shù)據治理的范圍和要求，明確了數(shù)據治理子系統(tǒng)的體系結構，制定了數(shù)據治理子系統(tǒng)的功能和處理流程。數(shù)據治理子系統(tǒng)包含數(shù)據標準管理、元數(shù)據管理、數(shù)據質量管理、數(shù)據資產管理、數(shù)據平安管理等功能模塊。本方案借鑒資產管理的方法理論來管理數(shù)據，將數(shù)據作為一種特殊的資產，對進入平臺的數(shù)據進展標準化的標準約束，并以元數(shù)據作為驅動，連接數(shù)據的標準管理、數(shù)據質量管理、數(shù)據數(shù)據平安管理的各個階段，形成統(tǒng)一、完善的數(shù)據治理體系，以解決實際業(yè)務問題為導向，增強數(shù)據治理子系統(tǒng)對業(yè)務開展的支撐能力。目標數(shù)據治理子系統(tǒng)的建設為數(shù)據治理工作提供強有力的系統(tǒng)支撐。本期標準建設目標是以元數(shù)據為驅動，建立省大數(shù)據平臺完整的數(shù)據治理體系。從組織架構、系統(tǒng)功能等方面增強數(shù)據宏觀管控，并實現(xiàn)精細化管理，具體包括：?數(shù)據治理組織架構管理：定義數(shù)據治理所需人員組織上的崗位和職責，從管理角度支撐數(shù)據治理工作的落地和執(zhí)行。?數(shù)據標準管理：建立企業(yè)級省大數(shù)據平臺數(shù)據標準體系，并制定數(shù)據標準運維管控制度和流程。?元數(shù)據管理：降低元數(shù)據使用難度、提升用戶體驗，使大數(shù)據平臺各類用戶均能參與到元數(shù)據運營維護當中。?數(shù)據質量管理：為內、外部用戶提供平臺化的數(shù)據質量監(jiān)控；通過擴大和優(yōu)化公共規(guī)如此庫、保證數(shù)據的完整性、一致性、準確性、及時性、合法性，提升用戶使用感知；并提供數(shù)據質量應用滿足個性化需求。?數(shù)據資產管理：重點建設從規(guī)劃、注冊、運維到注銷的全流程管理體系，使數(shù)據資產管理系統(tǒng)化、可視化。?數(shù)據平安管理：建立體系化的數(shù)據平安管控策略，通過用戶平安管理、數(shù)據平安管理實現(xiàn)全方位數(shù)據平安管控機制，通過技術手段與管理措施相結合的方式落實數(shù)據平安，做到事前可管、事中可控、事后可查。4.3.原如此企業(yè)級省大數(shù)據平臺數(shù)據治理子系統(tǒng)建設應遵循以下根本原如此：有效性原如此表現(xiàn)大數(shù)據平臺數(shù)據治理過程中數(shù)據的標準、質量、價值、管控的有效性、高效性。價值化原如此表現(xiàn)數(shù)據治理過程中以數(shù)據資產為價值核心，最大化大數(shù)據平臺的數(shù)據價值。統(tǒng)一性原如此表現(xiàn)大數(shù)據平臺架構統(tǒng)一、標準統(tǒng)一、元數(shù)據統(tǒng)一、質量流程統(tǒng)一、資產價值統(tǒng)一的一體化管控平臺體系。開放性原如此表現(xiàn)平臺化、開放性運維思想，實現(xiàn)人人參與數(shù)據治理、人人參與數(shù)據運維。產品化原如此表現(xiàn)大數(shù)據平臺數(shù)據治理能力的顯性化，通過產品化互聯(lián)網思維效勞大數(shù)據平臺數(shù)據生態(tài)圈用戶。平安性原如此表現(xiàn)平安的重要性、必要性，保障大數(shù)據平臺數(shù)據平安和數(shù)據治理過程中數(shù)據的平安可控。數(shù)據治理體系5.1.總體框架數(shù)據治理總體框架包括組織架構、數(shù)據治理模塊、數(shù)據運維三局部。通過組織架構建立管理方法，制定工作流程，確定角色職責。數(shù)據治理模塊主要包括數(shù)據標準管理、元數(shù)據管理、數(shù)據質量管理、數(shù)據資產管理、數(shù)據平安管理，各模塊協(xié)同運營，確保大數(shù)據平臺的數(shù)據一致、平安、有效。數(shù)據運維貫穿整個數(shù)據治理體系的流程中，實現(xiàn)平臺化的運維管理思路。數(shù)據治理總體框架如圖5-1所示：L一 核心領域組織架數(shù)據治理工具數(shù)據運.組構架數(shù)據標準元數(shù)據管1>TMZ質量運. J角色與廣 "■>規(guī)劃和 J數(shù)據質量< J數(shù)據資產t y「 氣資產運管理方數(shù)據平安管理管控運圖5-1數(shù)據治理體系框架5.2.組織架構數(shù)據治理組織的構建旨在通過建立數(shù)據治理組織架構明確各級角色和職責，保障數(shù)據治理的各項管理方法、工作流程的實施，推送數(shù)據治理工作的有序開展。5.2.1,組織構成數(shù)據治理組織架構主要由數(shù)據治理委員會、數(shù)據治理中心和各業(yè)務部門構成。組織架構劃分和角色設定如圖5-2所示：圖5-2數(shù)據治理組織架構圖

5.2.2.角色職責組織責任體系是數(shù)據治理責任落地的保障，數(shù)據治理組織架構通過明確各角色職責，實行認責制度，讓數(shù)據治理工作更好的融入到數(shù)據日常使用和相關的工作中，從而推動數(shù)據運維自治的實現(xiàn)，如表5-1。表5-1數(shù)據治理組織架構角色職責定義內容組織結構角色角色描述角色主要職責數(shù)據治理委員會數(shù)據管理決策者由公司主管領導和各業(yè)務部門領導組成負責牽頭數(shù)據治理工作；制定數(shù)據治理的政策、標準、規(guī)如此、流程，協(xié)調認責沖突；對數(shù)據事實治理，保證數(shù)據的質量和隱私；在數(shù)據出現(xiàn)質量問題時負責仲裁工作。數(shù)據治理中心數(shù)據平臺運營者數(shù)據管理中心機構的平臺運營人員負責提交數(shù)據標準的要求及數(shù)據質量規(guī)如此和業(yè)務標準，解釋數(shù)據的業(yè)務規(guī)如此和含義；監(jiān)視各項數(shù)據規(guī)如此和標準的約束的落實情況；負責數(shù)據治理平臺中整體數(shù)據的管控流程制定和平臺功能系統(tǒng)支撐的實施；負責平臺的整體運營、組織、協(xié)調。各業(yè)務部門數(shù)據提供者相關數(shù)據開發(fā)提供人員負責數(shù)據及相關系統(tǒng)的開發(fā)，有責任執(zhí)行數(shù)據標準和數(shù)據質量內容；負責從技術角度解決數(shù)據質量問題；作為數(shù)據出現(xiàn)質量問題時的主要責任者。數(shù)據維護者數(shù)據維護人員制定相關數(shù)據標準、數(shù)據制度和規(guī)如此；遵守和執(zhí)行數(shù)據標準管控相關的流程，根據數(shù)據標準要求提供相關數(shù)據標準；作為數(shù)據出現(xiàn)質量問題時的次要責任者。數(shù)據消費者數(shù)據使用人員，包含內部用戶和外部用戶作為數(shù)據治理平臺數(shù)據管控流程的最后參與使用者；是數(shù)據資產價值的獲益人；作為數(shù)據治理平臺數(shù)據閉環(huán)流程的發(fā)起人。5.3.系統(tǒng)架構5.3.1.系統(tǒng)功能框架數(shù)據治理功能框架明確了數(shù)據治理在企業(yè)級省大數(shù)據平臺中的定位，并以合理的功能層次劃分指導數(shù)據治理系統(tǒng)相關功能建設。系統(tǒng)功能框架如圖5-3所示。圖5-3數(shù)據治理功能框架圖企業(yè)級省大數(shù)據平臺門戶：企業(yè)級省大數(shù)據平臺統(tǒng)一的訪問接口，供企業(yè)內、外部用戶、第三方獨立開發(fā)者訪問及使用數(shù)據治理相關產品或功能，并負責統(tǒng)一訪問認證及日志記錄。?能力開放平臺：企業(yè)級省大數(shù)據平臺統(tǒng)一的對外效勞層，數(shù)據治理相關的產品及應用均通過這個層次進展注冊、發(fā)布，并對內、外部開放。?數(shù)據治理系統(tǒng)：數(shù)據標準：在數(shù)據標準管理組織架構推動和指導下，遵循協(xié)商一致制定的數(shù)據標準標準，借助標準化管控流程得以實施數(shù)據標準化的整個過程。元數(shù)據：采用集中式管理模式進展元數(shù)據管理，全公司元數(shù)據邏輯集中，即元數(shù)據管理模塊作為公司元數(shù)據的統(tǒng)一發(fā)布源，集中管理元數(shù)據，提供元數(shù)據集中創(chuàng)立、維護、查詢功能。數(shù)據質量：對數(shù)據從方案、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據質量問題，進展識別、度量、監(jiān)控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據質量獲得進一步提高。數(shù)據資產：規(guī)劃、控制、提供數(shù)據及信息資產的一組業(yè)務職能，包括開發(fā)、執(zhí)行和監(jiān)視有關數(shù)據的方案、政策、方案、工程、流程、方法和程序，從而控制、保護、提高數(shù)據資產的價值。數(shù)據平安：通過方案、制定、執(zhí)行數(shù)據平安政策和平安策略措施，為企業(yè)級大數(shù)據平臺的數(shù)據和信息提供行之有效的認證、授權、訪問和審計。數(shù)據運維：包括數(shù)據資產運維、數(shù)據質量運維，借鑒互聯(lián)網思維，通過產品化運維工具來整體提升企業(yè)級大數(shù)據平臺數(shù)據運維效率。?企業(yè)級省大數(shù)據平臺：大數(shù)據根底平臺，負責數(shù)據的接入、存儲、管理、應用及相關根底功能支撐。5.3.2.系統(tǒng)模塊流程如圖5-4所示，數(shù)據治理系統(tǒng)各模塊之間，根據數(shù)據操作的流程產生相互關聯(lián)，各模塊業(yè)務流程關系說明如下：L1：數(shù)據標準管理模塊將標準定義映射到元數(shù)據信息上，實現(xiàn)數(shù)據標準的標準要求落地。L2：元數(shù)據管理模塊為數(shù)據資產管理模塊提供存儲模型、屬性信息查詢效勞。L3：元數(shù)據管理模塊為數(shù)據質量管理模塊提供元數(shù)據相關屬性信息。L4：用戶通過元數(shù)據定義大數(shù)據平臺的數(shù)據結構。L5：數(shù)據質量管理模塊根據采集需求從大數(shù)據平臺采集數(shù)據。L6：數(shù)據質量管理模塊將數(shù)據質量問題反應給大數(shù)據平臺。L7：數(shù)據質量管理模塊向資產模塊提交數(shù)據質量評估結果。L8:元數(shù)據管理模塊為數(shù)據平安管理模塊提供隱私級別定義效勞。L9：數(shù)據資產管理模塊發(fā)起資產訪問申請，由數(shù)據平安管理模塊控制用戶訪問權限，控制數(shù)據資產的增加、刪除、變更操作權限，對訪問的數(shù)據內容、數(shù)據屬性等操作進展管控。L10:數(shù)據平安管理模塊為大數(shù)據平臺提供數(shù)據訪問權限策略。5.4.系統(tǒng)邊界企業(yè)級省大數(shù)據平臺數(shù)據治理子系統(tǒng)與其它子系統(tǒng)之間存在數(shù)據交互、功能調用、流程穿插等關聯(lián)。數(shù)據治理子系統(tǒng)與大數(shù)據平臺系統(tǒng)內其它子系統(tǒng)的關系示意如圖5-5所示：數(shù)據效勞平臺I t數(shù)據治理數(shù)據標準管理 元數(shù)據管理數(shù)據質量管理數(shù)據資產管理數(shù)據平安管理Jt企業(yè)級省大數(shù)據平臺圖5-5數(shù)據治理子系統(tǒng)與各子系統(tǒng)邊界圖與企業(yè)級省大數(shù)據平臺關系企業(yè)級省大數(shù)據平臺上的數(shù)據資產是數(shù)據治理的主要對象；數(shù)據治理為企業(yè)級省大數(shù)據平臺提供數(shù)據標準指導、元數(shù)據定義、數(shù)據質量監(jiān)控、數(shù)據平安等方面的全面支撐，使大數(shù)據平臺上的數(shù)據資產清晰、有序、平安、可控。與對外能力開放平臺關系數(shù)據治理為對外能力開放平臺提供元數(shù)據查詢、數(shù)據平安管理支持；對外能力開放平臺為數(shù)據治理提供統(tǒng)一的數(shù)據治理產品及功能注冊、發(fā)布、使用效勞。與平臺運維系統(tǒng)關系數(shù)據治理子系統(tǒng)支撐大數(shù)據平臺的數(shù)據管控流程，并與平臺運維交互協(xié)調，共同支撐大數(shù)據平臺整體的平安運維、數(shù)據運維和管理運維。數(shù)據治理核心模塊6.1.數(shù)據標準管理中國移動企業(yè)級省大數(shù)據平臺數(shù)據標準是在經營分析系統(tǒng)數(shù)據管控要求根底之上，借鑒互聯(lián)網企業(yè)數(shù)據治理的經驗而提出的。數(shù)據標準是指在中國移動企業(yè)級省大數(shù)據平臺下，保障企業(yè)內外部使用和交換數(shù)據的一致性和準確性，具有行業(yè)特點且共同使用的一種標準性約束。數(shù)據標準是企業(yè)級省大數(shù)據平臺數(shù)據治理的根底性工作，是數(shù)據治理建設中的首要環(huán)節(jié)。首先，數(shù)據標準為企業(yè)級省大數(shù)據平臺提供統(tǒng)一的數(shù)據標準定義和平臺邏輯模型。其次，數(shù)據標準是企業(yè)級省大數(shù)據平臺進展數(shù)據治理的依據和根本。再次，數(shù)據標準是衡量企業(yè)級省大數(shù)據平臺數(shù)據資產運營和管理的評估依據。最后，中國移動通過數(shù)據標準管理的實施，實現(xiàn)對企業(yè)級省大數(shù)據平臺全網數(shù)據的統(tǒng)一運營管理。企業(yè)級省大數(shù)據平臺數(shù)據治理體系中數(shù)據標準管理如圖6-1所示，包括制定數(shù)據標準的標準性文件、進展數(shù)據標準化管控及數(shù)據標準管理組織。圖6-1數(shù)據標準管理內容企業(yè)級省大數(shù)據平臺數(shù)據標準管理與原經營分析系統(tǒng)數(shù)據管控的區(qū)別如下表6-1所示：表6-1企業(yè)級省大數(shù)據平臺數(shù)據標準管理與原經營分析系統(tǒng)數(shù)據管控區(qū)別企業(yè)級省大數(shù)據平臺數(shù)據標準管理原經營分析系統(tǒng)數(shù)據管控數(shù)據范圍涉及企業(yè)內外部數(shù)據運營相關的數(shù)據，包含BOM三域數(shù)據、外部數(shù)據。數(shù)據僅限于市場經營活動的B域和局部O,M域數(shù)據。業(yè)務應用模式以數(shù)據標準為根底的數(shù)據治理體系，實現(xiàn)數(shù)據的資產化，貫穿整個數(shù)據運營的全流程，形成以中國移動大數(shù)據平臺為核心的大數(shù)據生態(tài)圈，效勞于企業(yè)內外部客戶。以支撐企業(yè)內部經營分析為主。效勞對象效勞于整個大數(shù)據生態(tài)圈。原經營分析系統(tǒng)使用人員。6.1.2.目標及原如此數(shù)據標準管理的總體目標：通過統(tǒng)一的數(shù)據標準制定和發(fā)布，結合制度約束、系統(tǒng)控制等手段，實現(xiàn)中國移動企業(yè)級省大數(shù)據平臺數(shù)據的完整性、有效性、一致性、標準性、開放性和共享性管理，提高企業(yè)級省大數(shù)據平臺數(shù)據治理水平。數(shù)據標準制定的原如此：?開放性：標準制定人人參與。?共享性：數(shù)據標準化信息在大數(shù)據生態(tài)圈共享使用。?完整性：涵蓋客戶、產品、效勞、帳務、資源、網絡等全部重要數(shù)據信息。?有效性：信息準確度高、理解上不存在歧義。?一致性：做到“五統(tǒng)一〃，定義統(tǒng)一、口徑統(tǒng)一、名稱統(tǒng)一、來源統(tǒng)一、參照統(tǒng)一。?標準性：制度標準、流程控制、系統(tǒng)管理等。6.1.3.業(yè)務分類和定義數(shù)據標準體系分類數(shù)據標準制定如圖6-2所示，包括數(shù)據標準體系劃分和數(shù)據標準內容制定，數(shù)據標準體系可分為根底類數(shù)據標準和指標類數(shù)據標準。圖6-2數(shù)據標準體系劃分數(shù)據標準內容制定數(shù)據標準內容的制定按照數(shù)據標準體系分類的要求分別給出數(shù)據標準制定的標準要求。1、根底類數(shù)據標準根底類數(shù)據標準是通過各種業(yè)務處理產生或各類渠道采集的根底性數(shù)據，在全國范圍內必須是唯一定義的，如“用戶品牌〃、“歸屬地市〃。根底類數(shù)據標準分為行業(yè)參考模型實體標準和公共代碼標準。行業(yè)參考模型實體標準指按照行業(yè)需求和中國移動省級數(shù)據邏輯模型實體標準要求，繼承以往數(shù)據邏輯模型實體標準，將各域的邏輯模型實體定義抽象為模型實體標準要求。行業(yè)參考模型實體數(shù)據標準體系定義內容如表6-2所示。表6-2行業(yè)參考模型實體數(shù)據標準體系定義內容行業(yè)參考模型實體標準標準體系屬性說明數(shù)據標準編碼根據數(shù)據標準編碼命名規(guī)如此進展編寫。標準主題數(shù)據標準歸屬主題標準子類數(shù)據標準歸屬類型中文名稱數(shù)據標準中文名稱。英文名稱數(shù)據標準英文名稱。

實體編號根據行業(yè)參考模型實體編號命名規(guī)如此進展編與。實體名稱根據行業(yè)參考模型實體名稱命名規(guī)如此進展編與。數(shù)據版本該數(shù)據標準的版本信息。數(shù)據體系分類根據數(shù)據分類規(guī)如此對數(shù)據進展分類，以保證數(shù)據體系的易用性，以及符合用戶查找習慣。重要級別集團標準定義的數(shù)據為一級，省公司定義的數(shù)據為二級，其它常用的數(shù)據為三級。數(shù)據提供部門該數(shù)據標準定義數(shù)據的提供部門。數(shù)據提供部門負責人該數(shù)據標準定義數(shù)據提供負責人。數(shù)據維護部門該數(shù)據標準定義數(shù)據維護部門。數(shù)據維護部門負責人該數(shù)據標準定義數(shù)據維護負責人。業(yè)務主管部門該數(shù)據標準定義數(shù)據業(yè)務主管部門，該部門對數(shù)據口徑、編碼取值和相關專業(yè)術語有決定權。業(yè)務主管部門負責人該數(shù)據標準定義數(shù)據業(yè)務負責人。數(shù)據來源系統(tǒng)如：BOSS,CRM,ERP等主要依據關于指標的解釋和描述文件。如集團標準、省公司標準、業(yè)務部門制定等等。業(yè)務定義指標的業(yè)務描述口徑，一般由業(yè)務部門使用業(yè)務語言制定。具體行業(yè)參考模型實體數(shù)據標準體系定義內容示例為參見?附錄二：數(shù)據標準體系定義內容示例為?。公共代碼標準，指對于一些共享程度較高、內容相比照擬穩(wěn)定的編碼，通?？梢越M織力量一次性地編制出來，其中有一些需要引用外部公共標準機構的標準，比方：世界各國和地區(qū)名稱代碼等。公共代碼標準體系定義內容如表6-3所示。表6-3公共代碼標準體系定義內容公共代碼標準標準體系屬性說明數(shù)據標準編碼根據數(shù)據標準編碼命名規(guī)如此進展編寫。公共標準號引入外部公共標準號中文標準名稱數(shù)據標準中文名稱英文標準名稱數(shù)據標準英文名稱。標準狀態(tài)該標準的狀態(tài)，如現(xiàn)行、停止。公共標準機構名稱引入該公共標準的機構名稱。數(shù)據標準體系根據數(shù)據分類規(guī)如此對數(shù)據進展分類，以保證數(shù)據體系的易用性，以及符合用戶查找習慣。重要級別集團標準定義的數(shù)據為一級，省公司定義的數(shù)據為二級，其它常用的數(shù)據為三級。數(shù)據標準引入部門該數(shù)據標準引入和維護部門。數(shù)據標準引入部門負責人該數(shù)據標準引入和數(shù)據維護負責人。數(shù)據上報系統(tǒng)最終對數(shù)據進展計算和發(fā)布的系統(tǒng)，也是各部門唯一獲取指標數(shù)據的來源系統(tǒng)。具體行業(yè)參考模型實體數(shù)據標準體系定義內容示例為參見?附錄二：數(shù)據標準體系定義內容示例為?。2、指標類數(shù)據標準

指標類數(shù)據標準是數(shù)據根底上按照一定業(yè)務規(guī)如此加工匯總的數(shù)據，如KPI指標數(shù)據。指標類數(shù)據又可分為根底指標和計算指標。根底指標一般不含維度信息，且具有特定業(yè)務和經濟含義。計算指標通常由兩個以上根底指標計算出。指標類數(shù)據標準體系定義內容如表6-4所示。表6-4指標類數(shù)據標準體系定義內容指標類標準說明根底屬性數(shù)據標準編碼根據數(shù)據標準編碼命名規(guī)如此進展編寫。中文名稱數(shù)據標準中文名稱。英文名稱數(shù)據標準英文名稱。應用場景該指標適用于什么場景。數(shù)據版本該數(shù)據標準的版本信息。數(shù)據體系分類根據數(shù)據分類規(guī)如此對數(shù)據進展分類，以保證數(shù)據體系的易用性，以及符合用戶查找習慣。重要級別集團標準定義的數(shù)據為一級，省公司定義的數(shù)據為二級，其它常用的數(shù)據為三級。管理屬性數(shù)據提供部門該數(shù)據標準定義數(shù)據的提供部門。數(shù)據提供部門負責人該數(shù)據標準定義數(shù)據提供負責人。數(shù)據維護部門該數(shù)據標準定義數(shù)據維護部門。數(shù)據維護部門負責人該數(shù)據標準定義數(shù)據維護負責人。業(yè)務主管部門該數(shù)據標準定義數(shù)據業(yè)務主管部門，該部門對數(shù)據口徑、編碼取值和相關專業(yè)術語有決定權。業(yè)務主管部門負責人該數(shù)據標準定義數(shù)據業(yè)務負責人。數(shù)據上報系統(tǒng)最終對數(shù)據進展計算和發(fā)布的系統(tǒng)，也是各部門唯一獲取指標數(shù)據的來源系統(tǒng)。數(shù)據生成系統(tǒng)生成數(shù)據所需的數(shù)據所在的來源系統(tǒng)，如BOSS系統(tǒng)。數(shù)據上游系統(tǒng)數(shù)據生成后上報給哪個系統(tǒng)，如ERP系統(tǒng)。業(yè)務屬性主要依據關于指標的解釋和描述文件。如集團標準、省公司標準、業(yè)務部門制定等等。業(yè)務定義指標的業(yè)務描述口徑，一般由業(yè)務部門使用業(yè)務語言制定。計算流程/算法用來描述指標詳細的計算過程。指標類型根據管理需要可以將指標分為根底指標、計算指標兩類。計算指標公式用于描述相關指標間的平衡關系，可用于指標數(shù)據審核過程中，能有效地保證指標數(shù)據質量。技術屬性計量單位數(shù)據使用單位如：“戶〃、“分鐘〃、"MB〃、"元〃、“次〃、“％〃等等。統(tǒng)計精度指標統(tǒng)計數(shù)值準確到小數(shù)還是整數(shù)。數(shù)據值域數(shù)據的合理取值范圍。統(tǒng)計周期數(shù)據統(tǒng)計周期如“日〃、“周〃、“月〃、“季度〃、“半年〃、“年〃等等。統(tǒng)計粒度數(shù)據統(tǒng)計粒度如：“用戶級〃、“區(qū)縣級〃、“地市級〃等。統(tǒng)計維度數(shù)據統(tǒng)計維度如：“地域〃、“品牌〃、“在網時長〃、“客戶等級〃等。指標出數(shù)表指標數(shù)據來源于哪張物理表。指標出數(shù)代碼指標數(shù)據來源于物理表的哪個。具體行業(yè)參考模型實體數(shù)據標準體系定義內容示例為參見?附錄二：數(shù)據標準體系定義內容示例為?。6.1.4.技術功能要求數(shù)據標準制定數(shù)據標準的制定按照本冊中數(shù)據標準管理的業(yè)務分類和定義標準指導要求，基于各企業(yè)級省大數(shù)據平臺的數(shù)據管控需求進展數(shù)據標準標準的制定。其制定的數(shù)據標準標準內容在全省進展發(fā)布和告知，要求企業(yè)級省大數(shù)據平臺系統(tǒng)按照該標準標準進展統(tǒng)一的數(shù)據管理。數(shù)據標準制定包括數(shù)據標準的編制、數(shù)據標準的審查、數(shù)據標準的發(fā)布。數(shù)據標準化管理組織將數(shù)據標準以正式發(fā)文的方式在全公司范圍內進展發(fā)布，并在發(fā)布后將數(shù)據標準、版本說明保存?zhèn)浒?。最終將發(fā)布的數(shù)據標準更新至數(shù)據標準管理模塊中，如圖6-3所示。圖6-3數(shù)據標準管理的編制、審查、發(fā)布流程圖數(shù)據標準的編制、審查和發(fā)布通過數(shù)據標準管理模塊開發(fā)實現(xiàn)，其流程如圖6-3示：1、 數(shù)據標準管理組織協(xié)調者組織數(shù)據提供者和執(zhí)行者參與數(shù)據標準屬性的收集和整理工作，并按照協(xié)商一致的原如此形成數(shù)據標準初稿。2、 數(shù)據標準初稿進展屢次的討論和豐富后，形成數(shù)據標準送審稿提交給數(shù)據標準管理決策者。3、 經過數(shù)據標準管理決策者的討論審核后，由數(shù)據標準管理組織協(xié)調者再次進展數(shù)據標準的修改完善，并完成數(shù)據標準的發(fā)布。數(shù)據標準執(zhí)行數(shù)省公司和各部門、分公司統(tǒng)一按照所制定的數(shù)據標準實施數(shù)據標準管理，數(shù)據標準的執(zhí)行流程如圖6-2所示。圖6-2數(shù)據標準管理的執(zhí)行流程圖數(shù)據標準執(zhí)行的流程步驟如下：1、數(shù)據標準制定發(fā)布后，將數(shù)據標準錄入到數(shù)據標準管理模塊。2、 數(shù)據標準管理執(zhí)行者按照發(fā)布的數(shù)據標準，制定和發(fā)布數(shù)據標準接口。3、 數(shù)據標準管理模塊將標準要求提供給數(shù)據質量管理根據已錄入系統(tǒng)的數(shù)據標準形成稽查規(guī)如此，對數(shù)據標準管理執(zhí)行者制定和發(fā)布的數(shù)據標準接口中的內容進展相關的標準稽核監(jiān)控。4、 將標準稽核結果發(fā)送給數(shù)據標準管理模塊，并反應給數(shù)據標準管理決策者和數(shù)據標準管理執(zhí)行者。數(shù)據標準維護數(shù)據標準的維護指數(shù)據標準建立后，根據業(yè)務需求的開展變化或外部數(shù)據標準要求不一致時，對數(shù)據標準的內容進展變更和版本管理，如圖6-5所示。圖6-5數(shù)據標準管理的變更流程圖數(shù)據標準管理的變更通過數(shù)據標準管理系統(tǒng)開發(fā)實現(xiàn)落地，其流程如圖6-5所示：1、 對執(zhí)行的相關數(shù)據標準進展變更請求的申請，組織該數(shù)據標準相關執(zhí)行層和各數(shù)據運維者進展討論和變更需求匯總。2、 由數(shù)據標準管理組織協(xié)調機構進展標準變更的審核。3、 討論審議數(shù)據標準項的變更內容，并形成標準變更需求審批表提交給數(shù)據標準管理決策層進展審批。4、 決策層將審批結果反應給標準管理組織協(xié)調者，并由其進展數(shù)據標準發(fā)布及版本維護。數(shù)據標準監(jiān)控數(shù)據標準監(jiān)控實現(xiàn)對數(shù)據標準執(zhí)行過程的監(jiān)控，包括對數(shù)據標準的執(zhí)行、效果、問題進展監(jiān)控管理，為后期數(shù)據標準維護管理提供依據。數(shù)據標準的監(jiān)控通過數(shù)據標準管理和元數(shù)據管理、數(shù)據質量管理協(xié)同實現(xiàn)落地，監(jiān)控流程如圖6-6所示：圖6-6數(shù)據標準管理監(jiān)控流程圖數(shù)據標準管理監(jiān)控流程如下：數(shù)據管理者錄入數(shù)據標準和元數(shù)據信息。根據數(shù)據標準制定數(shù)據標準接口。根據數(shù)據標準生成的稽核規(guī)如此，進展前向稽核，稽核正常進展下一流程，稽核非正常返回錯誤文件記錄給數(shù)據管理者做數(shù)據標準的更新。數(shù)據提供者將數(shù)據提交到企業(yè)級大數(shù)據平臺，并且完成對元數(shù)據的采集。對數(shù)據提供者數(shù)據進展后向稽核，稽核正常如此數(shù)據可提供數(shù)據消費者正常使用，稽核非正常返回錯誤信息記錄給數(shù)據提供者做數(shù)據修訂。本期建設范圍及內容本期數(shù)據標準管理建設范圍要求涉及企業(yè)級省大數(shù)據平臺中數(shù)據標準內容，但不在全集團范圍內強制統(tǒng)一數(shù)據標準標準。本期具體建設內容包括：1、 數(shù)據標準標準內容涵蓋：?行業(yè)參考模型實體標準?指標數(shù)據標準?公共代碼標準2、 數(shù)據標準化管控內容涵蓋：?建立數(shù)據標準化管理組織架構。?搭建數(shù)據標準管理模塊。?實現(xiàn)數(shù)據標準管理流程的功能系統(tǒng)化，并銜接元數(shù)據管理、數(shù)據質量管理和數(shù)據資產管理形成數(shù)據治理的閉環(huán)運維。?提供具數(shù)據標準產品，如數(shù)據標準查詢APP等。實施要求數(shù)據標準管理實施要求包括：1、 數(shù)據標準統(tǒng)一規(guī)劃。按照企業(yè)級省大數(shù)據平臺的數(shù)據治理要求，結合數(shù)據標準標準指導內容，構建適應企業(yè)級省大數(shù)據平臺的數(shù)據標準體系，并制定數(shù)據標準實施方案。2、 建立數(shù)據標準管理的支撐體系。要求包括數(shù)據標準管理組織架構、數(shù)據標準管理方法和制度流程，以及數(shù)據標準管理支撐工具。3、 實現(xiàn)中國移動企業(yè)級省大數(shù)據平臺中數(shù)據業(yè)務口徑和技術口徑有效協(xié)同統(tǒng)一。4、 支撐中國移動企業(yè)級省大數(shù)據平臺的平臺化、產品化和數(shù)據資產運營的需求。5、 支撐新增企業(yè)級省大數(shù)據平臺數(shù)據接口內容的標準化定義。6、 滿足原有數(shù)據可逐步進展數(shù)據標準標準的遷移和統(tǒng)一。6.2.元數(shù)據管理6.2.1.背景元數(shù)據管理模塊是大數(shù)據平臺數(shù)據治理體系的重要組成局部。IT研究與參謀咨詢公司Gartner發(fā)布的?2021年十大戰(zhàn)略性技術趨勢?中對于企業(yè)戰(zhàn)略性大數(shù)據的描述如下：將多個系統(tǒng)，包括內容管理、數(shù)據倉庫、數(shù)據集市和專門的文件系統(tǒng)等與數(shù)據效勞和元數(shù)據相互結合，組合為“邏輯的〃企業(yè)數(shù)據倉庫。通過對這個“邏輯的數(shù)據倉庫〃的有效治理，為企業(yè)后續(xù)的數(shù)據資產運營、增值以及數(shù)據效勞提供有效支撐。中國移動企業(yè)級省大數(shù)據平臺是這種邏輯的企業(yè)數(shù)據倉庫的一個具體落地實現(xiàn)，元數(shù)據管理的建設將貫穿大數(shù)據平臺建設、使用、運營、維護的全過程，并發(fā)揮以下作用：?提供企業(yè)級數(shù)據字典，便于內外部客戶更好地了解企業(yè)數(shù)據概況；?提供全局元數(shù)據查詢檢索，便于用戶快速定位元數(shù)據；?提供元數(shù)據詳細描述，使用戶了解數(shù)據組成、結構及數(shù)據流向；?提供血緣/影響分析功能，便于用戶進展分析判斷、問題定位；?提供元數(shù)據接口效勞，便于其它系統(tǒng)或模塊使用元數(shù)據效勞；?提供元數(shù)據應用，方便終端用戶使用元數(shù)據；?提供統(tǒng)一的基于元數(shù)據描述的API管理產品，集中管理平臺開放的內外部API。大數(shù)據平臺的元數(shù)據管理方面，與傳統(tǒng)經分相比，主要有以下不同點：?管理范圍不同：新增集群NameNode節(jié)點的管理元數(shù)據；新增集群DataNode節(jié)點的業(yè)務/技術元數(shù)據；新增大數(shù)據平臺內部以及其與DW、MPP等跨工具/產品的復雜數(shù)據流元數(shù)據。?管理制度方面：管理流程：新增跨部門、跨系統(tǒng)的多層次交互式的元數(shù)據注冊、維護、管理、使用流程，同時需要針對不同用戶提供有針對性的元數(shù)據產品支持。角色權限：管理上更加細致的分工，不同部門需新增相應的元數(shù)據查詢、管理、維護角色；?工具支撐方面：需支持大數(shù)據平臺新增元數(shù)據范圍地獲取、存儲與管理；需支持大數(shù)據平臺海量元數(shù)據的獲取、存儲、管理及應用；需提供標準化定義，并支持管理集群節(jié)點快速獲取分節(jié)點的運行元數(shù)據信息；需對大數(shù)據平臺的文件、語音、圖片等非結構化數(shù)據的標記元數(shù)據，即大數(shù)據相關的詞庫元數(shù)據進展管理，并提供檢索查詢等應用支持；需通過元數(shù)據對大數(shù)據平臺的新增數(shù)據進展敏感定義及標記；需為終端用戶提供簡單易用的元數(shù)據產品，降低使用本錢。元數(shù)據運營模式本期標準要求，在提升元數(shù)據用戶使用體驗的同時，著重改善元數(shù)據管理的運營模式，重點建設前向的元數(shù)據管控機制，并逐步探索集中的大數(shù)據平臺元數(shù)據管理方式。本期標準中，除元數(shù)據根底功能外，對元數(shù)據管理的運行維護提出以下要求：對于集團統(tǒng)一標準標準的元數(shù)據，嚴格按照集團提供元數(shù)據標準落地；對于大數(shù)據平臺的集群NameNode、文件目錄等局部元數(shù)據，通過互通機制定期按集團要求格式上報。元模型標準關于元數(shù)據標準的元模型局部，將在經分標準的核心元模型根底上，根據大數(shù)據平臺新增數(shù)據結構特點進展擴大，以滿足這局部元數(shù)據獲取、存儲、管理及應用要求。主要涉及集群節(jié)點的namenode元數(shù)據及Hadoop的文件/目錄元數(shù)據。本期標準需要上報的元數(shù)據信息，主要涉及集群NameNode元數(shù)據，包括集群的運行監(jiān)控信息及文件/目錄元數(shù)據。圖6-7總部集群與省集群節(jié)點的元數(shù)據上報關系示意圖6-7為集團總控節(jié)點與省集群節(jié)點的元數(shù)據上報關系示意圖。集群節(jié)點定期上報其自身的NameNode階段運行信息及數(shù)據節(jié)點的數(shù)據信息，供集團了解省分節(jié)點運行、存儲情況，為后續(xù)的統(tǒng)一管控提供根底支撐。6.2.3.1.集群監(jiān)控類

對于集群NameNode節(jié)點的運行監(jiān)控類元數(shù)據，屬于ApacheHadoop的私有定義，暫無法使用或在CWM標準根底上擴大。故直接引用ApacheHadoop的相關定義，并對其進展適當標準。本期對NameNode節(jié)點的元數(shù)據上報信息要求如下:英文名中文名類型備注ConfiguredCapacity配置容量doublePresentCapacity當前總容量doubleDFSRemaining剩余容量doubleDFSUsed已用容量doubleDFSUsed%使用率double小數(shù)點后4位Underreplicatedblocks待復制數(shù)據塊doubleBlockswithcorruptreplicas中斷復制數(shù)據塊doubleMissingblocks喪失數(shù)據塊doubleDatanodesavailable可用節(jié)點數(shù)doubleDatanodesNonavailable不可用節(jié)點數(shù)double需要上報的作業(yè)監(jiān)控信息如下:英文名E名類型備注Name名稱textDescription描述textLastModified更新時間dateSteps步驟doubleStatus狀態(tài)textOwner擁有人textDatanode節(jié)點需要上報的元數(shù)據信息如下:英文名E名類型備注Name節(jié)點名稱textHostname主機名textRack所屬機架textDecommissionStatus可用狀態(tài)textConfiguredCapacity配置容量doubleDFSUsed已用容量doubleNonDFSUsed非DFS使用容量doubleDFSRemaining剩余容量doubleDFSUsed%已用容量double小數(shù)點后4位DFSRemaining%使用率double小數(shù)點后4位ConfiguredCacheCapacity配置緩存容量doubleCacheUsed緩存使用量doubleCacheRemaining緩存剩余量doubleCacheUsed%緩存使用率double小數(shù)點后4位CacheRemaining%緩存剩余率double小數(shù)點后4位Lastcontact最近檢查時間date6.2.3.2.數(shù)據節(jié)點類為支持大數(shù)據平臺下文件、目錄、Hbase、Hive相關元數(shù)據的集中存儲，本期標準將CWM核心元模型的Table、Column、View類進展擴展，同時新增模型包，里邊包含目錄fDirectory〕和文件〔File〕兩個實體及相關屬性。關于經分系統(tǒng)核心元模型及參考表，元模型標準CWM的相關定義，請參考?中國移動省級NG2-BASS(v5.0)技術標準核心元模型標準?中的相關章節(jié)描述。修訂內容如下：1、需要修改的元模型包括：Table類增加以下屬性：location:String說明：存儲大數(shù)據平臺上該表對應的HDFS文件目錄信息。createTime:String說明：該表的創(chuàng)立時間。creator:String說明：該表的創(chuàng)立人。Column類增加以下屬性：partitionColumnId:String說明：Hive表對應的分區(qū)字段編號。View類增加以下屬性：createTime:String說明：該視圖的創(chuàng)立時間。>creator:String說明：該視圖的創(chuàng)立人。2、需要增加的元模型包括：ColumnFamily類有如下屬性：name:String說明：Hbase對應的列簇名稱。File類有如下屬性：name:String說明：文件名稱。path:String說明：文件路徑信息。compressorType:String說明：壓縮類型。size:String說明：文件大小。type:String說明：文件類型。permission:String說明：權限。owner:String說明：所有者。group:String說明：所屬用戶組。Directory類有如下屬性：name:String說明：目錄名稱。path:String說明：路徑信息。permission:String說明：權限。owner:String說明：所有者。group:String說明：所屬用戶組。3、需要增加的元模型關系包括：添加TableToDirectory關系；添加ColumnFamilyToDirecitry關系。元數(shù)據運維在前期元數(shù)據運行維護要求的根底上，滿足本期大數(shù)據平臺的數(shù)據治理要求，對元數(shù)據的維護提出以下補充要求：?強化元數(shù)據管理制度要求，每個元數(shù)據均需將所屬部門、責任人信息補充完整；?為加強數(shù)據平安及隱私保護，每個元數(shù)據需提供對應的數(shù)據隱私級別信息；?細化元數(shù)據分類，在前期技術、業(yè)務、管理大分類的根底上，增加從系統(tǒng)所屬部門、系統(tǒng)及模塊角度標記每個元數(shù)據；?嚴控元數(shù)據版本，對于每次變更需詳細記錄變更原因、時間、人員等關鍵信息；?細化元數(shù)據權限，對于不同的部門、人員、角色，僅授予工作所需的最小權限，對于權限變化要嚴格審批。本期重點建設內容基于大數(shù)據平臺“邏輯集中、物理分散〃的最終目標原如此，元數(shù)據管理的建設也將按此目標分步實現(xiàn)。在本期標準中，強調元數(shù)據的運維管理及產品化支撐，元數(shù)據產品要簡單易用、用戶體驗不斷提升。主要建設以下內容：1、元數(shù)據之家產品?；诖髷?shù)據平臺數(shù)據治理及改善用戶體驗要求，建設一個方便內外部用戶使用的元數(shù)據產品。主要包括以下模塊：?集中分類展現(xiàn)；?多樣化檢索；?詳情多樣化展示；?收藏與評價；?統(tǒng)計分析；?知識庫；?權限審批。2、 元數(shù)據應用產品：?查詢類APP，面向業(yè)務人員及大數(shù)據平臺分析人員。3、 輔助開發(fā)產品：?團結幫API管理產品，對OpenAPI進展元數(shù)據結構化描述，用于對大數(shù)據平臺開放API進展注冊、發(fā)布、訂閱及使用管理。6.3.數(shù)據質量管理6.3.1.與傳統(tǒng)經營分析系統(tǒng)的區(qū)別數(shù)據質量為數(shù)據的“適用性〔fitnessforuse〕〃，即數(shù)據滿足使用需要的適宜程度。數(shù)據質量通過完整性、一致性、準確性、及時性、合法性等多類維度對數(shù)據進展度量。在大數(shù)據平臺上，數(shù)據質量為其提供潔凈、結構清晰的數(shù)據，是大數(shù)據平臺開發(fā)數(shù)據產品、提供數(shù)據效勞、發(fā)揮大數(shù)據價值的必要前提，是企業(yè)數(shù)據資產管理的關鍵因素。大數(shù)據平臺數(shù)據質量和傳統(tǒng)經營分析系統(tǒng)的區(qū)別如表6-5所示。表6-5大數(shù)據平臺數(shù)據質量和傳統(tǒng)經營分析系統(tǒng)的區(qū)別大數(shù)據平臺數(shù)據質量經營分析系統(tǒng)數(shù)據質量監(jiān)控數(shù)據的類型可以對非/半結構化數(shù)據中指定信息項進展監(jiān)控，例如Gn日志中的終端信息等僅監(jiān)控結構化數(shù)據數(shù)據倉庫的類型支持傳統(tǒng)數(shù)據倉庫、MPP和Hadoop。僅支持傳統(tǒng)數(shù)據倉庫。使用者數(shù)據資產的所有者及其授權用戶、數(shù)據應用開發(fā)者、租戶等將成為大數(shù)據平臺數(shù)據質量管理模塊的主要使用者，負責監(jiān)控規(guī)如此的設置和監(jiān)控結果的處理。經分運維人員和數(shù)據質量管理員為主要使用者，負責將業(yè)務人員的需求在數(shù)據質量模塊上實現(xiàn)。運維工作運維人員主要負責保障數(shù)據質量功能模塊的正常運行和規(guī)如此庫的擴大，規(guī)如此配置、執(zhí)行和結果處理等實際工作由用戶自行負責。數(shù)據質量運維人員的工作范疇涵蓋數(shù)據質量監(jiān)控的全流程，包括采集、規(guī)如此配置、告警、結果查看和處理。監(jiān)控模式由事后監(jiān)控向事中、事后監(jiān)控相結合轉化，用戶/應用設置數(shù)據質量監(jiān)控規(guī)如此用戶僅能在結果出來后才能進展監(jiān)控。后，可以在計算執(zhí)行過程中調用數(shù)據質量監(jiān)控作業(yè)，無需等待結果出來后再進展監(jiān)控。質量保障數(shù)據質量功能模塊是大數(shù)據平臺接收源數(shù)據的屏障，保障所有接收的源數(shù)據均符合大數(shù)據平臺的要求；數(shù)據質量還是大數(shù)據平臺數(shù)據資產評估的重要組成局部，定期運行平臺數(shù)據資產的相關質量規(guī)如此，為數(shù)據資產評估提供輸入。未明確規(guī)定數(shù)據質量為其它功能模塊提供效勞。范圍和原如此大數(shù)據平臺數(shù)據質量的管理范疇，涵蓋從源數(shù)據接入大數(shù)據平臺到應用輸出的全過程。大數(shù)據平臺數(shù)據質量管理的原如此包括：?以用戶需求為中心：數(shù)據質量模塊旨在為大數(shù)據平臺所有用戶提供效勞，平臺功能的增加和增強始終圍繞著用戶的實際使用需求；界面設計需要充分考慮不同類型用戶的需求，既要滿足業(yè)務用戶簡單易懂的需要，也要允許技術用戶實現(xiàn)個性化的監(jiān)控需求。?全員參與：大數(shù)據平臺的用戶包括數(shù)據提供者、數(shù)據開發(fā)者、數(shù)據管理者、數(shù)據消費者，均要參與平臺的數(shù)據質量管理；?過程控制：數(shù)據質量監(jiān)控不僅是在結果輸出后，還包括對計算過程中質量監(jiān)控，一旦發(fā)現(xiàn)問題，可以及時終止進程；?持續(xù)改良：數(shù)據質量的提升是一個持續(xù)的過程，需要定期對發(fā)現(xiàn)的問題進展評估，提出改良意見；也包括數(shù)據質量模塊本身功能的提升和規(guī)如此庫的完善。與其它功能模塊的關系6.3.3.1.與元數(shù)據模塊的關系數(shù)據質量模塊將與元數(shù)據模塊通過接口互通，根據需求獲取相關元數(shù)據信息。用戶檢索監(jiān)控對象時，可以檢索監(jiān)控對象的名稱、說明或者其它元數(shù)據的屬性信息，數(shù)據質量模塊通過接口將檢索條件傳輸?shù)皆獢?shù)據模塊，元數(shù)據模塊將檢索結果反應給數(shù)據質量模塊，如圖6-8所示。圖6-8數(shù)據質量模塊與元數(shù)據模塊交互流程用戶對監(jiān)控對象配置監(jiān)控規(guī)如此，數(shù)據質量功能模塊由元數(shù)據管理模塊自動獲取該監(jiān)控對象的物理地址，按照用戶需求自動生成采集規(guī)如此。用戶如果需要在監(jiān)控對象血統(tǒng)的相關節(jié)點上配置監(jiān)控規(guī)如此，如此可以跳轉到元數(shù)據平臺上查看監(jiān)控對象的血統(tǒng)圖，找到對應節(jié)點的名稱，然后按照監(jiān)控對象的配置方式進展配置。6.3.3.2.與數(shù)據資產模塊的關系源數(shù)據接入大數(shù)據平臺，需要進展接收稽核，滿足稽核規(guī)如此的源數(shù)據才能接入大數(shù)據平臺。源數(shù)據初次申請進入大數(shù)據平臺時，即需要配置其稽核規(guī)如此，此后該源數(shù)據每次提交數(shù)據到大數(shù)據平臺，均需要按照設定的規(guī)如此進展稽核，并將稽核結果反應給數(shù)據資產模塊，如圖6-9所示。圖6-9數(shù)據質量模塊與數(shù)據資產模塊交互流程〔資產接收〕數(shù)據質量模塊對大數(shù)據平臺上所有資產進展定期的監(jiān)控，并將監(jiān)控結果反應給數(shù)據資產模塊，為數(shù)據資產評估提供支持，如圖6-10所示。圖6-10數(shù)據質量模塊與數(shù)據資產模塊交互流程〔資產評估〕6.3.4.本期數(shù)據質量功能需求本期數(shù)據質量模塊的目標是為內、外部用戶提供平臺化的數(shù)據質量監(jiān)控；通過擴大和優(yōu)化公共規(guī)如此庫、增強后臺對不同類型數(shù)據倉庫和非結構化數(shù)據的兼容性，提升用戶使用感受；并提供數(shù)據質量應用滿足個性化需求。6.3.4.1.平臺化數(shù)據質量監(jiān)控為外部用戶提供數(shù)據質量監(jiān)控界面，用戶可以在界面上完成監(jiān)控對象選擇、規(guī)如此配置、告警及結果查看、問題處理等數(shù)據質量全流程監(jiān)控。?監(jiān)控對象選擇靈活，可以通過多種檢索條件進展檢索；?規(guī)如此配置界面友好，用戶通過選擇規(guī)如此模板直接進展配置；?后臺自行適配多種數(shù)據倉庫，根據監(jiān)控對象的不同，自動生成適配的作業(yè)；?設置好的監(jiān)控規(guī)如此作為單獨的作業(yè)，用戶可以在計算執(zhí)行過程中或計算完成后進展調用。6.3.4.2.對內質量效勞為大數(shù)據平臺內部提供數(shù)據質量支撐，包括兩方面：?資產接收稽核：獲取接入源數(shù)據的元數(shù)據和數(shù)據標準信息，配置相應的監(jiān)控規(guī)如此，不滿足稽核規(guī)如此的源數(shù)據如此通知數(shù)據資產模塊，不予接收；?數(shù)據資產評估支撐：對大數(shù)據平臺中的數(shù)據資產進展定期的監(jiān)控，將監(jiān)控結果輸入到數(shù)據資產模塊，作為數(shù)據資產評估的一局部。規(guī)如此庫數(shù)據質量功能模塊將?中國移動企業(yè)大數(shù)據平臺標準數(shù)據標準分冊?及本分冊中數(shù)據標準、數(shù)據平安等相關要求轉化為相應質量監(jiān)控規(guī)如此，內置于規(guī)如此庫中，并將其它常用數(shù)據質量監(jiān)控規(guī)如此也納入規(guī)如此庫中。規(guī)如此庫按照使用場景劃分為不同等級，如文件級、字段級、數(shù)據級等，便于用戶選擇。數(shù)據質量功能模塊可以為已經確定的場景，設定規(guī)如此包，例如數(shù)據資產評估，用戶可以直接使用，無需任何配置，也允許用戶根據實際情況對規(guī)如此包中的內容進展修改。后臺支撐數(shù)據質量功能模塊需要為數(shù)據標準、元數(shù)據、數(shù)據資產、告警通知等提供接口。數(shù)據質量功能模塊后臺需要自動適配不同類型數(shù)據倉庫，保證采集和規(guī)如此配置的兼容性。數(shù)據質量功能模塊對規(guī)如此和結果的存儲需要滿足大數(shù)據平臺的需求。6.345.數(shù)據質量應用數(shù)據質量功能模塊為一線人員提供數(shù)據質量應用，包括：?績效監(jiān)控：用戶可以在該應用上設置規(guī)如此、查看結果以及進展結果的進一步剖析；?體檢中心：通過運行該應用，對企業(yè)的數(shù)據質量進展了一次全面的體檢，并即時輸出體檢報告，讓企業(yè)時刻了解自身數(shù)據系統(tǒng)的健康情況。6.3.5.本期數(shù)據質量運維要求本期數(shù)據質量運維著重表現(xiàn)“平臺化〃、“全員參與〃的理念，通過平臺化數(shù)據質量監(jiān)控和規(guī)如此庫的配合，讓大數(shù)據平臺的所有用戶能夠對自己提供或消費的數(shù)據進展數(shù)據質量管理，可以在數(shù)據質量模塊上方便自如的配置需要的監(jiān)控規(guī)如此、查看結果并進展后續(xù)處理。6.4.數(shù)據資產管理數(shù)據資產概述背景數(shù)據資產化將以資產的角度開展數(shù)據管理工作變?yōu)榭赡?，將有助于多角度、全方位開展數(shù)據的管理，明確數(shù)據平安級別，落實資產責任管理，是實現(xiàn)數(shù)據變現(xiàn)的必要前提。數(shù)據資產化包含了數(shù)據資產梳理盤點和數(shù)據價值評估的過程。數(shù)據資產是指企業(yè)及組織擁有或控制，能給企業(yè)及組織帶來未來經濟利益的數(shù)據資源。數(shù)據有可能成為資產，但不是所有數(shù)據都能具備資產的屬性。數(shù)據資產包含著如下幾個要素：1〕被企業(yè)擁有和控制；2〕能夠用貨幣來計量；3〕能為企業(yè)帶來經濟利益。數(shù)據的價值根據其相關性的不同而各不一樣，而數(shù)據相關性又因數(shù)據使用者而異。對某個人群沒有價值的數(shù)據，可能對另外一個人群相當有用；在某個時間段內沒有價值的數(shù)據，可能在另一個時間段內相當有用。例如：用戶十年前的入網信息，在幾年前是沒有什么價值，但隨著“十年移動〃等營銷活動開展，這類信息又非常有價值。系統(tǒng)框架圖6-11數(shù)據資產架構圖如圖6-11所示，數(shù)據資產管理系統(tǒng)包括六個局部：注冊管理：支持多種方式〔采集器、在線維護、提供自助注冊接口〕注冊數(shù)據資產，并提供審核及版本控制等功能；變更管理：支持已注冊數(shù)據資產信息的變更、審核和更新功能；審計管理：支持對數(shù)據資產的盤點，以及對數(shù)據資產訪問記錄的審計；資產統(tǒng)計分析：支持數(shù)據資產的評估，包括數(shù)據質量、訪問情況等信息的采集，根據這些信息對數(shù)據資產進展綜合評估打分；權限管理：對接數(shù)據平安管理模塊，除了同步數(shù)據平安管理模塊中用戶賬戶信息及權限外，還會將用戶對數(shù)據資產訪問的申請信息發(fā)送給數(shù)據平安管理模塊進展處理；接口管理：與元數(shù)據管理模塊、數(shù)據質量管理模塊、數(shù)據平安管理模塊對接，收集相關模塊的根底數(shù)據，用于完成數(shù)據資產的注冊、稽核及平安管理等工作數(shù)據資產化后，將解決目前普遍存在的需求分散重復、口徑模糊等問題，實現(xiàn)成果和經驗的共享和積累，方便實現(xiàn)應用和數(shù)據的生命周期的自動化管理。明確的數(shù)據資產信息，將有效支撐公司內部知識系統(tǒng)和資源管理的建設，為業(yè)務人員能更快捷、有序、便利地提供資產使用的方式和途徑，支撐數(shù)據分析、開發(fā)、運維的自治。數(shù)據資產范圍數(shù)據資產的范圍和形式應包含企業(yè)擁有的各類數(shù)據，如表、視圖、接口、程序等。同時，隨著大數(shù)據的開展，還應納入各種非/半結構化的數(shù)據形式，如日志、網頁、圖片、音視頻等。數(shù)據資產標識是一個有業(yè)務含義、分段式、全局唯一的字符串，用來區(qū)分識別數(shù)據資產的標簽。資產標識包含有資產所屬業(yè)務域、資產類型、提供者等信息。資產標識標準為五段式結構，每段以點分隔。具體格式如圖6-12所示：圖6-12數(shù)據資產標識標準｛根前綴｝：指數(shù)據資產全局前綴，以常量表示。其值為comcc.xxx｛業(yè)務域｝：指數(shù)據資產所歸屬的業(yè)務系統(tǒng)類別域。其值為BSS,OSS,MSS等｛資產類型｝：指數(shù)據資產模型類別。其值為表、文件、圖片、音頻等｛提供者/租戶｝：指數(shù)據資產的生產者，或者是數(shù)據資產的所有者。其值一般是生產者或者所有者的標識。其值為MKT（市場）、GRP（集團）、BASS（經分）等｛資產名稱｝：指數(shù)據資產的簡短命名。其值一般是資產對象的名稱或編碼。數(shù)據資產標識示例為：comcc.xxx.BSS.table.YWB.application_log二維碼如圖6-13所示。圖6-13數(shù)據資產標識二維碼與其它功能模塊的關系數(shù)據資產管理模塊將與元數(shù)據、數(shù)據質量、數(shù)據平安模塊通過接口互通，根據需求獲取元數(shù)據，數(shù)據稽核和交互賬號權限等信息。在資產注冊、變更時，需要從元數(shù)據模塊獲取表、字段、口徑、程序等元數(shù)據信息，用于數(shù)據資產信息的登記和更新。在資產運維時，需要從數(shù)據質量模塊獲取數(shù)據質量監(jiān)控、稽核的結果，用于資產評估。同時，消費者申請訪問數(shù)據資產，需要從數(shù)據平安模塊中獲取賬號信息，相關數(shù)據訪問申請也需要發(fā)送給數(shù)據平安模塊進展處理。6.4.4.本期數(shù)據資產功能需求6.4.4.1.管理過程數(shù)據資產管理過程是一個資產全生命周期的管理過程，資產全生命周期管理以數(shù)據資產作為管理對象，以資產戰(zhàn)略和資產策略為導向，從系統(tǒng)整體目標出發(fā)，統(tǒng)籌考慮資產的規(guī)劃、投資、設計、建設、運行、維護、稽核、變更、注銷的全過程，在滿足平安、效能的前提下有效管理與監(jiān)控數(shù)據資產的生產和使用情況，不斷優(yōu)化數(shù)據資產質量，實現(xiàn)數(shù)據資產的業(yè)務價值。其管理過程如圖6-14所示：圖6-14數(shù)據資產全生命周期管理過程如圖6-14所示，數(shù)據資產全生命周期管理過程分為如下四大階段：?戰(zhàn)略規(guī)劃：該階段旨在按照業(yè)務需要和業(yè)務開展要求，建立數(shù)據資產總體性、綱要性規(guī)劃。制定幫助所有的數(shù)據資產供給者以及消費者，幫助他們運營，幫助他們長期開展建立清晰的效勞戰(zhàn)略。該階段主要包含了制定數(shù)據資產戰(zhàn)略規(guī)劃和制定數(shù)據資產策略方案等關鍵任務和活動。?注冊入庫：該階段旨在按照戰(zhàn)略規(guī)劃和戰(zhàn)略方案進展數(shù)據資產的設計、建設和交付。針對需求進展分析設計，根據戰(zhàn)略階段的要求與標準，定義數(shù)據資產的結構等，是資產管理中的重要組成。該階段主要包含了設計并生產數(shù)據資產和數(shù)據資產注冊、入庫等關鍵任務和活動。?運營維護：該階段旨在對數(shù)據資產的有效使用進展管控，確保數(shù)據資產健康運營。運營維護包含數(shù)據資產發(fā)布、資產稽核、監(jiān)控告警、資產評估、資產審計、資產變更等方面；提供數(shù)據資產給授權的消費者〔內部用戶、集團用戶和外部用戶〕使用；對數(shù)據資產進展盤點，監(jiān)控數(shù)據資產的使用情況，對數(shù)據資產訪問記錄進展審計；對數(shù)據資產從規(guī)劃到運營階段情況進展全方位、多維度的統(tǒng)計分析，對資產內容標準化、合規(guī)性的稽核評價，根據評估結果有目的的對數(shù)據資產進展改良和完善。注銷報廢：該階段主要是對無效和失效的資產進展清理，主要包括資產注銷和報廢去除等任務和活動。在注銷報廢階段，對已失效的資產，由管理者注銷資產，并由運維者銷毀資產對象；管理對象圖6-15數(shù)據資產管理對象如圖6-15所示，數(shù)據資產管理對象是針對納入企業(yè)級大數(shù)據平臺進展存儲、訪問、操作的結構化和非結構化數(shù)據，包括但不限于：IT支撐系統(tǒng)〔含業(yè)務支撐、運營支撐、管理支撐等〕所產生的業(yè)務數(shù)據、交易數(shù)據、分析數(shù)據、流程數(shù)據等，簡稱B域數(shù)據；網絡運行管理和分析系統(tǒng)所產生生業(yè)務數(shù)據、交易數(shù)據、分析數(shù)據、流程數(shù)據等；以及各類網元設備所產生的話單、信令、上網日志、性能檢測數(shù)據，簡稱O域數(shù)據；業(yè)務平臺〔含管理平臺、能力平臺、應用平臺等〕對內進展發(fā)布和共享的特定業(yè)務數(shù)據，簡稱業(yè)務平臺數(shù)據；其它納入企業(yè)級大數(shù)據平臺管理的外部引入數(shù)據，簡稱外部引入數(shù)據。管理角色數(shù)據資產管理過程中，應包含如表6-6相關的角色：表6-6人員角色職責角色主要職責數(shù)據資產規(guī)劃者制定數(shù)據資產模型標準；規(guī)劃數(shù)據資產建設方案；數(shù)據資產提供者提交數(shù)據資產相關信息到數(shù)據資產管控平臺進展數(shù)據資產注冊；確保數(shù)據資產提