2021大數(shù)據(jù)治理體系_第1頁
2021大數(shù)據(jù)治理體系_第2頁
2021大數(shù)據(jù)治理體系_第3頁
2021大數(shù)據(jù)治理體系_第4頁
2021大數(shù)據(jù)治理體系_第5頁
已閱讀5頁,還剩41頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

本規(guī)范的制訂是為了更好地實(shí)現(xiàn)中國(guó)移動(dòng)企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理子大數(shù)據(jù)平臺(tái)上數(shù)據(jù)的管控力度,增強(qiáng)數(shù)據(jù)治理子系統(tǒng)自身管理能力。心模塊、數(shù)據(jù)治理場(chǎng)景等。QB-Y-***-QB-Y-***-QB-Y-***-QB-Y-***-QB-Y-***-QB-Y-***-QB-Y-***-QB-Y-***-QB-Y-***-QB-Y-***-QB-Y-***-QB-Y-***-本規(guī)范由中移技﹝××﹞××本規(guī)范起草單位:中國(guó)移動(dòng)通信集團(tuán)公司業(yè)務(wù)支撐系統(tǒng)部。本規(guī)范主要起草人:段云峰、汪新勇、趙靜、周??下列文件中的條款通過本規(guī)范的引用而成為本規(guī)范的條款。凡是標(biāo)注日期的引用文件,其隨后所有的修改單(不包括勘誤的內(nèi)容QB-J-010-QB-J-006-QB-J-007-QB-J-008-QB-J-009-QB-J-003-QB-J-004-QB-J-005-QB-J-001-QB-J-001-

《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)與BOSS(v1.5)業(yè)務(wù)技術(shù)規(guī)范營(yíng)銷資源管理分冊(cè)(2.0)業(yè)務(wù)技術(shù)規(guī)范客服信息分冊(cè)(2.0

中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限QB-J-001-

(BOSS)中國(guó)移動(dòng)通信有限QB-J-021-QB-J-020-QB-J-022-QB-J-019-QB-J-018-QB-J-017-QB-J-016-QB-J-002-

業(yè)務(wù)技術(shù)規(guī)范(2.0)(v1.0)4A范總冊(cè)(v2.0)》范邏輯模型分冊(cè)(v2.0)》范數(shù)據(jù)集市分冊(cè)(v2.0)》范(v2.0)》范源系統(tǒng)接口分冊(cè)(v2.0)《中國(guó)移動(dòng)省級(jí)NG1-BASS技術(shù)規(guī)范

中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信有限中國(guó)移動(dòng)通信集團(tuán)QB-J-003-QB-J-004-QB-J-005-QB-J-006-QB-J-007-QB-J-008-QB-J-001-QB-Y-003-QB-Y-004-QB-Y-005-QB-Y-006-QB-Y-007-QB-Y-008-QB-Y-002-QB-Y-052-QB-Y-053-QB-Y-054-

NG1-BASS技術(shù)規(guī)范NG1-BASSNG1-BASSNG1-BASSNG1-BASSNG1-BASS《中國(guó)移動(dòng)省級(jí)NG1-BASS業(yè)務(wù)規(guī)范(v1.0)NG1-BASSNG1-BASSNG1-BASSNG1-BASSNG1-BASSNG1-BASS《中國(guó)移動(dòng)省級(jí)NG1-BASS業(yè)務(wù)規(guī)范(v2.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.0)

中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)QB-Y-055-QB-Y-056-QB-Y-057-QB-Y-058-QB-Y-059-QB-Y-060-QB-Y-061-QB-Y-062-QB-Y-063-QB-Y-039-QB-Y-038-QB-Y-040-QB-Y-041-QB-Y-042-QB-Y-043-QB-Y-044-QB-Y-045-

《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.0)OP《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v3.5)OP

中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)QB-Y-046-QB-Y-047-QB-Y-048-QB-Y-044-QB-Y-045-QB-Y-045.1-QB-Y-045.2-QB-Y-045.3-QB-Y-045.4-QB-Y-045.5-QB-Y-046-

NG2-BASS《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.0)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.0)《V2.0.0

中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)QB-Y-047-QB-Y-047.1-QB-Y-044-QB-Y-045-QB-Y-045.1-

V2.0.0》V2.0.0》《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.5)

中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)QB-Y-045.2-QB-Y-045.3-QB-Y-045.4-QB-Y-045.5-QB-Y-045.6-QB-Y-046-QB-Y-047-QB-Y-047.1-

《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.5)《中國(guó)移動(dòng)省級(jí)NG2-BASS(v4.5)V2.5.0》V2.5.0》V2.5.0》

中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)中國(guó)移動(dòng)通信集團(tuán)CWMOMGCWM大數(shù)據(jù)平臺(tái)核心元模型是以CWM為基礎(chǔ)擴(kuò)展形成的,針對(duì)大數(shù)據(jù)平臺(tái)的物理模型、邏輯模型、數(shù)據(jù)處理過程、接口單元、指標(biāo)和維度編碼等主要實(shí)體進(jìn)行精確定義,并要求各省大數(shù)據(jù)平臺(tái)統(tǒng)一遵循的元模型。定義核心元模型的目的是建??臺(tái)的統(tǒng)一元數(shù)據(jù)管理標(biāo)準(zhǔn),為元數(shù)據(jù)管理的功能層與應(yīng)用層解耦、為企業(yè)級(jí)總部大數(shù)據(jù)平臺(tái)和企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)的元數(shù)據(jù)核心元模型參核心元模型參照表是對(duì)核心元模型中的枚舉類型屬性進(jìn)行枚舉值定義的編碼表。參照表為枚舉類型屬性的每個(gè)枚舉值定義了唯一的編碼,并明確該編碼的語義,是核心元模型標(biāo)準(zhǔn)化定義描述大數(shù)據(jù)平臺(tái)中技術(shù)領(lǐng)域相關(guān)概念、關(guān)系、規(guī)則的數(shù)據(jù)。主要包括對(duì)數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)處理方面的特征描述,覆蓋大數(shù)據(jù)平ETLOLA通過獲取大數(shù)據(jù)平臺(tái)各環(huán)節(jié)的數(shù)據(jù)質(zhì)量監(jiān)控信息,結(jié)合元數(shù)據(jù)庫中的有關(guān)檢查規(guī)則,對(duì)各個(gè)環(huán)節(jié)的數(shù)據(jù)質(zhì)量情況進(jìn)行判斷,數(shù)據(jù)質(zhì)量規(guī)則數(shù)據(jù)質(zhì)量規(guī)則庫是對(duì)數(shù)據(jù)質(zhì)量管理活動(dòng)所用到的各種判斷及校數(shù)據(jù)質(zhì)量信息數(shù)據(jù)質(zhì)量管理子系統(tǒng)存儲(chǔ)層上的存儲(chǔ)結(jié)構(gòu),用于存儲(chǔ)數(shù)據(jù)質(zhì)量信息采集程序采集的數(shù)據(jù)質(zhì)量信息、質(zhì)量評(píng)估信息、問題解決中國(guó)移動(dòng)通信集團(tuán)各?。ㄖ陛犑小⒆灾螀^(qū))SQLSQLSQLCWM描述大數(shù)據(jù)平臺(tái)中業(yè)務(wù)領(lǐng)域相關(guān)概念、關(guān)系、規(guī)則的數(shù)據(jù)。主(指標(biāo)口徑元數(shù)據(jù)是描述數(shù)據(jù)間關(guān)系的數(shù)據(jù)。大數(shù)據(jù)平臺(tái)中元數(shù)據(jù)泛指描(Concepts(Roles(Rules)(Semantics)(Knowledge)指在中國(guó)移動(dòng)臺(tái)企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)下為了使企業(yè)內(nèi)外部使用和交換的數(shù)據(jù)是一致和準(zhǔn)確的,經(jīng)協(xié)商一致制定并由大數(shù)據(jù)治理委員會(huì)主管機(jī)構(gòu)批準(zhǔn),具有行業(yè)特點(diǎn)且共同使用和重復(fù)使用行業(yè)參考模型LDMOn-XML解決實(shí)際業(yè)務(wù)問題為導(dǎo)向,增強(qiáng)數(shù)據(jù)治理子系統(tǒng)對(duì)業(yè)務(wù)發(fā)展的支撐能力。??數(shù)據(jù)宏觀管控,并實(shí)現(xiàn)精細(xì)化管理,具體包括:據(jù)質(zhì)量應(yīng)用滿足個(gè)性化需求。??前可管、事中可控、事后可查。管控平臺(tái)體系。用戶。Commented[W1]:??管理辦法,制定工作流程,確定角色職責(zé)。數(shù)據(jù)治理模塊主要包括數(shù)據(jù)標(biāo)準(zhǔn)管理、元數(shù)據(jù)管理、5-1Commented[W1]:5-1CommentedCommentedW2]:是否模糊化,簡(jiǎn)要說一下數(shù)據(jù)治理數(shù)據(jù)治理組織的構(gòu)建旨在通過建??各項(xiàng)管理辦法、工作流程的實(shí)施,推送數(shù)據(jù)治理工作的有序開展。和角色設(shè)定如5-25-2治的實(shí)現(xiàn),如表5-1。5-1數(shù)據(jù)治理數(shù)據(jù)管理由公司主管領(lǐng)導(dǎo)和各業(yè)務(wù)部門領(lǐng)導(dǎo)組數(shù)據(jù)治理數(shù)據(jù)平臺(tái)數(shù)據(jù)管理中心機(jī)構(gòu)的平臺(tái)運(yùn)各業(yè)務(wù)部數(shù)據(jù)提供相關(guān)數(shù)據(jù)開發(fā)提供數(shù)據(jù)維護(hù)數(shù)據(jù)維護(hù)數(shù)據(jù)消費(fèi)數(shù)據(jù)使用含內(nèi)部用戶和外部分指導(dǎo)數(shù)據(jù)治理系統(tǒng)相關(guān)功能建設(shè)。系統(tǒng)功能框架如5-35-3??數(shù)據(jù)治理相關(guān)產(chǎn)品或功能,并負(fù)責(zé)統(tǒng)一訪問認(rèn)證及日志記錄。冊(cè)、發(fā)布,并對(duì)內(nèi)、外部開放。改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。的價(jià)值。數(shù)據(jù)運(yùn)維數(shù)據(jù)運(yùn)維Commented[W3]:5-4如5-4L9L10:穿插等關(guān)聯(lián)。數(shù)據(jù)治理子系統(tǒng)與大數(shù)據(jù)平臺(tái)系統(tǒng)內(nèi)其它子系統(tǒng)的關(guān)系示意如5-5數(shù)據(jù)標(biāo)準(zhǔn)管 元數(shù)據(jù)管5-5臺(tái)上的數(shù)據(jù)資產(chǎn)清晰、有序、安全、可控。據(jù)治理提供統(tǒng)一的數(shù)據(jù)治理產(chǎn)品及功能注冊(cè)、發(fā)布、使用服務(wù)。平臺(tái)整體的安全運(yùn)維、數(shù)據(jù)運(yùn)維和管理運(yùn)維。企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理體系中數(shù)據(jù)標(biāo)準(zhǔn)管理如6-16-1企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)管理與原經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)管控的區(qū)別如下6-16-1BOM數(shù)據(jù)僅限于市場(chǎng)經(jīng)營(yíng)活動(dòng)的BO,M業(yè)務(wù)應(yīng)用模共享性管理,提高企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理水平。數(shù)據(jù)標(biāo)準(zhǔn)制定如6-26-2模型實(shí)體數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容如表6-2所示。6-2如:BOSS,CRM,ERP稱代碼等。公共代碼標(biāo)準(zhǔn)體系定義內(nèi)容如表6-3所示。6-3KPI表6-46-4BOSSERP數(shù)據(jù)使用單位如:“戶”、“分鐘”、“MB”行發(fā)布和告知,要求企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)系統(tǒng)按照該標(biāo)準(zhǔn)規(guī)范進(jìn)行統(tǒng)一的數(shù)據(jù)管理。6-3Commented[W4]:6-明保存?zhèn)浒?。最終將發(fā)布的數(shù)據(jù)標(biāo)準(zhǔn)更新至數(shù)據(jù)標(biāo)準(zhǔn)管理模塊中,如6-3Commented[W4]:6-數(shù)據(jù)標(biāo)準(zhǔn)的編制、審查和發(fā)布通過數(shù)據(jù)標(biāo)準(zhǔn)管理模塊開發(fā)實(shí)現(xiàn),其流程如6-31、數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)者組織數(shù)據(jù)提供者和執(zhí)行者參與數(shù)據(jù)標(biāo)準(zhǔn)屬性的收集和整理工作,并按照協(xié)商一致的原則形成數(shù)據(jù)標(biāo)準(zhǔn)初稿。2、數(shù)據(jù)標(biāo)準(zhǔn)初稿進(jìn)行多次的討論和豐富后,形成數(shù)據(jù)標(biāo)準(zhǔn)送審稿提交給數(shù)據(jù)標(biāo)準(zhǔn)管理決策者。3、經(jīng)過數(shù)據(jù)標(biāo)準(zhǔn)管理決策者的討論審核后,由數(shù)據(jù)標(biāo)準(zhǔn)管理組織協(xié)調(diào)者再次進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的修改完善,并完成數(shù)據(jù)標(biāo)準(zhǔn)的發(fā)布。流程如6-26-2123、數(shù)據(jù)標(biāo)準(zhǔn)管理模塊將標(biāo)準(zhǔn)要求提供給數(shù)據(jù)質(zhì)量管理根據(jù)已錄入系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)形成稽查4、將標(biāo)準(zhǔn)稽核結(jié)果發(fā)送給數(shù)據(jù)標(biāo)準(zhǔn)管理模塊,并反饋給數(shù)據(jù)標(biāo)準(zhǔn)管理決策者和數(shù)據(jù)標(biāo)準(zhǔn)管理執(zhí)行者。數(shù)據(jù)標(biāo)準(zhǔn)的維護(hù)指數(shù)據(jù)標(biāo)準(zhǔn)建??對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的內(nèi)容進(jìn)行變更和版本管理,如圖6-5所示。6-5數(shù)據(jù)標(biāo)準(zhǔn)管理的變更通過數(shù)據(jù)標(biāo)準(zhǔn)管理系統(tǒng)開發(fā)實(shí)現(xiàn)落地,其流程如6-51、對(duì)執(zhí)行的相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行變更請(qǐng)求的申請(qǐng),組織該數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)執(zhí)行層和各數(shù)據(jù)運(yùn)維者進(jìn)行討論和變更需求匯總。23、討論審議數(shù)據(jù)標(biāo)準(zhǔn)項(xiàng)的變更內(nèi)容,并形成標(biāo)準(zhǔn)變更需求審批表提交給數(shù)據(jù)標(biāo)準(zhǔn)管理決策層進(jìn)行審批。4控管理,為后期數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)管理提供依據(jù)。6-66-6根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)生成的稽核規(guī)則,進(jìn)行前向稽核,稽核正常進(jìn)行下一流程,稽核非正常返回錯(cuò)誤文件記錄給數(shù)據(jù)管理者做數(shù)據(jù)標(biāo)準(zhǔn)的更新。圍內(nèi)強(qiáng)制統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范。12建??數(shù)據(jù)APP1、數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一規(guī)劃。按照企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)的數(shù)據(jù)治理要求,結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范指導(dǎo)內(nèi)容,構(gòu)建適應(yīng)企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)的數(shù)據(jù)標(biāo)準(zhǔn)體系,并制定數(shù)據(jù)標(biāo)準(zhǔn)實(shí)施方案。2、建??數(shù)據(jù)標(biāo)準(zhǔn)管理的支撐體系。要求包括數(shù)據(jù)標(biāo)準(zhǔn)管理組織架構(gòu)、數(shù)據(jù)標(biāo)準(zhǔn)管理辦法和制度流程,以及數(shù)據(jù)標(biāo)準(zhǔn)管理支撐工具。3456元數(shù)據(jù)管理模塊是大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理體系的重要組成部分。IT研究與顧問咨詢公司Gartner發(fā)布的《2013業(yè)后續(xù)的數(shù)據(jù)資產(chǎn)運(yùn)營(yíng)、增值以及數(shù)據(jù)服務(wù)提供有效支撐。的建設(shè)將貫穿大數(shù)據(jù)平臺(tái)建設(shè)、使用、運(yùn)營(yíng)、維護(hù)的全過程,并發(fā)揮以下作用:APIAPI。NameNodeDataNodeDW、MPP建設(shè)前向的元數(shù)據(jù)管控機(jī)制,并逐步探索集中的大數(shù)據(jù)平臺(tái)元數(shù)據(jù)管理方式。NameNode、文件目錄等部分元數(shù)據(jù),通過互通機(jī)制定期按集團(tuán)要點(diǎn)的namenode元數(shù)據(jù)及Hadoop的文件/目錄元數(shù)據(jù)。本期規(guī)范需要上報(bào)的元數(shù)據(jù)信息,主要涉及集群NameNode元數(shù)據(jù),包括集群的運(yùn)行監(jiān)控信6-76-7NameNode4DatanodeDFS4444為支持大數(shù)據(jù)平臺(tái)下文件、目錄、Hbase、HiveCWM心元模型的Table、Column、View類進(jìn)行擴(kuò)展,同時(shí)新增.hdfs模型包,里邊包含目錄(Directory)和文件(File)兩個(gè)實(shí)體及相關(guān)屬性。關(guān)于經(jīng)分系統(tǒng)核心元模型及參考表,元模型標(biāo)準(zhǔn)CWMNG2-BASS(v5.0)范》中的相關(guān)章節(jié)描述。修訂內(nèi)容如下:1TableHDFSColumn說明:HiveView2ColumnFamily說明:HbaseFileDirectory3TableToDirectoryColumnFamilyToDirecitry護(hù)提出以下補(bǔ)充要求:分步實(shí)現(xiàn)。在本期規(guī)范中,強(qiáng)調(diào)元數(shù)據(jù)的運(yùn)維管理及產(chǎn)品化支撐,元數(shù)據(jù)產(chǎn)品要簡(jiǎn)單易用、用戶體驗(yàn)不斷提升。主要建設(shè)以下內(nèi)容:1、元數(shù)據(jù)之家產(chǎn)品。基于大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理及改善用戶體驗(yàn)要求,建設(shè)一個(gè)方便內(nèi)外部2APP,面向業(yè)務(wù)人員及大數(shù)據(jù)平臺(tái)分析人員。3、輔助開發(fā)產(chǎn)品:APIOpenAPI在大數(shù)據(jù)平臺(tái)上,數(shù)據(jù)質(zhì)量為其提供潔凈、結(jié)構(gòu)清晰的數(shù)據(jù),是大數(shù)據(jù)平臺(tái)開發(fā)數(shù)據(jù)產(chǎn)品、提供數(shù)據(jù)服務(wù)、發(fā)揮大數(shù)據(jù)價(jià)值的必要前提,是企業(yè)數(shù)據(jù)資產(chǎn)管理的關(guān)鍵因素。大數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量和傳統(tǒng)經(jīng)營(yíng)分析系統(tǒng)的區(qū)別如6-56-5Gn支持傳統(tǒng)數(shù)據(jù)倉庫、MPPHadoop運(yùn)維人員主要負(fù)責(zé)保障數(shù)據(jù)質(zhì)量功能模塊用戶/應(yīng)用設(shè)置數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則后,可以無需等待結(jié)果出來后再進(jìn)行監(jiān)控。數(shù)據(jù)質(zhì)量功能模塊是大數(shù)據(jù)平臺(tái)接收源數(shù)估提供輸入。大數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量管理的原則包括:要滿足業(yè)務(wù)用戶簡(jiǎn)單易懂的需要,也要允許技術(shù)用戶實(shí)現(xiàn)個(gè)性化的監(jiān)控需求。如圖6-8所示。6-8圖6-9所示。6-9數(shù)據(jù)質(zhì)量模塊與數(shù)據(jù)資產(chǎn)模塊交互流程(資產(chǎn)接收模塊,為數(shù)據(jù)資產(chǎn)評(píng)估提供支持,如6-10圖6-10數(shù)據(jù)質(zhì)量模塊與數(shù)據(jù)資產(chǎn)模塊交互流程(資產(chǎn)評(píng)估并提供數(shù)據(jù)質(zhì)量應(yīng)用滿足個(gè)性化需求。為外部用戶提供數(shù)據(jù)質(zhì)量監(jiān)控界面,用戶可以在界面上完成監(jiān)控對(duì)象選擇、規(guī)則配置、告警及結(jié)果查看、問題處理等數(shù)據(jù)質(zhì)量全流程監(jiān)控。中國(guó)移動(dòng)企業(yè)大數(shù)據(jù)平臺(tái)規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)分冊(cè)量監(jiān)控規(guī)則也納入規(guī)則庫中。數(shù)據(jù)質(zhì)量功能模塊對(duì)規(guī)則和結(jié)果的存儲(chǔ)需要滿足大數(shù)據(jù)平臺(tái)的需求。以在數(shù)據(jù)質(zhì)量模塊上方便自如的配置需要的監(jiān)控規(guī)則、查看結(jié)果并進(jìn)行后續(xù)處理。包含了數(shù)據(jù)資產(chǎn)梳理盤點(diǎn)和數(shù)據(jù)價(jià)值評(píng)估的過程。被企業(yè)擁有和控制;2)能夠用貨幣來計(jì)量;3)隨著“十年移動(dòng)”等營(yíng)銷活動(dòng)開展,這類信息又非常有價(jià)值。6-11如6-11(采集器、在線維護(hù)、提供自助注冊(cè)接口)審核及版本控制等功能;息對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行綜合評(píng)估打分;權(quán)限管理:對(duì)接數(shù)據(jù)安全管理模塊,除了同步數(shù)據(jù)安全管理模塊中用戶賬戶信息及權(quán)限外,還會(huì)將用戶對(duì)數(shù)據(jù)資產(chǎn)訪問的申請(qǐng)信息發(fā)送給數(shù)據(jù)安全管理模塊進(jìn)行處理;的基礎(chǔ)數(shù)據(jù),用于完成數(shù)據(jù)資產(chǎn)的注冊(cè)、稽核及安全管理等工作用的方式和途徑,支撐數(shù)據(jù)分析、開發(fā)、運(yùn)維的自治。資產(chǎn)標(biāo)識(shí)規(guī)范為五段式結(jié)構(gòu),每段以點(diǎn)分隔。具體格式如6-126-12{根前綴}:指數(shù)據(jù)資產(chǎn)全局前綴,以常量表示。其值為BSS,OSS,MSS{提供者/租戶}:指數(shù)據(jù)資產(chǎn)的生產(chǎn)者,或者是數(shù)據(jù)資產(chǎn)的所有者。其值一般是生產(chǎn)者或者所有者的標(biāo)識(shí)。其值為MKT(市場(chǎng))、GRP(集團(tuán))、BASS(經(jīng)分)等二維碼如6-136-13據(jù),數(shù)據(jù)稽核和交互賬號(hào)權(quán)限等信息。據(jù)資產(chǎn)信息的登記和更新。值。其管理過程如圖6-14所示:6-14如6-14????務(wù)和活動(dòng)。動(dòng)。(產(chǎn)對(duì)象;6-15如6-15IT(含業(yè)務(wù)支撐、運(yùn)營(yíng)支撐、管理支撐等)所產(chǎn)生的業(yè)務(wù)數(shù)據(jù)、交易數(shù)據(jù)、分BO數(shù)據(jù)資產(chǎn)管理過程中,應(yīng)包含如6-66-6資產(chǎn)管理系統(tǒng)化、可視化。??加強(qiáng)大數(shù)據(jù)平臺(tái)與其它系統(tǒng)之間的數(shù)據(jù)信息安全管控。據(jù)安全的技術(shù)防護(hù)措施。事前可管、事中可控、事后可查。4A、金庫模式、敏感數(shù)據(jù)管控、隱私信息保護(hù)等手段,密切關(guān)注用戶操作,確保安全實(shí)目標(biāo)建??12、數(shù)據(jù)安全對(duì)資產(chǎn)管理涉及的數(shù)據(jù)及業(yè)務(wù)過程行為進(jìn)行數(shù)據(jù)安全保護(hù),并實(shí)現(xiàn)相關(guān)的安全防護(hù)工作,如:6-16數(shù)據(jù)安全需求如

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論