數(shù)據(jù)資產(chǎn)管理白皮書2024_第1頁
數(shù)據(jù)資產(chǎn)管理白皮書2024_第2頁
數(shù)據(jù)資產(chǎn)管理白皮書2024_第3頁
數(shù)據(jù)資產(chǎn)管理白皮書2024_第4頁
數(shù)據(jù)資產(chǎn)管理白皮書2024_第5頁
已閱讀5頁,還剩103頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

數(shù)據(jù)資產(chǎn)管理白皮書(2024版)專家力薦當下,數(shù)據(jù)正以前所未有的速度成為推動經(jīng)濟發(fā)展的關(guān)鍵力量。近年來,政府對數(shù)據(jù)要素的高度重視,并將其納入國家經(jīng)濟發(fā)展戰(zhàn)略之中。我們看到,財政部的規(guī)定更是推動了數(shù)據(jù)從自然資源向數(shù)據(jù)要素的轉(zhuǎn)變。眾多地方成立“數(shù)據(jù)集團”,積極盤活數(shù)據(jù)資產(chǎn),這一切都凸顯了數(shù)據(jù)資產(chǎn)的重要性。正如國際咨詢機構(gòu)Gartner所預(yù)測,中國在數(shù)據(jù)資產(chǎn)管理技術(shù)方面的發(fā)展將領(lǐng)先全球,并預(yù)計在未來兩年內(nèi)達到生產(chǎn)成熟期。這一預(yù)測無疑為我國數(shù)據(jù)資產(chǎn)管理領(lǐng)域的未來發(fā)展注入了強大的信心。實現(xiàn)。據(jù)資源相關(guān)會計處理暫行規(guī)定》,并自2024年1月1日開始施行。數(shù)據(jù)要素將編寫小組(按照拼音首字母排名):陳晗、范云浩、黃國喬譽、黃麗麗、姜目錄01數(shù)據(jù)要素再認識數(shù)據(jù)要素:第五大生產(chǎn)要素 1數(shù)據(jù)資產(chǎn)管理助力數(shù)據(jù)資產(chǎn)入表 302數(shù)據(jù)資產(chǎn)管理概述數(shù)據(jù)資產(chǎn)定義 6數(shù)據(jù)資產(chǎn)管理含義 703數(shù)據(jù)資產(chǎn)管理組成及其職責 數(shù)據(jù)資產(chǎn)管理實施路徑 04數(shù)據(jù)資產(chǎn)管理工具數(shù)據(jù)開發(fā) 指標資產(chǎn) 標簽資產(chǎn) 數(shù)據(jù)共享 數(shù)據(jù)安全 數(shù)據(jù)消費 工具特色 05數(shù)據(jù)消費實踐金融行業(yè)數(shù)據(jù)消費實踐 央國企數(shù)據(jù)消費實踐 制造行業(yè)數(shù)據(jù)消費實踐 海港行業(yè)數(shù)據(jù)消費實踐 政務(wù)數(shù)據(jù)消費實踐 高校數(shù)據(jù)消費實踐 景區(qū)數(shù)據(jù)消費實踐 袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書(一)數(shù)據(jù)要素:第五大生產(chǎn)要素生產(chǎn)要素是維系國民經(jīng)濟運行及市場主體生產(chǎn)經(jīng)營過程中所必須具備的基大數(shù)據(jù)、人工智能的飛速發(fā)展,數(shù)據(jù)要素的重要性日益凸顯,它不僅滲透到國民經(jīng)濟運行的各個層面,而且在市場主體的生產(chǎn)經(jīng)營過程中扮演著不可或缺的角色,數(shù)據(jù)已成為推動新產(chǎn)業(yè)、新模式誕生的關(guān)鍵力量。無論是政府行政、企業(yè)生產(chǎn)經(jīng)營,還是民眾的日常生活,數(shù)據(jù)都與之緊密相連,成為現(xiàn)代社會不可或缺的一部分。以地圖應(yīng)用為例,通過收集并分析用戶的出行數(shù)據(jù),地圖應(yīng)用能夠精準識別交通擁堵區(qū)域與人流密集地,進而提供更為個性化的導(dǎo)航服務(wù)。這正是數(shù)據(jù)要素在現(xiàn)代社會中發(fā)揮的關(guān)鍵作用,它不僅優(yōu)化了人們的出行體驗,也提高了資源配正是基于數(shù)據(jù)要素的這種重要性,2020年4月9日,《中共中央、國務(wù)院關(guān)于構(gòu)建更加完善的要素市場化配置體制機制的意見》,分類提出了土地、勞動力、資本、技術(shù)、數(shù)據(jù)五個要素領(lǐng)域改革的方向,數(shù)據(jù)作為一種新型生產(chǎn)要素也是首次正式出現(xiàn)在官方文件中。數(shù)據(jù)要素是數(shù)字化、網(wǎng)絡(luò)化、智能化的基礎(chǔ),它不僅推動了經(jīng)濟的增長,也成為了國際競爭的新抓手。加強數(shù)據(jù)資源整合和安全保護加強數(shù)據(jù)資源整合和安全保護要素領(lǐng)域技術(shù)數(shù)據(jù)提升社會數(shù)據(jù)資源價值土地勞動力推進政府數(shù)據(jù)開放共享資本本質(zhì)來說,數(shù)據(jù)要素是指那些以電子形式存在的、通過計算的方式參與到生產(chǎn)經(jīng)營活動并發(fā)揮重要價值的數(shù)據(jù)資源。因此,“數(shù)據(jù)要素”一詞是面向數(shù)字經(jīng)濟,在討論生產(chǎn)力和生產(chǎn)關(guān)系的語境中對“數(shù)據(jù)”的指代,是對數(shù)據(jù)促進生產(chǎn)價值的強調(diào)。即數(shù)據(jù)要素指的是根據(jù)特定生產(chǎn)需求,匯聚、整理、加工而成的計算1袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書機數(shù)據(jù)及其衍生形態(tài)。投入于生產(chǎn)的原始數(shù)據(jù)集、標準化數(shù)據(jù)集、各類數(shù)據(jù)產(chǎn)品及以數(shù)據(jù)為基礎(chǔ)產(chǎn)生的系統(tǒng)、信息和知識均可納入數(shù)據(jù)要素討論的范疇。但數(shù)據(jù)要素這一概念又不僅僅是對各行業(yè)各領(lǐng)域各類數(shù)據(jù)的指代,更是對數(shù)據(jù)所蘊藏巨大價值的強調(diào)。業(yè)務(wù)系統(tǒng)數(shù)據(jù)驅(qū)動產(chǎn)生的信息、知識原始數(shù)據(jù)集標準化數(shù)據(jù)集數(shù)據(jù)產(chǎn)品圖2數(shù)據(jù)要素主要表現(xiàn)形態(tài)因此,數(shù)據(jù)與土地、勞動、資本、技術(shù)等傳統(tǒng)生產(chǎn)要素相比有明顯的獨特性。作為技術(shù)革新的產(chǎn)物,數(shù)據(jù)展現(xiàn)出虛擬性、低成本復(fù)制性以及主體的多樣性。這些技術(shù)特性賦予了數(shù)據(jù)非競爭性、潛在的非排他性以及異質(zhì)性的特點,使其在經(jīng)濟活動中的性質(zhì)與傳統(tǒng)要素有所不同。盡管數(shù)據(jù)的某些特性使其難以按照傳統(tǒng)方法進行管理和利用,但其可復(fù)制性、可共享性、無限增長和供給的特性,為經(jīng)濟增長提供了新的動力。這些特性打破了傳統(tǒng)生產(chǎn)要素有限供給的限制,為經(jīng)濟的持續(xù)增長和可持續(xù)發(fā)展提供了堅實的基礎(chǔ)和廣闊的空間??梢哉f,數(shù)據(jù)要素是傳統(tǒng)生產(chǎn)要素理論的重大突破,正成為催動各行各業(yè)快速發(fā)展變革的核心競爭所在。這幾年來,中央相繼發(fā)布多項政策文件,包括《關(guān)于構(gòu)建更加完善的數(shù)據(jù)要素市場化配置體制機制的意見》、《“十四五”數(shù)字經(jīng)濟發(fā)展規(guī)劃》、《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》、《數(shù)字中國建設(shè)整體布局規(guī)劃》、《“數(shù)據(jù)要素×”三年行動計劃(2024—2026年)》等,致力于推動數(shù)據(jù)要素的發(fā)展,并特別強調(diào)數(shù)據(jù)要素市場建設(shè)的重要性。這些政策文件的出臺,標志著數(shù)據(jù)要素已經(jīng)正式邁進市場化階段,日益顯露出巨大的商業(yè)價值與無可估量的市場潛能。數(shù)據(jù)要素正成為驅(qū)動經(jīng)濟增長的全新動力,構(gòu)筑起新時代下各行各業(yè)的2袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書2022.122022.042021.122021.122020.052019.10圖3黨中央國務(wù)院發(fā)布多項政策文件圍繞數(shù)據(jù)要素布局3袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書的企業(yè)、事業(yè)單位乃至政府部門,成為提升決策效率、驅(qū)動業(yè)務(wù)創(chuàng)新的重要工具。這一鏈條中的每一環(huán)相互依存,通過優(yōu)化上下游間的合作與協(xié)調(diào),不僅確保了數(shù)據(jù)資產(chǎn)的安全流通與合規(guī)使用,還最大化地發(fā)揮了數(shù)據(jù)在各行業(yè)應(yīng)用中的增值潛繼數(shù)據(jù)資產(chǎn)入表會計新規(guī)正式落地之后,數(shù)據(jù)資產(chǎn)管理領(lǐng)域也再度迎來國家級重磅文件。1月11日,財政部公開發(fā)布《關(guān)于加強數(shù)據(jù)資產(chǎn)管理的指導(dǎo)意見》肯定了數(shù)據(jù)資源可具有資產(chǎn)屬性,是數(shù)據(jù)要素市場發(fā)展的重要里程碑。作為報表意義上的“資產(chǎn)”,企業(yè)數(shù)據(jù)的市場價值與業(yè)務(wù)貢獻將在財務(wù)報表中得以“顯性化”。數(shù)據(jù)資產(chǎn)入表是數(shù)據(jù)資產(chǎn)價值化的閉環(huán)之舉,將企業(yè)數(shù)據(jù)資產(chǎn)以會計科目和貨幣化形式呈現(xiàn),將推動企業(yè)數(shù)據(jù)資源向數(shù)據(jù)資產(chǎn)轉(zhuǎn)變,形成規(guī)范的數(shù)據(jù)資產(chǎn)開發(fā)、運營和管理體系,提升企業(yè)數(shù)據(jù)治理能級。這是一個巨大藍海,而數(shù)據(jù)資產(chǎn)管理正是數(shù)據(jù)資產(chǎn)入表的前提。數(shù)據(jù)作為新型生產(chǎn)要素,具有其它四類生產(chǎn)要素不具備的價值特性,因此開展數(shù)據(jù)資產(chǎn)入表要夯實機制、基礎(chǔ)。企業(yè)不宜盲目推動數(shù)據(jù)資產(chǎn)入表,要在數(shù)據(jù)資產(chǎn)管理上下功夫,盡快建立起有效的數(shù)據(jù)資產(chǎn)管理體系,從數(shù)據(jù)資產(chǎn)發(fā)展戰(zhàn)略、管理機制等方面,規(guī)劃制定數(shù)據(jù)資產(chǎn)全生命周期管理流程,確保數(shù)據(jù)資產(chǎn)合規(guī)、安全、可靠地使用。打下數(shù)據(jù)資源入表的管理基礎(chǔ),建立數(shù)據(jù)登記確權(quán)、評估計價和資產(chǎn)入表的政策“閉環(huán)”,激活萬億數(shù)據(jù)資產(chǎn),是開啟這一藍海的金鑰匙。4數(shù)據(jù)資產(chǎn)數(shù)據(jù)資產(chǎn)定義袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書、數(shù)據(jù)資產(chǎn)管理概述(一)數(shù)據(jù)資產(chǎn)定義關(guān)于數(shù)據(jù)資產(chǎn)的定義,中國信通院、國標等都有相關(guān)觀點,但這些定義并不是相互沖突的,而是相互補充的,是基于不同視角下對數(shù)據(jù)資產(chǎn)的理解。中國信通院《數(shù)據(jù)資產(chǎn)管理實踐白皮書6.0》:數(shù)據(jù)資產(chǎn)是由組織(政府機構(gòu)、企事業(yè)單位等)合法擁有或控制的數(shù)據(jù)資源,以電子或其他方式記錄,例如可進行計量或交易,能直接或間接帶來經(jīng)濟效益和社會效益。國家標準《信息技術(shù)大數(shù)據(jù)數(shù)據(jù)資產(chǎn)價值評估(征求意見稿)》:數(shù)據(jù)資產(chǎn)是以數(shù)據(jù)為載體和表現(xiàn)形式,能進行計量的,并能為組織帶來直接或間接經(jīng)濟利益的數(shù)據(jù)資源。數(shù)據(jù)資產(chǎn)形成階段機構(gòu)數(shù)據(jù)源數(shù)據(jù)資產(chǎn)管理變現(xiàn)階段工具工具數(shù)據(jù)采集數(shù)據(jù)右字儲數(shù)據(jù)分析數(shù)據(jù)應(yīng)用圖5數(shù)據(jù)資產(chǎn)化的發(fā)展階段綜上所述,可以給出一個較為通用的數(shù)據(jù)資產(chǎn)的定義,即“數(shù)據(jù)資產(chǎn)是指企業(yè)擁有或控制的、預(yù)期會給企業(yè)帶來可持續(xù)經(jīng)濟利益、以數(shù)據(jù)為主要內(nèi)容和服務(wù)的可辨認形態(tài)”?!捌髽I(yè)擁有或控制的”,就是企業(yè)必須擁有數(shù)據(jù)資產(chǎn)的完整權(quán)利,即所謂的"三權(quán)":數(shù)據(jù)資源持有權(quán)、數(shù)據(jù)加工使用權(quán)、數(shù)據(jù)產(chǎn)品經(jīng)營權(quán)?!邦A(yù)期會給企業(yè)6(二)數(shù)據(jù)資產(chǎn)管理含義中國信通院《數(shù)據(jù)資產(chǎn)管理實踐白皮書6.0》:數(shù)據(jù)資產(chǎn)管理是指對數(shù)據(jù)資數(shù)據(jù)資產(chǎn)的管理和利用是數(shù)據(jù)資產(chǎn)的重要環(huán)節(jié),它決定了數(shù)據(jù)資產(chǎn)的價值能否得到充分的發(fā)揮和提升。數(shù)據(jù)資產(chǎn)的管理和利用涉及到數(shù)據(jù)的生命周期的各個階段,包括數(shù)據(jù)的采集、存儲、清洗、挖掘、整合、分析、展示、交易等。通過數(shù)據(jù)資產(chǎn)管理,企業(yè)可以更好地理解和利用數(shù)據(jù),將其轉(zhuǎn)化為企業(yè)的戰(zhàn)略資產(chǎn),進而推動業(yè)務(wù)創(chuàng)新和價值提升。數(shù)據(jù)資產(chǎn)管理包含數(shù)據(jù)資源化、數(shù)據(jù)資產(chǎn)化兩個環(huán)節(jié),將原始數(shù)據(jù)轉(zhuǎn)變?yōu)閿?shù)據(jù)資源、數(shù)據(jù)資產(chǎn),逐步提高數(shù)據(jù)的價值密度,為數(shù)據(jù)要素化奠定基礎(chǔ)。數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)管理居數(shù)據(jù)資產(chǎn)化圖6數(shù)據(jù)資產(chǎn)管理架構(gòu)7袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書數(shù)據(jù)資源化的核心在于將數(shù)據(jù)從原始狀態(tài)轉(zhuǎn)化為有價值的資源,是數(shù)據(jù)資產(chǎn)化的必要前提。涉及到從原始數(shù)據(jù)的采集、存儲到后期的加工處理,包括數(shù)據(jù)模理、數(shù)據(jù)開發(fā)管理等活動職能。這一切工作的目的,是將雜亂無章的原始數(shù)據(jù)轉(zhuǎn)為決策提供有力支持。數(shù)據(jù)資產(chǎn)化是將數(shù)據(jù)資源轉(zhuǎn)化為可量化、可交易的資產(chǎn)的過程,這一過程能夠充分挖掘并釋放數(shù)據(jù)資源的潛在價值。其核心目標在于擴大數(shù)據(jù)資產(chǎn)的應(yīng)用范圍,明確數(shù)據(jù)資產(chǎn)的成本與效益,并在數(shù)據(jù)供應(yīng)方與消費方之間構(gòu)建一個良性反饋閉環(huán)。在此過程中,企業(yè)需對數(shù)據(jù)進行評估、定價和交易等關(guān)鍵操作,以實現(xiàn)價值評估、建立交易規(guī)則以及監(jiān)管機制的構(gòu)建。數(shù)據(jù)資產(chǎn)化不僅標志著數(shù)據(jù)從靜態(tài)資源向動態(tài)資產(chǎn)的轉(zhuǎn)變,也意味著數(shù)據(jù)內(nèi)容和形式的全面升級。通過這一過程,數(shù)據(jù)不再僅僅是一個靜態(tài)的存在,而是變成了可以衡量、交易并帶來收益的有形資產(chǎn)。企業(yè)生產(chǎn)、經(jīng)營及所屬資產(chǎn)衍生數(shù)據(jù)企業(yè)外部購控制管理負債業(yè)數(shù)字化數(shù)據(jù)資產(chǎn)圖7數(shù)據(jù)資產(chǎn)化價值實現(xiàn)路徑8數(shù)據(jù)資產(chǎn)管理組成及其職責數(shù)據(jù)資產(chǎn)管理框架概述10數(shù)據(jù)資產(chǎn)管理實施路徑10袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書三、數(shù)據(jù)資產(chǎn)管理組成及其職責(一)數(shù)據(jù)資產(chǎn)管理框架概述完備的企業(yè)數(shù)據(jù)資產(chǎn)管理體系,首先依賴于數(shù)據(jù)資產(chǎn)管理規(guī)劃及機制等上層設(shè)計,其次基于數(shù)據(jù)資產(chǎn)管理職能,使用有效的數(shù)據(jù)資產(chǎn)管理工具,將數(shù)據(jù)轉(zhuǎn)化為數(shù)據(jù)資產(chǎn),從而把數(shù)據(jù)價值真正發(fā)揮出來。數(shù)據(jù)資產(chǎn)管理架構(gòu)如下圖所示:數(shù)據(jù)消費數(shù)據(jù)資產(chǎn)規(guī)劃各業(yè)務(wù)系統(tǒng)數(shù)據(jù)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)圖8袋鼠云數(shù)據(jù)資產(chǎn)管理架構(gòu)圖具體而言,數(shù)據(jù)資產(chǎn)管理包括數(shù)據(jù)開發(fā)、數(shù)據(jù)標準管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)治理、數(shù)據(jù)資產(chǎn)評估、數(shù)據(jù)資產(chǎn)流通、數(shù)據(jù)資產(chǎn)運營、數(shù)據(jù)安全管理和數(shù)據(jù)消費九大版塊,貫穿數(shù)據(jù)資產(chǎn)從生產(chǎn)到消費的全生命流程;數(shù)據(jù)資產(chǎn)管理工具包含數(shù)據(jù)開發(fā)平臺、數(shù)據(jù)資產(chǎn)平臺、數(shù)據(jù)共享平臺、數(shù)據(jù)安全平臺等,這些工具覆蓋數(shù)據(jù)資產(chǎn)管理的大部分職能,處在不同階段對工具的功能要求可能不盡相同。數(shù)據(jù)資產(chǎn)管理以厘清數(shù)據(jù)資產(chǎn)的成本與效益、擴大數(shù)據(jù)資產(chǎn)的應(yīng)用范圍為工作重點,并使數(shù)據(jù)供給端與數(shù)據(jù)消費端之間形成良性反饋閉環(huán)。(二)數(shù)據(jù)資產(chǎn)管理實施路徑1.數(shù)據(jù)資產(chǎn)盤點從業(yè)務(wù)視角與技術(shù)視角出發(fā),形成企業(yè)數(shù)據(jù)資產(chǎn)框架和數(shù)據(jù)資產(chǎn)目錄,支持建立全面覆蓋的企業(yè)級數(shù)據(jù)資產(chǎn)地圖,為數(shù)據(jù)資產(chǎn)“用什么”以及“如何用”奠袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書基于數(shù)據(jù)盤點的目的不同,路徑不同不同據(jù)交互:盤數(shù)據(jù)流轉(zhuǎn),交互關(guān)系分類:搭建數(shù)據(jù)架構(gòu),基于數(shù)據(jù)內(nèi)容進行分類資產(chǎn)的業(yè)務(wù)歸屬和責任人,數(shù)據(jù)owner、消費、維護等管理角色據(jù)資產(chǎn)目錄:依據(jù)數(shù)據(jù)盤點的成果,編制數(shù)據(jù)資產(chǎn)目錄,現(xiàn)數(shù)據(jù)數(shù)據(jù)量、數(shù)據(jù)價值、數(shù)據(jù)存儲位籃以及數(shù)圖9數(shù)據(jù)資產(chǎn)盤點路徑數(shù)據(jù)資產(chǎn)盤點包含調(diào)研診斷、數(shù)據(jù)盤點、數(shù)據(jù)對標校正、分類分級、權(quán)責劃分、數(shù)據(jù)資產(chǎn)目錄建立六大環(huán)節(jié)。調(diào)研診斷:通常采用訪談或案頭梳理的方式,對IT整體建設(shè)情況、業(yè)務(wù)系統(tǒng)數(shù)據(jù)情況進行調(diào)研,框定數(shù)據(jù)資產(chǎn)管理范圍、聚焦目標。數(shù)據(jù)盤點:基于數(shù)據(jù)標準、數(shù)據(jù)管理制度、數(shù)據(jù)管理規(guī)范、數(shù)據(jù)平臺工具、數(shù)據(jù)模型等盤點的內(nèi)容及目標,梳理發(fā)現(xiàn)的數(shù)據(jù)問題,并整理歸類,輸出數(shù)據(jù)表清單、數(shù)據(jù)源接入方式、業(yè)務(wù)流程映表、數(shù)據(jù)字典等。數(shù)據(jù)對標校正、分級分類、權(quán)責劃分:這三個步驟通常同步、穿插進行,在保障數(shù)據(jù)準確的前提下,根據(jù)影響對象、影響范圍、影響程度等維度,按照分類標準、重要程度對數(shù)據(jù)進行分類、分級;梳理數(shù)據(jù)資產(chǎn)分布及使用,明確數(shù)據(jù)項影響覆蓋的相關(guān)部門,根據(jù)業(yè)務(wù)部門在數(shù)據(jù)產(chǎn)生、流轉(zhuǎn)應(yīng)用過程中的相關(guān)性,匹配各部門數(shù)據(jù)資產(chǎn)管理角色。數(shù)據(jù)資產(chǎn)目錄建立:從業(yè)務(wù)流程和數(shù)據(jù)應(yīng)用的視角出發(fā),基于前幾步中對數(shù)據(jù)資產(chǎn)的梳理成果,完善包含業(yè)務(wù)屬性、管理屬性的數(shù)據(jù)資產(chǎn)信息,形成數(shù)據(jù)資產(chǎn)報告和數(shù)據(jù)資產(chǎn)目錄。需要注意的是,數(shù)據(jù)目錄的建立工作需要企業(yè)分別從“橫”、“縱”的視角關(guān)注數(shù)據(jù)目錄的合理性與科學(xué)性。數(shù)據(jù)目錄的“橫向”管理主要是指數(shù)據(jù)的屬性信息,一般分為業(yè)務(wù)屬性、技術(shù)屬性和管理屬性信息。數(shù)據(jù)目錄的“縱向”管理袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書主要是指以數(shù)據(jù)應(yīng)用場景的維度構(gòu)建目錄體系,以充分貼合業(yè)務(wù)人員的數(shù)據(jù)使用習(xí)慣、業(yè)務(wù)使用場景,幫助各類數(shù)據(jù)使用人員找數(shù)、知數(shù)、用數(shù)。與此同時,數(shù)據(jù)目錄管理工作在保證數(shù)據(jù)信息準確、權(quán)限合規(guī)等管理要求的同時,還應(yīng)保證目錄底層數(shù)據(jù)的統(tǒng)一性與一致性,避免出現(xiàn)“多套”數(shù)據(jù)目錄進而增加管理難度與2.數(shù)據(jù)治理數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理權(quán)力和控制的活動集合,它不僅僅是一套用工具組合的產(chǎn)品級解決方案,更是從決策層到技術(shù)層,從管理制度到工具支撐,自上而下貫穿整個組織架構(gòu)的完整鏈條,以期通過持續(xù)的評估、指導(dǎo)和監(jiān)督,確保富有成效且高效的數(shù)據(jù)利用,促進組織協(xié)作和結(jié)構(gòu)化決策,為企業(yè)創(chuàng)造價值。模式一:自下而上,以數(shù)據(jù)架構(gòu)為重,開展數(shù)據(jù)治理。這種模式重在數(shù)據(jù)架構(gòu),層層向上治理數(shù)據(jù),至數(shù)據(jù)應(yīng)用層。這種模式從底層數(shù)據(jù)切入,基于現(xiàn)有數(shù)據(jù)基礎(chǔ),盤點、建設(shè)、治理、應(yīng)用層層展開,對企業(yè)整體的數(shù)據(jù)思維、數(shù)據(jù)治理水平要求較高,通常適用于數(shù)據(jù)量重、業(yè)務(wù)應(yīng)用輕大型技術(shù)型企業(yè),或政府機構(gòu),或新建、自研系統(tǒng)較多的企業(yè)。模式二:自上而下,以明確的數(shù)據(jù)應(yīng)用為重,開展數(shù)據(jù)治理。這種模式即單點應(yīng)用式,通常以現(xiàn)有應(yīng)用需求為核心開展數(shù)據(jù)治理。聚焦各個業(yè)務(wù)領(lǐng)域的數(shù)據(jù)應(yīng)用、數(shù)據(jù)治理需求,在有需求、有資源、有驅(qū)動力的前提下,按需組織推進數(shù)據(jù)治理工作。只有業(yè)務(wù)部門的深入?yún)⑴c才能做好數(shù)據(jù)治理,只有針對業(yè)務(wù)自身需求進行的治理,才能得到業(yè)務(wù)部門的認可和支持。模式二通常圍繞數(shù)據(jù)應(yīng)用的需求進行數(shù)據(jù)治理,比如升級架構(gòu)、更換平臺等涉及數(shù)據(jù)應(yīng)用遷移時,或聚焦監(jiān)管、上報類等明確數(shù)據(jù)應(yīng)用時,圍繞數(shù)據(jù)應(yīng)用進袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書模式二通常適用于數(shù)據(jù)應(yīng)用較強、業(yè)務(wù)部門較為強勢、但整體數(shù)據(jù)認知較弱這種模式需要企業(yè)全面梳理業(yè)務(wù)的現(xiàn)狀痛點及業(yè)務(wù)未來暢想,盤現(xiàn)狀細化、標準化現(xiàn)有數(shù)據(jù)?哪些數(shù)據(jù)需求落地可行性較高?制定全面的規(guī)劃體系,以數(shù)據(jù)架構(gòu)為重開展資產(chǎn)盤點以明確的數(shù)據(jù)應(yīng)用為重開展資產(chǎn)盤點從數(shù)據(jù)應(yīng)用規(guī)劃入手,盤點現(xiàn)狀,規(guī)劃未來應(yīng)用應(yīng)用圖10數(shù)據(jù)治理三大基礎(chǔ)模式組合模式一:模式一&模式二組合,即全域數(shù)據(jù)治理+明確應(yīng)用場景規(guī)劃。這組合模式二:模式一&模式三組合,即全域數(shù)據(jù)治理+全面應(yīng)用場景規(guī)劃。這同要求高,且成本投入高、耗時久,對執(zhí)行團隊要求高,復(fù)合型人才需求大,屬于高風險高收益模式,需要企業(yè)高戰(zhàn)略、高執(zhí)行的推進落地。數(shù)據(jù)治理在一定程度上是對數(shù)據(jù)資產(chǎn)管理的細化,它通過明確相關(guān)管理組織、工作責任和管理流程來確保數(shù)據(jù)資產(chǎn)能長期有效、可持續(xù)地得到管理,進而使企業(yè)獲得高質(zhì)量的數(shù)據(jù)。數(shù)據(jù)治理旨在提高數(shù)據(jù)質(zhì)量、促進數(shù)據(jù)一致性和集成、加強數(shù)據(jù)安全和隱私保護、支持合規(guī)性和風險管理、提升決策效能,以及提升數(shù)據(jù)資產(chǎn)的價值。通過有效的數(shù)據(jù)治理方案實施,組織實現(xiàn)更好地管理和保護數(shù)據(jù)資產(chǎn),實現(xiàn)數(shù)據(jù)驅(qū)動決策和業(yè)務(wù)創(chuàng)新的目標。3.數(shù)據(jù)資產(chǎn)評估與入表(1)數(shù)據(jù)資產(chǎn)評估數(shù)據(jù)資產(chǎn)評估是指通過構(gòu)建價值評估體系,計量數(shù)據(jù)的經(jīng)濟效益、業(yè)務(wù)效益、投入成本等活動。數(shù)據(jù)資產(chǎn)評估是數(shù)據(jù)資產(chǎn)管理的關(guān)鍵環(huán)節(jié),是數(shù)據(jù)資產(chǎn)化的價值基線。目前數(shù)據(jù)資產(chǎn)評估方法總體可分為貨幣度量方法及非貨幣度量方法兩類,其中貨幣度量方法以傳統(tǒng)資產(chǎn)評估方法為代表,主要包括成本法、收益法、市場法及其衍生方法。各評估方法的適用對象和可行程度存在差異。對于成本法,因成本難分攤,其適用對象是企業(yè)全部數(shù)據(jù)資產(chǎn)而非特定數(shù)據(jù)產(chǎn)品,測算結(jié)果是數(shù)據(jù)資產(chǎn)管理的總體投入成本。對于收益法,其適用對象是特定數(shù)據(jù)應(yīng)用場景下的數(shù)據(jù)產(chǎn)品,測算結(jié)果是引入數(shù)據(jù)資產(chǎn)所帶來的業(yè)務(wù)效益變化。市場法則以數(shù)據(jù)定價和數(shù)據(jù)交易為主要目的,其適用對象同樣是單一數(shù)據(jù)產(chǎn)品,通過對比公開數(shù)據(jù)交易市場上相似產(chǎn)品的價格,對數(shù)據(jù)產(chǎn)品進行價格調(diào)整。項目企業(yè)(一般指可能性大于50%)量,企業(yè)應(yīng)結(jié)合第二的成本歸集與分攤機圖12數(shù)據(jù)資產(chǎn)入表路徑第一步:合規(guī)與確權(quán)數(shù)據(jù)資源的合規(guī)與確權(quán)是數(shù)據(jù)資源入表的首要步驟。數(shù)據(jù)合規(guī)梳理:企業(yè)應(yīng)遵循《中華人民共和國數(shù)據(jù)安全法》《中華人民共和國個人信息保護法》《中華人民共和國網(wǎng)絡(luò)安全法》《關(guān)于構(gòu)建數(shù)據(jù)基礎(chǔ)制度更好發(fā)揮數(shù)據(jù)要素作用的意見》、各省市行業(yè)數(shù)據(jù)安全管理辦法等現(xiàn)行有效法律、行政法規(guī)和規(guī)范性文件,從數(shù)據(jù)來源、數(shù)據(jù)內(nèi)容、數(shù)據(jù)處理、數(shù)據(jù)管理及數(shù)據(jù)經(jīng)營等五個主要維度對待入表的數(shù)據(jù)資源進行梳理,查缺補漏,建立企業(yè)數(shù)據(jù)合規(guī)管理機制,確保數(shù)據(jù)資源的合法、合規(guī)。數(shù)據(jù)授權(quán)梳理:數(shù)據(jù)權(quán)屬是數(shù)據(jù)資源入表繞不開的重點,完善的數(shù)據(jù)資源授權(quán)鏈條是企業(yè)進行數(shù)據(jù)資源入表的前提。在進行數(shù)據(jù)入表前,企業(yè)應(yīng)基于數(shù)據(jù)資源來源,梳理其完整授權(quán)鏈條。如企業(yè)自行采集個人數(shù)據(jù)時,應(yīng)獲得數(shù)據(jù)主體的恰當授權(quán);企業(yè)采買個人數(shù)據(jù)時,應(yīng)獲得數(shù)據(jù)供應(yīng)商及數(shù)據(jù)主體的恰當授權(quán)。同時,企業(yè)應(yīng)建立數(shù)據(jù)權(quán)屬監(jiān)督管理機制,日常維護數(shù)據(jù)資源的權(quán)屬變更情況,如企業(yè)獲取數(shù)據(jù)授權(quán)存在期限,應(yīng)在資產(chǎn)使用壽命估計中予以合理反映和披露。綜上,企業(yè)應(yīng)當建立健全符合其自身特點的數(shù)據(jù)合規(guī)及產(chǎn)權(quán)管理制度,確保數(shù)據(jù)來源合規(guī)、隱私保護到位、流通和交易規(guī)范、分級授權(quán)合理,理順數(shù)據(jù)資源產(chǎn)權(quán)關(guān)系,為實現(xiàn)數(shù)據(jù)資源會計入表掃清前置法律障礙。第二步:有效治理與管理企業(yè)應(yīng)盡快建立相應(yīng)的數(shù)據(jù)資源管理體系,統(tǒng)籌相關(guān)數(shù)據(jù)基礎(chǔ)工作,盤清數(shù)據(jù)資源家底,為后續(xù)持續(xù)可靠的會計計量和披露提供底層保障。這一部分就是涉及到前文提到的數(shù)據(jù)資產(chǎn)盤點、數(shù)據(jù)治理相關(guān)的內(nèi)容了,不贅述。第三步:預(yù)期經(jīng)濟利益的可行性分析結(jié)合企業(yè)不同的數(shù)據(jù)資源分類、業(yè)務(wù)交互需求和商業(yè)應(yīng)用場景(數(shù)據(jù)產(chǎn)品和服務(wù))分類,通過建立企業(yè)內(nèi)部數(shù)據(jù)資產(chǎn)價值評估體系,采用貨幣化度量業(yè)務(wù)應(yīng)用場景價值與數(shù)據(jù)資源取得成本的方式,開展對相關(guān)數(shù)據(jù)資源相關(guān)經(jīng)濟價值的衡量、數(shù)據(jù)資源投入產(chǎn)出效益的評價,夯實經(jīng)濟利益的分析基礎(chǔ)。作為推動數(shù)據(jù)資源入表的必不可少的重要環(huán)節(jié),數(shù)據(jù)資產(chǎn)評估是保障數(shù)據(jù)資產(chǎn)價值可靠計量、準確披露的關(guān)鍵手段,也是探討科學(xué)公平確定不同主體間數(shù)據(jù)資源收益分配的基礎(chǔ)。第四步:相關(guān)成本的合理歸集與分攤數(shù)據(jù)資源的成本不僅僅包含外購過程中發(fā)生的購買價款、相關(guān)稅費,還可能包括數(shù)據(jù)合規(guī)成本、治理成本、權(quán)屬鑒定、登記成本以及需要分攤的間接成本等。數(shù)據(jù)資源典型的特征是具有伴生性,如何進行合理的成本分攤以確保數(shù)據(jù)資源成本的完整性是當前的實務(wù)難點。在數(shù)據(jù)資源相關(guān)成本歸集與分攤過程中,企業(yè)業(yè)務(wù)運營成本與數(shù)據(jù)產(chǎn)生成本往往難以明確區(qū)分,例如,信息系統(tǒng)在支撐主業(yè)經(jīng)營的同時也產(chǎn)生經(jīng)營數(shù)據(jù),業(yè)務(wù)支撐成本與數(shù)據(jù)資源產(chǎn)生成本應(yīng)如何進行界定和區(qū)如果企業(yè)期望實現(xiàn)數(shù)據(jù)資源的會計“入表”,則必須滿足“成本能夠可靠地計量”的前提條件。企業(yè)需要提前規(guī)劃,形成準確的數(shù)據(jù)血緣圖譜,厘清數(shù)據(jù)資產(chǎn)化過程所占用的企業(yè)資源,配套建立統(tǒng)一、合理的數(shù)據(jù)資源的成本歸集與分攤機制,并最終通過信息化途徑進行落地。第五步:列報與披露適當?shù)呐队欣趯⑵髽I(yè)已經(jīng)費用化的數(shù)據(jù)投入顯性化,將企業(yè)的隱形價值可視化、透明化,有利于驅(qū)動企業(yè)價值的提升。此外,對數(shù)據(jù)資產(chǎn)評估的估值參數(shù)、假設(shè)與模型的披露要求,也將倒逼企業(yè)建立更加精細的內(nèi)部管理流程,幫助企業(yè)厘清數(shù)據(jù)資產(chǎn)價值的構(gòu)成、來源和實現(xiàn)方式。4.數(shù)據(jù)共享與開放數(shù)據(jù)共享與開放均為實現(xiàn)數(shù)據(jù)資產(chǎn)化重要方式。在《數(shù)據(jù)治理-工業(yè)企業(yè)數(shù)字化轉(zhuǎn)型之道》中的解釋是:數(shù)據(jù)共享主要指的是面向企業(yè)內(nèi)部的數(shù)據(jù)流動,其中由數(shù)據(jù)應(yīng)用單位提出企業(yè)內(nèi)部跨組織跨部門的數(shù)據(jù)獲取需求,由對應(yīng)數(shù)據(jù)供給單位進行授權(quán)并由信息部門向該數(shù)據(jù)應(yīng)用部門開放數(shù)據(jù)訪問權(quán)限。而數(shù)據(jù)開放則指企業(yè)向政府部門、外部企業(yè)、組織和個人等外部用戶提供數(shù)據(jù)的行為。采用通用數(shù)據(jù)標準和互操作性較高的系統(tǒng),這簡化了跨不同平臺和系統(tǒng)的數(shù)據(jù)集成,使袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書數(shù)據(jù)資產(chǎn)的外部流通更具有指向性和目性,將不同屬性的數(shù)據(jù)關(guān)聯(lián)融合,以共用、開放、交易、聚合等形式進行外部流通數(shù)據(jù)資產(chǎn)的外部流通更具有指向性和目性,將不同屬性的數(shù)據(jù)關(guān)聯(lián)融合,以共用、開放、交易、聚合等形式進行外部流通圖13數(shù)據(jù)資產(chǎn)流通2023年8月24日,上海市經(jīng)濟信息化委于印發(fā)了《上海市公共數(shù)據(jù)開放袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書5月20日,國家發(fā)改委等四部門印發(fā)《關(guān)于深化智慧城市發(fā)展推進城市全域數(shù)字化轉(zhuǎn)型的指導(dǎo)意見》,從全領(lǐng)域推進城市數(shù)字化轉(zhuǎn)型、全方位增強城市數(shù)字化轉(zhuǎn)型支撐、全過程優(yōu)化城市數(shù)字化轉(zhuǎn)型生態(tài)等5個方面提出13項具體舉措?!吨笇?dǎo)意見》提出,構(gòu)建數(shù)據(jù)要素賦能體系。加快推進數(shù)據(jù)產(chǎn)權(quán)、流通交易、收益分配、安全治理等制度建設(shè),促進數(shù)據(jù)要素高效流通和使用。加快完善省、市兩級政務(wù)數(shù)據(jù)平臺,整合構(gòu)建全國一體化政務(wù)大數(shù)據(jù)體系。有序推動公共數(shù)據(jù)開放。這些政策的實施,一方面能夠推動數(shù)據(jù)的更廣泛、更深層次的開放,賦能治理、經(jīng)濟、生活各領(lǐng)域城市數(shù)字化轉(zhuǎn)型;另一方面,也有利于提升數(shù)據(jù)質(zhì)量,實現(xiàn)并保持開放數(shù)據(jù)按時更新,持續(xù)開展數(shù)據(jù)質(zhì)量維護。隨著市場運行機制的逐步完善,政府、企業(yè)及個人間在協(xié)商數(shù)據(jù)共享和開放時便有法律和制度上的參考和依據(jù),進而實現(xiàn)數(shù)據(jù)資產(chǎn)化的快速推進。5.數(shù)據(jù)消費數(shù)據(jù)消費一方面能夠為企業(yè)的業(yè)務(wù)應(yīng)用層提供準確且高度標準化的數(shù)據(jù),支撐業(yè)務(wù)決策科學(xué)、敏捷行動;另一方面,它又能從前臺業(yè)務(wù)源源不斷地汲取新的數(shù)據(jù),豐富數(shù)據(jù)資產(chǎn),并倒逼企業(yè)在數(shù)據(jù)資產(chǎn)層不斷優(yōu)化數(shù)據(jù)質(zhì)量、提升研發(fā)效率,實現(xiàn)數(shù)據(jù)基建能力的升級?!駴Q策支持企業(yè)可以借助數(shù)據(jù)分析和挖掘技術(shù),利用數(shù)據(jù)資產(chǎn)為企業(yè)的決策提供支持。例如,企業(yè)可以利用市場數(shù)據(jù)、銷售數(shù)據(jù)、客戶數(shù)據(jù)等來分析市場趨勢、預(yù)測銷售情況、了解客戶需求等,從而制定更加科學(xué)、有效的決策?!駜?yōu)化運營企業(yè)可以利用數(shù)據(jù)來優(yōu)化運營流程和業(yè)務(wù)模式,提高效率和降低成本。例如,企業(yè)可以利用生產(chǎn)數(shù)據(jù)、物流數(shù)據(jù)等來優(yōu)化生產(chǎn)流程、物流配送等,從而提高生產(chǎn)效率和降低運營成本?!裉嵘蛻趔w驗●創(chuàng)新業(yè)務(wù)●提高競爭力企業(yè)可以通過數(shù)據(jù)分析來提高其競爭力和市場地位。例如,企業(yè)可以利用競爭對手數(shù)據(jù)、行業(yè)趨勢等來了解市場動態(tài)和競爭對手的策略,從而制定更加有效的競爭策略。數(shù)據(jù)資產(chǎn)管理工具數(shù)據(jù)開發(fā)數(shù)據(jù)資產(chǎn)-------數(shù)據(jù)共享---------工具特色--袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書隨著數(shù)據(jù)的重要性日益顯著,數(shù)據(jù)資產(chǎn)管理成為激發(fā)組織數(shù)據(jù)要素活力、加速數(shù)據(jù)價值釋放的關(guān)鍵,數(shù)據(jù)已成為新一輪科技革命和產(chǎn)業(yè)變革的核心要素,對于構(gòu)建現(xiàn)代化經(jīng)濟體系具有至關(guān)重要的作用。其中平臺與工具意味著生產(chǎn)力,是開展數(shù)據(jù)資產(chǎn)管理不可或缺的底層基石,通過一體化的系統(tǒng)框架體系,集中對數(shù)據(jù)進行收集與整合、提取與管理、數(shù)據(jù)監(jiān)控運維與服務(wù)運營以及對數(shù)據(jù)進行安全保護,不僅將傳統(tǒng)數(shù)據(jù)管理工具各個組件進行了整合,更是將其進行打通與融合,通過自動化的方式對數(shù)據(jù)進行全面的管理、保護和利用,提高數(shù)據(jù)的質(zhì)量和價值,實現(xiàn)數(shù)據(jù)在平臺上的有效運轉(zhuǎn)。一個支持不斷演進、靈活、解耦、可擴展、自主可控并獲得安全授權(quán)的平臺框架顯得尤為重要,以下是袋鼠云數(shù)據(jù)資產(chǎn)管理工具架構(gòu):金融先進制造k和z水k交通物流公共安全高校教育文旅景區(qū)戶數(shù)據(jù)洞行業(yè)標簽系統(tǒng)集成客戶畫像多維洞察客戶數(shù)據(jù)高效服務(wù)迭代式全域標簽治指標體系與模型規(guī)范化域指相指標全鏈路信創(chuàng)適全域數(shù)據(jù)安全-站式數(shù)據(jù)開發(fā)多引擎兼容異構(gòu)數(shù)據(jù)同步雜任務(wù)調(diào)度連路C開源開放優(yōu)化加速大數(shù)據(jù)存儲計算平臺EasyMF安全穩(wěn)定智能運維自主可控數(shù)據(jù)沽其他廣商圖14袋鼠云數(shù)據(jù)資產(chǎn)管理工具架構(gòu)(一)數(shù)據(jù)開發(fā)數(shù)據(jù)治理的流程與數(shù)據(jù)開發(fā)的全生命周期相融合,在數(shù)據(jù)開發(fā)過程中完成數(shù)據(jù)熱度和成本計算,優(yōu)化數(shù)據(jù)生產(chǎn)成本、量化數(shù)據(jù)收益價值,廣泛應(yīng)用于數(shù)據(jù)中袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書臺建設(shè)的中后期階段。平臺覆蓋了日常數(shù)據(jù)治理過程中的核心資產(chǎn)管理模塊。離線開發(fā)平臺是數(shù)據(jù)中臺中的基座,包含全鏈路的數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、周期調(diào)度、任務(wù)運維、監(jiān)控告警等功能,具備靈活的多集群、多引擎對接能力。采用先進的大數(shù)據(jù)生態(tài)底層技術(shù),通過Hadoop等開放的體系架構(gòu)提供離線計算框架,具備高性能且功能豐富的大數(shù)據(jù)處理能力,可以最大化地萃取數(shù)據(jù)價值,完整實現(xiàn)數(shù)據(jù)應(yīng)用的閉環(huán)。在提供開發(fā)環(huán)境和平臺接口的同時,對大數(shù)據(jù)離線計算、數(shù)據(jù)倉庫建設(shè)、企業(yè)圖譜等多種應(yīng)用提供有效支撐。同時還擁有多項自研核心技術(shù),幫助企業(yè)快速完成數(shù)據(jù)中臺離線計算部分的建設(shè),加速釋放數(shù)據(jù)價值。支持更規(guī)范、更快捷的建模方式,基于數(shù)據(jù)標準,實現(xiàn)可視化、配置化的的建表建模及審批等流程管控。開發(fā)人員除了進行數(shù)據(jù)同步和數(shù)據(jù)開發(fā)之外,還需要保證平臺能夠周期性正常產(chǎn)出數(shù)據(jù)。絕大多數(shù)的離線任務(wù)都是周期運行的,任務(wù)中的錯誤代碼、節(jié)點運行異常等問題都會導(dǎo)致任務(wù)失敗,因此需要運維中心來監(jiān)控每個任務(wù)的運行情況,并記錄每個任務(wù)的運行日志,協(xié)助開發(fā)人員排查各種異常問題。離線開發(fā)平臺運維中心主要功能包括重刷歷史數(shù)據(jù)、管理任務(wù)實例、監(jiān)控告警。對任務(wù)指定多種異常狀態(tài)進行告警發(fā)送,自動監(jiān)控每個任務(wù)的運行狀態(tài)并匯總顯示,自動統(tǒng)計最近一段的任務(wù)運行情況,匯總易出錯的任務(wù)、耗時較長的任務(wù),協(xié)助用戶排查代碼質(zhì)量、平臺運行情況。在項目管理中可開啟任務(wù)運行情況報告,定時發(fā)送指定人員。以下是袋鼠云離線開發(fā)平臺的主要特點和優(yōu)勢:1.開放兼容的開發(fā)環(huán)境,廣泛支持多類型多版本的底座,包括開源/商用的2.海量的異構(gòu)數(shù)據(jù)同步,自研分布式同步引擎ChunJun,可在多種異構(gòu)數(shù)據(jù)源之間進行海量的數(shù)據(jù)同步,可視化的頁面封裝幫助用戶便捷地完成數(shù)據(jù)同步任務(wù)配置實時開發(fā)平臺,面向?qū)崟r數(shù)倉構(gòu)建的云原生一站式大數(shù)據(jù)實時開發(fā)平臺,實現(xiàn)從實時數(shù)據(jù)采集、實時數(shù)據(jù)處理、任務(wù)監(jiān)控運維的全鏈路覆蓋?;谙冗M的Chunjun計算框架,具備高性能且功能豐富的大數(shù)據(jù)實時處理能力。計算處理延時最低可達亞秒級別,并提供豐富的Metric運維監(jiān)控曲線和日志功能。并且計算引擎(Chunjun1.10/Chunjun1.12)和調(diào)度引擎(Yarn/K8S)支持根據(jù)實際進行調(diào)整,從而快速實現(xiàn)實時智能推薦、IoT傳感信息分析、實時反欺詐等場景,助力企業(yè)搭建實時數(shù)據(jù)處理平臺。在傳統(tǒng)的實時開發(fā)過程中,每個任務(wù)需要開發(fā)任務(wù)臨時映射FlinkTable,相關(guān)內(nèi)容無法沉淀并且重復(fù)開發(fā)。Flink建表可賦能實時開發(fā)平臺,一次創(chuàng)建重復(fù)使用,并可結(jié)合數(shù)據(jù)權(quán)限管理保護數(shù)據(jù)安全,支持Kafka2.X、Kafka0.10、MySQL、Oracle數(shù)據(jù)源類型,通過映射Kafka字符串和RDBMS表結(jié)構(gòu),轉(zhuǎn)化為FlinkTable的表結(jié)構(gòu)。1.流批一體,一個實時任務(wù)即可實現(xiàn)全/增量數(shù)據(jù)采集開發(fā)的自動切換和無縫銜接,降低開發(fā)成本的同時又能滿足多種數(shù)據(jù)處理場景2.數(shù)據(jù)還原,實時采集時自動還原上游數(shù)據(jù)和數(shù)據(jù)結(jié)構(gòu),縮短實時處理鏈路,有效減少實時任務(wù)的失敗頻率和數(shù)據(jù)清洗成本3.湖倉兼容,支持數(shù)據(jù)的實時入湖、入倉,為下游數(shù)據(jù)分析提供更近實時的數(shù)據(jù)基礎(chǔ),極速響應(yīng)業(yè)務(wù)需求4.實時全鏈路,平臺集成Kafka管理,并且覆蓋實時采集、實時開發(fā)、實時運維全流程鏈路,一站式滿足實時計算需求(二)數(shù)據(jù)資產(chǎn)供“全、統(tǒng)、通”的元數(shù)據(jù)基礎(chǔ)。袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書數(shù)據(jù)標準數(shù)據(jù)標準數(shù)據(jù)分布數(shù)據(jù)標準昆數(shù)據(jù)模型數(shù)據(jù)模型標準來源示準元數(shù)據(jù)同步數(shù)據(jù)質(zhì)量致性比對跨數(shù)據(jù)源比對Oracle數(shù)據(jù)源質(zhì)量分析報告MySQLHBasesQLServerSparkthrift離線平臺API平臺TiDB實時平臺治理任務(wù)管理治理白名單管理元數(shù)據(jù)變更趨勢元數(shù)據(jù)查詢熱度數(shù)據(jù)新增趨勢標準新增趨勢治理規(guī)則管理治理項目管理標準自動聯(lián)想模型發(fā)布審批代碼檢查規(guī)則代碼檢查事件數(shù)據(jù)價值TOP數(shù)據(jù)存儲TOP一次性治理治理概覽個人工作臺數(shù)據(jù)庫拾取碼表管理詞根管理數(shù)倉分層規(guī)范設(shè)計艮定技術(shù)限定數(shù)據(jù)涪理模型設(shè)計元數(shù)據(jù)數(shù)據(jù)表碼檢查信息圖15數(shù)據(jù)資產(chǎn)管理平臺架構(gòu)圖資產(chǎn)盤點從全局視角匯總了平臺內(nèi)的數(shù)據(jù)資產(chǎn),包括已接入的數(shù)據(jù)源、數(shù)據(jù)地圖分布、數(shù)據(jù)目錄分布、存儲資源情況、數(shù)據(jù)價值分析、元數(shù)據(jù)變化趨勢等。企業(yè)可通過資產(chǎn)大盤分析整體資產(chǎn)的變化趨勢、分布情況、價值排行、存儲占比等信息,全面了解數(shù)據(jù)資產(chǎn)的整體情況,為管理層提供資產(chǎn)可視化入口,輔助管理層制定建設(shè)方向決策。)DataAssets資產(chǎn)盤點元數(shù)據(jù)數(shù)據(jù)標準數(shù)據(jù)模型數(shù)據(jù)質(zhì)量數(shù)據(jù)治理數(shù)據(jù)安全平臺管理②@本頁面數(shù)據(jù)都是針1更新,最近更新時間:2023-0實時任務(wù)數(shù)量:048.59%據(jù)據(jù)袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書圖16數(shù)據(jù)資產(chǎn)盤點圖17數(shù)據(jù)地圖袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書新增周期同步任務(wù)|選擇數(shù)據(jù)數(shù)據(jù)源數(shù)據(jù)庫nuyun_test_assets(Hive2.x)選擇數(shù)據(jù)庫數(shù)據(jù)表擇數(shù)據(jù)表添加全部全部請選擇數(shù)據(jù)庫輸入表名元數(shù)據(jù)臨時同步內(nèi)容②O全部內(nèi)容○除表行數(shù)和存儲的全部內(nèi)容圖18新增同步任務(wù)(3)元模型管理完成元數(shù)據(jù)采集后,可根據(jù)具體業(yè)務(wù)需求,進行元數(shù)據(jù)的規(guī)范化管理,提升(4)元數(shù)據(jù)管理通過元數(shù)據(jù)管理,用戶可以基于元模型設(shè)計的規(guī)范約束,維護表的業(yè)務(wù)元數(shù)袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書圖19元數(shù)據(jù)管理(5)血緣分析通過血緣分析能力,企業(yè)可及時發(fā)現(xiàn)一些肯定存在血緣關(guān)系,但是血緣關(guān)系據(jù)庫信息,平臺會根據(jù)血緣sql解析的解析結(jié)果,統(tǒng)計庫中血緣孤立的表,輔助建立數(shù)據(jù)標準可對存量數(shù)據(jù)進行后向管理,映射至已有元數(shù)據(jù)全局統(tǒng)計分析該模塊的數(shù)據(jù)標準、碼表、詞根,包括看板統(tǒng)計、標準熱度、AssetsAssets數(shù)據(jù)質(zhì)38022159生產(chǎn)類型金額姓名終止付款方應(yīng)付.項目名稱用戶名稱標準趨勢③數(shù)據(jù)標準標準來源分布②數(shù)據(jù)標準圖20數(shù)據(jù)標準數(shù)據(jù)模型主要面向設(shè)計,融合了數(shù)據(jù)治理理念,把數(shù)據(jù)治理推進到開發(fā)流程28袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書中,進行開發(fā)態(tài)的源頭治理,利用數(shù)據(jù)標準進行標準建模,解決了標準落地的難題,從根本上控制企業(yè)增量的數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)模型提供了更規(guī)范、更便捷的建模方式,基于數(shù)據(jù)標準,實現(xiàn)可視化、配置化的建表建模及審批等流程管控,支持對Hive、MySQL、Inceptor、ADBpgsql、StarRocks等多種類型數(shù)據(jù)庫的規(guī)范建表。Dats資產(chǎn)新建Hive表基礎(chǔ)信息②表結(jié)構(gòu)數(shù)批審批受權(quán)ORCTEXTFILEData資產(chǎn)盤安全平臺管理②新建Hive表基礎(chǔ)信息結(jié)構(gòu)圖22向?qū)Щū?表結(jié)構(gòu)5.數(shù)據(jù)質(zhì)量通過對數(shù)據(jù)進行質(zhì)量校驗,可幫助企業(yè)及時發(fā)現(xiàn)數(shù)據(jù)問題。采用事前規(guī)則配(1)規(guī)則配置Data/(2)任務(wù)管理DataAssets產(chǎn)盤元數(shù)據(jù)據(jù)標據(jù)模開據(jù)質(zhì)@dtstack.com數(shù)據(jù)安全平臺管理@dtstack.com規(guī)則任務(wù)配置測試任務(wù)實例查詢02010afds園質(zhì)量報告項目管理項目信息臟數(shù)據(jù)管理AySshare_listed_company_infolad測試hare_listed_company_inf則試_share_listed_company_info/則試校驗異常QLsql_share_listed_company_info測試校驗異常驗MySQLlin_mysg共8條數(shù)據(jù),每頁顯示20條<[20條圖24數(shù)據(jù)質(zhì)量任務(wù)管理DataAssets產(chǎn)盤點數(shù)據(jù)模型數(shù)據(jù)質(zhì)質(zhì)量報告nfo)數(shù)據(jù)表質(zhì)量報告概覽規(guī)則任務(wù)配置&任務(wù)實例查詢分值關(guān)聯(lián)0#3四過次3100%量報告re_listed_company_info總分區(qū)數(shù)量數(shù)據(jù)源類型MySQI項管理項目臟婁最近30次綜合報告0.01最近30次表級統(tǒng)計最近30次表數(shù)據(jù)波動圖②一記錄數(shù)一總告警數(shù)2024-04:28圖25數(shù)據(jù)質(zhì)量報告袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書ataAssets資產(chǎn)盤點元數(shù)據(jù)數(shù)據(jù)標準數(shù)據(jù)模型數(shù)據(jù)質(zhì)量●質(zhì)量校驗過程中,系統(tǒng)會生成一些臨時表,用于存儲不滿足校驗規(guī)則的明細數(shù)據(jù)。這些數(shù)據(jù)默認會回寫至校驗數(shù)據(jù)源的源庫中,默認存儲時效90天,您也可以通過該菜單的配置功能,選擇默認源庫,修改默認的存儲時效,或者將這些數(shù)據(jù)寫入指定的數(shù)據(jù)庫(僅限同一IP:Port下)因配置任務(wù)查詢實時校驗項目名稅數(shù)據(jù)臟數(shù)據(jù)存儲庫數(shù)據(jù)存儲時效創(chuàng)建人Trino15685Trinohive/123digital_dtstack90admin@圖26臟數(shù)據(jù)管理6.數(shù)據(jù)治理數(shù)據(jù)治理可持續(xù)監(jiān)控平臺使用過程中數(shù)據(jù)存儲、任務(wù)計算、代碼開發(fā)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)規(guī)范、數(shù)據(jù)價值等維度存在的問題,并通過資產(chǎn)健康分的量化評估,從全局、項目、個人多個視圖角度呈現(xiàn)治理成果,推動企業(yè)完善數(shù)據(jù)規(guī)范、優(yōu)化數(shù)據(jù)質(zhì)量、節(jié)約資源、降本增效,幫助企業(yè)高效達成治理目標,讓數(shù)據(jù)資產(chǎn)發(fā)揮(1)治理概覽數(shù)據(jù)治理成果總覽以全景視圖、項目視圖、個人視圖多個視圖維度匯總展示治理概況,展示內(nèi)容包含項目數(shù)量、任務(wù)數(shù)量、數(shù)據(jù)表數(shù)、待治理項數(shù)、資產(chǎn)健康分、分值變化趨勢、治理項變化趨勢等內(nèi)容,便于企業(yè)全方位了解治理概況。袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書②②治理工作臺73,597治理配置康分一存儲計算分一計算健康分小文件治理2,943圖27數(shù)據(jù)治理概覽(2)治理工作臺搭建數(shù)據(jù)治理工作臺,治理工作臺可支持發(fā)起治理任務(wù),并展示待處理的問題,處理方式建議,處理責任人及進展等,實現(xiàn)數(shù)據(jù)治理問題處理流程閉環(huán),對數(shù)據(jù)治理過程的全生命周期進行管理。處理問題數(shù)個人工作臺項目切換bacth_base60待處理問題數(shù)33已延期問題數(shù)加入白名單問題數(shù)0理截止時間表名數(shù)據(jù)庫所屬數(shù)據(jù)源處理截止時間派發(fā)人處理人操作plkitdtstackANAIYTICD:53:54n@xinyue@dtstack處理空表diag_skew_table:adb0olkitdtstack_ANALYTICD09.16.15:53:42dmin@xinyue@dtstack處理itor_4kqbergjru13bacthbase60STA.admin@admin@dtstack處理testcks_syncbacth_base60_STA.admin@admin@dtstack處理空表estocksbacthbase60STA.admin@dmin@dtstack處理est_101x5teststarbacthbase60STAadmin@dmin@dtstack處理-01testckssyncpachbase60STAadmin@admi處理2030testocksbacthbasadmin@dmiItstack處理assets_03test_starrocksbacth_base60_STA.admin@admin@dtetoa_sharlisted_compancks_syncadmtack共169條數(shù)據(jù),每頁顯示20條12圖28數(shù)據(jù)治理工作臺(3)治理配置平臺提供治理規(guī)則配置管理,可從計算、存儲、質(zhì)量、規(guī)范、價值五個維度袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書進行配置,通過制定不同維度的治理規(guī)則,幫助企業(yè)優(yōu)化存儲成本、避免資源浪費、提升數(shù)據(jù)質(zhì)量、推動標準規(guī)范,實現(xiàn)數(shù)據(jù)價值。(4)代碼檢查平臺內(nèi)置一些基礎(chǔ)的SQL代碼檢查規(guī)則,也支持用戶自行開發(fā)SQL檢查jar包上傳,開啟后可針對離線任務(wù)進行SQL規(guī)范性檢查,針對不同類型的不規(guī)范SQL進行禁止運行/提交或提示等操作。(5)小文件治理針對hive易出現(xiàn)的小文件問題,平臺支持進行數(shù)據(jù)文件治理,通過配置文件治理規(guī)則可實現(xiàn)周期1一次性的小文件合并,并直觀地看到治理效果,提升hive/SparkSQL的查詢效率。DataAssetsDataAssets資產(chǎn)盤點元數(shù)據(jù)數(shù)據(jù)標準數(shù)據(jù)模型數(shù)據(jù)質(zhì)量數(shù)據(jù)治理數(shù)據(jù)安全平臺管理②admin@非分區(qū)表按表(對分區(qū)表按分區(qū),且根據(jù)數(shù)據(jù)更新時間的升序)進行數(shù)據(jù)文件合并,使表/分區(qū)數(shù)據(jù)文件的大小接近128M。注意數(shù)據(jù)文件正在治理時進行任務(wù)運行可能導(dǎo)致表相關(guān)任務(wù)失文件治理記錄圖29文件治理規(guī)則指標資產(chǎn)可視作數(shù)據(jù)資產(chǎn)的一種特定應(yīng)用或衍生形式,是從狹義的數(shù)據(jù)資產(chǎn)中提取的、具有高度決策相關(guān)性的信息精華。指標資產(chǎn)指的是那些用來衡量組織績效、市場狀況、項目進展或特定業(yè)務(wù)領(lǐng)域的關(guān)鍵量化指標。這些指標通?;诘讓訑?shù)據(jù)資產(chǎn)計算得出,例如財務(wù)比率(如利潤率、資產(chǎn)負債率)、運營指標(如客戶流失率、轉(zhuǎn)化率)、市場指標(如市場份額、品牌知名度評分)等。指標資產(chǎn)的形成有助于將大量復(fù)雜數(shù)據(jù)簡化為可度量的關(guān)鍵點,便于管理層快速理解組織狀態(tài),指導(dǎo)決策。而指標資產(chǎn)管理則側(cè)重于如何選擇、定義、計算、袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書監(jiān)控和利用這些指標來驅(qū)動業(yè)務(wù)優(yōu)化和戰(zhàn)略執(zhí)行。袋鼠云提供的指標管理平臺(DataIndex),是一個一站式指標開發(fā)管理平臺。作為一個整合性的指標管理解決方案平臺,DataIndex無縫融合了從指標的標準化定義到標準化開發(fā)落地的全過程,通過消除數(shù)據(jù)解釋的歧義,平臺成功架設(shè)出業(yè)務(wù)與技術(shù)溝通的橋梁,減少兩者之間的理解成本,為構(gòu)建企業(yè)范圍內(nèi)的數(shù)據(jù)指標體系奠定了堅實基礎(chǔ),同時助力企業(yè)積累寶貴的指標知識資產(chǎn)。此外,平臺提供上層的綜合查詢、共享服務(wù)、取數(shù)分析等應(yīng)用,有效提升了用戶獲取、消費指標數(shù)據(jù)的及時性與有效性。通過構(gòu)建高度針對性的業(yè)務(wù)分析場景,平臺確保指標的精確應(yīng)用,為決策過程提供了精準的輔助信息,使企業(yè)決策更加科學(xué)、高效。門戶門戶指標APIAl智圖30指標管理平臺平臺整體基于先進的大數(shù)據(jù)底層生態(tài)技術(shù),支持EasyMR、CDH、TDH、HDP、Hive、Trino等大數(shù)據(jù)存儲計算引擎,平臺覆蓋了指標的生產(chǎn)開發(fā)、發(fā)布下線計算落地、分析應(yīng)用等全周期的管理過程。目前主要包括指標市場、指標開發(fā)、運維中心、指標應(yīng)用等核心模塊。指標市場模塊匯集所有發(fā)布的指標,用戶可根據(jù)指標元數(shù)據(jù)信息快速精準地把控指標資產(chǎn)的全生命周期。指標中心模塊作為指標生產(chǎn)場所,主要面向管理人員、相關(guān)的技術(shù)人員及有一定技術(shù)能力的業(yè)務(wù)人員使用,提供指標的開發(fā)和管理能力。通過指標中心,企業(yè)可以標準化的快速準確地搭建指標體系,在線開發(fā)指標,迭代指標資產(chǎn),為上層指標市場的指標資產(chǎn)沉淀提供數(shù)據(jù)基礎(chǔ),同時也提供了相關(guān)的安全配置內(nèi)容,全面保障指標的質(zhì)量和安全。運維中心模塊負責管理平臺生成的所有指標任務(wù),保障指標計算結(jié)果的正常產(chǎn)出,及時發(fā)現(xiàn)問題并解決問題。平臺內(nèi)置的調(diào)度引擎可以有效保障指標周期性計算任務(wù)的正常運行,針對重點指標,可以通過告警監(jiān)控,及時發(fā)現(xiàn)問題解決問指標應(yīng)用模塊是指標資產(chǎn)的上層應(yīng)用中心,針對現(xiàn)有的指標資產(chǎn),可一鍵生成指標API,提供數(shù)據(jù)服務(wù)。同時可在線基于指標做結(jié)果查詢,實現(xiàn)對業(yè)務(wù)的有效支撐。產(chǎn)品有如下核心特性及優(yōu)勢:1.一站式指標管理覆蓋指標管理從定義、開發(fā)、調(diào)度、落地、發(fā)布、應(yīng)用的全過程,提供一站式的指標開發(fā)服務(wù),通過平臺能夠?qū)崿F(xiàn)指標管理中的各個過程,落地指標管理全流程,統(tǒng)一指標管理規(guī)范,沉淀指標資產(chǎn)。2.雙視角精準服務(wù)針對傳統(tǒng)指標開發(fā)過程中,技術(shù)和業(yè)務(wù)不互通的情況,平臺會分別提供面向業(yè)務(wù)人員和技術(shù)人員雙視角的指標管理服務(wù):●面向業(yè)務(wù)人員提供指標數(shù)據(jù)查詢能力通過指標市場功能,快速查詢獲取指標的全部信息,掌握指標動態(tài)。袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書●面向技術(shù)人員提供指標開發(fā)運維能力通過指標開發(fā)功能,方便技術(shù)人員在線開發(fā)指標,并且支持發(fā)布已經(jīng)開發(fā)完成的指標到指標市場中。圖32指標開發(fā)在平臺上,技術(shù)人員在線開發(fā)完成指標,發(fā)布后,業(yè)務(wù)人員就能在指標市場中查詢獲取到,并且可以一鍵掌握指標所有相關(guān)信息,不管是基本信息、技術(shù)信袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書息、還是血緣分析或者版本記錄信息,均能夠通過平臺清晰準確地獲取到。3.規(guī)范化指標體系建設(shè)平臺提供指標開發(fā)功能的同時,也搭建了一套基礎(chǔ)的指標管理方法論,即通過指標的分類,結(jié)合指標的開發(fā)方式,將指標開發(fā)按照指標類型分為原子指標、派生指標、復(fù)合指標、自定義指標四種,同時基于指標開發(fā)方式將指標開發(fā)分為基于模型開發(fā)、基于指標開發(fā)、自定義sql開發(fā)三種方式,通過指標類型與指標開發(fā)方式的結(jié)合,搭建企業(yè)標準指標體系。用戶在平臺上基于這一套方法論開發(fā)指標,不僅降低了技術(shù)門檻,也沉淀了標準的指標資產(chǎn)。派生指標原子指標+過濾條件+統(tǒng)計周期+派生維度,如近7天賬戶消費金額、去年賬戶余額總和、當天產(chǎn)品銷售金額等復(fù)合指標多個指標的組合拼接,如平均用戶交易額、資產(chǎn)負債率等原子指標某一業(yè)務(wù)行為事件的計算邏輯設(shè)置,統(tǒng)計數(shù)據(jù)來源,如交易筆數(shù)、交易金額、交易用戶數(shù)、賬戶余額等通過自定義sql語句生成的指標,適應(yīng)復(fù)雜的指標配置邏輯,滿足開發(fā)人員不同的指標開發(fā)場景圖33指標分類4.可視化輕代碼開發(fā)針對指標開發(fā),平臺提供了可視化的操作配置界面,簡單快速配置指標生成技術(shù)口徑,降低指標開發(fā)的技術(shù)門檻,讓不懂SQL的用戶也能夠根據(jù)業(yè)務(wù)邏輯,整體的開發(fā)指標方式,均采用向?qū)脚渲梅绞?,用戶更多的是去下拉選擇,點擊輸入相關(guān)的配置信息,生成指標。袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書指標定義>新增派生指標⑦置基本信息完成圖34指標開發(fā)向?qū)А窨梢暬侠Щ诂F(xiàn)有的指標,提供可視化的畫布操作界面,用戶可以直接基于自己對業(yè)務(wù)邏輯的理解和需求,選擇現(xiàn)有的指標拖動到界面中,拼接指標計算公式形成新的指標,平臺會自動根據(jù)頁面配置的邏輯生成指標的技術(shù)口徑,全程無代碼即可生成指標,滿足多樣化的指標配置場景,降低技術(shù)開發(fā)成本。指標定義/編輯復(fù)合指標/當日賬戶資產(chǎn)總額指標定義/編輯復(fù)合指標/當日賬戶資產(chǎn)總額設(shè)置技術(shù)信息②設(shè)置基本信息設(shè)置調(diào)度完成A圖35可視化開發(fā)袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書自動解析指標上下游血緣鏈路,通過可視化圖譜的方式,簡潔直觀地展示指標的血緣關(guān)系,為指標溯源、問題定位、指標影響力評估提供數(shù)據(jù)基礎(chǔ)。指標市場指標市場詳情調(diào)用周期:每天01:00更新數(shù)據(jù)公存款圖36自動解析指標血緣此外,對于業(yè)務(wù)場景發(fā)生變更的情況,修改上游指標后,下游指標也會同步更新,保證任務(wù)正常有序運行。6.靈活的目錄設(shè)計提供自定義的多級目錄設(shè)計,支持用戶根據(jù)實際的業(yè)務(wù)情況在線進行數(shù)據(jù)分類,制定貼合實際使用場景的多級目錄,規(guī)范化管理指標的分類,方便使用時快速地定位到對應(yīng)的分類目錄,滿足不同的業(yè)務(wù)場景。7.全面的業(yè)務(wù)管理平臺提供統(tǒng)一的維度管理方式,所有指標通過維度對象、維度屬性的維度體系對指標維度進行管理,系統(tǒng)可自動識別指標間維度的一致性,業(yè)務(wù)人員也可輕松對指標進行維度聚合分析。平臺也提供統(tǒng)一的業(yè)務(wù)限定場景管理,指標加工過程可直接依賴業(yè)務(wù)限定場圖37指標版本對比袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書●可視化配置提供Web化界面,快捷配置指標調(diào)度任務(wù)信息;指標定義>新增派生指標②設(shè)置技術(shù)信息……設(shè)置基本信息0m調(diào)屬性依表+添加依賴②任務(wù)名稱項目名稱稱戶稱index_code2(復(fù)合1)功能演示指標理分析DT_amo跨周期依賴支持設(shè)置指標任務(wù)的跨周期依賴屬性●不依賴上一調(diào)度周期O自依賴,等待上一調(diào)度周期成功,才能繼續(xù)運行白依賴等待上—調(diào)度周期結(jié)束,才能繼續(xù)運行(任務(wù)結(jié)束包括成功、失敗、取消3種情況)圖38指標配置向?qū)А裰芷谂c依賴支持DAG模式的依賴配置查看,支持任務(wù)凍結(jié)、失敗重試、任務(wù)實例失敗時自動跳過策略。袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書前往任務(wù)實例2021-02-2202:00:00(成功)2021-02-2102:00:00(成功)2021-02-2002:00:00(成功)轉(zhuǎn)到前一周期實例前往任務(wù)實例2021-02-2202:00:00(成功)2021-02-2102:00:00(成功)2021-02-2002:00:00(成功)轉(zhuǎn)到前一周期實例轉(zhuǎn)到下一周期實例修改任務(wù)刷新任務(wù)實例終止置成功并恢復(fù)調(diào)整模型在線部署2021-02-1902:00:00(成功)2021-02-1802:00:00(成功)2021-02-1702:00:00(成功)指標計算任務(wù)1指標計算任務(wù)3指標計算任務(wù)5指標計算任務(wù)6指標計算任務(wù)2指標計算任務(wù)4圖39指標依賴配置10.及時監(jiān)控及時告警及時解決針對指標的計算結(jié)果,平臺提供相關(guān)的監(jiān)控告警功能,用戶可以基于業(yè)務(wù)場景在線配置告警規(guī)則,當指標結(jié)果出現(xiàn)異常時,通過短信、郵箱、釘釘?shù)确绞剑皶r接收到對應(yīng)的告警信息,隨時隨地掌握運行情況,及時發(fā)現(xiàn)問題,解決問題。袋鼠云數(shù)據(jù)資產(chǎn)管理白皮書今日告警數(shù)0近7天告警數(shù)3近30天告警數(shù)3父稱告警內(nèi)容操作告警類型;指標結(jié)果異常告警;告警對象:當天賬戶余2019-10-1100:00:00余指標結(jié)果短信admin@dtstack.額;檢測數(shù)據(jù):100條;異常數(shù)據(jù):10條;告警時查看是常8告警類型:指標結(jié)果異常告警;告器對象:當天賬戶余2019-10-1100:00.00余指標結(jié)果短信、釘釘...詳額;檢測數(shù)據(jù):100條;異常數(shù)據(jù):10條;告警時查看異常明細2022-10-1017:17:17;創(chuàng)建人:yuweiCdtstack.con告繁類型:指標結(jié)果異常告警;告警對象:當天賬戶余2019-10指標結(jié)果短信admin@dtstackcom額;檢測數(shù)據(jù):100條;異常數(shù)據(jù):10條;告警時間查看異常明細2022-10-1017:17:17:創(chuàng)建人yuweiCdtstack.con告籃類型:指標結(jié)果異常告警;告繁對象:當天賬戶余2019-10-1100:00效利淮指標結(jié)果郵箱admin@.詳情額;檢測數(shù)據(jù):100條;異常數(shù)據(jù):10條;告警時間看異常明細2022-10-1(7:17:dtstack.co告警類型:指標結(jié)果異常告警;告警對象:當天賬戶余2019-10-1100:00.00disnfd_apAPI狀態(tài)短信、郵箱admin@.詳額;檢測數(shù)據(jù):100條;異常數(shù)據(jù):10條;告警時間看異常明細2022-10-1017:17:17;創(chuàng)建入:yuweiCdtstack.con告警類型:指標結(jié)果異常告警;告警對象:當天賬戶余2019-10-1100:00:00api2狀態(tài)郵箱admin@...詳情額;檢測數(shù)據(jù):100條;異常數(shù)據(jù):10條;告警時間查看異常明細2022-10-1017:17:17:創(chuàng)建人:yuweit@告警類型:指標結(jié)果異常告警;告警對象:當天賬戶余2019-10-1100:00:00vfv任務(wù)狀態(tài)短信admin@額;檢測數(shù)據(jù):100條;異常數(shù)據(jù):10條;告警時間看異常月細2022-10-1017:17:17;創(chuàng)建人aiC告豎類型:指標結(jié)果異常告警;告警對象:當天賬戶余2019-10-1100:00:00ndex_ddivtv任務(wù)狀態(tài)郵箱admingdtstackcom額;檢測數(shù)據(jù):100條;異常數(shù)據(jù):10條;告警時間查看異常明細2022-10-101717:17:建ddtstack.cor告警類型:指標結(jié)果異常告警;告警對象:當天賬戶余2019-10-1100:00:00index_ddivtvi任務(wù)狀態(tài)短信、郵箱admin@額;檢測數(shù)據(jù)100條;異常數(shù)據(jù):10條;告警時間看異常明細2022-10-1017:17:17;創(chuàng)建人:yuweicdtstack.con圖40指標監(jiān)控告警11.多方位數(shù)據(jù)安全保

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論