第7章打造“數(shù)字孿生”的數(shù)據(jù)全量感知能力第8章打造“清潔數(shù)據(jù)”的質量綜合管理能力《某著名企業(yè)數(shù)據(jù)之道》企業(yè)公司數(shù)據(jù)管理部第1章數(shù)據(jù)驅動的企業(yè)數(shù)字化轉型第2章建立企業(yè)級數(shù)據(jù)綜合治理體系第3章差異化的企業(yè)數(shù)據(jù)分類管理框架第4章面向“業(yè)務交易”的信息架構建設這是一部從技術、流程、管理等多個維度系統(tǒng)講解某著名企業(yè)數(shù)據(jù)治理和數(shù)字化轉型的著作。書中凝聚了大量數(shù)據(jù)治理和數(shù)字化轉型方面的有價值的經(jīng)驗、方法論、規(guī)范、模型、解決方案和案例，不僅能讓讀者即學即用，還能讓讀者了解某著名企業(yè)數(shù)字化建設的歷程。第5章面向“聯(lián)接共享”的數(shù)據(jù)底座建設第6章面向“自助消費”的數(shù)據(jù)服務建設第9章打造“安全合規(guī)”的數(shù)據(jù)可控共享能力隨著通信與數(shù)字技術的發(fā)展，網(wǎng)絡化和數(shù)字化帶來更多的精彩和無限的可能，推動我們進入全聯(lián)接的信息時代和大數(shù)據(jù)時代。如何響應這個時代的變化是當前所有企業(yè)都需要考慮的問題。無論是數(shù)字原生企業(yè)，還是非數(shù)字原生企業(yè)，都在積極探索數(shù)字化轉型。而社會經(jīng)濟大環(huán)境的變化、行業(yè)趨勢的變化、競爭對手的壓力、公司的戰(zhàn)略優(yōu)化、自身經(jīng)營的改善等是企業(yè)數(shù)字化轉型最主要的驅動力。企業(yè)要想在數(shù)字時代生存下來，要么是數(shù)字原生企業(yè)，要么數(shù)字化轉型成功，成為重生后的數(shù)字企業(yè)?！?shù)字原生企業(yè)中，整個企業(yè)的戰(zhàn)略愿景、業(yè)務需求、組織架構、人員技能、管理文化、思考方式都是圍繞著數(shù)字世界展開的。生成了以軟件和數(shù)據(jù)平臺為核心的數(shù)字世界入口。非數(shù)字原生企業(yè)在成立之時，基本都是以物理世界為中心來構建的。（例如：鋼鐵業(yè)、某著名企業(yè)）·非數(shù)字原生企業(yè)的數(shù)字化轉型挑戰(zhàn)--業(yè)態(tài)特征:產業(yè)鏈條長/多業(yè)態(tài)并存;運營環(huán)境：數(shù)據(jù)交互和共享風險高;建設過程:數(shù)據(jù)復雜/歷史包袱重;數(shù)據(jù)質量:數(shù)據(jù)可信和一致化的要求程度高?！?shù)字化轉型歸根結底就是要解決企業(yè)的兩大問題：成本和效率，并圍繞“多打糧食，增加土地肥力”而開展?！?017年某著名企業(yè)提出了企業(yè)的新愿景：“把數(shù)字世界帶入每個人、每個家庭、每個組織，構建萬物互聯(lián)的智能世界”。某著名企業(yè)公司CIO陶景文提出了“實現(xiàn)全聯(lián)接的智能某著名企業(yè)，成為行業(yè)標桿”的數(shù)字化轉型目標。某著名企業(yè)數(shù)字化轉型目標某著名企業(yè)數(shù)據(jù)治理歷程。第一階段：2007～2016年。某著名企業(yè)設立數(shù)據(jù)管理專業(yè)組織，建立數(shù)據(jù)管理框架，發(fā)布數(shù)據(jù)管理政策，任命數(shù)據(jù)Owner，通過統(tǒng)一信息架構與標準、唯一可信的數(shù)據(jù)源、有效的數(shù)據(jù)質量度量改進機制。第二階段：2017年-至今。某著名企業(yè)建設數(shù)據(jù)底座，匯聚企業(yè)全域數(shù)據(jù)并對數(shù)據(jù)進行聯(lián)接，通過數(shù)據(jù)服務、數(shù)據(jù)地圖、數(shù)據(jù)安全防護與隱私保護，實現(xiàn)了數(shù)據(jù)隨需共享、敏捷自助、安全透明的目標，支撐著某著名企業(yè)數(shù)字化轉型·數(shù)據(jù)作為一種新的生產要素，在企業(yè)構筑競爭優(yōu)勢的過程中起著重要作用，企業(yè)應將數(shù)據(jù)作為一種戰(zhàn)略資產進行管理。數(shù)據(jù)從業(yè)務中產生，在IT系統(tǒng)中承載，要對數(shù)據(jù)進行有效治理，需要業(yè)務充分參與，IT系統(tǒng)確保遵從，這是一個非常復雜的系統(tǒng)工程。·只有構筑一套企業(yè)級的數(shù)據(jù)綜合治理體系，才能確保關鍵數(shù)據(jù)資產有清晰的業(yè)務管理責任，IT建設有穩(wěn)定的原則和依據(jù)，作業(yè)人員有規(guī)范的流程和指導；當面臨爭議時，有裁決機構和升級處理機制；治理過程所需的人才、組織、預算有充足的保障。某著名企業(yè)數(shù)據(jù)治理體系框架·數(shù)據(jù)治理政策是某著名企業(yè)數(shù)據(jù)治理的頂層設計，該政策在某著名企業(yè)公司EMT(經(jīng)營管理團隊)匯報通過后，由總裁簽發(fā)，該政策明確了數(shù)據(jù)工作在某著名企業(yè)公司治理體系中的地位，體現(xiàn)了公司管理層對數(shù)據(jù)工作重要性的統(tǒng)一認知。公司級數(shù)據(jù)治理政策包括：某著名企業(yè)數(shù)據(jù)管理總綱;信息架構管理政策;數(shù)據(jù)源管理政策;數(shù)據(jù)質量管理政策。·某著名企業(yè)公司依托變革管理體系，進行流程、數(shù)據(jù)與應用系統(tǒng)建設，同時持續(xù)優(yōu)化運營體系。數(shù)據(jù)從業(yè)務中產生，在IT系統(tǒng)中落地，決定了數(shù)據(jù)治理工作必須充分融入業(yè)務運營與IT系統(tǒng)建設中。支撐公司實施數(shù)據(jù)治理，某著名企業(yè)在企業(yè)范圍內建立了一個公司級數(shù)據(jù)管理部?！げ煌钠髽I(yè)或組織基于不同的目的，可以從多個角度對數(shù)據(jù)進行分類，如結構化數(shù)據(jù)和非結構化數(shù)據(jù)、數(shù)據(jù)和外部數(shù)據(jù)、原始數(shù)據(jù)和衍生數(shù)據(jù)、明細數(shù)據(jù)和匯總數(shù)據(jù)等。·某著名企業(yè)根據(jù)數(shù)據(jù)特性及治理方法的不同對數(shù)據(jù)進行分類定義：數(shù)據(jù)和外部數(shù)據(jù)、結構化數(shù)據(jù)和非結構化數(shù)據(jù)、元數(shù)據(jù)。其中，結構化數(shù)據(jù)進一步劃分為基礎數(shù)據(jù)、主數(shù)據(jù)、事務數(shù)據(jù)、報告數(shù)據(jù)、觀測數(shù)據(jù)和規(guī)則數(shù)據(jù)?！そY構化數(shù)據(jù)的共同特點是以信息架構為基礎，建立統(tǒng)一的數(shù)據(jù)資產目錄、數(shù)據(jù)標準與模型。本節(jié)將重點介紹六類結構化數(shù)據(jù)的治理方法。·隨著業(yè)務對大數(shù)據(jù)分析的需求日益增長，非結構化數(shù)據(jù)的管理逐漸成為數(shù)據(jù)管理的重要組成部分。非結構化數(shù)據(jù)治理核心是對其基本特征與內容進行提取，并通過元數(shù)據(jù)落地來開展?！つ持髽I(yè)過去的信息架構建設主要是為了實現(xiàn)“信息化”或“業(yè)務上ERP”，信息架構往往隱藏在系統(tǒng)中、隱藏在IT功能下。隨著企業(yè)數(shù)字化轉型的推進，某著名企業(yè)公司越來越認識到信息架構的價值并不應局限于“支撐IT建設落地”，而是更好地管理企業(yè)數(shù)據(jù)資產，更好地提升整個業(yè)務交的效率，甚至基于信息架構重新審視業(yè)務邊界的劃分和整合。在企業(yè)數(shù)字化轉型過程中，企業(yè)信息架構的定位、內涵和管理方式都在不斷地演進。信息架構的定位發(fā)生了根本性變化，不再是對準IT功能或實現(xiàn)，而是對準整個企業(yè)的業(yè)務管理目標；信息架構的內涵也進行了極大的擴展，不再只是聚焦于進入類似ERP系統(tǒng)的結構化數(shù)據(jù)，而是對準整個企業(yè)在業(yè)務中產生的各種結構化數(shù)據(jù)、非結構化數(shù)據(jù)、內外部數(shù)據(jù)、過程類數(shù)據(jù)、規(guī)則類數(shù)據(jù)、IoT數(shù)據(jù)等?！け菊聦⒅v述某著名企業(yè)數(shù)據(jù)底座的總體架構和建設策略，詳細說明某著名企業(yè)如何通過數(shù)據(jù)湖和數(shù)據(jù)主題聯(lián)接的建設，實現(xiàn)數(shù)據(jù)的匯聚和聯(lián)接，打破數(shù)據(jù)孤島和壟斷，重建數(shù)據(jù)獲取方式和次序。數(shù)據(jù)底座在某著名企業(yè)數(shù)字化轉型中起著關鍵作用。·企業(yè)數(shù)據(jù)治理的最終目的是讓數(shù)據(jù)更有效地服務于業(yè)務目標，創(chuàng)造價值。對于數(shù)字原生企業(yè)而言，原生入口提供的大規(guī)模、高質量的數(shù)據(jù)，可以快速地封裝成企業(yè)級的API，滿足業(yè)務側的應用。某著名企業(yè)作為非數(shù)字原生企業(yè)，在實踐探索中發(fā)現(xiàn)，數(shù)字化轉型的關鍵在于打通數(shù)據(jù)供應鏈，通過理解業(yè)務、識別數(shù)據(jù)資產、建設數(shù)據(jù)架構來推動組織間的共享和協(xié)作，標識安全隱私標簽，從源頭提升數(shù)據(jù)質量，并通過數(shù)據(jù)底座建設構建數(shù)據(jù)湖和數(shù)據(jù)主題聯(lián)接兩層，形成數(shù)據(jù)的邏輯集合，為業(yè)務可視化、分析、決策等數(shù)據(jù)消費提供數(shù)據(jù)服務，讓企業(yè)數(shù)據(jù)成為能為業(yè)務帶來價值的數(shù)據(jù)資產?！?shù)據(jù)底座建設的目標是更好地支撐數(shù)據(jù)消費，在完成數(shù)據(jù)的匯聚、整合、聯(lián)接之后，還需要在供應側確保用戶更便捷、更安全地獲取數(shù)據(jù)。一方面業(yè)務人員希望盡可能快速地獲取各種所需的數(shù)據(jù)，另一方面要確保數(shù)據(jù)獲取過程中滿足安全、合規(guī)的要求。同時，業(yè)務人員消費數(shù)據(jù)時，也希望能夠有更加靈活的使用數(shù)據(jù)、分析數(shù)據(jù)的方式，業(yè)務人員希望消費數(shù)據(jù)的自主性更強，并且不能忍受過去冗長、呆板的報表呈現(xiàn)方式?！?shù)據(jù)服務是基于數(shù)據(jù)分發(fā)、發(fā)布的框架，將數(shù)據(jù)作為一種服務產品來提供，以滿足客戶的實時數(shù)據(jù)需求，它能復用并符合企業(yè)和工業(yè)標準，兼顧數(shù)據(jù)共享和安全。某著名企業(yè)數(shù)據(jù)底座總體架構當業(yè)務部門產生數(shù)據(jù)消費需求后，可以方便地通過數(shù)據(jù)地圖進行搜索。如已有數(shù)據(jù)服務可以支撐，那么就能夠快速地訂閱服務，從而直接進行數(shù)據(jù)分析消費；如暫時沒有數(shù)據(jù)服務可用，數(shù)據(jù)專業(yè)人員也只需要提供相應的數(shù)據(jù)服務，而不需要為業(yè)務部門開發(fā)定制分析報告，這樣就實現(xiàn)了數(shù)據(jù)供應和數(shù)據(jù)消費的高效協(xié)同?！?shù)字化轉型要從根本上加強數(shù)據(jù)的可獲得性，圍繞我們構建的數(shù)據(jù)主題和對象豐富數(shù)據(jù)感知渠道。要追求更加實時、全面、有效、安全的數(shù)據(jù)獲取。·隨著非數(shù)字原生企業(yè)數(shù)字化轉型項目的推進，感知能力構建的最終對象逐漸從單一節(jié)點發(fā)展到獲得完整物理對象的數(shù)字孿生?！?shù)據(jù)質量是一個復雜問題，往往是多種因素綜合作用的結果，解決數(shù)據(jù)質量問題要從機制、制度、流程、工具、管理等多個方面發(fā)力?！て髽I(yè)數(shù)據(jù)來源于多個不同的業(yè)務系統(tǒng)，數(shù)據(jù)流轉、處理環(huán)節(jié)多，用“GarbageinGarbageout（垃圾進，垃圾出）”原則保證數(shù)據(jù)質量已成為數(shù)字化轉型企業(yè)的共識?！?shù)據(jù)質量和流程質量有什么區(qū)別？流程質量是基于流程結果評估業(yè)務執(zhí)行的好壞，數(shù)據(jù)質量更關注業(yè)務對象、業(yè)務規(guī)則、業(yè)務過程、業(yè)務結果等數(shù)據(jù)是否得到了及時記錄。·數(shù)據(jù)質量管理應成為企業(yè)持續(xù)、例行的工作，企業(yè)數(shù)據(jù)質量管理水平直接影響數(shù)據(jù)應用的效果和數(shù)字化轉型的成效?！?shù)字技術正在構建一個全新世界。在數(shù)字時代這個大風暴中，數(shù)據(jù)的安全隱私管理無異于風暴之眼，紛亂的外部因素與企業(yè)自身特定的安全威脅正在共同影響著整體安全隱私態(tài)勢，既要求企業(yè)可以減輕安全威脅，避免內外安全隱私風險帶來的信譽損失和經(jīng)濟損失，又要求企業(yè)最大化利用數(shù)據(jù)、共享數(shù)據(jù)，面向大數(shù)據(jù)和機器學習，達成業(yè)務目標，發(fā)揮數(shù)據(jù)價值。所以數(shù)據(jù)保護和數(shù)據(jù)共享作為一對矛盾體，將不斷引入新的理念。國際數(shù)據(jù)空間技術、“鏈條控制”轉向“集中管控”、構建基于元數(shù)據(jù)管理的影響小、非介入式的公司級數(shù)據(jù)安全隱私保護平臺，都會在數(shù)字時代不斷演進，不斷發(fā)展?！?shù)字化變革改變了人們看待數(shù)據(jù)的方式。數(shù)據(jù)不再僅僅被視為商業(yè)活動的副產品，而是戰(zhàn)略資源，是發(fā)展和提供新型數(shù)字產品與服務、建立新型數(shù)字商業(yè)模式的基礎。·數(shù)據(jù)成為企業(yè)的生產要素，將帶來數(shù)據(jù)確權體系和數(shù)據(jù)市場基礎設施建設的浪潮。大規(guī)模數(shù)據(jù)交互將構成龐大的企業(yè)數(shù)據(jù)生態(tài)，數(shù)據(jù)管理手段也將全面智能化?！拔锢硎澜纭薄叭祟愓J知世界”“數(shù)字世界”和“機器認知世界”將構成全新的“智能世界”，數(shù)據(jù)將成為四個世界相互聯(lián)接轉換的樞紐，成為智能世界的支柱之一。第10章未來已來：數(shù)據(jù)成為企業(yè)核心競爭力傳統(tǒng)的鋼鐵企業(yè)為例（如圖1-1所示），完整工藝包括采礦、選礦、燒結、煉鐵、煉鋼、熱軋、冷軋、硅鋼等，輔助生產工藝包括焦化、制氧、燃氣、自備電、動力等，在各個工藝流程中沉淀著大量的復雜數(shù)據(jù)。某著名企業(yè)數(shù)字化轉型目標舉措1：實現(xiàn)“客戶交互方式”的轉變，用數(shù)字化手段做厚、做深客戶界面，實現(xiàn)與客戶做生意更簡單、更高效、更安全，提升客戶體驗滿意度，幫助客戶解決問題。舉措2：實現(xiàn)“作戰(zhàn)模式”的轉變，圍繞兩大主業(yè)務流，以項目為中心，對準一線精兵團隊作戰(zhàn)，率先實現(xiàn)基于ROADS的體驗，達到領先于行業(yè)的運營效率。舉措3：實現(xiàn)“平臺能力”提供方式的轉變，實現(xiàn)關鍵業(yè)務對象的數(shù)字化并不斷匯聚數(shù)據(jù)，實現(xiàn)流程數(shù)字化和能力服務化，支撐一線作戰(zhàn)人員和客戶的全聯(lián)接。舉措4：實現(xiàn)“運營模式”的轉變，基于統(tǒng)一數(shù)據(jù)底座，實現(xiàn)數(shù)字化運營與決策，簡化管理，加大對一線人員的授權。舉措5：云化、服務化的IT基礎設施和IT應用，統(tǒng)一公司IT平臺，同時構建智能服務。華為數(shù)字化轉型藍圖某著名企業(yè)數(shù)據(jù)治理歷程某著名企業(yè)數(shù)據(jù)工作的愿景與目標某著名企業(yè)數(shù)據(jù)工作建設的整體思路和框架通過在數(shù)字世界匯聚、聯(lián)接與分析數(shù)據(jù)，進行描述、診斷和預測，最終指導業(yè)務改進。在實現(xiàn)策略上，數(shù)字世界一方面要充分利用現(xiàn)有IT系統(tǒng)的存量數(shù)據(jù)資產，另一方面要構建一條從現(xiàn)實世界直接感知、采集、匯聚數(shù)據(jù)到數(shù)字世界的通道，不斷驅動業(yè)務對象、過程與規(guī)則的數(shù)字化。建立某著名企業(yè)管理數(shù)據(jù)流程華為管理數(shù)據(jù)流程信息架構的設計和變更分兩層評審決策，在信息架構專家組進行專業(yè)評審，在企業(yè)架構委員會進行流程、數(shù)據(jù)與IT集成評審和爭議裁決。某著名企業(yè)在企業(yè)范圍內建立了一個公司級數(shù)據(jù)管理部，代表公司制定數(shù)據(jù)管理相關的政策、流程、方法和支撐系統(tǒng)，制定公司數(shù)據(jù)管理的戰(zhàn)略規(guī)劃和年度計劃并監(jiān)控落實。建立并維護企業(yè)信息架構，監(jiān)控數(shù)據(jù)質量，披露重大數(shù)據(jù)問題，建立專業(yè)任職資格管理體系，提升企業(yè)數(shù)據(jù)管理能力，推動企業(yè)數(shù)據(jù)文化的建立和傳播?；A數(shù)據(jù)治理的價值基礎數(shù)據(jù)治理框架主數(shù)據(jù)治理策略主數(shù)據(jù)治理框架客戶主數(shù)據(jù)治理框架客戶主數(shù)據(jù)平臺架構觀測數(shù)據(jù)治理觀測數(shù)據(jù)是通過觀測工具獲取的數(shù)據(jù)，觀測對象一般為人、事、物、環(huán)境。規(guī)則數(shù)據(jù)治理規(guī)則數(shù)據(jù)是結構化描述業(yè)務規(guī)則變量（一般為決策表、關聯(lián)關系表、評分卡等形式）的數(shù)據(jù)，是實現(xiàn)業(yè)務規(guī)則的核心數(shù)據(jù)，如業(yè)務中普遍存在的基線數(shù)據(jù)。非結構化數(shù)據(jù)管理模型某著名企業(yè)元數(shù)據(jù)管理整體方案信息架構視圖示例華為企業(yè)級信息架構的四個組件數(shù)據(jù)資產的5