大數(shù)據(jù)治理平臺解決方案·二零二二年01大數(shù)據(jù)治理背景02數(shù)據(jù)治理應(yīng)用場景03數(shù)據(jù)治理平臺建設(shè)方案04數(shù)據(jù)治理平臺運(yùn)營保障目錄MULU01大數(shù)據(jù)治理背景大數(shù)據(jù)平臺化的發(fā)展趨勢與現(xiàn)狀數(shù)據(jù)源存儲層訪問層數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用廠商X廠商Y廠商Z應(yīng)用百花齊放傳統(tǒng)的應(yīng)用按照業(yè)務(wù)建設(shè)，一個廠商需要負(fù)責(zé)數(shù)據(jù)采集、存儲、數(shù)據(jù)應(yīng)用等全部過程；大數(shù)據(jù)時代，技術(shù)更加專注和專業(yè)，系統(tǒng)建設(shè)趨勢是采用橫向切分模式。數(shù)據(jù)中心集中建設(shè)需要解決“應(yīng)用和平臺分離”建設(shè)模式帶來的新問題。廠商X：只了解業(yè)務(wù)系統(tǒng)特性，對于大數(shù)據(jù)平臺需求平臺產(chǎn)品特性不清楚。廠商Y：我只是提供數(shù)據(jù)存儲平臺，不了解業(yè)務(wù)建設(shè)需求。廠商Z：我只是提供數(shù)據(jù)共享平臺，廠商X的數(shù)據(jù)特性平臺無法支持，產(chǎn)品不能動。應(yīng)用：我有數(shù)據(jù)分析經(jīng)驗(yàn)，但是我拿不到高質(zhì)量的數(shù)據(jù)。目前拿到的數(shù)據(jù)不能用。現(xiàn)階段我們已經(jīng)應(yīng)用了很多大數(shù)據(jù)技術(shù)大數(shù)據(jù)存儲應(yīng)用廣泛，具備大數(shù)據(jù)必備因素現(xiàn)階段大數(shù)據(jù)技術(shù)Hive、Spark、Storm、Hbase已使用廣泛，解決了大數(shù)據(jù)存儲問題。ETL工具、FLUME組件負(fù)責(zé)大數(shù)據(jù)交換問題大數(shù)據(jù)存儲數(shù)據(jù)的傳輸問題也有大數(shù)據(jù)組件解決，如Flume，主流ETL工具等。數(shù)據(jù)BI、數(shù)據(jù)挖掘通過數(shù)據(jù)BI軟件、數(shù)據(jù)分析挖掘通過大數(shù)據(jù)平臺的相關(guān)組件也可以進(jìn)行相關(guān)分析。實(shí)施了大數(shù)據(jù)項(xiàng)目，所采用的技術(shù)眾多SparkHiveStorm流處理HBase列存儲數(shù)據(jù)挖掘BI分析模型算法現(xiàn)階段已經(jīng)有了眾多的大數(shù)據(jù)技術(shù)團(tuán)隊(duì)產(chǎn)品提供商數(shù)據(jù)分析廠商數(shù)據(jù)產(chǎn)品廠商，缺乏場景使用經(jīng)驗(yàn)數(shù)據(jù)平臺廠商與數(shù)據(jù)應(yīng)用廠商往往不是一家，平臺廠商缺乏數(shù)據(jù)應(yīng)用建設(shè)經(jīng)驗(yàn)。我們還需要哪些數(shù)據(jù)建設(shè)廠商？數(shù)據(jù)提供商平臺提供商解決方案提供商業(yè)務(wù)算法提供商數(shù)據(jù)應(yīng)用廠商不能理解平臺內(nèi)數(shù)據(jù)業(yè)務(wù)含義具有涉密數(shù)據(jù)開發(fā)資質(zhì)的廠商有限，但并不了解大數(shù)據(jù)平臺內(nèi)部數(shù)據(jù)的含義。各廠商之間交換的數(shù)據(jù)質(zhì)量得不到保證大數(shù)據(jù)建設(shè)項(xiàng)目被分為數(shù)據(jù)平臺、應(yīng)用、業(yè)務(wù)等多個獨(dú)立項(xiàng)目和廠商，之間的銜接部分沒有人管理，造成數(shù)據(jù)質(zhì)量差。眾多數(shù)據(jù)建設(shè)廠商，還缺哪個？能否有效的解決大數(shù)據(jù)快速、透明化的使用大數(shù)據(jù)平臺沒有創(chuàng)新需求點(diǎn)數(shù)據(jù)使用者無法理解數(shù)據(jù)模型平臺建設(shè)廠商不懂?dāng)?shù)據(jù)拿到的使用數(shù)據(jù)根本沒法用……業(yè)務(wù)需求業(yè)務(wù)需求集中響應(yīng)眾多大數(shù)據(jù)廠商難以協(xié)調(diào)廠商管理之間的空隙沒填補(bǔ)數(shù)據(jù)質(zhì)量問題來回推諉……管理需求需要專業(yè)的大數(shù)據(jù)管理團(tuán)隊(duì)大文件數(shù)據(jù)傳輸慢大數(shù)據(jù)量實(shí)時傳輸沒有解決方案沒有統(tǒng)一的技術(shù)管理平臺跨平臺數(shù)據(jù)問題無法追述……技術(shù)需求需要全面支撐的落地平臺02數(shù)據(jù)治理平臺應(yīng)用場景大數(shù)據(jù)項(xiàng)目實(shí)施中遇到的哪些問題？電信政府個人電商數(shù)據(jù)管理數(shù)據(jù)源基礎(chǔ)數(shù)據(jù)區(qū)專題數(shù)據(jù)區(qū)大數(shù)據(jù)平臺建設(shè)廠商1大數(shù)據(jù)平臺數(shù)據(jù)服務(wù)數(shù)據(jù)應(yīng)用廠商2數(shù)據(jù)服務(wù)BI分析3質(zhì)量監(jiān)控?cái)?shù)據(jù)接入管理不規(guī)范：數(shù)據(jù)模型管理缺乏規(guī)范化體系，大數(shù)據(jù)平臺內(nèi)數(shù)據(jù)的技術(shù)、業(yè)務(wù)屬性不清晰，沒有完善的數(shù)據(jù)模型管理體系與規(guī)范。數(shù)據(jù)挖掘數(shù)據(jù)使用使用不明確：由于數(shù)據(jù)業(yè)務(wù)特性與使用方法不統(tǒng)一，難以對結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的快速集成和共享。監(jiān)控不到位：在實(shí)際數(shù)據(jù)運(yùn)行中，會出現(xiàn)數(shù)據(jù)信息發(fā)生中斷異常或數(shù)據(jù)量發(fā)生突然變化等數(shù)據(jù)異常監(jiān)控。無法通過傳統(tǒng)的監(jiān)控手段及時發(fā)現(xiàn)。管理使用監(jiān)控批量導(dǎo)入實(shí)時同步場景一：建好數(shù)據(jù)管理體系，快速識別數(shù)據(jù)大數(shù)據(jù)平臺數(shù)據(jù)分析數(shù)據(jù)挖掘數(shù)據(jù)接口………數(shù)據(jù)使用

元數(shù)據(jù)數(shù)據(jù)如何快速識別數(shù)據(jù)？如何自動化管理？如何快速找到樣例數(shù)據(jù)？我的數(shù)據(jù)都在哪里？數(shù)據(jù)的業(yè)務(wù)特點(diǎn)是？我該找誰要數(shù)據(jù)？建議：1.自動化獲取元數(shù)據(jù)信息通過自動化采集與解析手段，建立技術(shù)、業(yè)務(wù)、過程元數(shù)據(jù)的注冊輸入，標(biāo)明數(shù)據(jù)方位。2.標(biāo)明數(shù)據(jù)方位，整理業(yè)務(wù)屬性將數(shù)據(jù)資產(chǎn)按業(yè)務(wù)屬性編目，梳理數(shù)據(jù)的屬性、共享方式、特性、映射。3：建立業(yè)務(wù)數(shù)據(jù)服務(wù)目錄以數(shù)據(jù)資產(chǎn)為驅(qū)動方式，實(shí)現(xiàn)數(shù)據(jù)集成和共享。建立數(shù)據(jù)服務(wù)目錄。數(shù)據(jù)資產(chǎn)模型元元模型元模型場景二：建立專業(yè)的數(shù)據(jù)共享通道，高效使用數(shù)據(jù)大數(shù)據(jù)資源空間資源實(shí)例數(shù)據(jù)模型數(shù)據(jù)資產(chǎn)服務(wù)數(shù)據(jù)資源模型數(shù)據(jù)資源服務(wù)內(nèi)存數(shù)據(jù)服務(wù)數(shù)據(jù)庫服務(wù)資源服務(wù)內(nèi)存數(shù)據(jù)模型CRUDCRUD資源獲取資源同步元數(shù)據(jù)庫批量數(shù)據(jù)交換？我需要秒級更新數(shù)據(jù)？數(shù)據(jù)太大無法傳？

建議：1.梳理數(shù)據(jù)交換需求梳理數(shù)據(jù)集成、交換需求。按技術(shù)特征劃分為實(shí)時、準(zhǔn)實(shí)時、批量等。2.數(shù)據(jù)資產(chǎn)與服務(wù)對接基于數(shù)據(jù)資產(chǎn)的數(shù)據(jù)開發(fā)，實(shí)現(xiàn)資產(chǎn)與數(shù)據(jù)服務(wù)的對接。通過服務(wù)目錄直接獲取所需數(shù)據(jù)。批量實(shí)時場景三：提供專業(yè)的數(shù)據(jù)監(jiān)控體系，快速發(fā)現(xiàn)問題。數(shù)據(jù)源頭監(jiān)控

針對調(diào)度監(jiān)控和數(shù)據(jù)源相關(guān)監(jiān)控過程中的數(shù)據(jù)進(jìn)行整合形成數(shù)據(jù)源頭調(diào)度監(jiān)控的分析報(bào)表。數(shù)據(jù)波動監(jiān)控?cái)?shù)據(jù)抖動監(jiān)控是指通過對數(shù)據(jù)記錄數(shù)的監(jiān)控，在一段時間周期內(nèi)，通過折線圖的方式可以查詢一段時間內(nèi)數(shù)據(jù)的峰值和低谷。及時性監(jiān)控

數(shù)據(jù)文件及時性監(jiān)控是指通過對要采集到大數(shù)據(jù)平臺的內(nèi)部或外部文件進(jìn)行存在性和按時到達(dá)性的監(jiān)控手段。一致性監(jiān)控?cái)?shù)據(jù)一致性監(jiān)控是對采集時的數(shù)據(jù)記錄條數(shù)和入庫的數(shù)據(jù)條數(shù)進(jìn)行一致性比對，對不一致的數(shù)據(jù)采集作業(yè)進(jìn)行標(biāo)記的一種監(jiān)控。日使用流量（MB）6月7月數(shù)據(jù)不一致怎么辦？數(shù)據(jù)量異常波動？數(shù)據(jù)源變更怎么辦？建議：1.明確重要監(jiān)控指標(biāo)梳理數(shù)據(jù)平臺、MPP、Hadoop平臺的重要數(shù)據(jù)監(jiān)控指標(biāo)與監(jiān)控需求。2.建立多渠道監(jiān)控方式對接數(shù)據(jù)監(jiān)控平臺，以以郵件、短信等通知方式告警。我們需要什么樣的大數(shù)據(jù)治理平臺？可以靈活擴(kuò)展支撐業(yè)務(wù)變化，保證業(yè)務(wù)數(shù)據(jù)保質(zhì)量、標(biāo)準(zhǔn)化基于模型的數(shù)據(jù)獲取數(shù)據(jù)，基于數(shù)據(jù)模型管理，可以讓技術(shù)與業(yè)務(wù)人員通過平臺可以迅速找到對應(yīng)的數(shù)據(jù)資源。數(shù)據(jù)獲取方式靈活多樣，可支持配置化數(shù)據(jù)訂閱管理

支持靈活的數(shù)據(jù)訂閱方式，以支推，拉的數(shù)據(jù)訂閱數(shù)據(jù)與服務(wù)接口對接?？梢钥焖俚墨@取到想要的數(shù)據(jù)活文件。支持多種數(shù)據(jù)預(yù)警機(jī)制，隨時發(fā)現(xiàn)數(shù)據(jù)任務(wù)執(zhí)行過程中所遇到的問題支持執(zhí)行任務(wù)的全過程監(jiān)控，執(zhí)行數(shù)量監(jiān)控，數(shù)據(jù)波動、數(shù)據(jù)到達(dá)預(yù)警監(jiān)控等，并支持多種信息通知方式，如短信、郵件等。基于數(shù)據(jù)模型管理提供數(shù)據(jù)監(jiān)控預(yù)警機(jī)制可對接多種數(shù)據(jù)源支持多種數(shù)據(jù)獲取方式支持現(xiàn)有主流的大數(shù)據(jù)技術(shù)平臺的對接可對接現(xiàn)有的大數(shù)據(jù)Hive，Spark，Strom流數(shù)據(jù)等主流的數(shù)據(jù)結(jié)構(gòu)，分為實(shí)時數(shù)據(jù)和批量數(shù)據(jù)的對接方式。03數(shù)據(jù)治理平臺建設(shè)方案大數(shù)據(jù)平臺的核心價值轉(zhuǎn)變管理思路管理職責(zé)管理組織自己應(yīng)用方便別人提供數(shù)據(jù)服務(wù)數(shù)據(jù)管理數(shù)據(jù)開發(fā)數(shù)據(jù)應(yīng)用專業(yè)的服務(wù)團(tuán)隊(duì)業(yè)務(wù)開發(fā)運(yùn)維全棧能力團(tuán)隊(duì)通過大數(shù)據(jù)治理，提供數(shù)據(jù)服務(wù)，從管理中心轉(zhuǎn)變?yōu)榉?wù)中心通過大數(shù)據(jù)治理，變現(xiàn)數(shù)據(jù)價值，從成本中心轉(zhuǎn)變?yōu)槔麧欀行膫鹘y(tǒng)數(shù)據(jù)管理創(chuàng)新數(shù)據(jù)管理大數(shù)據(jù)治理平臺的定位采集數(shù)據(jù)傳感器數(shù)據(jù)社交媒體IT/OT圖像視頻三方數(shù)據(jù)信用數(shù)據(jù)通信數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)客戶數(shù)據(jù)大數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)非/結(jié)構(gòu)化數(shù)據(jù)實(shí)時流數(shù)據(jù)數(shù)據(jù)發(fā)布交易運(yùn)營生產(chǎn)分析交易運(yùn)營生產(chǎn)分析業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新交易運(yùn)營財(cái)務(wù)人力數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)大數(shù)據(jù)治理平臺治理數(shù)據(jù)用大數(shù)據(jù)治理連接大數(shù)據(jù)與業(yè)務(wù)創(chuàng)新服務(wù)服務(wù)數(shù)據(jù)開發(fā)大數(shù)據(jù)治理平臺的架構(gòu)特征傳統(tǒng)大數(shù)據(jù)平臺框架大數(shù)據(jù)平臺分析展現(xiàn)應(yīng)用數(shù)據(jù)源大數(shù)據(jù)治理平臺數(shù)據(jù)服務(wù)總線大數(shù)據(jù)平臺需求規(guī)范以數(shù)據(jù)存儲、處理為核心的傳統(tǒng)數(shù)據(jù)管理平臺過度到大數(shù)據(jù)治理平臺數(shù)據(jù)應(yīng)用數(shù)據(jù)開發(fā)平臺數(shù)據(jù)監(jiān)控平臺數(shù)據(jù)資產(chǎn)平臺1大數(shù)據(jù)治理平臺傳統(tǒng)大數(shù)據(jù)平臺234企業(yè)中哪些角色會直接使用到大數(shù)據(jù)治理平臺業(yè)務(wù)運(yùn)營人員業(yè)務(wù)系統(tǒng)開發(fā)人員大數(shù)據(jù)中心管理者大數(shù)據(jù)中心開發(fā)者

業(yè)務(wù)運(yùn)營人員是企業(yè)各業(yè)務(wù)部門一線的業(yè)務(wù)人員，擁有大量的數(shù)據(jù)使用的需求。但通常并不了解大數(shù)據(jù)中心的數(shù)據(jù)能力與企業(yè)內(nèi)部其他部門的數(shù)據(jù)情況。

業(yè)務(wù)所屬部門的系統(tǒng)開發(fā)人員，主要提供所負(fù)責(zé)業(yè)務(wù)系統(tǒng)功能開發(fā)與業(yè)務(wù)創(chuàng)新的IT實(shí)現(xiàn)。但往往不清楚大數(shù)據(jù)中心數(shù)據(jù)的特性。往往把業(yè)務(wù)人員提出的需求交給數(shù)據(jù)中心實(shí)現(xiàn)。

大數(shù)據(jù)中心的管理員，負(fù)責(zé)大數(shù)據(jù)中心的運(yùn)營與管理。負(fù)責(zé)采集與各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，接收各業(yè)務(wù)系統(tǒng)的提出的數(shù)據(jù)業(yè)務(wù)需求。并負(fù)責(zé)給數(shù)據(jù)消費(fèi)者提供必要的大數(shù)據(jù)支撐。大數(shù)據(jù)中心的開發(fā)人員，負(fù)責(zé)大數(shù)據(jù)中心的數(shù)據(jù)ETL加工，并數(shù)據(jù)管理中心批準(zhǔn)的數(shù)據(jù)需求進(jìn)行開發(fā)。通常需要面對各業(yè)務(wù)部門的需求，難以了解業(yè)務(wù)部門的數(shù)據(jù)特點(diǎn)。大數(shù)據(jù)治理平臺的數(shù)據(jù)使用流程業(yè)務(wù)運(yùn)營人員1.提出數(shù)據(jù)需求業(yè)務(wù)系統(tǒng)開發(fā)人員2.查找數(shù)據(jù)5.確認(rèn)數(shù)據(jù)需求大數(shù)據(jù)治理平臺3.返回?cái)?shù)據(jù)4、7.交付數(shù)據(jù)大數(shù)據(jù)中心管理者大數(shù)據(jù)中心數(shù)據(jù)中心開發(fā)人員6.返回?cái)?shù)據(jù)80%數(shù)據(jù)使用需求20%需開發(fā)數(shù)據(jù)需求交易運(yùn)營生產(chǎn)分析數(shù)據(jù)消費(fèi)方數(shù)據(jù)提供方大數(shù)據(jù)治理平臺總體功能架構(gòu)圖關(guān)系數(shù)據(jù)庫對接數(shù)據(jù)資產(chǎn)平臺數(shù)據(jù)監(jiān)控平臺日志監(jiān)控性能監(jiān)控主機(jī)告警安全管理需求/流程服務(wù)標(biāo)準(zhǔn)與流程數(shù)據(jù)使用流程元數(shù)據(jù)規(guī)范數(shù)據(jù)申請規(guī)范數(shù)據(jù)質(zhì)量規(guī)范服務(wù)共享規(guī)范數(shù)據(jù)管理流程等標(biāo)準(zhǔn)管理流程應(yīng)用治理規(guī)范數(shù)據(jù)服務(wù)總線標(biāo)準(zhǔn)檢查數(shù)據(jù)地圖版本管理流向分析質(zhì)量檢查資產(chǎn)編輯數(shù)據(jù)使用分析應(yīng)用調(diào)度管理服務(wù)管理路由管理文本數(shù)據(jù)對接流數(shù)據(jù)對接內(nèi)存數(shù)據(jù)對接波動監(jiān)控?cái)?shù)據(jù)開發(fā)平臺模型設(shè)計(jì)接口應(yīng)用資產(chǎn)采集適配器資產(chǎn)維護(hù)編目資產(chǎn)使用運(yùn)營管理調(diào)用管理審計(jì)管理模型開發(fā)過程開發(fā)服務(wù)開發(fā)目錄管理策略管理接口開發(fā)模型管理資源查詢服務(wù)規(guī)范大數(shù)據(jù)治理平臺總體技術(shù)架構(gòu)圖

DB

FIleStream業(yè)務(wù)數(shù)據(jù)…RPC調(diào)用ETL調(diào)度監(jiān)控大數(shù)據(jù)平臺專題庫分析模型數(shù)據(jù)模型服務(wù)發(fā)布服務(wù)服務(wù)監(jiān)控服務(wù)安全數(shù)據(jù)服務(wù)總線服務(wù)分類服務(wù)注冊服務(wù)訂閱服務(wù)查詢數(shù)據(jù)訂閱數(shù)據(jù)分發(fā)服務(wù)目錄庫存儲模型組件轉(zhuǎn)換模型組件文件模型組件數(shù)據(jù)開發(fā)數(shù)據(jù)接口應(yīng)用數(shù)據(jù)分析應(yīng)用業(yè)務(wù)分析應(yīng)用數(shù)據(jù)加工應(yīng)用數(shù)據(jù)預(yù)測應(yīng)用…資源層開發(fā)層數(shù)據(jù)共享/發(fā)布層數(shù)據(jù)應(yīng)用層BFTHiveSparkESB采集組件解析組件加工組件數(shù)據(jù)資產(chǎn)模型設(shè)計(jì)大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺功能架構(gòu)圖數(shù)據(jù)資產(chǎn)采集采集調(diào)度管理采集適配器管理數(shù)據(jù)資產(chǎn)使用數(shù)據(jù)資產(chǎn)關(guān)系維護(hù)數(shù)據(jù)資產(chǎn)管理/編目數(shù)據(jù)資產(chǎn)維護(hù)采集模板管理數(shù)據(jù)資產(chǎn)數(shù)據(jù)源管理采集任務(wù)管理采集模板映射管理采集日志管理數(shù)據(jù)資產(chǎn)分析數(shù)據(jù)資產(chǎn)權(quán)限數(shù)據(jù)資產(chǎn)訪問資產(chǎn)變更服務(wù)資產(chǎn)分析服務(wù)數(shù)據(jù)資產(chǎn)檢索數(shù)據(jù)資產(chǎn)統(tǒng)計(jì)影響分析血統(tǒng)分析資產(chǎn)訂閱資產(chǎn)使用情況數(shù)據(jù)資產(chǎn)地圖全鏈路分析編目管理打標(biāo)簽數(shù)據(jù)資產(chǎn)認(rèn)責(zé)管理數(shù)據(jù)資產(chǎn)質(zhì)量管理應(yīng)用企業(yè)全局?jǐn)?shù)據(jù)資產(chǎn)升級影響數(shù)據(jù)問題定位輔助開發(fā)……元模型管理元模型關(guān)系維護(hù)元模型設(shè)計(jì)器元模型設(shè)計(jì)器元模型設(shè)計(jì)執(zhí)行元模型反向生成圖形模型框架元模型版本管理Excel采集Hive采集DB采集……視圖管理版本管理狀態(tài)管理大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺邏輯架構(gòu)圖DB文件接口…數(shù)據(jù)資產(chǎn)接口服務(wù)數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資產(chǎn)分析統(tǒng)計(jì)數(shù)據(jù)資產(chǎn)存儲元模型管理數(shù)據(jù)資產(chǎn)采集資產(chǎn)存儲數(shù)據(jù)開發(fā)數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)應(yīng)用大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)資產(chǎn)平臺關(guān)鍵技術(shù)與特性多類型企業(yè)數(shù)據(jù)源數(shù)據(jù)資產(chǎn)采集解析算法采集調(diào)度入庫策略采集解析模型組裝數(shù)據(jù)入庫數(shù)據(jù)采集適配技術(shù)采集適配業(yè)務(wù)采集適配……數(shù)據(jù)模型技術(shù)模型業(yè)務(wù)模型……數(shù)據(jù)資產(chǎn)存儲TDDB2Oracle數(shù)據(jù)資產(chǎn)存儲數(shù)據(jù)資產(chǎn)元模型存儲采集配置存儲2、可插拔的采集適配器，支持?jǐn)?shù)據(jù)資產(chǎn)管理的無限擴(kuò)充1、解析、組裝、入庫過程分離，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)采集和存儲解耦3、采用MOF模型規(guī)范實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)擴(kuò)展存儲數(shù)據(jù)資產(chǎn)平臺給客戶帶來的價值建立統(tǒng)一的第三方數(shù)據(jù)審核機(jī)制，不依附于某個業(yè)務(wù)單元的數(shù)據(jù)特性，對數(shù)據(jù)資產(chǎn)重新定位；基于系統(tǒng)運(yùn)行態(tài)環(huán)境的元數(shù)據(jù)采集，真正做到以系統(tǒng)落地環(huán)境為基礎(chǔ)的數(shù)據(jù)資產(chǎn)梳理；建立統(tǒng)一的數(shù)據(jù)模型視圖，為業(yè)務(wù)管理人員方便的獲取到數(shù)據(jù)提供先決條件;基于MOF可擴(kuò)展模型，對業(yè)務(wù)模型擴(kuò)展無需改動代碼，節(jié)省團(tuán)隊(duì)管理成本；

快速輔助定位問題，出現(xiàn)數(shù)據(jù)問題可輔助定位與分析問題的根源，迅速響應(yīng)業(yè)務(wù)需求；數(shù)據(jù)資產(chǎn)平臺權(quán)威落地統(tǒng)一擴(kuò)展分析大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺功能架構(gòu)圖批量資源導(dǎo)入基本信息維護(hù)資源關(guān)系管理資源展示配置資源目錄管理編目管理在線數(shù)據(jù)維護(hù)模型檢索資源檢索基礎(chǔ)查詢維度查詢?nèi)藛T管理權(quán)限管理角色管理…條件查詢策略定義策略管理策略開發(fā)自定義開發(fā)模型設(shè)計(jì)模型管理交換模型開發(fā)交換作業(yè)開發(fā)加密策略交換策略關(guān)系維護(hù)配置管理交換作業(yè)開發(fā)交換組件管理脫敏策略監(jiān)控策略策略開發(fā)數(shù)據(jù)開發(fā)數(shù)據(jù)資源管理存儲模型開發(fā)數(shù)據(jù)交換開發(fā)策略配置數(shù)據(jù)資源探查系統(tǒng)管理模型設(shè)計(jì)模型管理關(guān)系維護(hù)存儲開發(fā)文件交換開發(fā)服務(wù)接口開發(fā)服務(wù)接口配置應(yīng)用組件配置組件管理服務(wù)接口開發(fā)策略管理資源探查大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺邏輯架構(gòu)圖數(shù)據(jù)資產(chǎn)數(shù)據(jù)開發(fā)層數(shù)據(jù)共享層批量數(shù)據(jù)HadoopMPPFile策略管理數(shù)據(jù)模型開發(fā)數(shù)據(jù)開放門戶資源發(fā)布開發(fā)者門戶運(yùn)營者門戶數(shù)據(jù)交換作業(yè)開發(fā)文件交換作業(yè)開發(fā)數(shù)據(jù)資源管理數(shù)據(jù)服務(wù)目錄數(shù)據(jù)庫文件數(shù)據(jù)接口使用者門戶數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)資源目錄資源探查大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)開發(fā)平臺技術(shù)與特性大數(shù)據(jù)模型數(shù)據(jù)服務(wù)層結(jié)構(gòu)描述約束結(jié)構(gòu)描述約束關(guān)系資源模型服務(wù)資源池服務(wù)服務(wù)服務(wù)服務(wù)接口目錄接口應(yīng)用服務(wù)服務(wù)服務(wù)服務(wù)數(shù)據(jù)開發(fā)1、以數(shù)據(jù)服務(wù)目錄為基礎(chǔ)的目錄提供形式，快速找到所需數(shù)據(jù)。2、數(shù)據(jù)開發(fā)層，以數(shù)據(jù)資產(chǎn)、模型為基礎(chǔ)的資源開發(fā)。將模型開發(fā)與數(shù)據(jù)發(fā)布共享剝離。數(shù)據(jù)開發(fā)平臺給客戶帶來的價值提供圖形化的開發(fā)界面，顛覆以往的數(shù)據(jù)只能寫SQL代碼的情況。直觀并可提升開發(fā)效率；復(fù)用結(jié)構(gòu)化的組件，利于知識積累與復(fù)用。避免人員變動帶來的無形中的學(xué)習(xí)成本；針對業(yè)務(wù)特性對現(xiàn)有的數(shù)據(jù)資產(chǎn)進(jìn)行編目開發(fā)，讓數(shù)據(jù)使用者直觀理解數(shù)據(jù)的含義；以數(shù)據(jù)資產(chǎn)模型為驅(qū)動力，實(shí)現(xiàn)數(shù)據(jù)集成與共享的服務(wù)創(chuàng)新開發(fā)模式；讓項(xiàng)目中的各數(shù)據(jù)實(shí)施廠商都使用統(tǒng)一的數(shù)據(jù)開發(fā)方式，避免技術(shù)實(shí)現(xiàn)不同所帶來的壁壘；數(shù)據(jù)開發(fā)平臺提升復(fù)用易懂創(chuàng)新統(tǒng)一大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務(wù)總線功能架構(gòu)圖服務(wù)資源目錄中心數(shù)據(jù)服務(wù)總線總線監(jiān)控中心節(jié)點(diǎn)管理服務(wù)管理節(jié)點(diǎn)注冊服務(wù)信息的全網(wǎng)同步節(jié)點(diǎn)審批服務(wù)注冊服務(wù)審批擴(kuò)展管理分類管理發(fā)布管理服務(wù)檢索服務(wù)維護(hù)服務(wù)管理服務(wù)調(diào)度調(diào)度管理資源擴(kuò)展路由管理路由服務(wù)路由規(guī)則數(shù)據(jù)交換消息交換文件交換服務(wù)調(diào)用鑒權(quán)管理資源查詢流交換斷點(diǎn)續(xù)傳重發(fā)處理優(yōu)先級訪問控制服務(wù)編排緩存管理節(jié)點(diǎn)監(jiān)控啟動管理停止管理異常管理服務(wù)審計(jì)傳輸監(jiān)控質(zhì)量管理統(tǒng)計(jì)及上報(bào)服務(wù)監(jiān)控啟動管理停止管理異常管理數(shù)據(jù)服務(wù)總線基礎(chǔ)服務(wù)組織機(jī)構(gòu)管理用戶管理角色管理日志管理流控管理元數(shù)據(jù)管理服務(wù)視圖系統(tǒng)安全標(biāo)準(zhǔn)規(guī)范大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務(wù)總線邏輯架構(gòu)圖文件服務(wù)開發(fā)接口服務(wù)開發(fā)數(shù)據(jù)消費(fèi)者接入認(rèn)證接入路由服務(wù)路由配額管理接口服務(wù)文件服務(wù)流媒體服務(wù)數(shù)據(jù)共享層數(shù)據(jù)傳輸引擎統(tǒng)計(jì)引擎數(shù)據(jù)服務(wù)處理引擎數(shù)據(jù)開發(fā)層數(shù)據(jù)/文件訂閱接口運(yùn)行監(jiān)控引擎元數(shù)據(jù)管理數(shù)據(jù)采集管理數(shù)據(jù)資產(chǎn)資產(chǎn)運(yùn)營管理數(shù)據(jù)服務(wù)注冊管理大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)服務(wù)總線關(guān)鍵技術(shù)與特性標(biāo)點(diǎn)數(shù)據(jù)服務(wù)總線重點(diǎn)解決高性能和高可用性能力單Server處理能力：采用SEDA架構(gòu)、輕量級部署架構(gòu)（直接部署JVM之上）、異步Servlet接入等技術(shù)分布式橫向擴(kuò)展能力：采用靈活的集群部署模式、配置熱更新、資源統(tǒng)一監(jiān)控超量請求資源配額請求積壓基于隊(duì)列有策略丟棄外部不穩(wěn)定異步通知……異步多線程模型-SEDA特點(diǎn)邏輯分段段之間基于隊(duì)列通信資源分配ESB實(shí)例2ESB實(shí)例3ESB實(shí)例4ESB實(shí)例5硬件C硬件DESB管理服務(wù)器ESB實(shí)例1……ESB實(shí)例n硬件A硬件B通過控制臺對多個ESBServer進(jìn)行統(tǒng)一管理跨機(jī)器、跨JVM部署配置更新、統(tǒng)一監(jiān)控單實(shí)例處理能力分布式擴(kuò)展能力數(shù)據(jù)服務(wù)總線帶來的價值多渠道的數(shù)據(jù)共享方式，包括數(shù)據(jù)接口，文件，數(shù)據(jù)庫等，保證業(yè)務(wù)實(shí)現(xiàn)的可行性；提示實(shí)時的數(shù)據(jù)解決方案，支持流數(shù)據(jù)傳傳輸方式，保證業(yè)務(wù)數(shù)據(jù)的及時性；對于海量數(shù)據(jù)與音視頻文件，提供快速的大文件傳輸機(jī)制，快速獲得大數(shù)據(jù)；全方位的數(shù)據(jù)流量統(tǒng)計(jì)方式，讓數(shù)據(jù)的獲取與使用更加的透明化；數(shù)據(jù)的集成與共享，提供數(shù)據(jù)加密、數(shù)據(jù)脫敏等配置策略，保證數(shù)據(jù)的安全性；數(shù)據(jù)服務(wù)總線渠道快速海量統(tǒng)計(jì)安全大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)控平臺功能架構(gòu)圖導(dǎo)入導(dǎo)出資源操作日志用戶權(quán)限管理數(shù)據(jù)文件及時性監(jiān)控?cái)?shù)據(jù)文件完整性監(jiān)控?cái)?shù)據(jù)條數(shù)監(jiān)控?cái)?shù)據(jù)文件大小監(jiān)控?cái)?shù)據(jù)源連通性監(jiān)控服務(wù)運(yùn)行情況監(jiān)控服務(wù)訪問情況監(jiān)控服務(wù)依賴關(guān)系監(jiān)控?cái)?shù)據(jù)抖動監(jiān)控?cái)?shù)據(jù)源管理ETL服務(wù)器配置郵件服務(wù)器配置調(diào)度服務(wù)器配置代理服務(wù)器配置數(shù)據(jù)一致性監(jiān)控作業(yè)異常監(jiān)控監(jiān)控規(guī)則及方法專題庫質(zhì)量監(jiān)控執(zhí)行源數(shù)據(jù)質(zhì)量監(jiān)控執(zhí)行……文件元模型監(jiān)控?cái)?shù)據(jù)庫元模型監(jiān)控接口模型監(jiān)控元數(shù)據(jù)變更影響范圍監(jiān)控前臺告警短信告警郵件告警元數(shù)據(jù)監(jiān)控分析報(bào)表數(shù)據(jù)質(zhì)量監(jiān)控分析報(bào)表數(shù)據(jù)傳輸監(jiān)控報(bào)表數(shù)據(jù)服務(wù)監(jiān)控分析報(bào)表………數(shù)據(jù)傳輸調(diào)度監(jiān)控統(tǒng)計(jì)分析質(zhì)量監(jiān)控?cái)?shù)據(jù)標(biāo)準(zhǔn)落地監(jiān)控?cái)?shù)據(jù)服務(wù)監(jiān)控告警提醒系統(tǒng)配置元數(shù)據(jù)監(jiān)控大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)平臺邏輯架構(gòu)圖數(shù)據(jù)服務(wù)總線政府?dāng)?shù)據(jù)城市數(shù)據(jù)內(nèi)部數(shù)據(jù)數(shù)據(jù)資產(chǎn)人口數(shù)據(jù)......外部數(shù)據(jù)E（抽?。┝魈幚頂?shù)據(jù)開發(fā)T（轉(zhuǎn)換，清洗）L（加載）離線數(shù)據(jù)采集實(shí)時數(shù)據(jù)采集大數(shù)據(jù)平臺其他應(yīng)用平臺業(yè)務(wù)應(yīng)用分析類應(yīng)用人員類應(yīng)用預(yù)測類應(yīng)用挖掘類應(yīng)用………大數(shù)據(jù)平臺治理七條監(jiān)控線A專題庫B專題庫C專題庫大數(shù)據(jù)治理平臺架構(gòu)-數(shù)據(jù)監(jiān)控平臺關(guān)鍵技術(shù)與特性數(shù)據(jù)采集監(jiān)控是指對外部和內(nèi)部的離線數(shù)據(jù)和實(shí)時數(shù)據(jù)進(jìn)行采集記錄數(shù)據(jù)層面的監(jiān)控，如：數(shù)據(jù)文件大小，數(shù)據(jù)文件記錄數(shù)，數(shù)據(jù)文件增全量采集，采集頻率等的監(jiān)控及預(yù)警實(shí)現(xiàn)大數(shù)據(jù)平臺中離線數(shù)據(jù)計(jì)算處理ETL執(zhí)行的監(jiān)控，如作業(yè)的啟動情況，作業(yè)的執(zhí)行情況，作業(yè)的依賴情況，作業(yè)的執(zhí)行時效，作業(yè)狀態(tài)，作業(yè)執(zhí)行日志。對數(shù)據(jù)質(zhì)量進(jìn)行統(tǒng)一閉環(huán)管理，覆蓋數(shù)據(jù)質(zhì)量的定義、監(jiān)控、問題分析、整改和評估，推動質(zhì)量問題的解決。圍繞數(shù)據(jù)質(zhì)量管理，建立監(jiān)控機(jī)制，如，及時性、完整性、準(zhǔn)確性、有效性等監(jiān)控及預(yù)警。實(shí)現(xiàn)大數(shù)據(jù)平臺數(shù)據(jù)到達(dá)情況監(jiān)控和數(shù)據(jù)分發(fā)成功與否監(jiān)控，數(shù)據(jù)到達(dá)是指采集的數(shù)據(jù)文件或DB數(shù)據(jù)是否按約定的時間節(jié)點(diǎn)準(zhǔn)備就緒，對問題實(shí)現(xiàn)預(yù)警；數(shù)據(jù)分發(fā)是指大數(shù)據(jù)平臺中的數(shù)據(jù)及時傳遞到目標(biāo)端的監(jiān)控。數(shù)據(jù)服務(wù)總線服務(wù)監(jiān)控管理，服務(wù)監(jiān)控包括，服務(wù)運(yùn)行情況，消費(fèi)者訪問情況，提供者提供情況，SLA滿足程度，提供者與消費(fèi)者之間的依賴關(guān)系，依賴分析，從而能確定哪個客戶端在使用服務(wù)大數(shù)據(jù)平臺中數(shù)據(jù)模型，與大數(shù)據(jù)交互數(shù)據(jù)源數(shù)據(jù)模型變更的監(jiān)控，包括數(shù)據(jù)庫表結(jié)構(gòu)，數(shù)據(jù)文件結(jié)構(gòu)，指標(biāo)定義，數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范的技術(shù)，業(yè)務(wù)，管理屬性監(jiān)控，數(shù)據(jù)字典的監(jiān)控及預(yù)警。實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的變更監(jiān)控，數(shù)據(jù)標(biāo)準(zhǔn)的落地映射監(jiān)控，在數(shù)據(jù)標(biāo)準(zhǔn)發(fā)生現(xiàn)在后調(diào)整的時候，能快速的定位變更的影響，也能知道哪些系統(tǒng)，哪些部門的哪個數(shù)據(jù)庫表落地了數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范。數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)采集監(jiān)控線作業(yè)調(diào)度監(jiān)控線數(shù)據(jù)傳輸監(jiān)控線數(shù)據(jù)服務(wù)監(jiān)控線元數(shù)據(jù)監(jiān)控線標(biāo)準(zhǔn)執(zhí)行監(jiān)控線1276543數(shù)據(jù)監(jiān)控平臺給客戶帶來的價值監(jiān)控用戶的使用安全，通過郵件、短信等方式無需登錄系統(tǒng)可發(fā)現(xiàn)數(shù)據(jù)問題；及時發(fā)現(xiàn)數(shù)據(jù)的波動、缺失等變化，在影響業(yè)務(wù)開展之前及時發(fā)現(xiàn)問題原因；以提高數(shù)據(jù)質(zhì)量為目標(biāo)，定期數(shù)據(jù)做質(zhì)量檢查，建立閉環(huán)質(zhì)量管理機(jī)制；通過數(shù)據(jù)質(zhì)量監(jiān)控手段，自動化發(fā)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)問題，提供數(shù)據(jù)標(biāo)準(zhǔn)落地檢查機(jī)制；提供集中的數(shù)據(jù)監(jiān)控平臺，統(tǒng)一監(jiān)控環(huán)境，無需在不同環(huán)境配置多套監(jiān)控產(chǎn)品；數(shù)據(jù)監(jiān)控平臺便捷及時準(zhǔn)確集中標(biāo)準(zhǔn)總結(jié)：大數(shù)據(jù)的全生命周期閉環(huán)管理大數(shù)據(jù)

治理數(shù)據(jù)保障管理共享開發(fā)使用資產(chǎn)管理開發(fā)利用共享協(xié)作運(yùn)營分析普元大數(shù)據(jù)治理平臺特色涉及數(shù)據(jù)全生命周期跨行業(yè)、經(jīng)驗(yàn)豐富國內(nèi)最權(quán)威的大數(shù)據(jù)治理廠商全體系全框架全過程全行業(yè)全自主全部平臺自主研發(fā)頂層規(guī)劃，平臺建設(shè)，過程服務(wù)實(shí)踐提煉穩(wěn)定框架大數(shù)據(jù)治理平臺實(shí)施的實(shí)踐路線一階段：建立平臺二階段：項(xiàng)目實(shí)施三階段：治理數(shù)據(jù)建立大數(shù)據(jù)運(yùn)營平臺建立大數(shù)據(jù)治理平臺（數(shù)據(jù)基礎(chǔ)監(jiān)控，數(shù)據(jù)傳輸監(jiān)控，數(shù)據(jù)管理監(jiān)控，數(shù)據(jù)服務(wù)監(jiān)控）根據(jù)數(shù)據(jù)治理平臺的建立，以大數(shù)據(jù)平臺為依托，實(shí)施數(shù)據(jù)治理項(xiàng)目，實(shí)現(xiàn)數(shù)據(jù)管理目的逐步推進(jìn)項(xiàng)目實(shí)施數(shù)據(jù)管理，建議先實(shí)施元數(shù)據(jù)建立數(shù)據(jù)服務(wù)支撐體系，使數(shù)據(jù)管理實(shí)現(xiàn)為數(shù)據(jù)服務(wù)提供支撐的目的。建立治理數(shù)據(jù)的一體化數(shù)據(jù)治理體系，實(shí)現(xiàn)全方位的數(shù)據(jù)管理，提升大數(shù)據(jù)平臺數(shù)據(jù)質(zhì)量。平臺驗(yàn)證項(xiàng)目實(shí)施全面提升04數(shù)據(jù)治理平臺運(yùn)營保障大數(shù)據(jù)治理數(shù)字運(yùn)營指揮中心建設(shè)目標(biāo)及原則：要建成集語音、數(shù)據(jù)、圖像功能為一體，具備有線、無線和加密