企業(yè)數字化轉型全域數據平臺能力規(guī)劃建設方案（PPT）整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行2023年目錄1、全域數據平臺能力規(guī)劃2、數據應用能力建設3、數據能力分步演進策略整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行全域數據平臺建設–需求與目標功能覆蓋我們需要一個什么樣的數據平臺？什么樣的數據架構？去滿足對數據收集、處理、管治、應用的全域需求？固化的需求數據格式的技術類型（關系型數據庫、文件、接口流式數據）數據處理的技術工具組件（數據庫、大數據平臺、數據采集工具、檢索分析挖掘算法、數據可視化工具）數據治理的手段和模式（數據標準、數據質量規(guī)則、數據巡檢、數據生命周期管理、元數據管理）業(yè)務數據類型擴展（企業(yè)內部的IT系統(tǒng)建設、業(yè)務類型拓展）非固化需求數據應用需求擴展（外部系統(tǒng)對數據的應用的需求，種類和數量需求，不可預期）數據量的增加（基于現有系統(tǒng)的數據線性增長、新業(yè)務數據體量的增加）架構支撐固化技術性功能，模式匹配業(yè)務驅動功能，組合新增組件化引擎，規(guī)則適配彈性化拓展，能力組合數據平臺能力建設-全域數據平臺藍圖運營管治域數據應用層數據加工層源數據層元數據管理數據標準管理數據質量管理數據生命周期管理數據指標管理數據安全管理數據資產管理數據運營保障結構化數據半結構化數據非結構化數據流式實時數據貼源企業(yè)數據湖實時數據Hub主題數據基礎數據主數據數據檢索集市主題分析集市數據探索集市報表型集市

數據應用報表服務決策分析專題分析AI探索數據查詢實時指標監(jiān)控多層聚合數據倉庫平臺ETL運維支撐域任務調度資源管理用戶管理服務管理權限管理巡檢管理監(jiān)控管理運維管理參數管理運營管理日志管理消息通知實時數據訂閱數據開放平臺數據中臺域數據服務配置工具分析挖掘算法設計工具自助報表分析開發(fā)工具數據模型設計配置工具ETL數據配置轉換工具研發(fā)支撐域流式數據計算配置工具數據采集配置式研發(fā)工具實時數據流采集數據庫采集統(tǒng)一數據采集文本文件采集流式文件采集二進制文件采集檢索服務應用服務分析服務企業(yè)數據服務應用服務檢索服務分析服務數據平臺能力建設-數據管治平臺數據資產戰(zhàn)略數據應用與服務數據管理保障機制促進支撐實現支撐數據戰(zhàn)略與規(guī)劃數據組織與職責數據制度與管理流程數據服務管理數據需求管理數據產品管理數據服務訪問管理數據架構管理數據標準管理數據質量管理元數據管理數據指標管理數據生命周期管理數據安全管理文檔與內容管理①管控治理框架數據平臺能力建設-數據管治平臺②管控治理功能架構整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行數據平臺能力建設-數據管治平臺③能力建設核心目標組織目標：建立適配的數據管理團隊和角色組織體系，可以根據數據規(guī)模和應用范圍，靈活伸縮。制度目標：針對數據特性，建立一套符合發(fā)展趨勢的企業(yè)數據管理制度，制度可根據發(fā)展不斷更新；流程目標：制度執(zhí)行保障，流程規(guī)范，其執(zhí)行狀態(tài)可以電子流或者手動流程，但流程的過程必須有數據沉淀可追溯工具目標：一套自動化，低操作門檻的數據管理工具，實現數據的全生命周期過程的管理宏觀目標：為數據提供組織、流程、制度和工具保障，推進企業(yè)數據的資產化，讓數據從成本向利潤轉化微觀目標：基于數據的生命周期，建立一套保障其質量的元數據、數據標準、數據質量、數據生命周期管理、數據安全的能力，并通過有效的事后檢核，暴露問題，并追蹤問題的解決元數據：建立元數據庫，實現元數據標準化，并實現元數據的日常檢核和問題跟蹤；建立元數據關聯，實現血緣追溯和影響分析。數據標準：引入國際、國家和行業(yè)標準，并根據企業(yè)業(yè)務特性，梳理自定義的業(yè)務數據標準；數據質量：實現數據質量規(guī)則庫，梳理各類型業(yè)務質量規(guī)則，實現常態(tài)化數據質量檢核，出具報告并追蹤問題的解決；數據生命周期管理：從數據產生，到消亡，整個過程實現狀態(tài)的追蹤，以及狀態(tài)變化的定義和檢核，比如：數據備份、數據歸檔、數據消亡；

基于數據基礎狀態(tài)及企業(yè)的業(yè)務特性，建立一整套數據應該遵循的標準和質量規(guī)則，同時實現數據向標準化和合規(guī)化轉換治理，并且構建能維持和保障實現長效治理目標的一系列組織、制度和流程!數據平臺能力建設-數據中臺數據應用層數據加工層源數據層貼源企業(yè)數據湖數據探索集市經營分析集市數據檢索集市報表集市報表統(tǒng)計應用投資分析用戶全景畫像信息檢索價格走勢實時輿情數據監(jiān)控多層聚合數據倉庫平臺實時交易數據訂閱拍賣系統(tǒng)內部數據媒體系統(tǒng)交易系統(tǒng)拍賣數據外部數據輿情數據媒介數據………...交易系統(tǒng)拍賣系統(tǒng)媒體系統(tǒng)……實時數據HUB藝術品主題拍賣主題用戶主題交易主題輿情主題…….業(yè)務主題集市轉換、清洗、加載主題實時數據1主題實時數據2主題實時數據3……...…實時數據服務數據集市數據應用……知識圖譜實時數據流采集數據庫采集統(tǒng)一數據采集文本文件采集二進制文件采集流式文件采集拍賣數據輿情數據媒介數據…...作者主題①中臺功能框架比對評估實時輿情服務層數據開放平臺投資分析實時輿情知識圖譜企業(yè)數據服務用戶畫像決策分析報表統(tǒng)計............全域數據平臺建設-數據中臺應用層存儲處理層數據源層實時數據采集在/離線數據采集貼源企業(yè)數據湖（數據湖集成組件Kylo+數據湖存儲和分析組件易鯨捷數據庫

）數據檢索集市（HadoopImpala+ES）經營分析集市（Mysql）數據探索集市（HadoopSpark）報表集市（Mysql）數據應用微服務（自助配置式應用服務：SpringBoot+HttpRestful服務接口/WebService服務接口）數據可視化組件（D3、Echarts、Highcharts）數據分析挖掘組件（Spark）多層聚合數據倉庫平臺實時數據HUB緩存（Kafka集群）業(yè)務主題集市（HadoopHDP）ETL組件（Kettle、Informatic）數據集市數據應用關系型數據庫文本型文件二進制文件數據流關系型數據庫采集適配組件（Sqoop、Kettle、Informatic）文本型文件采集適配組件（FTP+文本加載工具）二進制文件采集適配組件（FTP）流式數據采集適配組件（Restful數據接口、Flume）流式計算（Storm集群）主題關系型數據倉庫（Mysql/開源GreenPlum）主題大數據型數據倉庫（HadoopTrafodion+Kylin）機器學習組件（淺度學習SparkMllib+深度學習googleTensorflow）自助報表分析工具（Brio、Congos..）服務層②中臺技術框架全域數據平臺建設-數據開放平臺數據開放平臺投資分析用戶全景畫像信息檢索交易價格走勢……知識圖譜價值比對評估實時輿情數據API開放接口數據開放應用數據微應用第三方系統(tǒng)第三方網站系統(tǒng)第三方營銷系統(tǒng)......2C個人用戶2B企業(yè)用戶系統(tǒng)集成接口調用用戶體驗應用訪問1、全域數據平臺能力規(guī)劃2、數據應用能力建設3、數據能力分步演進策略數據應用能力建設–知識圖譜能力建設知識圖譜建設方案與策略數據治理主數據資產管理建設知識圖譜構建數據中臺服務共享目標：完成數據的深度治理實施，資產化轉變1、完善現有數據及關聯事件維度數據模型：2、對關鍵描述屬性字段進行程序和人工的修補治理，保證這些信息和數據處于行業(yè)的獨一無二的完善性地位；1、建立數據管理及重大事件的數據知識圖譜邏輯模型;2、構建知識圖譜技術平臺，完備各技術組件；3、知識圖譜實施，建立行業(yè)最完備的知識體系，最大幅度提升資產價值1、利用數據中臺的開放服務，有步驟對基礎數據及基于這些基礎數據上的應用，逐步開放；2、核心建立以API微服務為基礎的數據開放模式；3、在數據上直接建立應用，用戶可直接體驗目標：以主數據模式實現對數據的長效管理1、構建主數據平臺，對數據實現“一品一檔”的資產式管理；2、調整數據模型，建立事件關聯模型；3、建立主數據的更新同步機制目標：建立知識圖譜，實現全生命數據的融合目標：實現知識數據的外放共享，推進資產變現第一步第二步第三步第四步數據應用能力建設–用戶畫像及個性化推薦能力建設用戶畫像是海量數據的標簽化，幫助企業(yè)更精準解決問題他們是誰？他們的需求？他們的行為？我們的用戶價值大小？如何進行產品定位？如何優(yōu)化用戶體驗？如何進行精準投放？海量數據用戶標簽解決問題用戶畫像的建設價值數據應用能力建設–用戶畫像及個性化推薦能力建設用戶畫像的建設過程Step

02Step

01Step

04Step

03Step

06Step

05確認目標營銷/產品/定位？頭腦風暴用戶矩陣、關聯規(guī)則，獲取可能的人物標簽收集數據屬性、行為、CRM等定義標簽動機/輕重度/消費/生活形態(tài)等人群分類因子分析-聚類分析-交叉分析優(yōu)先級排列頻率/市場大小/收益的潛力/競爭優(yōu)勢或策略等數據應用能力建設–用戶畫像及個性化推薦能力建設用戶標簽體系基于用戶人群的基本屬性，可將標簽體系進行劃分人口屬性性別年齡職業(yè)婚姻狀況學歷教育……商業(yè)人口屬性工作崗位公司規(guī)模行業(yè)類型……行為屬性訪問媒體訪問時長訪問頻次……興趣標簽個人愛好生活習性生活方式生活社交服務需求消費意向物品購買商旅購買汽車購買CRM客戶狀態(tài)會員狀態(tài)生命價值擁有產品根據所得用戶標簽，對用戶進行特征歸類，搭建用戶畫像整合用戶標簽用戶群體分類建立用戶畫像70%使用iPhone鯨魚用戶中價值用戶低價值用戶高價值用戶特征分析月消費金額>1000元60%為IT行業(yè)數據應用能力建設–用戶畫像及個性化推薦能力建設用戶標簽構建畫像數據應用能力建設–用戶畫像及個性化推薦能力建設個性化推薦能力模式-千人千面的個性化智能推薦拓撲訪客標簽化標簽庫主數據畫像訪客畫像標簽匹配主數據訪客標簽庫標簽映射交易/舊用戶群畫像交易畫像歷史匹配聚類信息匹配歷史交易/已知特征用戶樣本訓練庫專家依賴2C網站……訪客行為信息關聯畫像行業(yè)標簽訪客標簽映射轉換規(guī)則協(xié)同過濾標簽化標簽化主數據信息畫像手機App標簽化數據數據應用能力建設–用戶畫像及個性化推薦能力建設核心技術-基于內容的核心推薦算法假設用戶A喜歡物品A和物品C，用戶B喜歡物品A，物品B和物品C，用戶C喜歡物品A，從這些用戶的歷史喜好可以分析出物品A和物品C時比較類似的，喜歡物品A的人都喜歡物品C，基于這個數據可以推斷用戶C很有可能也喜歡物品C，所以系統(tǒng)會將物品C推薦給用戶C。基于內容的協(xié)同過濾推薦：，使用所有用戶對物品或者信息的偏好，發(fā)現物品和物品之間的相似度，然后根據用戶的歷史偏好信息，將類似的物品推薦給用戶?；谟脩舻膮f(xié)同過濾推薦：根據所有用戶對物品或者信息的偏好，發(fā)現與當前用戶口味和偏好相似的“鄰居”用戶群，在一般的應用中是采用計算“K-鄰居”的算法；然后，基于這K個鄰居的歷史偏好信息，為當前用戶進行推薦假設用戶A喜歡物品A，物品C，用戶B喜歡物品B，用戶C喜歡物品A，物品C和物品D；從這些用戶的歷史喜好信息中，我們可以發(fā)現用戶A和用戶C的口味和偏好是比較類似的，同時用戶C還喜歡物品D，那么我們可以推斷用戶A可能也喜歡物品D，因此可以將物品D推薦給用戶A數據應用能力建設–用戶畫像及個性化推薦能力建設核心技術-內容標簽構建內容獲取，包括應用名，URL等，如果是URL，需要采用網絡爬蟲對該URL的內容進行爬取和分析。建立內容標簽體系，對內容進行統(tǒng)一管理。內容標簽主要有三類：受眾與定位標簽、內容分類標簽、內容標簽。建立內容標簽體系，對內容進行統(tǒng)一管理。內容獲取，網絡爬蟲或人工分類方式。人工或者自動為用戶訪問的內容打上相應的內容標簽。用戶訪問網頁識別應用識別網絡爬蟲內容識別網站、應用識別自動分類標簽人工分類標簽熱門標簽內容爬蟲文本處理機器學習自動標簽數據應用能力建設–用戶畫像及個性化推薦能力建設核心技術-用戶標簽構建基于用戶行為內容數據，通過分詞等技術進行解析，處理后以結構化的形式存儲，對用戶使用習慣、內容偏好等一系列屬性進行分析挖掘，以用戶需求和特征把握為出發(fā)點，為不同的用戶打上內容特征標簽。通過數據服務為其他業(yè)務或第方營銷系統(tǒng)或廣告平臺提供支撐。熱點應用排行用戶應用偏好……上網行為分析從瀏覽量、瀏覽用戶數、流量、時段等維度分析各種類型的應用排行，準確掌握流量的應用分布和效益；分析有哪些第三方業(yè)務能夠通過合作和推廣提高流量收益；每天抓取熱門軟件下載排行榜等內容，提供向用戶推薦的內容。熱點內容排行用戶內容偏好熱點網站排行……上網內容分析上網時段上網方式流量分布……上網方式分析根據用戶訪問網站的記錄分析出用戶最關注和最常訪問的網站和欄目，了解用戶整體關注點；按主題分類，針對特定類型網站，比如閱讀類網站進一步細分訪問內容的類型；根據內容標簽為用戶打上內容偏好標簽從用戶上網時段、上網方式、訪問站點、流量等維度分析用戶的上網行為，準備掌握用戶的上網習慣，以便根據用戶習慣在合適的時間推薦合適的內容，提高推薦轉化率；數據基礎用戶網絡訪問標簽庫靈活的標簽分類及配置數據應用能力建設–用戶畫像及個性化推薦能力建設核心技術-用戶基本信息挖掘分析對基本的性別、年齡、消費能力等關鍵特征，結合基礎的數據挖掘算法，形成了符合特征的計算模型。以性別為例：三個算法交叉驗證，提高精準度，準確度可達80%以上決策樹模型特征示例：訪問日志訪問內容分類分析方法2方法3模型訓練姓名分詞分類訪問內容文本特征變量學習樣本訪問行為決策樹模型訪問行為決策樹模型模型訓練交叉驗證方法1海量的文本bayes性別分類詞庫示例：數據應用能力建設–用戶畫像及個性化推薦能力建設核心技術-保證標簽準確性和完備性用戶響應、反饋迭代優(yōu)化用戶行為分析內容標簽模型沉淀用戶屬性個性化推薦、智能運營等應用用戶標簽體系標簽智能優(yōu)化閉環(huán)可以基于國內外已成熟的用戶特征分類劃分理論，借鑒國內外知名網站的內容Tag體系，結合自有運營經驗和技術積累，建立具備自有業(yè)務特征的、行業(yè)領先的標簽體系。標簽算法：基于Ontology的興趣計算模型如何完備的標簽體系特點：無“冷啟動”問題，億級用戶的標簽沉淀標簽更新機制，根據業(yè)務發(fā)展不斷增減，根據使用反饋不段優(yōu)化采用多算法A/B測試技術，確保標簽準確性數據應用能力建設–用戶畫像及個性化推薦能力建設核心建設步驟及策略完善用戶行為數據采集建設用戶主數據平臺用戶畫像及個性化推薦能力建設目標：完成全量用戶行為數據的采集，完善用戶行為特征數據1、從用戶觸點處，實現前后端對用戶全量數據的采集；2、建立統(tǒng)一的用戶行為數據模型，并統(tǒng)一所有系統(tǒng)的行為數據協(xié)議標準，實現用戶行為數據的統(tǒng)一融合；1、基于用戶主數據，建設用戶標簽體系;基礎屬性構建基礎標簽、行為屬性構建習慣喜好標簽2、利用用戶標簽，對用戶進行業(yè)務全景畫像塑造；3、打造個性化