集市建設及數據管理方法 (初稿)目錄

數據集市數據集市數據集市：數據倉庫的子集經過ETL流程的一定粒度匯總數據面向部門級業(yè)務針對特定主題的數據集星型模式(不遵循3NF結構)緩解倉庫訪問瓶頸實現方式：獨立型(RalphKimball)倉庫是集市的聯合數據來源于業(yè)務系統(tǒng)首先滿足數據展示的需求必需統(tǒng)一的數據倉庫建設思想協(xié)調從屬型(BillInmon)集市是倉庫的子集數據來源于倉庫提供更強的數據一致性和靈活性長期規(guī)劃獨立型從屬型實現原則：統(tǒng)一構建總體指導穩(wěn)定性可適應性可擴展性數據分層架構針對性營銷數據集市基于EDW/ODS，通過對EDW/ODS中的數據進行一定粒度的匯總，滿足針對性營銷IT支撐需求的數據集合包括營銷分析數據和營銷事務數據營銷分析數據數據挖掘寬表自助取數匯總表外部數據寬表數據挖掘寬表旨在為數據挖掘模型的建立和分析提供基礎支撐，并為之提供有效的數據集合，提升系統(tǒng)效率。包含客戶屬性類數據、客戶擁有類數據、客戶行為類數據、客戶價值類數據和客戶交互類數據。自助取數匯總表自助取數匯總表主要包含按照客戶、用戶等維度進行數據的初級匯總和整合，實現自助取數系統(tǒng)對客戶、產品等相關信息數據提取外部數據寬表(外部調研數據)在成功獲取了外部數據后，可構建合適的數據集市，納入系統(tǒng)的外部數據可包括：競爭對手信息、客戶偏好信息、客戶滿意度信息等外部數據涵蓋的范圍非常廣泛，將所有的外部數據都加載到針對性營銷的數據集市中存在較大難度。套餐資料庫套餐資料庫存儲已有的套餐資料，為套餐梳理和套餐方案設計環(huán)節(jié)提供數據支撐。套餐的結構包括基本套餐和可選套餐兩部分。基本套餐是套餐的主體部分，它包含了套餐的核心產品及主要優(yōu)惠規(guī)則，可以獨立存在；可選套餐是由客戶自行選擇的疊加套餐，一般不單獨提供，需以購買基本套餐為前提。營銷資料庫營銷資料庫包含了整個營銷活動的策劃、分析、評估環(huán)節(jié)所涉及到的除了套餐以外的內容：市場調研所需的問卷題庫營銷腳本宣傳方案促銷方案營銷活動案例目錄

數據集市

數據管理數據整合數據質量元數據管理數據整合整合準備：源/目標模型數據預處理整合過程：數據抽取數據轉換數據加載整合規(guī)則：數據編碼統(tǒng)一保證數據質量支持異?？刂屏鞒炭删S護異常處理流程管理輸出：規(guī)則分析包括：候選數據源確定、源與目標的映射關系、估計行數等執(zhí)行分析包括：執(zhí)行時間、執(zhí)行方式、執(zhí)行順序、執(zhí)行頻度等異常報告包括：異常位置、異常原因、處理方式等版本控制數據整合總體流程總體處理流程數據質量解決方法信息問題域流程問題域管理問題域數據質量管理流程數據質量評估分析問題解決和驗證數據質量問題分析源系統(tǒng)數據人員ODS系統(tǒng)維護人員數據質量管理人員數據質量檢查人員數據質量檢查問題匯總數據質量稽核分析問題問題展現ETL處理過程數據質量問題發(fā)現問題工單生成派單派單判斷源系統(tǒng)問題工單ODS系統(tǒng)問題工單工單處理問題解決N數據質量分析評估問題驗證數據質量考核源系統(tǒng)評估報告ODS系統(tǒng)評估報告數據質量檢查稽核數據質量評估監(jiān)控管理功能源系統(tǒng)1源系統(tǒng)2ETL/EAI企業(yè)數據平臺數據質量任務派發(fā)數據質量角色管理數據質量組織管理數據質量工單管理數據質量權限管理數據屬性關系檢查數據屬性檢查數據表關系檢查數據對比稽核異常處理數據對比展現數據質量分析數據質量評估數據質量告警數據質量異常跟蹤數據質量修正跟蹤數據質量監(jiān)控數據質量管理平臺數據質量基礎管理規(guī)則配置數據處理情況考核算法配置統(tǒng)一指標定義流程配置異常流程跟蹤接口定義數據質量管理總體流程總體處理流程：目錄

數據集市

數據管理數據整合數據質量元數據管理元數據管理元數據定義元數據最本質，最抽象的定義為:dataaboutdata(關于數據的數據)在數據倉庫領域中，元數據被定義為：描述數據及其環(huán)境的數據元數據存儲技術元數據：為企業(yè)技術用戶和IT人員提供支持的元數據業(yè)務元數據：為企業(yè)業(yè)務用戶提供支持的元數據元數據管理元數據管理技術——公共倉庫元模型CWMCWM公共倉庫元模型（CommonWarehouseMetamodel）是OMG國際標準化組織提出的，主要目的是在異構環(huán)境下，使不同數據倉庫工具、平臺和元數據知識庫進行元數據交換。元數據管理－支持五類系統(tǒng)管理功能描述哪些數據在數據倉庫中;定義要進入數據倉庫中的數據和從數據倉庫中產生的數據;記錄根據業(yè)務事件發(fā)生而隨之進行的數據抽取工作時間安排;記錄并檢測系統(tǒng)數據一致性的要求和執(zhí)行情況;衡量數據質量。數據倉庫元數據管理數據倉庫涉及的元數據管理包括：數據源元數據ETL規(guī)則元數據數據倉庫元數據報表元數據接口文件格式元數據商業(yè)元數據其他元數據各類元數據管理辦法：數據源元數據數據源元數據主要是數據庫模型設計文檔、為綜合統(tǒng)計分析平臺提供數據的各種業(yè)務系統(tǒng)的數據字典及數據接口文件等。數據源元數據的管理：由相關人員對各類文檔進行統(tǒng)一版本的管理。各類元數據管理辦法：ETL規(guī)則元數據ETL規(guī)則元數據中涉及到數據源元數據、目標系統(tǒng)元數據、ETL流程、源與目標的映射關系等元數據信息。數據源元數據包括業(yè)務系統(tǒng)元數據和數據倉庫元數據等；目標系統(tǒng)元數據可能是數據倉庫元數據、數據集市元數據等。ETL規(guī)則元數據的管理：由數據庫開發(fā)人員根據各個模塊的ETL過程以及過程運行的順序，形成相關元數據管理文檔進行統(tǒng)一管理。各類元數據管理辦法：數據倉庫元數據數據倉庫采用RDBMS進行數據的存儲和管理，設計模式遵循數據倉庫的設計準則，實現主題、維、度量等多維概念模型，這些元素在RDBMS中物理上是具體的數據表，這些表與具體多維模型的映射關系需要通過元數據進行描述和定義。數據倉庫元數據的管理：制定數據倉庫模型設計文檔記錄事實表、維度、屬性、層次等信息，物理表與多維模型的映射關系等信息，對文檔進行統(tǒng)一版本的管理。各類元數據管理辦法：報表元數據包括對報表和報表中具體指標（度量）的描述信息等報表元數據的管理：對數據集上可以計算的度量進行相關元數據的管理，包括詳細設計文檔中對各個表中度量的定義、描述等；對所有表和度量之間的關系進行嚴格的文檔記錄，包括度量的計算、度量之間的相互依賴關系、以及歷史信息進行元數據管理各類元數據管理辦法：接口文件格式元數據接口數據文件格式，包括接口數據文件的命名、傳輸周期、格式等說明信息。接口文件格式元數據：與ETL規(guī)則元數據進行統(tǒng)一管理。各類元數據管理辦法：商業(yè)元數據系統(tǒng)中對各項指標的業(yè)務含義的描述性信息，在綜合統(tǒng)計分析平臺中，包括維、度量的業(yè)務含義描述，主題的分析目標描述，報表指標的解釋信息等。商業(yè)元數據的管理可以分解成數據倉庫元數據的管理和報表元數據的管理。各類元數據管理辦法：其他元數據數據訪問日志、數據裝載日志等信息。數據訪問日志記錄數據