1、會計學(xué)1數(shù)據(jù)倉庫實施步驟與關(guān)鍵成功因素數(shù)據(jù)倉庫實施步驟與關(guān)鍵成功因素3/16/20022一、數(shù)據(jù)倉庫實施方法論?規(guī)劃解決方案支持?jǐn)?shù)據(jù)倉庫管理(處理流程與操作)物理數(shù)據(jù)庫設(shè)計數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)設(shè)計與實現(xiàn)支持與增強(qiáng)解決方案體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理數(shù)據(jù)倉庫評估應(yīng)用增強(qiáng)邏輯數(shù)據(jù)模型回顧物理數(shù)據(jù)庫回顧性能調(diào)整容量規(guī)劃解決方案集成定制解決方案規(guī)劃詳細(xì)數(shù)據(jù)分析解決方案準(zhǔn)備就緒解決方案實施建議現(xiàn)成解決方案規(guī)劃數(shù)據(jù)倉庫策略開發(fā)業(yè)務(wù)探索業(yè)務(wù)探索解決方案定義邏輯數(shù)據(jù)模型設(shè)計修改邏輯數(shù)據(jù)模型驗證解決方案數(shù)據(jù)倉庫的循環(huán)過程第1頁/共28頁3/16/20023數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系

2、統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成項目具體實施步驟項目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型二、項目具體實施步驟1. 項目前期準(zhǔn)備2. 業(yè)務(wù)探索（Business Discovery)3. 信息探索（Information Discovery)4. 邏輯數(shù)據(jù)模型設(shè)計5. 系統(tǒng)體系結(jié)構(gòu)設(shè)計6. 物理數(shù)據(jù)庫設(shè)計7. 數(shù)據(jù)轉(zhuǎn)換加載ETL8. 前端應(yīng)用開發(fā)9. 數(shù)據(jù)挖掘服務(wù)10.元數(shù)據(jù)管理11.數(shù)據(jù)倉庫管理（處理流程與操作）12.解決方案集成（測試驗收與試運(yùn)行）第2頁/共28頁3/16/200242.1 項目前期準(zhǔn)備主要任務(wù)： 項目啟動會議(Kick-off Meeting) 確認(rèn)項目范圍和主要目標(biāo)

3、確認(rèn)項目階段性驗收及總體驗收標(biāo)準(zhǔn) 確認(rèn)項目實施計劃 成立項目組 確定各項目小組的成員及各自的工作職責(zé) 確定各項目小組的階段性工作目標(biāo) 確定教育訓(xùn)練計劃 確定服務(wù)流程及方式 交付項目：項目組織機(jī)構(gòu)項目人員組成 項目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型第3頁/共28頁3/16/200252.2 業(yè)務(wù)探索（Business Discovery)主要任務(wù)： 確定重點(diǎn)用戶與數(shù)據(jù)源 用戶需求調(diào)研與確認(rèn) 數(shù)據(jù)源確認(rèn) 用戶需求和數(shù)據(jù)源的篩選和分析 交付項目：業(yè)務(wù)需求說明書BRL ( Business Requirement List )概念數(shù)據(jù)模型CDM （ Conceptual Data Model ) 項

4、目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型第4頁/共28頁3/16/200262.3 信息探索（Information Discovery)主要任務(wù)： 分析用戶需求 數(shù)據(jù)源分析 進(jìn)行工具評估 系統(tǒng)安全性設(shè)計 系統(tǒng)命名規(guī)范設(shè)計交付項目：功能需求列表FRL ( Function Requirement List )系統(tǒng)安全性設(shè)計說明書 系統(tǒng)命名規(guī)范說明書數(shù)據(jù)質(zhì)量分析項目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型第5頁/共28頁3/16/200272.4 邏輯數(shù)據(jù)模型設(shè)計主要任務(wù)： 進(jìn)行原始數(shù)據(jù)分析 建立實體模型 建立實體間依賴關(guān)系 完善并填入所有屬性 建立數(shù)據(jù)庫邏輯模型 利用工具： ERWin交付項目： 數(shù)

5、據(jù)倉庫邏輯數(shù)據(jù)模型LDM邏輯數(shù)據(jù)模型說明書項目前期準(zhǔn)備業(yè)務(wù)探索信息探索邏輯數(shù)據(jù)模型第6頁/共28頁3/16/200282.4 邏輯數(shù)據(jù)模型概念邏輯數(shù)據(jù)模型是用來發(fā)現(xiàn)、記錄和溝通業(yè)務(wù)的詳細(xì)“藍(lán)圖”基于概念數(shù)據(jù)模型（CDM）由一系列表和實體詳細(xì)描述組成通用的業(yè)務(wù)語言便于業(yè)務(wù)與業(yè)務(wù)之間的功能理解集成當(dāng)前和未來數(shù)據(jù)的藍(lán)圖獨(dú)立于技術(shù)為物理數(shù)據(jù)庫設(shè)計作準(zhǔn)備是IT人員和業(yè)務(wù)人員溝通的工具發(fā)現(xiàn)屬性發(fā)現(xiàn)關(guān)系發(fā)現(xiàn)實體1. 業(yè)務(wù)規(guī)則2. ER圖3. ERA建模第7頁/共28頁3/16/200292.4 邏輯數(shù)據(jù)模型(LDM)示例第8頁/共28頁3/16/2002102.5 系統(tǒng)體系結(jié)構(gòu)設(shè)計主要任務(wù)：1.對業(yè)務(wù)、技術(shù)

6、環(huán)境及企業(yè)文化的充分了解，從技術(shù)、組織、教育和支持等方面對系統(tǒng)進(jìn)行全面評估2.定義業(yè)務(wù)驅(qū)動力3.定義數(shù)據(jù)倉庫成功的關(guān)鍵因素4.定義數(shù)據(jù)倉庫的實施原則5.對系統(tǒng)體系結(jié)構(gòu)各個組件進(jìn)行詳細(xì)設(shè)計交付項目：系統(tǒng)體系結(jié)構(gòu)設(shè)計說明書數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第9頁/共28頁3/16/2002112.5 體系結(jié)構(gòu)設(shè)計組件用戶類型拓?fù)浣Y(jié)構(gòu)網(wǎng)絡(luò)存取與互連組織機(jī)構(gòu)安全性數(shù)據(jù)體系結(jié)構(gòu)-邏輯數(shù)據(jù)模型-元數(shù)據(jù)-數(shù)據(jù)質(zhì)量-命名規(guī)范數(shù)據(jù)采集與轉(zhuǎn)換用戶存取及工具備份系統(tǒng)操作管理第10頁/共28頁3/16/2002122.6 物理數(shù)據(jù)庫設(shè)計建模方法： 第三范式 3N

7、F 星型結(jié)構(gòu) 雪花狀結(jié)構(gòu)數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第11頁/共28頁3/16/200213概念數(shù)據(jù)模型（ CDM Conceptual Data Model ）主要實體和它們的關(guān)系 （Major Entities and Their Relationships）邏輯數(shù)據(jù)模型 （ LDM - Logical Data Model ）業(yè)務(wù)模型加（CDM Plus） :所有的表及簡單的數(shù)據(jù)（All Tables with Sample Data）輔助的表及簡單的數(shù)據(jù)（ Minor Tables with Sample Data ）主鍵與

8、外鍵的關(guān)系（ PK & FK Relationships ）數(shù)據(jù)約束（ Constraints ）屬性（ Attributes ）擴(kuò)展邏輯數(shù)據(jù)模型 （ELDM - Extended Logical Data Model ）邏輯數(shù)據(jù)模型加（LDM Plus） :存取詳細(xì)描述（Access Demographics）數(shù)據(jù)詳細(xì)描述（Data Demographics）物理數(shù)據(jù)模型 （ PDM - Physical Data Model ）擴(kuò)張邏輯數(shù)據(jù)模型（ELDM Plus）:索引 （Indices）非正則化 （Denormalization）2.6 數(shù)據(jù)模型的演變第12頁/共28頁3/16

9、/200214F 物理非正則化對模型的靈活性會有影響F 邏輯非正則化是一個優(yōu)選的方法（OLAP實現(xiàn)）2.6 非正則化處理 ( Denormalization )第13頁/共28頁3/16/2002152.6 物理數(shù)據(jù)模型（PDM）第14頁/共28頁3/16/2002162.7 數(shù)據(jù)轉(zhuǎn)換與加載（ETL）主要任務(wù)：數(shù)據(jù)源及其特性定義數(shù)據(jù)析取、轉(zhuǎn)換和加載策略設(shè)計構(gòu)建和測試初始加載的程序和處理流程構(gòu)建和測試日常加載的程序和處理流程40%的工作量在數(shù)據(jù)轉(zhuǎn)換與加載上使用工具：Teradata Builder、C、Shell、Perl交付項目： 數(shù)據(jù)轉(zhuǎn)換加載設(shè)計說明書數(shù)據(jù)映射 （Data Mapping）說

10、明書 數(shù)據(jù)轉(zhuǎn)換加載腳本 （ ETL Scripts) 加載流程控制（ ETL Process Control)數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第15頁/共28頁3/16/2002172.7 數(shù)據(jù)清洗方法1)在源系統(tǒng)上進(jìn)行清洗（數(shù)據(jù)析取前）2)在加載服務(wù)器上進(jìn)行清洗（數(shù)據(jù)析取后、加載前）3)在數(shù)據(jù)倉庫里進(jìn)行清洗（數(shù)據(jù)加載后）源系統(tǒng)ETL服務(wù)器數(shù)據(jù)倉庫SQL, C, ShC, ShSQL第16頁/共28頁3/16/2002182.7 數(shù)據(jù)轉(zhuǎn)換常用手段 析取 Extracting 條件 Conditioning 剔除 Scrubbing 合并

11、 Merging 濃縮 Enrichment 確認(rèn) Validating 加載 Loading 評分 Scoring 家庭關(guān)系識別 Householding第17頁/共28頁3/16/2002192.8 前端應(yīng)用開發(fā)主要任務(wù)：前端應(yīng)用體系結(jié)構(gòu)設(shè)計OLAP應(yīng)用設(shè)計(Summary/Fact表及Cub的產(chǎn)生）前端應(yīng)用開發(fā)（隨機(jī)查詢、預(yù)定義報表、 OLAP應(yīng)用）撰寫用戶使用手冊用戶測試驗收使用工具：查詢報表工具OLAP工具（Brio,Cognos,MicroStrategy)基于Web的開發(fā)工具(InterDev,ColdFusion)其他開發(fā)工具,如: Portal交付項目：前端應(yīng)用體系結(jié)構(gòu)設(shè)計說

12、明書應(yīng)用模塊設(shè)計說明書 用戶使用手冊 數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第18頁/共28頁3/16/2002202.9 數(shù)據(jù)挖掘服務(wù)2. 知識應(yīng)用(Knowledge Deployment): 將發(fā)現(xiàn)的知識應(yīng)用于某種目標(biāo)，例如進(jìn)行預(yù)測1. 知識發(fā)現(xiàn) (Knowledge Discovery):發(fā)現(xiàn)將數(shù)據(jù)轉(zhuǎn)變成信息的潛在模式數(shù)據(jù)知識信息決策與行動第19頁/共28頁3/16/2002212.9 數(shù)據(jù)挖掘方法項目管理知識轉(zhuǎn)移業(yè)務(wù)理解體系結(jié)構(gòu)和技術(shù)準(zhǔn)備數(shù)據(jù)理解和數(shù)據(jù)準(zhǔn)備分析建模和模型評估知識應(yīng)用Teradata DatabaseData Mini

13、ng & OLAP AssistsTeraMinerDebt$40KSQL第20頁/共28頁3/16/2002222.9 數(shù)據(jù)挖掘常用算法及應(yīng)用Debt$40KQQQQII123456factor 1factor 2factor n神經(jīng)網(wǎng)絡(luò) Neural Networks聚類分析 ClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析 Sequence Analysis決策樹 Decision Trees 傾向性分析 客戶保留 客戶生命周期管理 目標(biāo)市場 價格彈性分析 客戶細(xì)分 市場細(xì)分 傾向性分析 客戶保留 目標(biāo)市場 欺詐檢測關(guān)

14、聯(lián)分析 Association 市場組合分析 套裝產(chǎn)品分析 目錄設(shè)計 交叉銷售第21頁/共28頁3/16/2002232.10 元數(shù)據(jù)管理元數(shù)據(jù)(Metadata) 是指關(guān)于數(shù)據(jù)的數(shù)據(jù)，即用來描述數(shù)據(jù)的類型、來源、定義、存儲位置，使得業(yè)務(wù)用戶可以正確地使用數(shù)據(jù)倉庫。 主要任務(wù)：定義元數(shù)據(jù)使用功能設(shè)計元數(shù)據(jù)環(huán)境邏輯結(jié)構(gòu)設(shè)計元數(shù)據(jù)環(huán)境物理結(jié)構(gòu)選擇合適的元數(shù)據(jù)管理工具建立元數(shù)據(jù)倉庫（Metadata Repository)建立和測試元數(shù)據(jù)接口使用工具：Teradata Metadata Service交付項目： 元數(shù)據(jù)管理說明書數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)

15、據(jù)管理解決方案集成第22頁/共28頁3/16/200224元數(shù)據(jù)內(nèi)容項目活動數(shù)據(jù)描述信息探索數(shù)據(jù)采集數(shù)據(jù)定義邏輯數(shù)據(jù)模型數(shù)據(jù)采集數(shù)據(jù)所有權(quán)數(shù)據(jù)源邏輯模型邏輯數(shù)據(jù)模型化業(yè)務(wù)規(guī)則邏輯數(shù)據(jù)模型.轉(zhuǎn)換物理模型物理數(shù)據(jù)模型化歷史時間維度物理數(shù)據(jù)模型化數(shù)據(jù)加載數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)加載2.10 元數(shù)據(jù)開發(fā)元數(shù)據(jù)的開發(fā)應(yīng)該包含在數(shù)據(jù)倉庫實施過程的每一步驟中，下圖是元數(shù)據(jù)各部分內(nèi)容與數(shù)據(jù)倉庫開發(fā)過程的對應(yīng)關(guān)系： 第23頁/共28頁3/16/2002252.11 數(shù)據(jù)倉庫管理主要任務(wù)：設(shè)計和開發(fā)數(shù)據(jù)倉庫支持體系結(jié)構(gòu)開發(fā)和測試數(shù)據(jù)倉庫日常運(yùn)作流程開發(fā)和測試性能監(jiān)視程序開發(fā)和測試數(shù)據(jù)備份與恢復(fù)程序開發(fā)和測試安全系

16、統(tǒng)設(shè)計和開發(fā)操作人員/最終用戶培訓(xùn)計劃建立用戶支持和培訓(xùn)材料使用工具：系統(tǒng)監(jiān)控工具和管理工具交付項目：數(shù)據(jù)倉庫管理過程說明書數(shù)據(jù)備份過程設(shè)計說明書安全管理模塊設(shè)計說明書用戶培訓(xùn)計劃及用戶使用手冊數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第24頁/共28頁3/16/2002262.12 解決方案集成(系統(tǒng)驗收與試運(yùn)行)主要任務(wù)：建立并執(zhí)行集成測試計劃建立并執(zhí)行數(shù)據(jù)倉庫平臺測試計劃建立并執(zhí)行系統(tǒng)驗收測試計劃移植開發(fā)系統(tǒng)到生產(chǎn)系統(tǒng)執(zhí)行用戶培訓(xùn)計劃實施數(shù)據(jù)倉庫管理基礎(chǔ)設(shè)施項目實施完成回顧項目狀態(tài)交付項目：數(shù)據(jù)轉(zhuǎn)換管理系統(tǒng)測試報告數(shù)據(jù)訪問和信息發(fā)布系統(tǒng)測試

17、報告數(shù)據(jù)倉庫平臺測試報告數(shù)據(jù)倉庫管理過程測試報告系統(tǒng)回顧報告數(shù)據(jù)倉庫管理物理數(shù)據(jù)模型數(shù)據(jù)轉(zhuǎn)換應(yīng)用開發(fā)數(shù)據(jù)挖掘服務(wù)系統(tǒng)體系結(jié)構(gòu)設(shè)計元數(shù)據(jù)管理解決方案集成第25頁/共28頁3/16/200227 Business Discovery (業(yè)務(wù)探索) 業(yè)務(wù)需求說明書(BRL) 概念數(shù)據(jù)模型(CDM)物理數(shù)據(jù)庫設(shè)計 物理數(shù)據(jù)模型 (PDM) 數(shù)據(jù)庫描述語言(DDL) 數(shù)據(jù)轉(zhuǎn)換加載(ETL) 數(shù)據(jù)加載設(shè)計說明書 數(shù)據(jù)映射 （Data Mapping) 轉(zhuǎn)換加載腳本 （ ETL Scripts) 加載流程控制（ ETL Control) 前端應(yīng)用設(shè)計 前端應(yīng)用體系結(jié)構(gòu) 前端應(yīng)用設(shè)計說明書 Summary / Fact 表設(shè)計 Summary / Fact 數(shù)據(jù)生成 OLAP設(shè)計 應(yīng)用開發(fā) 應(yīng)用集成總結(jié)：主要步驟及文檔間關(guān)系數(shù)據(jù)倉庫管理物理數(shù)據(jù)