1、數(shù)據(jù)整合培訓(xùn),鄭 斌 高級(jí)顧問(wèn),培訓(xùn)時(shí)間安排,主題,數(shù)據(jù)整合方法論 主流方法簡(jiǎn)介 設(shè)計(jì)方法論 實(shí)施方法論 Ascential Data Integration Solution Datastage組件 Administrator Manager Director design 基本功能 Datastage高級(jí)功能,數(shù)據(jù)整合方法論,數(shù)據(jù)整合,成熟的方法論 多年的積累，成熟的經(jīng)驗(yàn) 以方法論為核心指導(dǎo)原則,統(tǒng)一的標(biāo)準(zhǔn)化方法論 模型標(biāo)準(zhǔn)化 代碼統(tǒng)一 數(shù)據(jù)結(jié)構(gòu)統(tǒng)一 業(yè)務(wù)術(shù)語(yǔ)統(tǒng)一,完善的元數(shù)據(jù)管理 數(shù)據(jù)源元數(shù)據(jù)管理 數(shù)據(jù)中心元數(shù)據(jù)管理 應(yīng)用元數(shù)據(jù)管理,正確的數(shù)據(jù)質(zhì)量評(píng)估方法論 數(shù)據(jù)質(zhì)量暴露 數(shù)據(jù)質(zhì)量評(píng)估

2、數(shù)據(jù)質(zhì)量對(duì)策,主 題,數(shù)據(jù)整合方法論 主流方法 設(shè)計(jì)方法論 實(shí)施方法論 Ascential Data Integration Solution Datastage組件 Administrator Manager Director design 基本功能 Datastage高級(jí)功能,數(shù)據(jù)整合方法論-主流方法,主流方法簡(jiǎn)介 先統(tǒng)一再ETL 先抽取再統(tǒng)一，最后進(jìn)行數(shù)據(jù)轉(zhuǎn)換和裝載,代碼、數(shù)據(jù)結(jié)構(gòu)、業(yè)務(wù)術(shù)語(yǔ)統(tǒng)一,清洗、轉(zhuǎn)換、裝載,數(shù)據(jù)抽取,Integration,T+L,代碼、數(shù)據(jù)結(jié)構(gòu)、業(yè)務(wù)術(shù)語(yǔ)統(tǒng)一,清洗、轉(zhuǎn)換、裝載,數(shù)據(jù)抽取,E,Integration,T+L,E,DB2 II,Datastage/P

3、ower Center,Datastage/ Power Center,Datastage/ Power Center,Datastage/ Power Center,主 題,數(shù)據(jù)整合方法論 主流方法簡(jiǎn)介 設(shè)計(jì)方法論 實(shí)施方法論 Ascential Data Integration Solution Datastage組件 Administrator Manager Director design 基本功能 Datastage高級(jí)功能,數(shù)據(jù)整合方法論-設(shè)計(jì)方法,架構(gòu)設(shè)計(jì),架構(gòu)設(shè)計(jì) 流程設(shè)計(jì) 模塊設(shè)計(jì),數(shù) 據(jù) 中 心,數(shù)據(jù)整合方法論-設(shè)計(jì)方法,流程設(shè)計(jì) 流程設(shè)計(jì)指的是關(guān)于數(shù)據(jù)處理流程的設(shè)計(jì)，通常

4、有 2種設(shè)計(jì)思路： 分層設(shè)計(jì) 分層設(shè)計(jì)是指將數(shù)據(jù)處理的流程細(xì)分，將共性歸類，形成數(shù)據(jù)處理 的幾個(gè)層次 按業(yè)務(wù)流程設(shè)計(jì) 按業(yè)務(wù)流程設(shè)計(jì)是指將數(shù)據(jù)處理流程與業(yè)務(wù)流程相對(duì)應(yīng)，即面向業(yè) 務(wù)流程進(jìn)行設(shè)計(jì),架構(gòu)設(shè)計(jì) 流程設(shè)計(jì) 模塊設(shè)計(jì),數(shù)據(jù)整合方法論-設(shè)計(jì)方法,分層設(shè)計(jì)圖例,數(shù)據(jù)源,數(shù)據(jù)原始層,數(shù)據(jù)轉(zhuǎn)換層,應(yīng)用數(shù)據(jù)層,數(shù)據(jù)整合方法論-設(shè)計(jì)方法,按業(yè)務(wù)流程設(shè)計(jì)圖例,車險(xiǎn)理賠進(jìn)度分析,數(shù)據(jù)直接 從源到目標(biāo),數(shù)據(jù)整合方法論-設(shè)計(jì)方法,模塊設(shè)計(jì) 模塊功能 維度處理 業(yè)務(wù)數(shù)據(jù)處理 臟數(shù)據(jù)處理 數(shù)據(jù)備份及日志處理 流程處理（流程調(diào)度與控制） 歷史/增量數(shù)據(jù)處理 模塊復(fù)用性 公共業(yè)務(wù)數(shù)據(jù) 公共系統(tǒng)參數(shù) 公共轉(zhuǎn)換過(guò)程 模

5、塊處理性能 整合工具調(diào)優(yōu) 轉(zhuǎn)換過(guò)程優(yōu)化 數(shù)據(jù)庫(kù)性能調(diào)優(yōu),架構(gòu)設(shè)計(jì) 流程設(shè)計(jì) 模塊設(shè)計(jì),數(shù)據(jù)整合方法論-設(shè)計(jì)方法,設(shè)計(jì)注意事項(xiàng)（一） 取數(shù)規(guī)則、數(shù)據(jù)轉(zhuǎn)換規(guī)則 取數(shù)規(guī)則的設(shè)計(jì)要求雙方技術(shù)人員參與，數(shù)據(jù)轉(zhuǎn)換規(guī)則的 設(shè)計(jì)除要求雙方技術(shù)人員參與，還需要業(yè)務(wù)人員參與。 這2個(gè)規(guī)則是后續(xù)設(shè)計(jì)的基礎(chǔ)，為了避免在后續(xù)過(guò)程中因 規(guī)則改變導(dǎo)致重新修改結(jié)構(gòu)的情況發(fā)生，這個(gè)步驟應(yīng)給與足夠 的重視。 臟數(shù)據(jù)處理規(guī)則 臟數(shù)據(jù)即不符合業(yè)務(wù)邏輯、不適合做業(yè)務(wù)分析的數(shù)據(jù)，因 此，在設(shè)計(jì)過(guò)程中應(yīng)確定臟數(shù)據(jù)處理的原則，避免系統(tǒng)中存 在的臟數(shù)據(jù)給分析決策帶來(lái)誤導(dǎo)。,數(shù)據(jù)整合方法論-設(shè)計(jì)方法,高質(zhì)量的數(shù)據(jù)是指那些符合業(yè)務(wù)需求的、反應(yīng)客觀

6、事實(shí)的數(shù)據(jù)。衡量數(shù) 據(jù)質(zhì)量可在以下幾個(gè)方面進(jìn)行：,數(shù)據(jù)整合方法論-設(shè)計(jì)方法,設(shè)計(jì)注意事項(xiàng)（二） 歷史數(shù)據(jù)處理策略 歷史數(shù)據(jù)即系統(tǒng)正式運(yùn)行前所有的數(shù)據(jù)，數(shù)據(jù)量大，處理 邏輯可能與增量的不一樣，應(yīng)該根據(jù)實(shí)際情況進(jìn)行設(shè)計(jì)。 增量數(shù)據(jù)處理策略 增量數(shù)據(jù)的確定。增量數(shù)據(jù)主要根據(jù)業(yè)務(wù)邏輯來(lái)確定是否， 通常根據(jù)時(shí)間戳來(lái)確定，但是存在一些特殊的情況，需要通過(guò) 日志來(lái)判斷。 如：某條數(shù)據(jù)在當(dāng)天被做了修改，但是時(shí)間戳沒(méi)有改變， 仍然是以前的某個(gè)時(shí)間，這就只能通過(guò)日志或者其他輔助手段 進(jìn)行判斷。 增量數(shù)據(jù)的處理方法，同歷史數(shù)據(jù)相比，二者的數(shù)據(jù)不 一定完全相同，因此需要單獨(dú)考慮。,數(shù)據(jù)整合方法論-設(shè)計(jì)方法,設(shè)計(jì)注意事

7、項(xiàng)（三） 失敗、異常的處理策略 由于數(shù)據(jù)整合過(guò)程是一個(gè)復(fù)雜的數(shù)據(jù)處理流程，沒(méi)有好的失敗、 異常處理策略會(huì)增加維護(hù)的難度，同時(shí)給維護(hù)帶來(lái)大量的工作。 下圖是一個(gè)好的監(jiān)控系統(tǒng)，維護(hù)人員可以很方便的看到系統(tǒng)的 執(zhí)行狀態(tài)，并及時(shí)進(jìn)行維護(hù)。,主 題,數(shù)據(jù)整合方法論 主流方法簡(jiǎn)介 設(shè)計(jì)方法論 實(shí)施方法論 Ascential Data Integration Solution Datastage組件 Administrator Manager Director design 基本功能 Datastage高級(jí)功能,數(shù)據(jù)整合方法論-實(shí)施方法論,需求分析 報(bào)告書,開始,業(yè)務(wù)需求分析,規(guī)則評(píng)審,數(shù)據(jù)源分析,數(shù)據(jù)處理

8、 規(guī)則確定,概要設(shè)計(jì),概要設(shè)計(jì)評(píng)審,詳細(xì)設(shè)計(jì) （歷史、增量、 失敗處理等）,詳細(xì)設(shè)計(jì)評(píng)審,編碼,單元功能測(cè)試,數(shù)據(jù)質(zhì)量測(cè)試,數(shù)據(jù)質(zhì)量評(píng)審,流程測(cè)試,性能測(cè)試,結(jié)束,處理規(guī)則 說(shuō)明書,業(yè)務(wù)規(guī)則,數(shù)據(jù)源 分析報(bào)告,臟數(shù)據(jù) 處理規(guī)則,概要設(shè)計(jì) 說(shuō)明書,開發(fā)計(jì)劃,A,詳細(xì)設(shè)計(jì) 說(shuō)明書,測(cè)試計(jì)劃,數(shù)據(jù) 測(cè)試報(bào)告,流程 測(cè)試報(bào)告,性能 測(cè)試報(bào)告,A,Yes,Yes,No,No,Yes,No,No,Yes,主 題,數(shù)據(jù)整合方法論 主流方法簡(jiǎn)介 設(shè)計(jì)方法論 實(shí)施方法論 Ascential Data Integration Solution Datastage組件 Administrator Manager D

9、irector designer 基本功能 Datastage高級(jí)功能,Ascential 數(shù)據(jù)集成解決方案,Ascential Enterprise Integration Suite,Parallel Execution Engine,DISCOVER,Discover data content and structure,PREPARE,Standardize, match, and correct data,TRANSFORM and DELIVER,Transform, enrich, and deliver data,ProfileStage,QualityStage,DataSt

10、age,Meta Data Management,Real-Time Integration Services,Enterprise Connectivity,and Event Management,Complementary To BPM, EAI, and EII Technologies,Open, Service-Oriented Architecture Integrated Data Profiling & Data Quality Advanced Data Transformation and Routing Reusable Components & Rules Unlim

11、ited Performance with Linear Scalability Robust, Intelligent Adapters Anytime, Anywhere Connectivity Industry Standard Compliant (XML, EDI, JMS, JCA) Industry-Ready Integration Solutions,Service-Oriented Architecture,DataStage Deployment Modes,Target (Database or File),ODBC/Native,DataStage Server (

12、WinNT, Win2000 or UNIX),ODBC/Native,Data Sources (Database or File),Data flow,Data flow,DataStage Server,運(yùn)行 DataStage 作業(yè) 底層引擎 采用UniVerse RDBMS 可運(yùn)行于6種平臺(tái) Intel NT, Alpha NT AIX, HP UX, Sun Solaris, Compaq Tru64,DataStage Repository,存儲(chǔ)各種定義 Meta data Transformations Stages 存儲(chǔ)運(yùn)行信息 存于 UniVerse RDBMS中 能 im

13、port / export 從/到各種環(huán)境,主 題,數(shù)據(jù)整合方法論 主流方法簡(jiǎn)介 設(shè)計(jì)方法論 實(shí)施方法論 Ascential Data Integration Solution Datastage組件 Administrator Manager Director design 基本功能 Datastage高級(jí)功能,Manager,Designer,Director,4 Components in DataStage,Metadata collection and management,Design Job/ process flow,Run jobs, check logs and set s

14、chedules,Administrator,Config system environment,DataStage Administrator,系統(tǒng)配置 創(chuàng)建Project 系統(tǒng)變量 管理DataStage引擎 清除, 調(diào)整 查看設(shè)置 License 情況 權(quán)限管理,DataStage Manager,管理各種定義 Meta data(元數(shù)據(jù)) Transformations Stages,Import / Export ODBC 或 API MetaBrokers Microsoft Repository / Sybase WCC ActiveX transformations,Meta data repository,DataStage Direc