基于ODSB架構(gòu)的數(shù)據(jù)倉(cāng)庫(kù)培訓(xùn)1提綱數(shù)據(jù)倉(cāng)庫(kù)基本概念數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)技術(shù)ODSB模型基于ODSB模型的匯總區(qū)ODSB模型架構(gòu)基于總行ODSB架構(gòu)的實(shí)施流程2

數(shù)據(jù)倉(cāng)庫(kù)基本概念—名詞解釋數(shù)據(jù)倉(cāng)庫(kù)：數(shù)據(jù)倉(cāng)庫(kù)通常是一個(gè)面向主題的、集成的、隨時(shí)間變化的、但信息本身相對(duì)穩(wěn)定的數(shù)據(jù)集合，它用于對(duì)管理決策過(guò)程的支持。主題：是指用戶使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面，如：收入、客戶、銷售渠道等；所謂面向主題，是指數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是按主題進(jìn)行組織的，而不是像業(yè)務(wù)支撐系統(tǒng)那樣是按照業(yè)務(wù)功能進(jìn)行組織的。集成：是指數(shù)據(jù)倉(cāng)庫(kù)中的信息不是從各個(gè)業(yè)務(wù)系統(tǒng)中簡(jiǎn)單抽取出來(lái)的，而是經(jīng)過(guò)一系列加工、整理和匯總的過(guò)程，因此數(shù)據(jù)倉(cāng)庫(kù)中的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。隨時(shí)間變化：是指數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息并不只是反映企業(yè)當(dāng)前的狀態(tài)，而是記錄了從過(guò)去某一時(shí)點(diǎn)到當(dāng)前各個(gè)階段的信息。通過(guò)這些信息，可以對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析和預(yù)測(cè)。3數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)效率足夠高：數(shù)據(jù)倉(cāng)庫(kù)的分析數(shù)據(jù)一般分為日、周、月、季、年等，可以看出，日為周期的數(shù)據(jù)要求的效率最高，要求24小時(shí)甚至12小時(shí)內(nèi)，目前普遍的數(shù)據(jù)展現(xiàn)方式為T+1，即當(dāng)日處理昨日的業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)質(zhì)量：基于數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用所面對(duì)的一般為企業(yè)決策層用戶，所以對(duì)數(shù)據(jù)倉(cāng)庫(kù)提供的各種信息，肯定要準(zhǔn)確的數(shù)據(jù)；但由于數(shù)據(jù)源有臟數(shù)據(jù)或者代碼不嚴(yán)謹(jǐn)，所以數(shù)據(jù)倉(cāng)庫(kù)流程通常分為多個(gè)步驟，包括數(shù)據(jù)抽取，清洗，轉(zhuǎn)換，裝載，查詢，展現(xiàn)等等；其中數(shù)據(jù)清洗則主要對(duì)抽取過(guò)來(lái)各數(shù)據(jù)源的臟數(shù)據(jù)和不規(guī)范數(shù)據(jù)進(jìn)行統(tǒng)一標(biāo)準(zhǔn)化。擴(kuò)展性：有的大型數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)設(shè)計(jì)復(fù)雜，是因?yàn)榭紤]到了未來(lái)3-5年的擴(kuò)展性，這樣的話，未來(lái)不用花太多時(shí)間去重建數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，就能很穩(wěn)定運(yùn)行。主要體現(xiàn)在數(shù)據(jù)建模的合理性，數(shù)據(jù)倉(cāng)庫(kù)方案中多出一些中間層，使海量數(shù)據(jù)流有足夠的緩沖，不至于因?yàn)閿?shù)據(jù)源的變動(dòng)而導(dǎo)致用戶應(yīng)用功能的頻繁變動(dòng)。

4數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)技術(shù)5數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)技術(shù)-數(shù)據(jù)處理DataStage：是由IBM公司開發(fā)的，是一套專門對(duì)多種操作數(shù)據(jù)源的數(shù)據(jù)抽取、轉(zhuǎn)換和維護(hù)過(guò)程進(jìn)行簡(jiǎn)化和自動(dòng)化，并將其輸入數(shù)據(jù)集市或數(shù)據(jù)倉(cāng)庫(kù)目標(biāo)數(shù)據(jù)庫(kù)的集成工具。DataStage能夠處理多種數(shù)據(jù)源的數(shù)據(jù)，包括各種數(shù)據(jù)庫(kù)系統(tǒng)及普通文件系統(tǒng)等。優(yōu)點(diǎn)是對(duì)于多數(shù)據(jù)源中的數(shù)據(jù)處理和文本數(shù)據(jù)可以通過(guò)簡(jiǎn)單的配置輕松的實(shí)現(xiàn)；缺點(diǎn)是對(duì)于需要復(fù)雜業(yè)務(wù)邏輯運(yùn)算的數(shù)據(jù)處理比較繁瑣，可讀性較差。Pro*C：ORACLE支持的通過(guò)在過(guò)程化編程語(yǔ)言C/C++中嵌入SQL語(yǔ)句而開發(fā)出的應(yīng)用程序。優(yōu)點(diǎn)是C語(yǔ)言的邏輯控制能力強(qiáng)；缺點(diǎn)是可移植性差，有指針引起的內(nèi)存泄露隱患。存儲(chǔ)過(guò)程：存儲(chǔ)過(guò)程（StoredProcedure）是在大型數(shù)據(jù)庫(kù)系統(tǒng)中，一組為了完成特定功能的SQL語(yǔ)句集，經(jīng)編譯后存儲(chǔ)在數(shù)據(jù)庫(kù)中，用戶通過(guò)指定存儲(chǔ)過(guò)程的名字并給出參數(shù)（如果該存儲(chǔ)過(guò)程帶有參數(shù)）來(lái)執(zhí)行它。優(yōu)點(diǎn)是存儲(chǔ)過(guò)程是編譯過(guò)的，執(zhí)行快，寫程序簡(jiǎn)單，升級(jí)、維護(hù)方便；缺點(diǎn)是可移植性差，編程語(yǔ)言SQL功能較差，對(duì)文件的處理比較弱。6數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)技術(shù)-數(shù)據(jù)展現(xiàn)Cognos：IBM公司的BI產(chǎn)品，主要提供固定報(bào)表，靈活報(bào)表，儀表盤，多維分析等展現(xiàn)工具為企業(yè)提供提供完整的業(yè)務(wù)智能功能的解決方案。RIDE：建行自主研發(fā)的報(bào)表集成開發(fā)環(huán)境的簡(jiǎn)稱，它主要為了屏蔽各種BI工具的差異性保證信息展示風(fēng)格一致，提供面向用戶的邏輯系統(tǒng)以實(shí)現(xiàn)個(gè)性化的信息展示。7數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)技術(shù)-數(shù)據(jù)挖掘數(shù)據(jù)挖掘工具可分為數(shù)據(jù)挖掘工具及文本挖掘工具，它的核心是具有多元化的數(shù)據(jù)訪問(wèn)能力，強(qiáng)大的數(shù)據(jù)處理能力，豐富的數(shù)據(jù)模型以及直觀的數(shù)據(jù)展現(xiàn)能力。8ODSB模型總賬（5張表）協(xié)議（188張表）團(tuán)體（49張表）事件（120張表）渠道（11張表）產(chǎn)品（30張表）公用（58張表）擴(kuò)展區(qū)（7張表）9基于ODSB模型的匯總總行匯總區(qū)

賬戶層面的日交易匯總、月匯總信息，總行已經(jīng)考慮了各分行的共同應(yīng)用需求，已經(jīng)在ODSB公共匯總層進(jìn)行。分行匯總區(qū)

如果各分行的一些公共應(yīng)用在現(xiàn)有的總行匯總區(qū)中不能滿足，如客戶層面的匯總、機(jī)構(gòu)層面的匯總，則可提煉出公共的要素，將在分行的數(shù)據(jù)平臺(tái)的公共匯總層進(jìn)行統(tǒng)一加工，為各管理信息系統(tǒng)使用。10ODSB模型架構(gòu)11基于總行ODSB架構(gòu)的實(shí)施流程根據(jù)ODSB及管理分析類應(yīng)用項(xiàng)目的實(shí)施特點(diǎn)，以及在ODSB建設(shè)過(guò)程中的經(jīng)驗(yàn)和成果，將其項(xiàng)目實(shí)施過(guò)程分為8個(gè)階段，分別是：重點(diǎn)對(duì)需求分析階段、模型設(shè)計(jì)階段、ETL設(shè)計(jì)開發(fā)階段、前端展現(xiàn)開發(fā)階段的實(shí)施工藝流程作重點(diǎn)介紹對(duì)于前期準(zhǔn)備階段、系統(tǒng)測(cè)試階段、上線運(yùn)行階段和項(xiàng)目收尾階段的工作，各分行可以根據(jù)本分行和總行已有項(xiàng)目管理制度規(guī)范等來(lái)實(shí)施、完成12需求分析階段—主要任務(wù)展現(xiàn)分析根據(jù)收集的業(yè)務(wù)需求，進(jìn)行展現(xiàn)層面的分析，并進(jìn)行展現(xiàn)形式的分類。例如劃分為明細(xì)數(shù)據(jù)查詢類報(bào)表需求，分析類報(bào)表需求，復(fù)雜報(bào)表需求等，對(duì)應(yīng)用的功能性和非功能性需求進(jìn)行分析，根據(jù)報(bào)表的展現(xiàn)方式分析報(bào)表的業(yè)務(wù)角度和度量。數(shù)據(jù)源分析對(duì)展現(xiàn)的報(bào)表、查詢等數(shù)據(jù)需求進(jìn)行數(shù)據(jù)來(lái)源和加工業(yè)務(wù)口徑方面分析區(qū)分可從源系統(tǒng)（包括ODSB數(shù)據(jù)模型和分行特色系統(tǒng)）采集的數(shù)據(jù)和源系統(tǒng)中無(wú)法采集，需外部錄入的數(shù)據(jù)。需求分類/整理從技術(shù)層面和業(yè)務(wù)層面上對(duì)需求進(jìn)行分類/整理工作。在技術(shù)層面，結(jié)合展現(xiàn)分析和數(shù)據(jù)源分析成果，對(duì)業(yè)務(wù)需求從其數(shù)據(jù)源頭（數(shù)據(jù)源）、中間加工過(guò)程（業(yè)務(wù)加工口徑）、到實(shí)現(xiàn)目標(biāo)（展現(xiàn)功能性需求與非功能性需求）進(jìn)行綜合整理；在業(yè)務(wù)層面，進(jìn)行需求的整體規(guī)劃，劃分需求模塊，必要的時(shí)候能用DEMO的方式與需求提成部門確認(rèn)需求。需求評(píng)審在完成需求分類/整理任務(wù)后，需求分析說(shuō)明書完稿，由項(xiàng)目發(fā)起部門召集相關(guān)業(yè)務(wù)部門聯(lián)系人，召開需求評(píng)審會(huì)議。13需求分析階段—投入產(chǎn)出物輸入前期準(zhǔn)備階段文檔模板_需求說(shuō)明書.doc輸出&主要提交物需求分析階段文檔模板_01報(bào)表功能需求分析說(shuō)明書.doc需求分析階段文檔模板_02報(bào)表數(shù)據(jù)需求分析說(shuō)明書.doc需求分析階段文檔模板_03數(shù)據(jù)源分析報(bào)告.doc14模型設(shè)計(jì)階段—主要任務(wù)模型設(shè)計(jì)分析根據(jù)展現(xiàn)分析和數(shù)據(jù)源分析結(jié)果，確認(rèn)當(dāng)前模型對(duì)需求的滿足情況，滿足則說(shuō)明如何實(shí)現(xiàn)需求，不滿足時(shí)則提出擴(kuò)充模型（總行統(tǒng)一模型和分行特色模型）的申請(qǐng)，使得ODSB模型能夠更好的為分行應(yīng)用提供服務(wù)，同時(shí)本階段產(chǎn)生的分析結(jié)果文檔可以為后續(xù)模型設(shè)計(jì)任務(wù)提供工作依據(jù)，為ETL設(shè)計(jì)提供參考。特色模型邏輯設(shè)計(jì)MDM模型設(shè)計(jì),特色ADM模型設(shè)計(jì),特色FDM模型設(shè)計(jì)模型數(shù)據(jù)質(zhì)量檢核規(guī)則設(shè)計(jì)根據(jù)業(yè)務(wù)規(guī)則和模型設(shè)計(jì)結(jié)果進(jìn)行數(shù)據(jù)質(zhì)量檢核規(guī)則設(shè)計(jì)。模型設(shè)計(jì)評(píng)審物理模型設(shè)計(jì)模型優(yōu)化設(shè)計(jì)15模型設(shè)計(jì)階段—投入產(chǎn)出物輸入需求分析階段文檔模板_01需求分析說(shuō)明書.doc需求分析階段文檔模板_02報(bào)表功能需求分析說(shuō)明書.doc需求分析階段文檔模板_03報(bào)表數(shù)據(jù)需求分析說(shuō)明書.doc需求分析階段文檔模板_04報(bào)表數(shù)據(jù)源分析報(bào)告.doc輸出ERWIN的邏輯模型模型設(shè)計(jì)階段文檔模版_01模型數(shù)據(jù)質(zhì)量檢核規(guī)則.xls模型設(shè)計(jì)階段文檔模版_02模型物理設(shè)計(jì)說(shuō)明書.doc16ETL設(shè)計(jì)開發(fā)階段—主要任務(wù)ETL總體設(shè)計(jì)包括ETL實(shí)施工具選型，調(diào)度策略，實(shí)施工藝等等。ETL特殊處理設(shè)計(jì)如機(jī)構(gòu)拆并、季度結(jié)息、全量數(shù)據(jù)初始化、增量等特殊場(chǎng)景或時(shí)點(diǎn)進(jìn)行特殊處理設(shè)計(jì)。針對(duì)一些特殊邏輯總行已開發(fā)公共組件，則采用公共組件進(jìn)行開發(fā)。ETL詳細(xì)設(shè)計(jì)具體每個(gè)ETL作業(yè)的設(shè)計(jì)，包含MAPPING設(shè)計(jì)、數(shù)據(jù)質(zhì)量檢核設(shè)計(jì)開發(fā)、根據(jù)ETL業(yè)務(wù)場(chǎng)景選擇開發(fā)方式、各數(shù)據(jù)層（FDM特色模型、ADM特色模型、MDM）設(shè)計(jì)及測(cè)試反饋后的優(yōu)化等。ETL設(shè)計(jì)評(píng)審針對(duì)以上的設(shè)計(jì)環(huán)節(jié)進(jìn)行評(píng)審，包括ETL總體設(shè)計(jì)評(píng)審、ETL特殊處理設(shè)計(jì)評(píng)審、ETL詳細(xì)設(shè)計(jì)評(píng)審、MAPPING設(shè)計(jì)評(píng)審等。ETL作業(yè)開發(fā)具體每個(gè)ETL作業(yè)的開發(fā)，包括自動(dòng)化工具開發(fā)、手工開發(fā)，及作業(yè)開發(fā)后的作業(yè)參數(shù)配置，調(diào)度開發(fā)。ETL應(yīng)用集成的初始化全量數(shù)據(jù)和增量數(shù)對(duì)開發(fā)的作業(yè)進(jìn)行集成，并部署在ETL節(jié)點(diǎn)及CTM上，導(dǎo)入其作業(yè)參數(shù)、調(diào)度配置參數(shù)等，準(zhǔn)備ETL所需據(jù)，為后續(xù)ETL測(cè)試做準(zhǔn)備。ETL測(cè)試對(duì)ETL進(jìn)行測(cè)試，主要包含ETL作業(yè)功能與性能進(jìn)行測(cè)試、數(shù)據(jù)正確性測(cè)試等，并對(duì)性能進(jìn)行優(yōu)化17ETL設(shè)計(jì)開發(fā)階段—投入產(chǎn)出物輸入各特色業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典需求說(shuō)明書.doc(需求分析階段提供)數(shù)據(jù)源分析報(bào)告.doc（需求分析階段提供）分行特色模型（模型設(shè)計(jì)階段提供）邏輯數(shù)據(jù)模型設(shè)計(jì)說(shuō)明書.doc（模型設(shè)計(jì)階段提供）模