XX銀行

EDW/數(shù)據(jù)倉庫工程方案

目錄

第一章系統(tǒng)總體架構(gòu)4

1.1總體架構(gòu)設(shè)計概述4

1.1.1總體架構(gòu)的設(shè)計框架4

1.1.2總體架構(gòu)的設(shè)計原則5

1.1.3總體架構(gòu)的設(shè)計特點5

1.2EDW執(zhí)行架構(gòu)6

1.2.1執(zhí)行架構(gòu)概述6

1.2.2執(zhí)行架構(gòu)設(shè)計原則6

1.2.3執(zhí)行架構(gòu)框架7

1.3EDW邏輯架構(gòu)13

1.3.1邏輯架構(gòu)框架13

1.3.2數(shù)據(jù)處理流程18

1.4EDW運維架構(gòu)19

1.4.1運維架構(gòu)概述19

1.4.2運維架構(gòu)的邏輯框架20

1.5EDW數(shù)據(jù)架構(gòu)25

1.5.1數(shù)據(jù)架構(gòu)設(shè)計原則25

1.5.2數(shù)據(jù)架構(gòu)分層設(shè)計26

1.6EDW應(yīng)用架構(gòu)28

1.6.1應(yīng)用架構(gòu)設(shè)計原則28

1.6.2數(shù)據(jù)效勞28

1.6.3應(yīng)用效勞29

第二章ETL體系建設(shè)30

2.1ETL架構(gòu)概述30

2.2ETL設(shè)計方案31

2.3ETL關(guān)鍵設(shè)計環(huán)節(jié)31

2.3.1接口層設(shè)計謀略31

2.3.2StagingArea設(shè)計謀略32

2.3.3數(shù)據(jù)加載策略32

2.3.4增量ETL設(shè)計謀略33

2.3.5異常處理34

2.3.6作業(yè)調(diào)度和監(jiān)控35

2.3.7元數(shù)據(jù)管理35

2.3.8ETL模塊設(shè)計35

2.3.9ETL流程設(shè)計37

2.3.10動態(tài)資源分配40

2.3.11數(shù)據(jù)接口設(shè)計41

第一章系統(tǒng)總體架構(gòu)

1.1總體架構(gòu)設(shè)計概述

1.1/I總體架構(gòu)的設(shè)計框架

XX銀行EDW工程的總體架構(gòu)分為基礎(chǔ)技術(shù)架構(gòu)、應(yīng)用架構(gòu)和數(shù)據(jù)架構(gòu)三個核心局部。這三個

局部共同組成了XX銀行EDW系統(tǒng)。

在基礎(chǔ)技術(shù)架構(gòu)中，包括執(zhí)行架構(gòu)、邏輯架構(gòu)、功能組件架構(gòu)和運維架構(gòu)四個局部。

■執(zhí)行架構(gòu)描述系統(tǒng)大的框架和模塊區(qū)域，以及之間的邏輯關(guān)系；是確定生產(chǎn)環(huán)境的建設(shè)要

求及指導(dǎo)原則。

■邏輯架構(gòu)描述EW各個模塊之間的數(shù)據(jù)的接口、數(shù)據(jù)流向、工具使用和采用具體的技術(shù)實

現(xiàn)手段或方式情況，用于標(biāo)準(zhǔn)本工程最終生產(chǎn)環(huán)境的建立。邏輯架構(gòu)是建立應(yīng)用架構(gòu)、執(zhí)

行架構(gòu)、運維架構(gòu)的基礎(chǔ)，也是建立執(zhí)行架構(gòu)、應(yīng)用架構(gòu)以及運維架構(gòu)的原型系統(tǒng)。

■功能組件架構(gòu)描述確定系統(tǒng)各個大的組件組件區(qū)域的功能模塊框架，以及提供的某種效勞

類型。

■運維架構(gòu)是描述EDW工程的運維架構(gòu)標(biāo)準(zhǔn)，包括運維架構(gòu)設(shè)計的內(nèi)容、設(shè)計原則、各構(gòu)成

組件的設(shè)計考慮因素、約束、要求等。運維架構(gòu)通過相應(yīng)的流程和工具實現(xiàn)對邏輯架構(gòu)、

功能組件架構(gòu)、執(zhí)行架構(gòu)、數(shù)據(jù)架構(gòu)以及應(yīng)用架構(gòu)的運維和管理。

而數(shù)據(jù)架構(gòu)和應(yīng)用架構(gòu)的主要描述：

■應(yīng)用架構(gòu)是EDW為滿足業(yè)務(wù)需求所提供的系統(tǒng)應(yīng)用功能及其藍圖設(shè)計，其中業(yè)務(wù)需求是應(yīng)

用架構(gòu)設(shè)計的基礎(chǔ)，最終的應(yīng)用架構(gòu)將以應(yīng)用系統(tǒng)的形式表達在執(zhí)行架構(gòu)中，主要包括：

應(yīng)用效勞和數(shù)據(jù)效勞。

■數(shù)據(jù)架構(gòu)描述于EDW系統(tǒng)相關(guān)的數(shù)據(jù)流動策略，即數(shù)據(jù)在EDW系統(tǒng)的執(zhí)行架構(gòu)下的抽取、

轉(zhuǎn)換、儲存策略以及應(yīng)采用的流程，包括數(shù)據(jù)層次和總分行之間的數(shù)據(jù)分部情況等。數(shù)據(jù)

架構(gòu)是建立執(zhí)行架構(gòu)標(biāo)準(zhǔn)的需求定義。

以下圖是EDW工程總體架構(gòu)的框架：

基礎(chǔ)技術(shù)架構(gòu)

1.1.2總體架構(gòu)的設(shè)計原則

■總體架構(gòu)在著重考慮實施要求的同時，需要為后續(xù)階段進行規(guī)劃，以保證工程最終能夠到

達目標(biāo)架構(gòu)的設(shè)計；

■總體架構(gòu)的設(shè)計要基于包括xx銀行數(shù)據(jù)現(xiàn)狀分析、實施階段數(shù)據(jù)源情況分析、第一階段

實施EDW設(shè)計建議做為參考；

■總體架構(gòu)設(shè)計架構(gòu)時充分考慮與現(xiàn)有系統(tǒng)兼容，充分利用已有成果，防止重復(fù)開發(fā)和建設(shè)。

■總體架構(gòu)設(shè)計過程中應(yīng)遵守XX銀行的IT管理規(guī)程，保證最終的系統(tǒng)可以順利的部署并移

交給XX銀行的運行維護部門。

1.1.3總體架構(gòu)的設(shè)計特點

■權(quán)衡功能、性能、可擴展性、易用性、可管理性和性價比。

■根據(jù)XX銀行的數(shù)據(jù)情況和分析需求，采用多層次的企業(yè)EDW系統(tǒng)架構(gòu)來保證在存在復(fù)雜的

數(shù)據(jù)種類和關(guān)系的海量數(shù)據(jù)上進行業(yè)務(wù)分析和查詢在業(yè)務(wù)支持能力和性能等方面的要求。

■多級/自動的增量ETL加載機制，有效提高ETL并發(fā)度、加載效率，降低錯誤處理的復(fù)雜

性。

■通過用戶入口支持用戶采用Web瀏覽器使用查詢和分析工具，統(tǒng)一的信息效勞界面，提高

系統(tǒng)易用性，減少技術(shù)支持工作量。

■利用企業(yè)信息集成和Web數(shù)據(jù)效勞，提高系統(tǒng)的數(shù)據(jù)支持能力和接口的一致性。統(tǒng)一的數(shù)

據(jù)增強平臺也減少數(shù)據(jù)增強的復(fù)雜度。

1.2EDW執(zhí)行架構(gòu)

執(zhí)行架構(gòu)的主要內(nèi)容是描述EW工程執(zhí)行架構(gòu)的建設(shè)要求及指導(dǎo)原則，用于標(biāo)準(zhǔn)本工程最終

生產(chǎn)環(huán)境的建設(shè)。EDW工程的生產(chǎn)環(huán)境的建立需要參考并遵循執(zhí)行架構(gòu)局部提出的要求。

1.2.1執(zhí)行架構(gòu)概述

執(zhí)行架構(gòu)是EDW的概念環(huán)境，主要包含：源數(shù)據(jù)、數(shù)據(jù)落地區(qū)、ETL、數(shù)據(jù)準(zhǔn)備區(qū)、數(shù)據(jù)存儲

區(qū)EDW、業(yè)務(wù)應(yīng)用、用戶環(huán)境、數(shù)據(jù)管控、系統(tǒng)平安性以及EDW基礎(chǔ)設(shè)施平臺（包括：效勞器、存

儲、網(wǎng)絡(luò)）等功能組件。從技術(shù)層面上來說，EDW系統(tǒng)的執(zhí)行架構(gòu)應(yīng)實現(xiàn)多種技術(shù)平臺及應(yīng)用之間

的無蹩集成。

1.2.2執(zhí)行架構(gòu)設(shè)計原則

在EDW工程實施的過程中，系統(tǒng)執(zhí)行架構(gòu)的建設(shè)應(yīng)遵循以下技術(shù)原則：

＞開放性原則：EDW工程的生產(chǎn)環(huán)境的建設(shè)應(yīng)基于業(yè)界開放標(biāo)準(zhǔn)，對系統(tǒng)中使用的網(wǎng)絡(luò)協(xié)議、

硬件接口、數(shù)據(jù)接口等應(yīng)進行統(tǒng)一規(guī)劃，EDW系統(tǒng)應(yīng)支持主流的應(yīng)用軟件包及其部署的各

種硬件平臺。

＞靈活性與可擴展性：EDW系統(tǒng)的基礎(chǔ)設(shè)施平臺應(yīng)能夠根據(jù)未來系統(tǒng)的開展需要以及應(yīng)用需

求，方便的擴展設(shè)備容量和提升設(shè)備性能；具備支持多種組件模塊、多種物理接口的能力；

具備技術(shù)升級、設(shè)備更新的靈活性；具備支持業(yè)務(wù)功能的擴展與重構(gòu)的靈活性。如：系統(tǒng)

容量可以隨著ETL系統(tǒng)數(shù)據(jù)量的擴展以及應(yīng)用系統(tǒng)的不斷擴展、用戶量不斷擴展而進行平

滑的擴展。

＞高性能原則：系統(tǒng)應(yīng)到達數(shù)據(jù)處理時間窗口的要求，用戶定義的查詢效率、響應(yīng)時間的要

求，滿足業(yè)務(wù)系統(tǒng)的要求；對現(xiàn)有業(yè)務(wù)系統(tǒng)影響小。

＞自動化原則：EDW工程建設(shè)的核心任務(wù)之一是數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和加載（ETL）,在這

個過程中應(yīng)采用自動化的設(shè)計原則，防止手工操作。同時對于元數(shù)據(jù)管理過程應(yīng)采用元數(shù)

據(jù)管理平臺來實現(xiàn)對元數(shù)據(jù)集中、自動化的管理。

＞平安性原則：EDW工程建設(shè)中的數(shù)據(jù)遷移過程都必須保證數(shù)據(jù)的平安性，例如：在系統(tǒng)建

設(shè)過程中應(yīng)對數(shù)據(jù)中敏感字段進行平安處理、同時整個系統(tǒng)還應(yīng)采用網(wǎng)絡(luò)隔離、用戶身份

認證及訪問控制、數(shù)據(jù)庫平安、操作系統(tǒng)平安以及完善的平安審計機制。

1.2.3執(zhí)行架構(gòu)框架

上圖是EDW系統(tǒng)執(zhí)行架構(gòu)，其中包含EDW系統(tǒng)中涵蓋的功能框架以及框架之間的邏輯關(guān)系。在以下

的內(nèi)容中將對執(zhí)行架構(gòu)中的功能框架以及框架之間的關(guān)系進行詳細描述，具體內(nèi)容包括：

＞數(shù)據(jù)源：包括XX銀行的多個業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個貸系統(tǒng)、信貸系統(tǒng)、國際業(yè)務(wù)系

統(tǒng)、財務(wù)系統(tǒng)和各類渠道系統(tǒng)等。

＞數(shù)據(jù)落地區(qū)：此局部內(nèi)容說明數(shù)據(jù)落地的用途，同時對數(shù)據(jù)落地區(qū)應(yīng)具備的功能進行了標(biāo)準(zhǔn)定

義以及數(shù)據(jù)落地區(qū)與其他功能組件之間的關(guān)聯(lián)關(guān)系；

＞ETL：此局部內(nèi)容描述ETL系統(tǒng)中數(shù)據(jù)抽取、轉(zhuǎn)換、加載等功能的需求，同時定義了ETL系統(tǒng)

建設(shè)的標(biāo)準(zhǔn)以及ETL與系統(tǒng)中其他功能組件之間的關(guān)系；

＞數(shù)據(jù)準(zhǔn)備區(qū)：此局部描述數(shù)據(jù)準(zhǔn)備區(qū)應(yīng)具備的功能，以及數(shù)據(jù)準(zhǔn)備區(qū)在建設(shè)過程中的標(biāo)準(zhǔn)需求。

＞操作型存儲區(qū)：此局部內(nèi)容描述EDW系統(tǒng)在建設(shè)的過程中操作型存儲區(qū)應(yīng)遵循的標(biāo)準(zhǔn)以及系統(tǒng)

建設(shè)過程中應(yīng)滿足的需求；

＞數(shù)據(jù)倉庫存儲區(qū)：此局部內(nèi)容描述EDW系統(tǒng)的數(shù)據(jù)倉庫存儲區(qū)應(yīng)遵循的標(biāo)準(zhǔn)以及系統(tǒng)建設(shè)過程

中應(yīng)滿足的需求；

＞業(yè)務(wù)應(yīng)用：此局部內(nèi)容描述BI應(yīng)用系統(tǒng)建設(shè)的系統(tǒng)需求，包含對應(yīng)用環(huán)境、分析環(huán)境、靜態(tài)

投表環(huán)境；

＞用戶環(huán)境：此局部的內(nèi)容描述用戶在EDW系統(tǒng)中應(yīng)具備運用的能力，包括：利用通用展現(xiàn)平臺

進行信息展現(xiàn)、駕駛艙應(yīng)用、報表應(yīng)用等；

＞時間窗口和性能的定義：此局部描述整個EDW工程中關(guān)于時間窗口的定義以及相關(guān)系統(tǒng)的性能

指標(biāo)要求；

＞元數(shù)據(jù)管理：此局部描述在系統(tǒng)執(zhí)行架構(gòu)中元數(shù)據(jù)管理的內(nèi)容以及元數(shù)據(jù)管理系統(tǒng)的建設(shè)的標(biāo)

注定義；

＞系統(tǒng)平安性：此局部內(nèi)容主要描述EDW系統(tǒng)中的平安性管理內(nèi)容，包括應(yīng)用平安、網(wǎng)絡(luò)平安、

數(shù)據(jù)平安、系統(tǒng)平安等，同時描述系統(tǒng)平安在建立過程中遵循的原則；

＞基礎(chǔ)設(shè)施平臺（效勞器、網(wǎng)絡(luò)、存儲）：此局部內(nèi)容主要描述生產(chǎn)系統(tǒng)中的硬件資源，包括：

效勞器，網(wǎng)絡(luò)以及存儲的貨源需求，容量規(guī)劃應(yīng)滿足的系統(tǒng)指標(biāo)等內(nèi)容；

數(shù)據(jù)源

源數(shù)據(jù)系統(tǒng)是報表、關(guān)鍵指標(biāo)、靈活查詢、主題分析等應(yīng)用系統(tǒng)的基礎(chǔ)數(shù)據(jù)來源。在系統(tǒng)建設(shè)

初期，源數(shù)據(jù)系統(tǒng)應(yīng)提供能滿足初始業(yè)務(wù)需要的數(shù)據(jù)以及業(yè)務(wù)系統(tǒng)需要提供完整數(shù)據(jù)的時間窗口，

在EDW系統(tǒng)擴展的過程中，各個源數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)將逐漸的加載到EDW'系統(tǒng)當(dāng)中。源數(shù)據(jù)無法滿

足應(yīng)用需求時，系統(tǒng)應(yīng)提供手工方式通過手工數(shù)據(jù)補入平臺將需要的數(shù)據(jù)補入到EDW系統(tǒng)中。

目前數(shù)據(jù)源包括XX銀行的多個業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個貸系統(tǒng)、對公信貸系統(tǒng)、國際

業(yè)務(wù)系統(tǒng)、財務(wù)系統(tǒng)和各類渠道系統(tǒng)等。

1.232數(shù)據(jù)落地區(qū)

數(shù)據(jù)落地區(qū)是為了保證多系統(tǒng)對源系統(tǒng)數(shù)據(jù)抽取的需求，在數(shù)據(jù)從源數(shù)據(jù)系統(tǒng)抽取后在統(tǒng)一的

數(shù)據(jù)集成環(huán)境中整合。數(shù)據(jù)落地區(qū)應(yīng)建立與各相關(guān)源數(shù)據(jù)系統(tǒng)的接口，將這些系統(tǒng)定期卸載的數(shù)據(jù)

以固定的格式接收、存放到落地區(qū)，考慮數(shù)據(jù)傳輸和加載的速度，源數(shù)據(jù)系統(tǒng)應(yīng)以文本文件格式將

數(shù)據(jù)定期傳輸給數(shù)據(jù)落地區(qū)進行處理。

數(shù)據(jù)落地區(qū)的數(shù)據(jù)存儲格式原則上是與數(shù)據(jù)源的存儲格式保持一致

數(shù)據(jù)ETL架構(gòu)

ETL是數(shù)據(jù)的抽取、轉(zhuǎn)換、加載的全部過程，它是數(shù)據(jù)從數(shù)據(jù)落地區(qū)到ETL效勞器以及從ETL

效勞器到EDW的數(shù)據(jù)遷移過程以及數(shù)據(jù)從EDW向數(shù)據(jù)集市的數(shù)據(jù)遷移過程中必須使用的過程和方

法，ETL系統(tǒng)應(yīng)包括以下三個主要功能：

■數(shù)據(jù)抽?。簭臄?shù)據(jù)落地區(qū)系統(tǒng)抽取EDW中需要的數(shù)據(jù)；

■數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)系統(tǒng)獲取的數(shù)據(jù)轉(zhuǎn)換成EDW要求的形式，同時按照業(yè)務(wù)需求對數(shù)據(jù)

進行轉(zhuǎn)換；

■數(shù)據(jù)加載：將助轉(zhuǎn)換后的數(shù)據(jù)裝載到EDW的物理模型中；

1.234數(shù)據(jù)準(zhǔn)備區(qū)

數(shù)據(jù)準(zhǔn)備區(qū)是數(shù)據(jù)存儲的臨時存儲區(qū)域，數(shù)據(jù)在其中只作暫時性保存，數(shù)據(jù)經(jīng)轉(zhuǎn)換后導(dǎo)入到

EDW的物理模型中。

數(shù)據(jù)準(zhǔn)備區(qū)的功能包括：格式轉(zhuǎn)換、排序去重/篩選、通用基礎(chǔ)清洗、連接/合并/分割、業(yè)務(wù)

轉(zhuǎn)換等

1.235操作型存儲區(qū)

澡作型存儲區(qū)是數(shù)據(jù)倉庫系統(tǒng)一個重要的環(huán)節(jié)。該區(qū)有著承上啟下的作用，從教據(jù)形態(tài)來看，

該區(qū)的數(shù)據(jù)定義貼近業(yè)務(wù)源系統(tǒng)；從數(shù)據(jù)標(biāo)準(zhǔn)來看，該區(qū)的數(shù)據(jù)標(biāo)準(zhǔn)是遵循數(shù)據(jù)倉庫系統(tǒng)的標(biāo)準(zhǔn)。

所以該區(qū)一般分為兩個層次，第一個層次稱之為良好質(zhì)量的、統(tǒng)一格式的數(shù)據(jù)貼源層，第二個層次

為統(tǒng)一的、標(biāo)準(zhǔn)的、遵循數(shù)據(jù)倉庫系統(tǒng)標(biāo)準(zhǔn)的數(shù)據(jù)標(biāo)準(zhǔn)層。

數(shù)據(jù)貼源層可以繼續(xù)為行為現(xiàn)有的一些報表系統(tǒng)或者分析系統(tǒng)提供數(shù)據(jù)，而數(shù)據(jù)標(biāo)準(zhǔn)層為數(shù)

據(jù)倉庫中的企業(yè)數(shù)據(jù)模型的落地掃清了道路。

所以該存儲區(qū)在整個EDW系統(tǒng)起到了一個承上啟下的關(guān)鍵作用。

1.2.3.6EDW存儲區(qū)

EDW存儲區(qū)是面向主題的、集成的、面向企業(yè)的、最明細的數(shù)據(jù)存儲，其內(nèi)容是依據(jù)最終用戶

應(yīng)用和分析需求來進行組織。數(shù)據(jù)存儲區(qū)中的數(shù)據(jù)模型對標(biāo)準(zhǔn)層數(shù)據(jù)、基礎(chǔ)整合數(shù)據(jù)、匯總數(shù)據(jù)和

面向應(yīng)用的集市數(shù)據(jù)按數(shù)據(jù)層次進行管理，每個數(shù)據(jù)層有自己的數(shù)據(jù)管理重點。對于每個數(shù)據(jù)層次,

再按主題進行分類組織。這樣就可以有效的將銀行企業(yè)的操作型數(shù)據(jù)、匯總型數(shù)據(jù)和分析型數(shù)據(jù)以

清晰的架構(gòu)組織，管理起來，并相輔相成。數(shù)據(jù)層的內(nèi)容相互促進開展，組成銀行完善的數(shù)據(jù)集合,

為各種主題管理應(yīng)用的構(gòu)建提供良好的數(shù)據(jù)架構(gòu)基礎(chǔ)。

1.2.3.7業(yè)務(wù)應(yīng)用

業(yè)務(wù)應(yīng)用是EDW系統(tǒng)向業(yè)務(wù)用戶提供給用功能支持，根據(jù)應(yīng)用效勞提供的形式和所采用的應(yīng)用

系統(tǒng)的不同，業(yè)務(wù)應(yīng)用主要定義在以下幾個技術(shù)環(huán)境。

數(shù)據(jù)集市：在業(yè)務(wù)應(yīng)用層中包含了應(yīng)用系統(tǒng)中需要的應(yīng)用集市、OLAP、靜態(tài)報表等數(shù)據(jù)集市。

數(shù)據(jù)集市是一組特定的、針對某個主題域、部門或用戶分類的數(shù)據(jù)集合。這些數(shù)據(jù)需要針對用戶的

快速訪問和數(shù)據(jù)輸出進行優(yōu)化，優(yōu)化的方式可以通過對數(shù)據(jù)結(jié)構(gòu)進行匯總和索引。通過數(shù)據(jù)集市可

以保障EDW的高可用性、可擴展性和高性能。

應(yīng)用環(huán)境：應(yīng)用環(huán)境是為滿足業(yè)務(wù)需要在數(shù)據(jù)EDN環(huán)境中配置的應(yīng)用軟件包。

分析環(huán)境：數(shù)據(jù)分析環(huán)境為EDW的高端用戶提供即時的數(shù)據(jù)分析功能等。

報表環(huán)境：報表環(huán)境是于來產(chǎn)生和發(fā)布靜態(tài)報表的環(huán)境，包括：產(chǎn)生的靜態(tài)報表、OLAP產(chǎn)生

的報表、KPI指標(biāo)展現(xiàn)以及其他系統(tǒng)產(chǎn)生的報表。

用戶環(huán)境

用戶環(huán)境是EDW系統(tǒng)最終向用戶提供的某種應(yīng)用效勞的集合，主要有三種應(yīng)用效勞的表現(xiàn)形

式：

通用展現(xiàn)平臺：通過此平臺將報表、KPI展現(xiàn)、靈活查詢、分析等多個應(yīng)用集成到一個平臺中，

進行沈-的展現(xiàn)和信息的管理，包括如：報表生命周期的管理等。

數(shù)據(jù)分發(fā)環(huán)境：在數(shù)據(jù)分發(fā)的過程中應(yīng)提供大容量數(shù)據(jù)批量分發(fā)的能力。給其他需要某個系統(tǒng)

的數(shù)據(jù)提供數(shù)據(jù)交換功能。

報表分發(fā)環(huán)境：報表的分發(fā)應(yīng)可以滿足系統(tǒng)定義的平安性，如按照不同的用戶類型、不同的組

織進行分發(fā)，不同的用戶和組織只能看到屬于自己的報表的數(shù)據(jù)，數(shù)據(jù)的分發(fā)將通過數(shù)據(jù)傳輸平臺

進行,

元數(shù)據(jù)管理

元數(shù)據(jù)管理是對數(shù)據(jù)信息的收集和發(fā)布的集成管理，數(shù)據(jù)信息包括：數(shù)據(jù)的業(yè)務(wù)含義和技術(shù)特

性。數(shù)據(jù)倉庫系統(tǒng)架構(gòu)中的各個局部中都含有元數(shù)據(jù)信息，應(yīng)對其進行主動式管理，以保證它正確

的定義、收集和使用。元數(shù)據(jù)是“關(guān)于數(shù)據(jù)的數(shù)據(jù)〃。應(yīng)包括文件結(jié)構(gòu)定義，數(shù)據(jù)庫字段名稱，數(shù)

據(jù)模型中的長度和標(biāo)準(zhǔn)，以及在域-域或域-報表對應(yīng)關(guān)系中的計算和公式等內(nèi)容。

元數(shù)據(jù)管理的架構(gòu)如以下圖所示，系統(tǒng)的最終架構(gòu)應(yīng)實現(xiàn)對元數(shù)據(jù)的集中的管理方式:

046?1￡TL停亶人

E%??—<

???xn>i<

?,?E式

?人■火

r■,

?**e

???MA

0系統(tǒng)平安性

EDW系統(tǒng)中的數(shù)據(jù)和報表信息均為敏感信息。因此必須采用適當(dāng)?shù)钠桨膊呗砸员ＷC其系統(tǒng)和數(shù)

據(jù)的平安性。數(shù)據(jù)倉庫系統(tǒng)的平安性應(yīng)涵蓋如下四個方面：

■驗證：系統(tǒng)應(yīng)對用戶進行訪問控制，保證只有合法的用戶才能進入到系統(tǒng)中；

■授權(quán)：系統(tǒng)應(yīng)根據(jù)用戶角色對其進行授權(quán)，包括對數(shù)據(jù)的訪問權(quán)限，對功能的使用權(quán)限等。

■機密性：所有的敏感數(shù)據(jù)必須被嚴(yán)格控制，禁止未授權(quán)訪問，并保障其平安性。

■一致性：數(shù)據(jù)和程序只能在授權(quán)模式下進行修改。

針對上述6個方面，數(shù)據(jù)倉庫分系統(tǒng)應(yīng)按照以下的6個方面的標(biāo)準(zhǔn)進行建設(shè)：

應(yīng)用層

EDW應(yīng)用系統(tǒng)是建立在OLAP軟件平臺的基礎(chǔ)上，應(yīng)用層應(yīng)實現(xiàn)用戶訪問控制的功能，針對不

同的用戶訪問不同的系統(tǒng)資源來保證整個應(yīng)用系統(tǒng)的平安畦控制。對于未來的數(shù)據(jù)倉庫系統(tǒng)來說,

應(yīng)與統(tǒng)一門戶平臺整合，實現(xiàn)整體平安性管理的策略；

數(shù)據(jù)庫層

只有被授權(quán)用戶才能訪問和修改數(shù)據(jù)庫中的信息并且數(shù)據(jù)在傳輸過程中應(yīng)對敏感信息進行加

密處理來保證數(shù)據(jù)的平安。

數(shù)據(jù)庫管理員應(yīng)按照角色友數(shù)據(jù)庫用戶進行劃分，并且通過賦予角色權(quán)限的方式實現(xiàn)對用戶平

安性訪問控制的管理，如：針友用戶組或耽誤用戶分配特定數(shù)據(jù)表訪問權(quán)限。

系統(tǒng)層

系統(tǒng)應(yīng)防止未授權(quán)訪問和系統(tǒng)調(diào)用，及時進行系統(tǒng)平安補丁的更新。對于系統(tǒng)主機應(yīng)采用效勞

器加固的方法，來保證整個系統(tǒng)的平安性。

網(wǎng)絡(luò)層

網(wǎng)絡(luò)層平安是保證網(wǎng)絡(luò)節(jié)點之間數(shù)據(jù)傳遞的平安性，以及網(wǎng)絡(luò)環(huán)境不受惡意攻擊。

XX銀行數(shù)據(jù)倉庫環(huán)境建立在企業(yè)內(nèi)部網(wǎng)絡(luò)中，不同功能的效勞器應(yīng)部署在不同網(wǎng)段中，網(wǎng)段

之間相互隔離，對網(wǎng)段之間的訪問應(yīng)通過防火墻并定義嚴(yán)格的訪問控制策略。整個系統(tǒng)的網(wǎng)絡(luò)環(huán)境

應(yīng)得到實時監(jiān)控，對入侵進行檜測和處理，并在發(fā)生入侵時通知系統(tǒng)管理員。

物理層

物理層平安保障物理設(shè)備（主機、路由器等）不受非濃用戶攻擊。目前物理設(shè)備的平安性由運

行中心負責(zé)。

管理

管理局部與上述的所有平安問題相關(guān)，對平安問題的管理必須由多個部門共同協(xié)作完成。管理

層面包括：

■平安資源：實現(xiàn)各種平安使用的資源，如：防火墻，入侵檢測和處理設(shè)備，反病毒軟件等；

■平安策略和規(guī)劃：各種平安規(guī)則，組織和責(zé)任人；

■突發(fā)事件處理：在發(fā)生平安威脅時的應(yīng)急處理流程，包括：事件記錄、時間報告制度等流

程；

-平安審計：對平安策略的審核和檢查；

災(zāi)難恢復(fù)方案：發(fā)生問題后的系統(tǒng)和數(shù)據(jù)恢復(fù);

1.3EDW邏輯架構(gòu)

1.3.1邏輯架構(gòu)框架

訪問控制層用戶層

7W門的樂統(tǒng)

CXJCCt服務(wù)

Web?務(wù)?

?

BeanjIJSP一次?務(wù)

克

C^gcBcan)統(tǒng)

聶(tWAM

一

我

用■

RcqucsiBcan

戶

A作

P門I

PsM瞥理

戶

;2功

O-JSP

Co■決戈人14

HnPagcBcan{

一

oB支!M

Bnc

2nu持

n

多

IM查0

種

立rtia

RequesiBean先析人員

中

7.JSP

間

靈活衣詢PageBean件

>

儀衰盤Ban

系統(tǒng)管理

B(據(jù)消費傳輸，道

I技術(shù)元如||媒作元數(shù)據(jù)|業(yè)務(wù)元數(shù)據(jù)

安全管理體系

貽|掾作系系安全'應(yīng)用安全|

如上圖所示的XX銀行EDW的邏輯體系架構(gòu)，這一架構(gòu)是在聯(lián)科可擴展的EDW系統(tǒng)框架的基礎(chǔ)

上，結(jié)合XX銀行信息系統(tǒng)建設(shè)的實際情況而設(shè)計出來的多層、可擴展框架結(jié)構(gòu)。架構(gòu)的核心上包

括源數(shù)據(jù)層、ETL流程調(diào)度、數(shù)據(jù)平臺層、數(shù)據(jù)集市層、應(yīng)用效勞層、訪問控制層、用戶層和數(shù)據(jù)

消費傳輸通道七個大局部，另外，元數(shù)據(jù)管理和平安管理也是系統(tǒng)必不可少的局部，這2局部會涉

及到所有核心層次。

在明確定義各層之間的接匚后，多層框架結(jié)構(gòu)具有高度的擴展能力和方便的系統(tǒng)開發(fā)和維護性

能，符合目前流行的多層應(yīng)用結(jié)構(gòu)，適合EDW系統(tǒng)多階段、多層次的應(yīng)用特點。

源數(shù)據(jù)層

【功能與作用】

總行的各個業(yè)務(wù)系統(tǒng)為整個EDW系統(tǒng)提供原始數(shù)據(jù)支持，首先作為ETL層的數(shù)據(jù)抽取源。

【組成局部】

目前總行的數(shù)據(jù)源包括XX銀行的多個業(yè)務(wù)系統(tǒng)，主要有核心系統(tǒng)、個貸系統(tǒng)、對公信貸系統(tǒng)、

國際業(yè)務(wù)系統(tǒng)、財務(wù)系統(tǒng)和各類渠道系統(tǒng)等。

ETL流程調(diào)度層

【功能與作用】

該層為EDW數(shù)據(jù)流向的主要環(huán)節(jié)，EDW系統(tǒng)數(shù)據(jù)流動的流程調(diào)度核心層，流程調(diào)度主要針對下

面幾個方面：

■EDW系統(tǒng)將數(shù)據(jù)源的數(shù)據(jù)抽取到數(shù)據(jù)落地區(qū)

■EDW系統(tǒng)對數(shù)據(jù)執(zhí)行格式轉(zhuǎn)換、排序去重、通用數(shù)據(jù)清洗、業(yè)務(wù)轉(zhuǎn)換后等操作，最終完成

數(shù)據(jù)準(zhǔn)備區(qū)加載。

■EDW系統(tǒng)再將數(shù)據(jù)準(zhǔn)備區(qū)的數(shù)據(jù)按照EDW數(shù)據(jù)模型的方式加載到數(shù)據(jù)存儲區(qū)口。

■在數(shù)據(jù)存儲區(qū)中進行基礎(chǔ)數(shù)據(jù)層、加工匯總層和應(yīng)用集市層的數(shù)據(jù)加載。

■EDW中的數(shù)據(jù)準(zhǔn)備區(qū)和數(shù)據(jù)存儲區(qū)可以為為其它系統(tǒng)提供數(shù)據(jù)效勞。

■總行EDW可以為分行EDW提供數(shù)據(jù)效勞。

【組成局部】

上面的邏輯架構(gòu)圖淡綠色色矩形局部為ETL調(diào)度管理技術(shù)架構(gòu)圖，其作用是讓許多的任務(wù)在

作業(yè)的執(zhí)行條件滿足時自動地執(zhí)行。ETL調(diào)度管里最根本的可執(zhí)行元素是單元，每個單元是完成某

一特定功能的程序，相關(guān)單元組合在一起構(gòu)成了可以調(diào)度的最小組件一一任務(wù)。由上面的技術(shù)架構(gòu)

圖可知，ETL調(diào)度管里包含以下組件：

■知識庫

建立在DB中的一個數(shù)據(jù)庫，包含了與流程調(diào)度相關(guān)的一組表，保存ETL流程調(diào)度效勞器、任

務(wù)、任務(wù)之間的依賴觸發(fā)關(guān)系、任務(wù)組、調(diào)度方案等多種類型的信息。

■偵測器

駐留在后臺的效勞，基于定義的觸發(fā)規(guī)則和調(diào)度方案監(jiān)測是否觸發(fā)任務(wù)的執(zhí)行。

■任務(wù)調(diào)度引擎

接受偵測器的信息調(diào)度任務(wù)執(zhí)行（可以使本效勞器任務(wù)也可以是其它效勞器的任務(wù)）。

■任務(wù)執(zhí)行代理

調(diào)用任務(wù)包含的每個單元執(zhí)行的效勞，同一效勞器上可以有多個任務(wù)執(zhí)行代理同時運行。

■任務(wù)

封裝在Perl程序中，執(zhí)行數(shù)據(jù)加載、整合、立方體生成等工作的一組程序。

■日志管理引擎

記錄ETL調(diào)度管理各個效勞器組件以及每個任務(wù)的執(zhí)行日志，日志按天保存，可以定期清理。

■管理監(jiān)控器

Java應(yīng)用程序，用于定義任務(wù)、任務(wù)組合觸發(fā)關(guān)系等信息，同時可以實時監(jiān)控任務(wù)執(zhí)行情況

查看日志。

作為專門為數(shù)據(jù)倉庫系統(tǒng)設(shè)計的流程調(diào)度管理具有如下特點：

■任務(wù)執(zhí)行代理可分布在多臺效勞器上。

■結(jié)構(gòu)簡單、伸縮性強。

■支持多種執(zhí)行任務(wù)。

1）加載數(shù)據(jù)

2）整合數(shù)據(jù)

3）數(shù)據(jù)質(zhì)量檢查和清洗

4）數(shù)據(jù)轉(zhuǎn)換

5）OLAP數(shù)據(jù)生成

6）數(shù)據(jù)挖掘模型的執(zhí)行

7）定制報表的產(chǎn)生

8）定制頁面的產(chǎn)生

9）數(shù)據(jù)庫備份、告警等系統(tǒng)作業(yè)

10）調(diào)用其他ETL/ELT工具產(chǎn)生的任務(wù)

11）數(shù)據(jù)導(dǎo)出到指定的美道系統(tǒng)

■執(zhí)行的任務(wù)可以是另一個任務(wù)調(diào)度引擎觸發(fā)（如：EDW）。

■可以啟動其它的ETL引擎的任務(wù)。

131.3數(shù)據(jù)平臺層

【功能與作用】

作為本系統(tǒng)的數(shù)據(jù)核心局部，它負責(zé)存儲和管理來自各種源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)，并為訪問用戶提

供數(shù)據(jù)效勞。

這些數(shù)據(jù)是按照在邏輯數(shù)據(jù)模型分主題存放的。

【組成局部】

本層由操作型存儲區(qū)、倉庫存儲區(qū)和集市應(yīng)用層四個局部組成。詳細內(nèi)容參見“EDW數(shù)據(jù)架構(gòu)〃

數(shù)據(jù)集市層

【功能與作用】

數(shù)據(jù)集市是一組特定的、針對某個主題域、部門或用戶分類的數(shù)據(jù)集合。這些數(shù)據(jù)需要針對

用戶的快速訪問和數(shù)據(jù)輸出進行優(yōu)化，優(yōu)化的方式可以通過對數(shù)據(jù)結(jié)構(gòu)進行匯總和索引。通過數(shù)據(jù)

集市可以保障EDW的高可用性、可擴展性和高性能。

【組成局部】

包括：駕駛艙報表系統(tǒng)和靈活查詢以及其他應(yīng)用集市系統(tǒng)。

應(yīng)用效勞層

【功能與作用】

通過對數(shù)據(jù)平臺層中的數(shù)據(jù)進行適當(dāng)?shù)奶釤挕R總，利用通用展現(xiàn)平臺向用戶提供包括報表效

勞、查詢效勞、決策儀表盤等相關(guān)效勞。該層為用戶對中央數(shù)據(jù)的訪問提供各種方式的效勞（C/S、

B/S）,從而實現(xiàn)訪問方式的多樣化和信息存取的透明化。

【組成局部】

通用展現(xiàn)平臺主要包括的功能模塊有：

第一個層次是核心模塊包括：框架、引擎，核心模塊作為報表集成開發(fā)環(huán)境的基礎(chǔ)、核心和

框架存在。報表集成開發(fā)環(huán)境核心功能和模塊組裝由核心模塊統(tǒng)一提供，只暴露給開發(fā)人員；

第二個層次是管理模塊包括：報表信息、根本管理、代理、信息推送、連接信息，管理模塊

為報表集成開發(fā)環(huán)境提供管理效勞，它提供報表集成開發(fā)環(huán)境的用戶、權(quán)限等的統(tǒng)一管理，管理模

塊也是報表集成開發(fā)環(huán)境必選模塊，它的很多功能調(diào)用由核心模塊提供，管理模塊包括5個子模塊;

第三個層次是應(yīng)用模塊包括：儀表盤、靈活查詢、卷據(jù)錄入、報表、復(fù)雜報表，應(yīng)用模塊提

供報表集成開發(fā)環(huán)境最終用戶（非管理人員）的用戶體驗，可以和管理模塊相結(jié)合有選擇地靈活部

署。

訪問控制層

【功能與作用】

訪問控制層主要包括WEB、認證、平安、門戶四方面的效勞。該層位于用戶層和中間效勞層之

間，為用戶層成提供HTTP效勞、門戶的單點登錄、用戶統(tǒng)一認證、提交用戶層請求到中間效勞層,

對用戶實施平安策略，為用戶管理報表、查詢文檔，提供個性化定制等。

用戶層

上面的邏輯架構(gòu)圖可知用戶層包括各種最終用戶。按照用戶使用EDW系統(tǒng)的方式和特點，可

以劃分為業(yè)務(wù)分析人員、高級分析人員和管理決策人員。所有用戶統(tǒng)一通過用戶門戶訪問EDW系統(tǒng)

各類應(yīng)用，從而實現(xiàn)了EDW系統(tǒng)的應(yīng)用界面、平安管理統(tǒng)一，同時用戶可以對門戶進行個性化定制

以方便自己使用。

實際上，EDW系統(tǒng)還包括進行系統(tǒng)建設(shè)的開發(fā)人員、系統(tǒng)運行人員和系統(tǒng)管理人員，這里所指

的用戶層主要針對業(yè)務(wù)用戶進行描述。

■業(yè)務(wù)分析人員

主要指總行各業(yè)務(wù)部門、各分行的業(yè)務(wù)用戶，如：客戶經(jīng)理。該類人員直接使用模塊化的應(yīng)用

界面訪問EDW系統(tǒng)，生成或預(yù)覽預(yù)定義報表，進行相對固定的查詢以及多維分析。這類用戶會使用

B/S和C/S兩種客戶端訪問EDW系統(tǒng)。

■高級分析人員

是指總行各業(yè)務(wù)部門、各分行的較為高級的用戶。除能移執(zhí)行一般業(yè)務(wù)分析人員進行的操作外,

可以對指定的主題、指標(biāo)進行自定義的靈活分析和比較。分析的方式包括自定義查詢、自定義報表、

多維旋轉(zhuǎn)和穿透鉆取等等。這類用戶會使用B/S和C/S兩種客戶端訪問EDW系統(tǒng)。

■管理決策人員

主要包括各部門的領(lǐng)導(dǎo)、分行領(lǐng)導(dǎo)和總行領(lǐng)導(dǎo)。EDW系統(tǒng)為管理決策人員分配專門的系統(tǒng)資源,

建立最為直觀和方便的存取界面，為決策人員賦予最大的信息訪問權(quán)限，實現(xiàn)決策人員對信息的自

由訪問。同時，EDW系統(tǒng)將決策人員最為關(guān)心的信息主動發(fā)布到?jīng)Q策人員的訪問界面上，簡化信息

訪問的方式，使得決策人員在笫-時間獲得經(jīng)營管理的各種重要信息和指標(biāo)。這類用戶只會使用

B/S客戶端訪問EDW系統(tǒng)。

消費數(shù)據(jù)傳輸通道

在數(shù)據(jù)倉庫系統(tǒng)建立以后，會有很長一段時間舊有的報表系統(tǒng)和分析系統(tǒng)需要逐步遷移，在此

期間，需要有一個消費數(shù)據(jù)傳輸通道來支持舊有系統(tǒng)的良好運轉(zhuǎn)。

平安管理體系

平安管理體系主要包括以下四個方面：

■網(wǎng)絡(luò)平安

主要包括在不同網(wǎng)絡(luò)層次設(shè)置不同級別的防火墻及IDS系統(tǒng)，同時在每一個平安層次下通

過部署不同的平安原則，這完全符合XX銀行的平安級別規(guī)定。

■操作系統(tǒng)平安

系統(tǒng)所有應(yīng)用或數(shù)據(jù)庫效勞器均采用Unix操作系統(tǒng)，操作系統(tǒng)本身有著嚴(yán)密的系統(tǒng)平安認

證與用戶權(quán)限管理體系，并具備登錄、審核以及資源訪問的審計與跟蹤。

■數(shù)據(jù)平安

提供各種基于數(shù)據(jù)庫的平安保護機制。

■應(yīng)用平安

應(yīng)用是直接面對用戶的，雖然應(yīng)用系統(tǒng)能夠持續(xù)提供效勞是涉及到系統(tǒng)平安的問題，但是

因為這些問題更多的是系統(tǒng)的平安問題來保證的。所以就應(yīng)用級的平安策略更多的是保

證對數(shù)據(jù)訪問的合法性。

0元數(shù)據(jù)管理體系

在機構(gòu)內(nèi)關(guān)于數(shù)據(jù)的信息稱為“元數(shù)據(jù)(Metadata)〃。清楚地區(qū)分數(shù)據(jù)庫中的數(shù)據(jù)和元數(shù)據(jù)是

很重要的，所謂元數(shù)據(jù)，是指關(guān)于數(shù)據(jù)的數(shù)據(jù)，即用來描述數(shù)據(jù)的類型、來源、定義、存儲位置,

使得可以正確地使用數(shù)據(jù)倉庫。

元數(shù)據(jù)倉庫(MetaDataRepositor)對業(yè)務(wù)人員來說是很重要的，是業(yè)務(wù)人員與數(shù)據(jù)倉庫的數(shù)

據(jù)交流的傳達手段。IT人員可能已經(jīng)擁有許多有效的工具進行數(shù)據(jù)存取。但對業(yè)務(wù)人員，他們需

要一種手段和工具來理解他們存取的數(shù)據(jù)。

在本期EDW系統(tǒng)的建設(shè)中，包括技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)兩類，其數(shù)據(jù)源涵蓋了EDW系統(tǒng)的各

個環(huán)節(jié)，包括：數(shù)據(jù)源系統(tǒng)、EDW數(shù)據(jù)庫、EDW邏輯數(shù)據(jù)模型、ETL系統(tǒng)、業(yè)務(wù)應(yīng)用系統(tǒng)等，同時,

還將涉及數(shù)據(jù)的業(yè)務(wù)含義和業(yè)務(wù)規(guī)則等相關(guān)業(yè)務(wù)文檔。在架構(gòu)上，元數(shù)據(jù)系統(tǒng)包括：元數(shù)據(jù)應(yīng)用、

元數(shù)據(jù)報表、元數(shù)據(jù)分析、元數(shù)據(jù)集成系統(tǒng)、元數(shù)據(jù)展現(xiàn)系統(tǒng)、元數(shù)據(jù)管理系統(tǒng)、元數(shù)據(jù)維護系統(tǒng)。

1?3.2數(shù)據(jù)處理流程

各業(yè)務(wù)數(shù)據(jù)源系統(tǒng)通過多種方式(如：ETL工具直接從源系統(tǒng)獲取、源系統(tǒng)數(shù)據(jù)批量導(dǎo)出)將數(shù)

據(jù)獲取過來，由數(shù)據(jù)落地區(qū)區(qū)進行集中管理。

后續(xù)的數(shù)據(jù)加工、轉(zhuǎn)換通過ETLServer來完成,中間采取不落地的方式,將加工完畢后的數(shù)據(jù)

放在數(shù)據(jù)準(zhǔn)備區(qū)域。ETLServer可通過dsjob,等方式從數(shù)據(jù)落地區(qū)獲取數(shù)據(jù)，將處理后的結(jié)果

放在數(shù)據(jù)準(zhǔn)備區(qū)域。再將數(shù)據(jù)準(zhǔn)備區(qū)的數(shù)據(jù)加載到數(shù)據(jù)存儲區(qū)中。

根據(jù)目標(biāo)系統(tǒng)的不同，采用靈活的方式向外提供數(shù)據(jù)，可使用ETL工具直接向目標(biāo)系統(tǒng)加載或者

通過FTP方式向其他目標(biāo)傳輸。為支持其他的業(yè)務(wù)需求，將近期(30-60天)的明細數(shù)據(jù)、流水?dāng)?shù)據(jù)

集中存放在數(shù)據(jù)庫系統(tǒng)中，日常噌量數(shù)據(jù)刷新數(shù)據(jù)庫系統(tǒng)。

整個過程通過調(diào)度工具進行統(tǒng)一調(diào)度，集中管理，確保各項任務(wù)有序完成。

1.4EDW運維架構(gòu)

1.4.1運維架構(gòu)概述

以下圖中給出了EDW的運維架構(gòu)，是在EDW系統(tǒng)上線后，為了保持系統(tǒng)良好的穩(wěn)定性而定義的

相關(guān)的管理需求。運維架構(gòu)主要是針對執(zhí)行架構(gòu)的數(shù)據(jù)導(dǎo)入層、數(shù)據(jù)效勞層、中間效勞層和訪問控

制層效勞器進行管理，面向的最終用戶是IT人員。

性運

能系統(tǒng)位控管理雄

容安

1全

規(guī)系統(tǒng)桀護管理管

劃理

故陞切換管理

圖1運維邏輯體系架構(gòu)

運維架構(gòu)中包含了如下組件：系統(tǒng)監(jiān)控管理組件、系統(tǒng)維護管理組件、備份恢復(fù)管理組件、故

障切換管理組件、性能容量規(guī)劃組件和運維平安管理組件。各個組件的主要功能如下：

＞系統(tǒng)監(jiān)控管理組件：監(jiān)控網(wǎng)絡(luò)/系統(tǒng)性能、運行，以及診斷和報告故障。管理的硬件和軟件包

括所有開發(fā)、測試和生產(chǎn)環(huán)境中的硬件和軟件。

＞系統(tǒng)維護管理組件：系統(tǒng)維護是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常效勞而進行的配置、參

數(shù)管理，以及啟/停機、清理過期數(shù)據(jù)等日常操作，以及數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護等。

＞備份恢復(fù)管理組件：備份/恢復(fù)管理組件處理系統(tǒng)中所有必須的備份和恢復(fù)操作。這個組件根

據(jù)備份策略，通過對數(shù)據(jù)的冗余存儲來保證系統(tǒng)可以從各種效勞中斷中恢復(fù)。

＞故障切換管理組件：故障切換管理提供了管理和控制應(yīng)用切換的機制。故障切換組件使用冗余

系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務(wù)數(shù)據(jù)流不間斷。當(dāng)發(fā)生故障或失敗時，該切換發(fā)生在主系統(tǒng)和備份

系統(tǒng)之間。

＞性能容量規(guī)劃組件：性能及容量規(guī)劃從環(huán)境中的不同元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能

力需求。

＞運維平安管理組件：運維平安管理組件通過制定和管理運維平安策略，并利用平安工具，維護

信息系統(tǒng)資產(chǎn)（包括硬件、軟件、用戶數(shù)據(jù)、信息/數(shù)據(jù)）的機密性、一致性和可用性。

＞運維環(huán)境管理組件：運維環(huán)境管理用于確保物理環(huán)境和系統(tǒng)環(huán)境的妥善管理和保護，不受故障

和災(zāi)難的侵害，以及不受人為因素的干擾和破壞。

整個運維架構(gòu)通過一些標(biāo)準(zhǔn)的流程實現(xiàn)生產(chǎn)環(huán)境運行管理，包括的流程主要是日常操作流程和

特殊操作流程。日常操作流程是指IT用戶在日常為維護生產(chǎn)環(huán)境正常運轉(zhuǎn)需要做的工作，如：數(shù)

據(jù)倉庫管理、系統(tǒng)監(jiān)控、備份恢復(fù)、容量規(guī)劃。特殊操作流程不會每天發(fā)生，這一流程的啟動通常

是由于系統(tǒng)軟硬件升級、數(shù)據(jù)變更、新增應(yīng)用等需求引起的。

1.4.2運維架構(gòu)的邏輯框架

系統(tǒng)監(jiān)控管理

在EW系統(tǒng)中，需要監(jiān)控管理的系統(tǒng)元素可以分為如下五類：

＞網(wǎng)絡(luò)/主機管理：用于監(jiān)控、控制和報告網(wǎng)絡(luò)及主機狀態(tài)。

＞數(shù)據(jù)庫/數(shù)據(jù)倉庫管理：提供相關(guān)監(jiān)控信息源，控制各個獨立的效勞器或數(shù)據(jù)庫/數(shù)據(jù)倉庫。應(yīng)

監(jiān)控所有的關(guān)鍵數(shù)據(jù)庫/數(shù)據(jù)倉庫性能比例，以保證高可用性和性能。

＞應(yīng)用管理：處理客戶應(yīng)用中發(fā)生的事件。應(yīng)用本身包括了衡量內(nèi)部應(yīng)用響應(yīng)時間和性能的工具,

應(yīng)搜集這些工具產(chǎn)生的信息（如日志、運行報告等）月于監(jiān)控。

＞生產(chǎn)調(diào)度：生產(chǎn)調(diào)度組件包括了一套應(yīng)用，用于調(diào)度和自動化網(wǎng)絡(luò)、系統(tǒng)和應(yīng)用管理（如ETL）

特有的任務(wù)。

＞工安管理：運維架構(gòu)中涉及的平安管理內(nèi)容主要包括身份管理、系統(tǒng)級密鑰和證書管理、平安

黃略管理。

系統(tǒng)監(jiān)控管理的主要任務(wù)及工具支持如以下圖所示:

任

*

I

具

系統(tǒng)維護管理

系統(tǒng)維護是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常效勞而進行的配置、參數(shù)管理，以及啟/停

機、清理過期數(shù)據(jù)等日常操作，以及數(shù)據(jù)、系統(tǒng)發(fā)生變更的維護等。

系統(tǒng)維護管理包括兩方面的管理內(nèi)容：系統(tǒng)維護和變更管理。

＞系統(tǒng)維護是指系統(tǒng)在運行過程中，為了系統(tǒng)的正常效勞而進行的配置、參數(shù)管理，以及啟/停

機、清理過期數(shù)據(jù)等日常操作。

＞變更管理允許對技術(shù)架構(gòu)組件進行變更的控制管理。在EDW系統(tǒng)運行過程中，有兩種典型的變

更需要進行管理：數(shù)據(jù)變更和系統(tǒng)升級。變更控制組作可以協(xié)助運維團隊、開發(fā)團隊和業(yè)務(wù)部

門之間的溝通，保障系統(tǒng)的變更平滑進行。

系統(tǒng)維護管理的主要任務(wù)及工具支持如以下圖所示:

任

SuLVijualEjxlamL'BJidex人Ed

備份恢復(fù)管理

備份與恢復(fù)的目標(biāo)在于：

＞保證在任何時點對數(shù)據(jù)的完全恢復(fù)。

＞最低程度地降低數(shù)據(jù)喪失。

＞盡量提高數(shù)據(jù)備份過程的效率。

備份詼復(fù)管理的主要任務(wù)及工具支持如以下圖所示:

任

務(wù)

I

故障切換管理

故障切換管理組件提供了管理和控制應(yīng)用切換的機制，提供系統(tǒng)的高可用性。故障切換組件使

用冗余系統(tǒng)和數(shù)據(jù)來保證關(guān)鍵任務(wù)數(shù)據(jù)流不間斷。當(dāng)發(fā)生故障或失敗時，該切換發(fā)生在主系統(tǒng)和備

份系統(tǒng)之間。在故障或失敗事件中，故障切換管理組件將系統(tǒng)資源重路由到穩(wěn)定配置的備份系統(tǒng)中,

直到主系統(tǒng)被恢復(fù)或替代。

網(wǎng)絡(luò)設(shè)備轂格倉庫整務(wù)需

?冗余刖絡(luò)設(shè)而;兀全糧都

?自動g鉆機制?RAIDI

?1/O55K雙工x--

\)“

?Chqtxs機制二

?刖絡(luò)容錯切

?刖絡(luò)自初分配換

?多個冗余連挎功

費

冗余設(shè)第RAIDI115Saver蜿一實施I

負就均曲罌HPMC於件

性能和容量規(guī)劃

性能和容量規(guī)劃組件代表了從環(huán)境中的不同系統(tǒng)元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力

需求的工具。數(shù)據(jù)通過放置在環(huán)境中系統(tǒng)元素一端的代理進行的收集，并由容量規(guī)劃組件進行分析,

包括臻盤容量、內(nèi)存使用、處理器使用、數(shù)據(jù)庫、和網(wǎng)絡(luò)等。

性能容量規(guī)劃包括如下組件：

＞信息收集：收集性能容量相關(guān)的重要分析數(shù)據(jù)；

＞性能管理：對系統(tǒng)系統(tǒng)性能進行監(jiān)控、管理、分析和調(diào)優(yōu)；

＞性能容量規(guī)劃：基于歷史趨勢和未來性能容量需求進行規(guī)劃;

性能容量規(guī)劃的主要任務(wù)及工具支持如以下圖所示:

DBMaragaDQM容篁石算計其―

1\具

ResourceUsa^eandTablesDBPerforaianccMootor.

1.426運維平安管理

平安管理組件通過制定和管理平安策略，并利用平安工具，維護信息系統(tǒng)資產(chǎn)（包括硬件、軟

件、固件、用戶數(shù)據(jù)、信息/數(shù)據(jù)）的機密性、一致性和可用性。

平安管理是貫穿EDW總體架構(gòu)的。例如，在運維架構(gòu)中可能需要使用平安控制工具對系統(tǒng)管理

工具的訪問進行管理，在開發(fā)架構(gòu)中則可能使用平安控制工具對代碼存儲的訪問進行管理。為防止

平安內(nèi)容的重復(fù)，所有平安組件都應(yīng)統(tǒng)一被考慮，它是跨開發(fā)、執(zhí)行、運維架構(gòu)的。

uri

DBAdministncorAccessManager

1.5EDW數(shù)據(jù)架構(gòu)

1.5.1數(shù)據(jù)架構(gòu)設(shè)計原則

■統(tǒng)一標(biāo)準(zhǔn)

對各源系統(tǒng)數(shù)據(jù)按主題進行統(tǒng)一整合；分行特色也按統(tǒng)一標(biāo)準(zhǔn)進行補充建設(shè)。

■靈活性原則

數(shù)據(jù)模型要為數(shù)據(jù)應(yīng)用提供有效的信息支持，這些信息需求會隨著銀行需求的

變化而不斷增加，進而會引起需求的不可預(yù)料性。特別是加工匯總層的數(shù)據(jù)架構(gòu)必須

符合“匯總指標(biāo)可靈活增加〃的技術(shù)要求，不會隨著指標(biāo)的增加而變更數(shù)據(jù)模型。

■可擴展性原則

隨著源系統(tǒng)和數(shù)據(jù)集市應(yīng)用系統(tǒng)的不斷增加，數(shù)據(jù)模型應(yīng)提供一個標(biāo)準(zhǔn)化的設(shè)

計思路，以便業(yè)務(wù)系統(tǒng)的擴展。

■高效原則

數(shù)據(jù)模型面臨海量數(shù)據(jù)的加工和存儲，隨著時間的推移，數(shù)據(jù)將不斷累積，因

此效率問題是直接影響系統(tǒng)可用性的關(guān)鍵因素。數(shù)據(jù)模型的效率包括ETL的加工效率

和數(shù)據(jù)展現(xiàn)的查詢效率，因此數(shù)據(jù)模型的數(shù)據(jù)組織和存儲，必須是高效可用的。

■實用性原則

處理大量的源系統(tǒng)數(shù)據(jù)，將會占用大量的系統(tǒng)資源，因此必須仔細分析數(shù)據(jù)的

實用性、指標(biāo)的使用頻率，以業(yè)務(wù)需求驅(qū)動為原則，對業(yè)務(wù)提出的基礎(chǔ)數(shù)據(jù)和指標(biāo)需

求進行優(yōu)先級劃分，正確制定指標(biāo)的匯總粒度。

加工匯總層要重點解決共性指標(biāo)的加工。

■存儲空間合理性原則

數(shù)據(jù)模型需要處理海量數(shù)據(jù)。隨時間的增加，存儲數(shù)據(jù)越來越多。因此在設(shè)計時必須考慮如何

合理組織數(shù)據(jù)，以減小數(shù)據(jù)冗余。

1.5.2數(shù)據(jù)架構(gòu)分層設(shè)計

各類來表靈活查詢其他應(yīng)用

數(shù)據(jù)應(yīng)用區(qū)

指標(biāo)管理報表管理統(tǒng)計分析權(quán)限管理參數(shù)管理維護管理

管理會計風(fēng)險管理費產(chǎn)負債駕駛艙管理報表

KPI指標(biāo)集

數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市

應(yīng)用匯總層（按不同對象和粒度匯總）

數(shù)據(jù)倉庫存儲區(qū)

應(yīng)用接口層（為各個應(yīng)用提供數(shù)據(jù)指標(biāo)服務(wù)）

數(shù)據(jù)公共匯總層ADM（按最輕粒度匯總，3NF）多維模型層（按維度、指標(biāo)建模）

數(shù)據(jù)整合層FDM（保留最明細數(shù)據(jù)，按客戶、存款、貸款、產(chǎn)品、中間業(yè)務(wù)等主題劃分）

客戶模型存款模型貸款模型產(chǎn)品模型中間業(yè)務(wù)模型其他模型

標(biāo)準(zhǔn)數(shù)據(jù)層SDM（業(yè)務(wù)、數(shù)據(jù)標(biāo)準(zhǔn)化）

________數(shù)_據(jù)貼_源層_ODM（規(guī)<范化_、良_好的_貼源_數(shù)據(jù)_）_______

核心系統(tǒng)個貸系統(tǒng)信貸系統(tǒng)國結(jié)系統(tǒng)人力系統(tǒng)財務(wù)系統(tǒng)其他系統(tǒng)

數(shù)據(jù)庫統(tǒng)一存儲管理所轄數(shù)據(jù)，由于數(shù)據(jù)類型比較多，數(shù)據(jù)庫表也比較多，如何有效的組

織管理好全行多種業(yè)務(wù)的數(shù)據(jù)和信息，對下一步清晰的信息應(yīng)用、方便地使用數(shù)據(jù)是很關(guān)鍵

的。因此數(shù)據(jù)和信息不能隨意堆積存放到數(shù)據(jù)庫中，需要對全行的數(shù)據(jù)和信息進行分層、分

類存放，并制定相應(yīng)的數(shù)據(jù)分層、分類的標(biāo)準(zhǔn)，EDW系統(tǒng)上所有數(shù)據(jù)和應(yīng)用的建設(shè)都應(yīng)遵從統(tǒng)

一的數(shù)據(jù)管理標(biāo)準(zhǔn)。

存放到EDW數(shù)據(jù)庫中的數(shù)據(jù)有以下幾類：

1、從原業(yè)務(wù)系統(tǒng)直接是集過來的經(jīng)標(biāo)準(zhǔn)化處理的標(biāo)準(zhǔn)數(shù)據(jù)，由標(biāo)準(zhǔn)數(shù)據(jù)按主題整合形成

的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)；

2、經(jīng)過中間加工匯總形成的匯總數(shù)據(jù)；

3、管理應(yīng)用所專用的操作型數(shù)據(jù)；

4、為滿足應(yīng)用分析需要而加工形成的多維分析數(shù)據(jù)。

為了更好的管理這些數(shù)據(jù)，EDW數(shù)據(jù)按層次進行劃分存放及管理，從邏輯模型上劃分為以

下幾個數(shù)據(jù)層次：

■源數(shù)據(jù)緩沖層：數(shù)據(jù)層與業(yè)務(wù)源的數(shù)據(jù)結(jié)構(gòu)一一對應(yīng)，是數(shù)據(jù)存儲的臨時存儲區(qū)域，數(shù)據(jù)

在其中只作暫時性保存，當(dāng)新的數(shù)據(jù)到達緩儲區(qū)時，現(xiàn)有數(shù)據(jù)被刪除或覆蓋。

■標(biāo)準(zhǔn)化數(shù)據(jù)層：對數(shù)據(jù)做標(biāo)準(zhǔn)化處理，主要有公關(guān)代碼標(biāo)準(zhǔn)化、數(shù)據(jù)類型標(biāo)準(zhǔn)化和數(shù)據(jù)格

式標(biāo)準(zhǔn)化，未來可以做客戶信息標(biāo)準(zhǔn)化。

■標(biāo)準(zhǔn)化全量層

■基礎(chǔ)數(shù)據(jù)層數(shù)據(jù)模型

基礎(chǔ)數(shù)據(jù)模型用于整合、存儲全行各業(yè)務(wù)系統(tǒng)的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)。

原則上該區(qū)域的數(shù)據(jù)不作復(fù)雜加工，直接存儲業(yè)務(wù)系統(tǒng)中原始數(shù)據(jù)記錄的關(guān)鍵數(shù)據(jù)(主數(shù)

據(jù))，盡量保持貼近源系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。為應(yīng)用方便、查詢高效考慮，可以對源系統(tǒng)進行適當(dāng)

的整合、拆分，也可以裁減掉源系統(tǒng)中沒有必要整合的數(shù)據(jù)。同時需要對各系統(tǒng)冗余及標(biāo)準(zhǔn)

不一致的數(shù)據(jù)進行標(biāo)準(zhǔn)和整合。

在基礎(chǔ)據(jù)模型中按照八大主題對銀行全行數(shù)據(jù)進行整合、分類組織和存儲，這八大主題包

括總帳(GL)、客戶(CD、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(wù)(NIN)、渠道(CHN)、

公用(CM)；每個主題下設(shè)計相應(yīng)的數(shù)據(jù)模型，最后構(gòu)成全行統(tǒng)一的基礎(chǔ)數(shù)據(jù)模型。

EDW對各源系統(tǒng)機構(gòu)編碼進行統(tǒng)一，提供統(tǒng)一的基線機構(gòu)。

EDW對源系統(tǒng)客戶號進行統(tǒng)一，提供統(tǒng)一的客戶號(ECIF客戶編號)。

■加工匯總數(shù)據(jù)層數(shù)據(jù)模型；

加工匯總數(shù)據(jù)層的主題劃分為八大主題：總帳(GL)、客戶(CI)、存款(DEP)、貸

款(LN)、銀行卡(CRD)、中間業(yè)務(wù)(NIN)、渠道(CHN)、公用(CM)。

加工匯總數(shù)據(jù)層下的匯總需求由“應(yīng)用需要〃來確定。多個應(yīng)用相同的匯總要

求，或者多個應(yīng)用在匯總計算的基礎(chǔ)局部有重復(fù)匯總的局部可以納入該區(qū)域進行匯

總，形成應(yīng)用共享的中間匯總結(jié)果，如按客戶、機構(gòu)、產(chǎn)品、渠道等主題的一些公共

匯總數(shù)據(jù)(包括每天或每個階段的業(yè)務(wù)量、業(yè)務(wù)額、平均額等數(shù)據(jù)的匯總)。

加工匯總數(shù)據(jù)層的數(shù)據(jù)模型設(shè)計在有相應(yīng)的匯總需求情況下才針對匯總需求進

行數(shù)據(jù)表和數(shù)據(jù)匯總?cè)蝿?wù)的擴展設(shè)計，逐步積累公共匯總指標(biāo)，最后形成全行可共享

的面向各個主題的中間匯總指標(biāo)。

加工匯總數(shù)據(jù)層分為兩種不同數(shù)據(jù)形態(tài)：

1)匯總指標(biāo)一如平均余額等

2)根據(jù)業(yè)務(wù)要求形成的分析加工數(shù)據(jù)一如理財卡帳務(wù)數(shù)據(jù)、客戶大額存取款等

■集市數(shù)據(jù)層數(shù)據(jù)模型

集市數(shù)據(jù)層用于建立面向各個應(yīng)用主題的數(shù)據(jù)集市，不同的主題應(yīng)用在集市數(shù)

據(jù)區(qū)下建立不同的數(shù)據(jù)集市，數(shù)據(jù)集市的數(shù)據(jù)模型根據(jù)應(yīng)用模型的需要進行設(shè)計。數(shù)

據(jù)集市中可存在操作型數(shù)據(jù)、匯總型數(shù)據(jù)和多維分析數(shù)據(jù)，根據(jù)應(yīng)用的需要分別進行

建立。

1.6EDW應(yīng)用架構(gòu)

資產(chǎn)負債零售銀行靈活查詢KPI客戶分析其他數(shù)據(jù)其他數(shù)據(jù)

ACRM財務(wù)績效風(fēng)險管理管理報表系統(tǒng)分析系統(tǒng)應(yīng)用系統(tǒng)

用戶用戶用戶用戶用戶用戶用戶用戶用戶用戶

\金￡__卦fttA.

批量數(shù)據(jù)交換總線

數(shù)據(jù)倉庫存儲操作型存儲

提供數(shù)據(jù)

4RDBMS

數(shù)據(jù)裝載

t1ftittft

核心系統(tǒng)信貸系統(tǒng)?個貸系統(tǒng)財務(wù)系統(tǒng)柒道系統(tǒng)國結(jié)系統(tǒng)人力系統(tǒng)其他

1.6.1應(yīng)用架構(gòu)設(shè)計原則

EDW系統(tǒng)的應(yīng)用架構(gòu)應(yīng)考慮開放性、完整性、合理性。

開放性：EDW系統(tǒng)的應(yīng)用架構(gòu)設(shè)計必須考慮平臺、系統(tǒng)、功能的開放性，與