數(shù)據(jù)倉庫技術(shù)及其在銀行業(yè)的應(yīng)用

■NCRTeradata數(shù)據(jù)倉庫事業(yè)部王闖舟

利用先進(jìn)的數(shù)據(jù)倉庫技術(shù)建立集中的、包含詳細(xì)交易數(shù)據(jù)的商業(yè)智能解決方

案，已經(jīng)成為各大銀行對內(nèi)加強(qiáng)經(jīng)營管理和決策支持，對外更好地了解客戶需求，開發(fā)

新產(chǎn)品或服務(wù)，利用現(xiàn)有渠道對客戶進(jìn)行交叉銷售，增加贏利能力，并在特定的業(yè)務(wù)領(lǐng)

域提供差異化服務(wù)的重要手段。

與前幾年不同的是，大家目前都在談?wù)撈髽I(yè)級數(shù)據(jù)倉庫（EDW,EnterpriseData

Warehouse）,對于數(shù)據(jù)集市的定位也基本形成共識，那就是數(shù)據(jù)集市應(yīng)該從屬于企業(yè)級

數(shù)據(jù)倉庫。所謂EDW,基本的要求是整個企業(yè)能夠共享統(tǒng)一的數(shù)據(jù)存儲模型，為各級業(yè)

務(wù)人員提供一致的信息視圖。實施時可以先按照需求的輕重緩急選擇部分業(yè)務(wù)主題，然

后逐步擴(kuò)展到涵蓋全部業(yè)務(wù)。

兩種數(shù)據(jù)倉庫體系架構(gòu)

集線器結(jié)構(gòu)

之所以把這種結(jié)構(gòu)稱為“HubandSpoke"，是因為中央數(shù)據(jù)庫匯集了來芻各

業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)，同時也負(fù)責(zé)向各從屬數(shù)據(jù)集市提供信息，看上去象一個Hub（集

線器）一樣。而業(yè)務(wù)人員在進(jìn)行數(shù)據(jù)分析與信息訪問時將根據(jù)需要連接到不同的數(shù)據(jù)集

市，這種交叉復(fù)雜的連接看上去就象Spoke（車輪輻條）一樣。由于這樣的關(guān)系，著名評

估機(jī)構(gòu)GartnerGroup把這種結(jié)構(gòu)的數(shù)據(jù)倉庫形象地稱為“HubandSpokeData

Warehouse”。

“HubandSpoke”結(jié)構(gòu)解決了企業(yè)內(nèi)統(tǒng)一數(shù)據(jù)存儲模型的問題，但從實際使

用的角度來看仍有比較嚴(yán)重的缺陷。主要體現(xiàn)在兩方面：一是業(yè)務(wù)人員對信息的訪問非

常不方便，很難進(jìn)行跨數(shù)據(jù)集市或跨部門的信息分析c數(shù)據(jù)集市的存儲模型需要根據(jù)預(yù)

先定義的分析需求進(jìn)行規(guī)劃和設(shè)計，業(yè)務(wù)人員根據(jù)分工到指定的數(shù)據(jù)集市上去訪問相關(guān)

信息。如果需求發(fā)生變化，就需要對數(shù)據(jù)集市重新規(guī)劃。這顯然不能滿足日益變化的市

場需求。中央數(shù)據(jù)庫只是起統(tǒng)一數(shù)據(jù)存儲和刷新數(shù)據(jù)集市的作用，一般不提供信息訪問。

另一個問題是每個數(shù)據(jù)集市都需要相應(yīng)的軟硬件投入，當(dāng)數(shù)據(jù)集市增加時，系統(tǒng)整體投

資迅速增加，同時管理的復(fù)雜性也隨之增加。這些都意味著巨大的整體擁有成本。

為什么不直接訪問中央數(shù)據(jù)倉庫而非要設(shè)計一個數(shù)據(jù)集市層呢？主要原因在

于當(dāng)中央數(shù)據(jù)庫保存越來越多的數(shù)據(jù)、并發(fā)用戶越來越多時;一般的數(shù)據(jù)庫引擎無法承

擔(dān)這樣的負(fù)載，只好把它們分解到不同的數(shù)據(jù)集市。

集中式結(jié)構(gòu)

與前面討論的“HubandSpokew結(jié)構(gòu)相比，集中式結(jié)構(gòu)與之主要的差別在于:

數(shù)據(jù)集市分成物理與邏輯兩種，物理數(shù)據(jù)集市設(shè)立在中央數(shù)據(jù)倉庫之外，具有專門的軟

硬件設(shè)備。一般都使用OLAP服務(wù)器，按照特定需求組建多維立方體來提供多維信息分

析。邏輯數(shù)據(jù)集市設(shè)立在中央數(shù)據(jù)倉庫之內(nèi)，由在基礎(chǔ)數(shù)據(jù)之上形成的小結(jié)表或者邏輯

視圖組成。業(yè)務(wù)人員既可以訪問多維立方體，也可以訪問中央數(shù)據(jù)倉庫內(nèi)的小結(jié)表或者

邏輯視圖。這些分析主要針對預(yù)先定義的業(yè)務(wù)需求，并目.粒度比較粗。基于OLAP服務(wù)

器的數(shù)據(jù)集市比基于RDEMS的數(shù)據(jù)集市要容易維護(hù)得多，當(dāng)然規(guī)模也相對較小。

n?用戶

操作戮據(jù)

E7L陋

\給通企收例滄庫

數(shù)廨換與烝沖區(qū)-

洋細(xì)的反砒颯按

媚始適式存儲）

邏輯數(shù)據(jù)集帕小結(jié)

表或視圖）

物鰻據(jù)集*01,APServed

業(yè)務(wù)用戶mila

集中式結(jié)構(gòu)的企業(yè)級數(shù)據(jù)倉庫

中央數(shù)據(jù)庫采用符合數(shù)據(jù)庫范式理論（一般為第三范式）的存儲模型來保存基

礎(chǔ)數(shù)據(jù)，從而為整個企業(yè)提供一致的信息視圖。上面說明的數(shù)據(jù)集市主要針對粒度較粗、

預(yù)先定義的分析需求，花于動態(tài)的業(yè)務(wù)查詢、粒度較細(xì)的或者針對基礎(chǔ)數(shù)據(jù)的分析需求

則由中央數(shù)據(jù)庫提供。因此業(yè)務(wù)人員可以直接訪問到最基礎(chǔ)的詳細(xì)數(shù)據(jù)，特別是高級業(yè)

務(wù)分析師，將更頻繁地基于詳細(xì)數(shù)據(jù)進(jìn)行分析，以便挖掘出內(nèi)在的、隱含的業(yè)務(wù)規(guī)則，

幫助企業(yè)主管更好地進(jìn)行業(yè)務(wù)決策。

在中央數(shù)據(jù)庫中還設(shè)立了一個數(shù)據(jù)轉(zhuǎn)換與緩沖區(qū)（DataStagingArea）乍為

ETL（抽取轉(zhuǎn)換裝載機(jī)制）處理的一部分。由于在很多數(shù)據(jù)倉庫的ETL處理流程中：需

要對源數(shù)據(jù)作一些比較復(fù)雜的轉(zhuǎn)換與清洗工作，如果僅借助于ETL工具實現(xiàn)這種轉(zhuǎn)換與

清洗，由于沒有數(shù)據(jù)庫的支撐（ETL工具均在數(shù)據(jù)庫之外運(yùn)行），經(jīng)常會產(chǎn)生比較嚴(yán)重的

性能問題。于是在一些系統(tǒng)中增加一個0DS（0perationalDataStore）層來進(jìn)行數(shù)據(jù)的

整理，但這就像設(shè)立基于RDBMS的數(shù)據(jù)集市一樣，將大大增加整體投資和管理更雜性。

理想的方法是，在中央數(shù)據(jù)庫中設(shè)置?部分存儲空間來作為數(shù)據(jù)轉(zhuǎn)換與緩沖區(qū)，借助數(shù)

據(jù)倉庫引擎強(qiáng)大的復(fù)雜查詢處理能力，通過SQL實現(xiàn)數(shù)據(jù)的轉(zhuǎn)換與清洗。這種實現(xiàn)方法

簡單、快速、并且不容易出錯，當(dāng)然對中央數(shù)據(jù)倉庫引擎的處理能力就提出了更高的要

求。

選擇這種數(shù)據(jù)倉庫基礎(chǔ)平臺的基本要求第一是線性擴(kuò)展能力。原始數(shù)據(jù)對任何

一個數(shù)據(jù)倉庫來說，都是最主要的負(fù)載之一。隨著數(shù)據(jù)量的增長，系統(tǒng)性能會逐漸下降。

為了維持合理的業(yè)務(wù)查詢響應(yīng)時間，要求數(shù)據(jù)倉庫引擎和相應(yīng)的數(shù)據(jù)庫服務(wù)器具有優(yōu)良

的線性擴(kuò)展能力。些系統(tǒng)的擴(kuò)展能力非常有限，當(dāng)數(shù)據(jù)量增K到定規(guī)模時（比如TB

級以上)已經(jīng)很難滿足E常的業(yè)務(wù)分析要求，不得不把數(shù)據(jù)分離到多個小規(guī)模的數(shù)據(jù)集

市，形成所謂的“HubandSpoke”結(jié)構(gòu)。第二項基本要求是并行處理能力。許多業(yè)務(wù)

杳詢與分析都是動態(tài)(Ad-hocQuei'y)的，數(shù)據(jù)庫傳統(tǒng)的索引技術(shù)對動態(tài)分析和模糊查詢

的幫助不大。系統(tǒng)必須具有非常好的并行處理能力，才能滿足復(fù)雜的、動態(tài)的分析需求,

并且承擔(dān)比較復(fù)雜的數(shù)據(jù)轉(zhuǎn)換與清洗工作。第三個基本要求是簡單的系統(tǒng)管理。對于大

型的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)而言，如何能有效而簡單地進(jìn)行系統(tǒng)管理是非常重要的。特別是

當(dāng)數(shù)據(jù)量不斷擴(kuò)大時，如果沒有一種有效而且簡單的系統(tǒng)管理措施，那么系統(tǒng)的運(yùn)行費

用將會很高。

數(shù)據(jù)倉庫技術(shù)在銀行業(yè)的應(yīng)用

數(shù)據(jù)倉庫體系結(jié)構(gòu)屬于基礎(chǔ)設(shè)施的建設(shè)，只有穩(wěn)固的數(shù)據(jù)倉庫基礎(chǔ)設(shè)施才能支

撐靈活多樣的數(shù)據(jù)倉庫應(yīng)用。對于銀行業(yè)來說，數(shù)據(jù)倉庫的應(yīng)用面非常廣，基本上涵蓋

了銀行經(jīng)營管理與業(yè)務(wù)運(yùn)作的各個方面。

現(xiàn)在國內(nèi)幾大商業(yè)銀行都在著手調(diào)研、準(zhǔn)備或者嘗試實施基于數(shù)據(jù)倉庫技術(shù)的

各種解決方案。比如，中國工商銀行進(jìn)行了以個人客戶關(guān)系管理(PCRM)和業(yè)績價值管

理(PVMS)為主題的應(yīng)用試點，中國銀行則全面規(guī)劃了信用卡系統(tǒng)，其中很重要的一個

子系統(tǒng)就是基于數(shù)據(jù)倉庫技術(shù)的銷售和客戶服務(wù)系統(tǒng)，中國農(nóng)業(yè)銀行正在廣東分行進(jìn)行

經(jīng)營分析系統(tǒng)的建設(shè)，中國民生銀行也全面啟動了客戶信息管理(CIM)和企業(yè)級數(shù)據(jù)

倉庫的建設(shè)。

銀行通過逐步建立企業(yè)級數(shù)據(jù)倉庫，可以對全行業(yè)務(wù)數(shù)據(jù)進(jìn)行集中存儲和統(tǒng)一

管理，科學(xué)合理地對信息進(jìn)行詳細(xì)分類，及時準(zhǔn)確收集信息和分析信息，確保管理層隨

時掌握銀行的經(jīng)營風(fēng)險、運(yùn)營情況和經(jīng)營目標(biāo)。在引入詳細(xì)交易數(shù)據(jù)以后，可以通過各

種數(shù)據(jù)的關(guān)聯(lián)分析，衡量各類客戶需求、滿意度、贏利能力、潛在價值、信用度和風(fēng)險

度等指標(biāo)，幫助銀行識別不同的客戶群體，確定目標(biāo)市場，為實施差別化服務(wù)、產(chǎn)品合

理定價的策略提供技術(shù)支持。

數(shù)據(jù)倉庫應(yīng)用系統(tǒng)

貝代化然行的任縈管理

1利

客

資

信

譚

戶

用

產(chǎn)1

篌*

關(guān)

獻(xiàn)

風(fēng)

負(fù)

計

系

險

演

偌1

分

估

管

管

管

修

卡

、

理

理

理□

析

田定義怪去后富友6售分板財鑫分析短倨地偏

。鬻：輯6邏輯