1、數(shù)據(jù)倉庫技技術(shù)及其在在銀行業(yè)的的應(yīng)用 NCRR Terradatta數(shù)據(jù)倉倉庫事業(yè)部部 王闖舟舟 利利用先進(jìn)的的數(shù)據(jù)倉庫庫技術(shù)建立立集中的、包含詳細(xì)細(xì)交易數(shù)據(jù)據(jù)的商業(yè)智智能解決方方案，已經(jīng)經(jīng)成為各大大銀行對內(nèi)內(nèi)加強經(jīng)營營管理和決決策支持，對對外更好地地了解客戶戶需求，開開發(fā)新產(chǎn)品品或服務(wù)，利利用現(xiàn)有渠渠道對客戶戶進(jìn)行交叉叉銷售，增增加贏利能能力，并在在特定的業(yè)業(yè)務(wù)領(lǐng)域提提供差異化化服務(wù)的重重要手段。 與與前幾年不不同的是，大大家目前都都在談?wù)撈笃髽I(yè)級數(shù)據(jù)據(jù)倉庫(EEDW，EEnterrprisse Daata WWarehhousee)，對于于數(shù)據(jù)集市市的定位也也基本形成成共識，那那就是數(shù)據(jù)據(jù)

2、集市應(yīng)該該從屬于企企業(yè)級數(shù)據(jù)據(jù)倉庫。所所謂EDWW，基本的的要求是整整個企業(yè)能能夠共享統(tǒng)統(tǒng)一的數(shù)據(jù)據(jù)存儲模型型，為各級級業(yè)務(wù)人員員提供一致致的信息視視圖。實施施時可以先先按照需求求的輕重緩緩急選擇部部分業(yè)務(wù)主主題，然后后逐步擴展展到涵蓋全全部業(yè)務(wù)。 兩兩種數(shù)據(jù)倉倉庫體系架架構(gòu) 集集線器結(jié)構(gòu)構(gòu) 之之所以把這這種結(jié)構(gòu)稱稱為“Huub annd Sppoke”，是因為為中央數(shù)據(jù)據(jù)庫匯集了了來自各業(yè)業(yè)務(wù)處理系系統(tǒng)的數(shù)據(jù)據(jù)，同時也也負(fù)責(zé)向各各從屬數(shù)據(jù)據(jù)集市提供供信息，看看上去象一一個Hubb （集線線器）一樣樣。而業(yè)務(wù)務(wù)人員在進(jìn)進(jìn)行數(shù)據(jù)分分析與信息息訪問時將將根據(jù)需要要連接到不不同的數(shù)據(jù)據(jù)集市，這這種交

3、叉復(fù)復(fù)雜的連接接看上去就就象Spooke(車車輪輻條)一樣。由由于這樣的的關(guān)系，著著名評估機機構(gòu)Garrtnerr Grooup把這這種結(jié)構(gòu)的的數(shù)據(jù)倉庫庫形象地稱稱為“Huub annd Sppoke Dataa Warrehouuse”。 集線器結(jié)構(gòu)構(gòu)的企業(yè)級級數(shù)據(jù)倉庫庫“Hub and Spokke”結(jié)構(gòu)構(gòu)解決了企企業(yè)內(nèi)統(tǒng)一一數(shù)據(jù)存儲儲模型的問問題，但從從實際使用用的角度來來看仍有比比較嚴(yán)重的的缺陷。主主要體現(xiàn)在在兩方面：一是業(yè)務(wù)務(wù)人員對信信息的訪問問非常不方方便，很難難進(jìn)行跨數(shù)數(shù)據(jù)集市或或跨部門的的信息分析析。數(shù)據(jù)集集市的存儲儲模型需要要根據(jù)預(yù)先先定義的分分析需求進(jìn)進(jìn)行規(guī)劃和和設(shè)計，業(yè)業(yè)

4、務(wù)人員根根據(jù)分工到到指定的數(shù)數(shù)據(jù)集市上上去訪問相相關(guān)信息。如果需求求發(fā)生變化化，就需要要對數(shù)據(jù)集集市重新規(guī)規(guī)劃。這顯顯然不能滿滿足日益變變化的市場場需求。中中央數(shù)據(jù)庫庫只是起統(tǒng)統(tǒng)一數(shù)據(jù)存存儲和刷新新數(shù)據(jù)集市市的作用，一一般不提供供信息訪問問。另一個個問題是每每個數(shù)據(jù)集集市都需要要相應(yīng)的軟軟硬件投入入，當(dāng)數(shù)據(jù)據(jù)集市增加加時，系統(tǒng)統(tǒng)整體投資資迅速增加加，同時管管理的復(fù)雜雜性也隨之之增加。這這些都意味味著巨大的的整體擁有有成本。 為為什么不直直接訪問中中央數(shù)據(jù)倉倉庫而非要要設(shè)計一個個數(shù)據(jù)集市市層呢？主主要原因在在于當(dāng)中央央數(shù)據(jù)庫保保存越來越越多的數(shù)據(jù)據(jù)、并發(fā)用用戶越來越越多時，一一般的數(shù)據(jù)據(jù)庫引擎無

5、無法承擔(dān)這這樣的負(fù)載載，只好把把它們分解解到不同的的數(shù)據(jù)集市市。 集集中式結(jié)構(gòu)構(gòu) 與與前面討論論的“Huub annd Sppoke”結(jié)構(gòu)相比比，集中式式結(jié)構(gòu)與之之主要的差差別在于：數(shù)據(jù)集市市分成物理理與邏輯兩兩種，物理理數(shù)據(jù)集市市設(shè)立在中中央數(shù)據(jù)倉倉庫之外，具具有專門的的軟硬件設(shè)設(shè)備。一般般都使用OOLAP服服務(wù)器，按按照特定需需求組建多多維立方體體來提供多多維信息分分析。邏輯輯數(shù)據(jù)集市市設(shè)立在中中央數(shù)據(jù)倉倉庫之內(nèi)，由由在基礎(chǔ)數(shù)數(shù)據(jù)之上形形成的小結(jié)結(jié)表或者邏邏輯視圖組組成。業(yè)務(wù)務(wù)人員既可可以訪問多多維立方體體，也可以以訪問中央央數(shù)據(jù)倉庫庫內(nèi)的小結(jié)結(jié)表或者邏邏輯視圖。這些分析析主要針對對預(yù)先定

6、義義的業(yè)務(wù)需需求，并且且粒度比較較粗。基于于OLAPP服務(wù)器的的數(shù)據(jù)集市市比基于RRDBMSS的數(shù)據(jù)集集市要容易易維護(hù)得多多，當(dāng)然規(guī)規(guī)模也相對對較小。 集中式結(jié)構(gòu)構(gòu)的企業(yè)級級數(shù)據(jù)倉庫庫中中央數(shù)據(jù)庫庫采用符合合數(shù)據(jù)庫范范式理論(一般為第第三范式)的存儲模模型來保存存基礎(chǔ)數(shù)據(jù)據(jù)，從而為為整個企業(yè)業(yè)提供一致致的信息視視圖。上面面說明的數(shù)數(shù)據(jù)集市主主要針對粒粒度較粗、預(yù)先定義義的分析需需求，對于于動態(tài)的業(yè)業(yè)務(wù)查詢、粒度較細(xì)細(xì)的或者針針對基礎(chǔ)數(shù)數(shù)據(jù)的分析析需求則由由中央數(shù)據(jù)據(jù)庫提供。因此業(yè)務(wù)務(wù)人員可以以直接訪問問到最基礎(chǔ)礎(chǔ)的詳細(xì)數(shù)數(shù)據(jù)，特別別是高級業(yè)業(yè)務(wù)分析師師，將更頻頻繁地基于于詳細(xì)數(shù)據(jù)據(jù)進(jìn)行分析析，

7、以便挖挖掘出內(nèi)在在的、隱含含的業(yè)務(wù)規(guī)規(guī)則，幫助助企業(yè)主管管更好地進(jìn)進(jìn)行業(yè)務(wù)決決策。 在在中央數(shù)據(jù)據(jù)庫中還設(shè)設(shè)立了一個個數(shù)據(jù)轉(zhuǎn)換換與緩沖區(qū)區(qū)(Datta Sttaginng Arrea)，作作為ETLL（抽取轉(zhuǎn)轉(zhuǎn)換裝載機機制）處理理的一部分分。由于在在很多數(shù)據(jù)據(jù)倉庫的EETL處理理流程中，需需要對源數(shù)數(shù)據(jù)作一些些比較復(fù)雜雜的轉(zhuǎn)換與與清洗工作作，如果僅僅借助于EETL工具具實現(xiàn)這種種轉(zhuǎn)換與清清洗，由于于沒有數(shù)據(jù)據(jù)庫的支撐撐(ETLL工具均在在數(shù)據(jù)庫之之外運行)，經(jīng)常會會產(chǎn)生比較較嚴(yán)重的性性能問題。于是在一一些系統(tǒng)中中增加一個個ODS(Operratioonal Dataa Stoore)層層來進(jìn)行

8、數(shù)數(shù)據(jù)的整理理，但這就就像設(shè)立基基于RDBBMS的數(shù)數(shù)據(jù)集市一一樣，將大大大增加整整體投資和和管理復(fù)雜雜性。理想想的方法是是，在中央央數(shù)據(jù)庫中中設(shè)置一部部分存儲空空間來作為為數(shù)據(jù)轉(zhuǎn)換換與緩沖區(qū)區(qū)，借助數(shù)數(shù)據(jù)倉庫引引擎強大的的復(fù)雜查詢詢處理能力力，通過SSQL實現(xiàn)現(xiàn)數(shù)據(jù)的轉(zhuǎn)轉(zhuǎn)換與清洗洗。這種實實現(xiàn)方法簡簡單、快速速、并且不不容易出錯錯，當(dāng)然對對中央數(shù)據(jù)據(jù)倉庫引擎擎的處理能能力就提出出了更高的的要求。 選選擇這種數(shù)數(shù)據(jù)倉庫基基礎(chǔ)平臺的的基本要求求第一是線線性擴展能能力。原始始數(shù)據(jù)對任任何一個數(shù)數(shù)據(jù)倉庫來來說，都是是最主要的的負(fù)載之一一。隨著數(shù)數(shù)據(jù)量的增增長，系統(tǒng)統(tǒng)性能會逐逐漸下降。為了維持持合理的

9、業(yè)業(yè)務(wù)查詢響響應(yīng)時間，要要求數(shù)據(jù)倉倉庫引擎和和相應(yīng)的數(shù)數(shù)據(jù)庫服務(wù)務(wù)器具有優(yōu)優(yōu)良的線性性擴展能力力。一些系系統(tǒng)的擴展展能力非常常有限，當(dāng)當(dāng)數(shù)據(jù)量增增長到一定定規(guī)模時（比比如TB級級以上）已已經(jīng)很難滿滿足日常的的業(yè)務(wù)分析析要求，不不得不把數(shù)數(shù)據(jù)分離到到多個小規(guī)規(guī)模的數(shù)據(jù)據(jù)集市，形形成所謂的的“Hubb andd Spooke”結(jié)結(jié)構(gòu)。第二二項基本要要求是并行行處理能力力。許多業(yè)業(yè)務(wù)查詢與與分析都是是動態(tài)(AAd-hooc Quuery)的，數(shù)據(jù)據(jù)庫傳統(tǒng)的的索引技術(shù)術(shù)對動態(tài)分分析和模糊糊查詢的幫幫助不大。系統(tǒng)必須須具有非常常好的并行行處理能力力，才能滿滿足復(fù)雜的的、動態(tài)的的分析需求求，并且承承擔(dān)比較

10、復(fù)復(fù)雜的數(shù)據(jù)據(jù)轉(zhuǎn)換與清清洗工作。第三個基基本要求是是簡單的系系統(tǒng)管理。對于大型型的數(shù)據(jù)倉倉庫應(yīng)用系系統(tǒng)而言，如如何能有效效而簡單地地進(jìn)行系統(tǒng)統(tǒng)管理是非非常重要的的。特別是是當(dāng)數(shù)據(jù)量量不斷擴大大時，如果果沒有一種種有效而且且簡單的系系統(tǒng)管理措措施，那么么系統(tǒng)的運運行費用將將會很高。 數(shù)數(shù)據(jù)倉庫技技術(shù)在銀行行業(yè)的應(yīng)用用 數(shù)數(shù)據(jù)倉庫體體系結(jié)構(gòu)屬屬于基礎(chǔ)設(shè)設(shè)施的建設(shè)設(shè)，只有穩(wěn)穩(wěn)固的數(shù)據(jù)據(jù)倉庫基礎(chǔ)礎(chǔ)設(shè)施才能能支撐靈活活多樣的數(shù)數(shù)據(jù)倉庫應(yīng)應(yīng)用。對于于銀行業(yè)來來說，數(shù)據(jù)據(jù)倉庫的應(yīng)應(yīng)用面非常常廣，基本本上涵蓋了了銀行經(jīng)營營管理與業(yè)業(yè)務(wù)運作的的各個方面面。 現(xiàn)現(xiàn)在國內(nèi)幾幾大商業(yè)銀銀行都在著著手調(diào)研、準(zhǔn)備或者者嘗

11、試實施施基于數(shù)據(jù)據(jù)倉庫技術(shù)術(shù)的各種解解決方案。比如，中中國工商銀銀行進(jìn)行了了以個人客客戶關(guān)系管管理（PCCRM）和和業(yè)績價值值管理（PPVMS）為為主題的應(yīng)應(yīng)用試點，中中國銀行則則全面規(guī)劃劃了信用卡卡系統(tǒng)，其其中很重要要的一個子子系統(tǒng)就是是基于數(shù)據(jù)據(jù)倉庫技術(shù)術(shù)的銷售和和客戶服務(wù)務(wù)系統(tǒng)，中中國農(nóng)業(yè)銀銀行正在廣廣東分行進(jìn)進(jìn)行經(jīng)營分分析系統(tǒng)的的建設(shè)，中中國民生銀銀行也全面面啟動了客客戶信息管管理（CIIM）和企企業(yè)級數(shù)據(jù)據(jù)倉庫的建建設(shè)。 銀銀行通過逐逐步建立企企業(yè)級數(shù)據(jù)據(jù)倉庫，可可以對全行行業(yè)務(wù)數(shù)據(jù)據(jù)進(jìn)行集中中存儲和統(tǒng)統(tǒng)一管理，科科學(xué)合理地地對信息進(jìn)進(jìn)行詳細(xì)分分類，及時時準(zhǔn)確收集集信息和分分析信息，確確保管理層層隨時掌握握銀行的經(jīng)經(jīng)營風(fēng)險、運營情況況和經(jīng)營目目標(biāo)。在引引入詳細(xì)交交易數(shù)據(jù)以以后，可以以通過各種種數(shù)據(jù)的關(guān)關(guān)聯(lián)分析，衡衡量各類客客戶需求、滿意度、贏利能力力、潛在價價值、信用用度和風(fēng)險險度等指標(biāo)標(biāo)，幫助銀銀行識別不不同的客戶戶群體，確確定目標(biāo)市市場，為實實施差別化化服務(wù)、產(chǎn)產(chǎn)品合理定定價的策略略提供技術(shù)術(shù)支持。 銀行應(yīng)用數(shù)數(shù)據(jù)倉庫模模型在在一次數(shù)據(jù)據(jù)倉庫用戶戶大會上，香香港東亞銀銀行的CTTO在結(jié)束束其演講時時深有體會會地談到，東東亞銀行花花了兩至三三年的時間間來完善其其數(shù)據(jù)倉庫庫的基礎(chǔ)