1、銀行業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)解決方案IBM （中國(guó)）2005年09月第1章銀行業(yè)務(wù)與數(shù)據(jù)倉(cāng)庫(kù)現(xiàn)狀3第2章DB2數(shù)據(jù)倉(cāng)庫(kù)解決方案32.1數(shù)據(jù)倉(cāng)庫(kù)海量關(guān)系型數(shù)據(jù)庫(kù)DB2 ESE 與數(shù)據(jù)分區(qū)模塊DPF52.1.1高擴(kuò)展性52.1.2高性能62.1.3高可靠性62.1.4易管理性62.2DB2調(diào)度復(fù)雜即席查詢(xún)的查詢(xún)管理器DB2 Query Patroller112.3DB2多維分析工具DB2 Cube Views112.4Websphere Information Integrator162.4.1聯(lián)邦數(shù)據(jù)服務(wù)器（Federated Data Server）172.4.2針對(duì)異構(gòu)關(guān)系型數(shù)據(jù)庫(kù)的復(fù)制服務(wù)器（Repl

2、ication Server）182.5數(shù)據(jù)倉(cāng)庫(kù)管理工具DB2 Warehouse Manager182.6數(shù)據(jù)挖掘DB2 Intelligent Miner192.6.1DB2 Intelligent Miner Scoring212.6.2DB2 Intelligent Miner Modeling222.6.3DB2 Intelligent Miner Visualization222.7前端展示應(yīng)用開(kāi)發(fā)平臺(tái)DB2 Alphablox24第3章根據(jù)規(guī)模靈活配置26第1章 銀行業(yè)務(wù)與數(shù)據(jù)倉(cāng)庫(kù)現(xiàn)狀現(xiàn)有的新興商業(yè)銀行業(yè)務(wù)系統(tǒng)及中間業(yè)務(wù)系統(tǒng)中，存在以下難題：l 缺乏有針對(duì)性的分析模型l 分析工具

3、功能有限、效率不高l 客戶(hù)流動(dòng)性加大, 業(yè)務(wù)復(fù)雜性加劇, 隨機(jī)分析需求增多在構(gòu)建銀行業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)時(shí)，需要面對(duì)如下挑戰(zhàn)： l 整合新興商業(yè)銀行各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)，提供針對(duì)銀行的分析數(shù)據(jù)模型； l 提供針對(duì)業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)的分析指標(biāo)體系；l 系統(tǒng)要具有海量關(guān)系型數(shù)據(jù)庫(kù)引擎，在技術(shù)上有效的支持海量數(shù)據(jù)的存儲(chǔ)；l 系統(tǒng)要具有強(qiáng)大的數(shù)據(jù)分析引擎，提供強(qiáng)大的數(shù)據(jù)分析能力。 第2章 DB2數(shù)據(jù)倉(cāng)庫(kù)解決方案IBM軟件方案建議采用成熟的、具有性能價(jià)格比優(yōu)勢(shì)的、功能完善的DB2 Data Warehouse Enterprise Edition(DWEE)數(shù)據(jù)倉(cāng)庫(kù)企業(yè)版來(lái)建立銀行的業(yè)務(wù)數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)平臺(tái)，其總體結(jié)構(gòu)規(guī)

4、劃如下：DB2 Data Warehouse Enterprise Edition (DB2數(shù)據(jù)倉(cāng)庫(kù)企業(yè)版)是一個(gè)強(qiáng)大的商業(yè)智能平臺(tái)，他擴(kuò)展了IBM DB2 UDB用于構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)和分析應(yīng)用的商業(yè)智能特性。包括聯(lián)邦數(shù)據(jù)訪(fǎng)問(wèn)，數(shù)據(jù)分區(qū)，在線(xiàn)分析處理，數(shù)據(jù)挖掘，ETL,工作負(fù)載管理等功能。整合了IBM DB2 UDB的商業(yè)智能特性，是面向客戶(hù)和合作伙伴，構(gòu)建企業(yè)隨需應(yīng)變架構(gòu)，實(shí)施實(shí)時(shí)商業(yè)智能的新一代商業(yè)智能解決方案。主要產(chǎn)品包括如下：產(chǎn)品：功能模塊1.數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的海量關(guān)系型數(shù)據(jù)庫(kù)DB2 UDB ESEDB2 UDB ESE企業(yè)版,數(shù)據(jù)倉(cāng)庫(kù)引擎2.數(shù)據(jù)分區(qū)模塊DB2 UDB DPFDB2 UDB

5、DPF模塊,提供分區(qū)支持，支持多機(jī)并行3.調(diào)度復(fù)雜即席查詢(xún)的查詢(xún)管理器Query Patroller基于成本的查詢(xún)負(fù)載管理工具, 提高數(shù)據(jù)倉(cāng)庫(kù)吞吐量4.多維分析工具DB2 Cube Views1.OLAP元數(shù)據(jù)交換工具2.模型級(jí)物化查詢(xún)表生成器，加速OLAP多維分析5.實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)及信息集成器IBM Websphere INFORMATION INTEGRATOR1.關(guān)系數(shù)據(jù)庫(kù)聯(lián)接Relation Connect 2.非關(guān)系數(shù)據(jù)庫(kù)聯(lián)接Life Sencie Connect6.ETL工具B2 Warehouse Manager1.用于數(shù)據(jù)抽取、清洗、加工和裝載的的ETL工具DB2 Warehou

6、se Manager Transformer；2 用于分布數(shù)據(jù)倉(cāng)庫(kù)ETL過(guò)程的數(shù)據(jù)倉(cāng)庫(kù)代理Agent。3. 數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)、監(jiān)控以及Meta Data管理工具DB2 Warehouse Center；4 數(shù)據(jù)倉(cāng)庫(kù)信息目錄Information Catalog；5.報(bào)表生成工具QMF7.DB2 Intelligent Miner Scoring 數(shù)據(jù)挖掘評(píng)分工具在數(shù)據(jù)倉(cāng)庫(kù)中直接實(shí)現(xiàn)(實(shí)時(shí))評(píng)分8.DB2 Intelligent Miner Modeler 數(shù)據(jù)挖掘建模工具,從數(shù)據(jù)倉(cāng)庫(kù)中發(fā)現(xiàn)規(guī)律(模型)9.DB2 Intelligent Miner Visualization 數(shù)據(jù)挖掘模型圖示化工

7、具10.IBM Office Connect Analytical/Enterprise Web Edition Excel多維分析插件，在Excel中實(shí)現(xiàn)查詢(xún)、報(bào)表、多維分析11. DB2 Alphablox提供開(kāi)發(fā)分析應(yīng)用的平臺(tái)，構(gòu)建客戶(hù)自己的分析應(yīng)用 2.1 數(shù)據(jù)倉(cāng)庫(kù)海量關(guān)系型數(shù)據(jù)庫(kù)DB2 ESE 與數(shù)據(jù)分區(qū)模塊DPF2.1.1 高擴(kuò)展性在單UNIX主機(jī)CPU擴(kuò)展方面，TPC-C（OLTP）和TPC-H（Ad-Hoc Query），顯示了DB2在擴(kuò)展性方面的能力。在SMP環(huán)境中，經(jīng)SUN在64 CPU E1000上的測(cè)量，可達(dá)到90的擴(kuò)展性（詳細(xì)信息參見(jiàn)）。在集群技

8、術(shù)方面，采用Share Nothing的MPP體系結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)獨(dú)享各自的硬盤(pán)空間，各個(gè)節(jié)點(diǎn)間通過(guò)網(wǎng)絡(luò)交換數(shù)據(jù)。可伸縮性強(qiáng)，最多可以擴(kuò)充到1000個(gè)節(jié)點(diǎn)。國(guó)外有512節(jié)點(diǎn)的實(shí)例。每個(gè)數(shù)據(jù)庫(kù)中單個(gè)表的大小可以達(dá)到512GB*1000=500TB。在全球范圍有許多TB級(jí)的數(shù)據(jù)倉(cāng)庫(kù)。美國(guó)電信公司Sprint PCS的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)由55個(gè)DB2節(jié)點(diǎn)服務(wù)器組成，每個(gè)節(jié)點(diǎn)4CPU，運(yùn)行50TB實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)。2.1.2 高性能DB2的基于成本優(yōu)化技術(shù)已經(jīng)有27年歷史，積累了大量獨(dú)有專(zhuān)利技術(shù)。針對(duì)任意的查詢(xún)，DB2獨(dú)特的查詢(xún)重寫(xiě)功能將所有SQL語(yǔ)句改寫(xiě)成為語(yǔ)義上完全相同，但是可以使用優(yōu)化器所有優(yōu)化功能的語(yǔ)句，

9、優(yōu)化器再自動(dòng)選擇最優(yōu)的查詢(xún)路徑完成查詢(xún)。此功能特別適用于以圖形化界面生成的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用。針對(duì)OLAP應(yīng)用做了相當(dāng)多的優(yōu)化。強(qiáng)大的基于成本的優(yōu)化，獨(dú)特的星型連接算法、動(dòng)態(tài)位圖索引、OLAP算子等。2.1.3 高可靠性支持Cluster、Standby等雙機(jī)熱備份、聯(lián)機(jī)快速備份、快速加載數(shù)據(jù)和快速備份數(shù)據(jù)恢復(fù)。提供雙日志功能，具有表空間級(jí)的備份和恢復(fù)功能，可以從整個(gè)數(shù)據(jù)庫(kù)備份集中選擇需要的單元進(jìn)行恢復(fù)。提供在線(xiàn)重組織表，在線(xiàn)重組織索引，在線(xiàn)配置主要參數(shù)的能力，在線(xiàn)創(chuàng)建、刪除和修改緩沖池的能力。2.1.4 易管理性IBM DB2是一個(gè)SMART的數(shù)據(jù)庫(kù)，即自我管理及資源調(diào)度的智能數(shù)據(jù)庫(kù)系統(tǒng)。DB2由

10、數(shù)據(jù)庫(kù)系統(tǒng)自己進(jìn)行錯(cuò)誤分析、可能的解決方案建議及自我修復(fù)的功能，提供部分核心配置參數(shù)進(jìn)行自動(dòng)配置，而不需數(shù)據(jù)庫(kù)管理員進(jìn)行指定和修改。技術(shù)特點(diǎn)：數(shù)據(jù)分區(qū)技術(shù)：l DB2 Data Partitioning Option（數(shù)據(jù)分區(qū)技術(shù)）：DB2 UDB提供了先進(jìn)的“哈希（HASH）算法”映射數(shù)據(jù)庫(kù)的每一條記錄到特定的數(shù)據(jù)庫(kù)分區(qū)中。“哈希算法”使用表中的一列(或一組列)作為分區(qū)關(guān)鍵字，得到0至4095的數(shù)值。分區(qū)圖定義了為4096個(gè)值中的每一個(gè)值分配的特定的數(shù)據(jù)庫(kù)分區(qū)。DB2 UDB為數(shù)據(jù)存儲(chǔ)提供了靈活的拓?fù)浣Y(jié)構(gòu)以達(dá)到高性能及高并行。其中每個(gè)數(shù)據(jù)庫(kù)由一些數(shù)據(jù)庫(kù)分區(qū)組成，每個(gè)數(shù)據(jù)庫(kù)分區(qū)實(shí)際上是數(shù)據(jù)庫(kù)的

11、一個(gè)子集，它包含自己的用戶(hù)數(shù)據(jù)，索引，交易日志及配置文件。在數(shù)據(jù)庫(kù)中，管理員需要定義節(jié)點(diǎn)組(Node Group)數(shù)據(jù)庫(kù)分區(qū)所分布的節(jié)點(diǎn)集合。節(jié)點(diǎn)組能夠跨越為該數(shù)據(jù)庫(kù)設(shè)置的數(shù)據(jù)庫(kù)分區(qū)的一部分或全部。在節(jié)點(diǎn)組中，還要定義表空間，以說(shuō)明用來(lái)存儲(chǔ)表數(shù)據(jù)及索引的容器(Container)(文件或設(shè)備)。在數(shù)據(jù)庫(kù)分區(qū)中，如果為每個(gè)表空間定義多個(gè)容器，則數(shù)據(jù)庫(kù)管理系統(tǒng)可以利用I/O的并行機(jī)制提高性能。圖一.數(shù)據(jù)分區(qū)分布圖DB2 UDB數(shù)據(jù)庫(kù)分區(qū)的體系結(jié)構(gòu)具有很多優(yōu)勢(shì)：一張數(shù)據(jù)庫(kù)表被分布在多個(gè)數(shù)據(jù)庫(kù)分區(qū)上，因此一張大規(guī)模數(shù)據(jù)庫(kù)表可以大到TB級(jí)。DB2 UDB在數(shù)據(jù)定義語(yǔ)言(DDL)，數(shù)據(jù)操作SQL，以及運(yùn)行

12、時(shí)都引用了分區(qū)的模式。其分區(qū)方法還可以看做為裝載平衡的工具(通過(guò)修改分區(qū)關(guān)鍵字及分區(qū)圖，各分區(qū)中的記錄數(shù)可以調(diào)整)。DB2 UDB優(yōu)化器利用分區(qū)的知識(shí)來(lái)估價(jià)不同操作的耗費(fèi)，從而為每個(gè)SQL語(yǔ)句選擇最優(yōu)的執(zhí)行策略。數(shù)據(jù)的分布通過(guò)對(duì)分區(qū)關(guān)鍵字進(jìn)行哈希算法完成，分區(qū)圖中提供了每條記錄的存放位置。如果在初次分布數(shù)據(jù)之后，出現(xiàn)了數(shù)據(jù)存放不均的現(xiàn)象，DB2 UDB能夠自動(dòng)分析并更正。DB2 UDB可以通過(guò)修改分區(qū)的分布自動(dòng)創(chuàng)建一個(gè)新的分區(qū)圖來(lái)平均分布當(dāng)前不均的數(shù)據(jù)。其中涉及到的數(shù)據(jù)記錄自動(dòng)移到它新被分到的數(shù)據(jù)分區(qū)。對(duì)于不斷增長(zhǎng)的數(shù)據(jù)庫(kù)，我們可以增加分區(qū)(同時(shí)增加處理能力)，修改分區(qū)圖來(lái)包含這些新的數(shù)據(jù)庫(kù)分

13、區(qū)，而后系統(tǒng)能夠自動(dòng)的重新分布數(shù)據(jù)，以達(dá)到新的平衡。DB2 UDB提供了這一功能，使得系統(tǒng)具有非常好的擴(kuò)展性。處理能力較強(qiáng)的數(shù)據(jù)庫(kù)分區(qū)可以存放較多的數(shù)據(jù)，從而在一切不共享的配置下可以充分利用各節(jié)點(diǎn)的處理能力使其負(fù)載均衡。DB2 UDB可以用來(lái)按比例的將更多的數(shù)據(jù)分布在具有更強(qiáng)處理能力的數(shù)據(jù)庫(kù)分區(qū)上。應(yīng)用可以調(diào)用API找到記錄的存放位置，然后將交易送到記錄所在的節(jié)點(diǎn)。該API也可以直接被交易處理應(yīng)用來(lái)調(diào)用，如IBM CICS，Encina,將交易送到適當(dāng)?shù)墓?jié)點(diǎn)而提高性能。l Multi-Dimension Cluster（多維群集技術(shù)）：為了提高對(duì)一張大表的訪(fǎng)問(wèn)效率，IBM DB2提供一種新的索

14、引技術(shù)MDC（多維群集）技術(shù)。多維群集（MDC）提供了一個(gè)出色的方法，可靈活、連續(xù)、自動(dòng)群集多維數(shù)據(jù)。這將會(huì)極大地提高查詢(xún)的性能，而且大幅度降低了數(shù)據(jù)維護(hù)操作的費(fèi)用，例如重組織，以及插入、更新和刪除操作過(guò)程中的索引維護(hù)操作。多維群集主要用于在線(xiàn)事務(wù)處理（OLTP）環(huán)境、數(shù)據(jù)倉(cāng)庫(kù)和大型數(shù)據(jù)庫(kù)環(huán)境中。首先，MDC采用“BLOCK”來(lái)進(jìn)行索引的組織，一個(gè)BLOCK會(huì)包含很多條傳統(tǒng)索引機(jī)制所采用的“行”記錄，因而大大的提高的索引的粒度。使得索引的定位變得更快。利用MDC，可以使一個(gè)表在物理上同時(shí)群集在多個(gè)主鍵（或維度）上。利用群集索引，在表中插入和更新記錄時(shí)，DB2以索引中主鍵的順序在物理數(shù)據(jù)存儲(chǔ)頁(yè)面

15、中維護(hù)著數(shù)據(jù)的實(shí)際順序。群集索引大量提高了大范圍查詢(xún)的性能，在良好的群集的幫助下，由于當(dāng)頁(yè)面存儲(chǔ)連續(xù)，完成預(yù)讀取的性能將非常高，從而提高數(shù)據(jù)查詢(xún)的效率。這些查詢(xún)不僅只訪(fǎng)問(wèn)包含有正確的維度數(shù)值的記錄的頁(yè)面，并且這些符合條件的頁(yè)面將會(huì)根據(jù)范圍進(jìn)行分組。而且，盡管具有一個(gè)群集索引的數(shù)據(jù)表可以隨著表空間的填充，解除群集，但MDC表能夠自動(dòng)連續(xù)維護(hù)所有維度上的群集，從而不必為了恢復(fù)數(shù)據(jù)的物理順序而重新組織表。在一張大表上定義一個(gè)MDC后，原有的索引都仍然有效，換句話(huà)說(shuō)，我們可以在一個(gè)已經(jīng)存在的大數(shù)據(jù)表上，隨時(shí)增加MDC，以提高對(duì)它的訪(fǎng)問(wèn)效率。l UNION ALL View：IBM DB2 UDB支持在

16、多個(gè)小型數(shù)據(jù)庫(kù)表上增加一個(gè)UNION ALL VIEW，從而建立一個(gè)邏輯上的大表。如果由于硬件等原因，使得對(duì)一張大數(shù)據(jù)表的存儲(chǔ)處理變得困難時(shí)，我們可以支持將數(shù)據(jù)分布在多個(gè)較小型的數(shù)據(jù)表中，然后使用UNION ALL VIEW技術(shù)來(lái)實(shí)現(xiàn)一個(gè)邏輯大表的組織和訪(fǎng)問(wèn)。透過(guò)UNION ALL View，用戶(hù)可以透明地對(duì)View中的多個(gè)較小規(guī)模的表實(shí)現(xiàn)UPDATE、DELETE、INSERT、SELECT操作。并行技術(shù)DB2 UDB無(wú)論在SMP還是在MPP環(huán)境下，甚至在SMP節(jié)點(diǎn)組成的MPP環(huán)境下，都可以通過(guò)完善的協(xié)同處理和事務(wù)控制技術(shù)保證處理的并行、完整和一致性，充分發(fā)揮其并行處理能力。查詢(xún)執(zhí)行時(shí)被透明

17、地分開(kāi)后并行執(zhí)行(稱(chēng)作節(jié)點(diǎn)間查詢(xún)并行性：Intra-query parallelism)，過(guò)去需要數(shù)小時(shí)的查詢(xún)現(xiàn)在只需幾分鐘就可以完成。過(guò)去不能執(zhí)行的查詢(xún)現(xiàn)在不僅可行，而且還能從中獲益。在單臺(tái)SMP環(huán)境下處理并行(稱(chēng)作節(jié)點(diǎn)間查詢(xún)并行性：Intra-query parallelism)，DB2 UDB采用的是吸管模型(Straw model)。此時(shí)被執(zhí)行的SQL相當(dāng)于杯子中的水，而每個(gè)CPU相當(dāng)于一根吸水的吸管，這樣被執(zhí)行的SQL很快就被CPU“吸干”了,同時(shí)可以使用到多I/O的并行進(jìn)行數(shù)據(jù)的存取操作，此種并行模式稱(chēng)作節(jié)點(diǎn)內(nèi)并行（Intra-Partition parallelism） 。在MP

18、P環(huán)境下或者多SMP組成的集群環(huán)境下處理并行，則相當(dāng)于把杯子中的水先智能地分配給多個(gè)小水杯(參與SQL執(zhí)行的各個(gè)節(jié)點(diǎn)機(jī))，這樣小水杯中的水就分別被每個(gè)節(jié)點(diǎn)機(jī)“吸干”了，此種并行模式稱(chēng)作節(jié)點(diǎn)間并行（Inter-Partition parallelism）。有了好的模型僅僅是開(kāi)了個(gè)好頭，DB2 UDB 中融入的最先進(jìn)的技術(shù)才是成功的關(guān)鍵。l 并行優(yōu)化：從很多系統(tǒng)中抽取非常多的數(shù)據(jù)，這會(huì)耗費(fèi)大量的時(shí)間，如果效率不高，還會(huì)浪費(fèi)大量寶貴的處理能力。從串行數(shù)據(jù)庫(kù)中抽取數(shù)據(jù)有很多方法，它們沒(méi)有必要象并行數(shù)據(jù)庫(kù)那樣運(yùn)作。DB2 UDB 有一個(gè)查詢(xún)優(yōu)化器，是由IBM研究機(jī)構(gòu)開(kāi)發(fā)的，它是專(zhuān)為提高并行抽取數(shù)據(jù)的效率

19、而設(shè)計(jì)的。這樣就可獲得高品質(zhì)的查詢(xún)性能，特別是對(duì)特大型數(shù)據(jù)庫(kù)。l 全面并行(Parallel Everything)：DB2首先把數(shù)據(jù)分配到數(shù)據(jù)庫(kù)中的多個(gè)分區(qū)或子集中，這些數(shù)據(jù)庫(kù)位于多個(gè)MPP節(jié)點(diǎn)機(jī)或SMP服務(wù)器內(nèi)。接著，DB2自動(dòng)創(chuàng)建一個(gè)并行處理訪(fǎng)問(wèn)計(jì)劃。數(shù)據(jù)掃描、合并、分類(lèi)、負(fù)載平衡、表格重組、數(shù)據(jù)調(diào)用、創(chuàng)建索引、索引訪(fǎng)問(wèn)、備份與恢復(fù)等一系列工作都是在所有不同的節(jié)點(diǎn)里同時(shí)完成的。DB2 UDB以并行方式執(zhí)行全部數(shù)據(jù)庫(kù)功能，這包括全部SQL語(yǔ)句(Select、Insert、Update和Delete)、實(shí)用程序(backup，restore，reorg，load)和數(shù)據(jù)存取方法(連接、表掃描

20、和索引掃描)等，而且無(wú)需任何額外的編程。這不僅提供了更好的性能和可伸縮性，而且也提供了更佳的管理性有能力利用全部處理機(jī)去執(zhí)行數(shù)據(jù)庫(kù)管理任務(wù)。進(jìn)一步說(shuō)，DB2 UDB既可用于聯(lián)機(jī)事務(wù)處理(OLTP)，又可用于決策支持查詢(xún)工作。l 管理工具在并行環(huán)境同樣適用：Governor幫助您控制每個(gè)用戶(hù)及應(yīng)用程序的資源利用率，可自動(dòng)調(diào)整查詢(xún)的優(yōu)先級(jí)。從而，在線(xiàn)平衡負(fù)載，簡(jiǎn)化系統(tǒng)管理，減少關(guān)機(jī)時(shí)間。通過(guò)并行在線(xiàn)備份功能可顯著減少備份及恢復(fù)所需的時(shí)間。l 并行環(huán)境下功能不受任何限制：DB2 UDB對(duì)多媒體數(shù)據(jù)的支持、支持的客戶(hù)端平臺(tái)、支持的應(yīng)用開(kāi)發(fā)接口和開(kāi)發(fā)工具以及動(dòng)態(tài)位圖索引等多維分析功能、對(duì)WEB和Java

21、的支持均不受限制。l 多用戶(hù)并發(fā)控制：并發(fā)控制是通過(guò)行級(jí)封鎖、查詢(xún)結(jié)果游標(biāo)處理以及層次隔離等手段進(jìn)行維護(hù)的，層次隔離包括游標(biāo)穩(wěn)定性、讀穩(wěn)定性、可重復(fù)讀和未提交讀等方式。l DB2 UDB的并行查詢(xún)處理：DB2 UDB中的并行查詢(xún)處理是通過(guò)并行執(zhí)行任務(wù)實(shí)現(xiàn)的，每個(gè)任務(wù)僅在自身分區(qū)的數(shù)據(jù)上工作。例如，在6個(gè)單處理器的集群環(huán)境中，表的掃描被分成在6個(gè)單獨(dú)數(shù)據(jù)庫(kù)分區(qū)(Partition)上執(zhí)行的6個(gè)單獨(dú)的表掃描。在一個(gè)4 CPU的集群中，一般情形下會(huì)有4個(gè)數(shù)據(jù)庫(kù)分區(qū)，這樣，表的掃描在所有服務(wù)器上并發(fā)執(zhí)行。SMP節(jié)點(diǎn)內(nèi)的查詢(xún)則被分成單獨(dú)的執(zhí)行任務(wù)利用SMP的多處理器并行執(zhí)行。結(jié)果被匯總后傳遞給用戶(hù)，在這

22、樣的環(huán)境中，用戶(hù)無(wú)需了解有關(guān)數(shù)據(jù)庫(kù)分區(qū)及并行處理的情形。從最終用戶(hù)的角度來(lái)看，盡管DB2 UDB的性能大大的提高了，但它與傳統(tǒng)數(shù)據(jù)庫(kù)(非集群)的使用方法是一樣的。缺省情況下，DB2 UDB使用TCP/IP在集群系統(tǒng)的分區(qū)間進(jìn)行通訊，信息及數(shù)據(jù)通過(guò)高效緩存機(jī)制進(jìn)行交換，大大減少了通訊的需要。l 并行備份和恢復(fù)：能夠用并行方式把數(shù)據(jù)庫(kù)或表空間備份到多臺(tái)設(shè)備上或者反過(guò)來(lái)從多臺(tái)設(shè)備上進(jìn)行恢復(fù)。用并行方式執(zhí)行備份/恢復(fù)大大地減少所花費(fèi)的時(shí)間， 從而滿(mǎn)足關(guān)鍵性維護(hù)任務(wù)的需求。 備份和恢復(fù)實(shí)用程序能以并行方式使用若干設(shè)備，這樣就減少了這些實(shí)用程序所耗費(fèi)的運(yùn)行時(shí)間。2.2 DB2調(diào)度復(fù)雜即席查詢(xún)的查詢(xún)管理器D

23、B2 Query PatrollerDB2 Query Patroller 是一種強(qiáng)大的查詢(xún)管理系統(tǒng)，數(shù)據(jù)倉(cāng)庫(kù)管理員可以使用該系統(tǒng)按照以下方式對(duì)DB2數(shù)據(jù)倉(cāng)庫(kù)前瞻性地動(dòng)態(tài)控制查詢(xún)流程，針對(duì)不同大小的查詢(xún)定義單獨(dú)查詢(xún)類(lèi)別，以便更好地在各查詢(xún)間共享系統(tǒng)資源，以及防止較小的查詢(xún)被困在較大查詢(xún)之后。l 將特定用戶(hù)提交的查詢(xún)排列為高優(yōu)先級(jí)，以便使這些查詢(xún)更快速地運(yùn)行l(wèi) 自動(dòng)暫停大型查詢(xún)，以便能夠取消它們或安排它們?cè)诜欠逯禃r(shí)間運(yùn)行跟蹤并取消失控查詢(xún)Query Patroller可使數(shù)據(jù)倉(cāng)庫(kù)管理員調(diào)整數(shù)據(jù)庫(kù)查詢(xún)工作負(fù)載，以便使小型查詢(xún)和高優(yōu)先級(jí)查詢(xún)能夠立即運(yùn)行，并使數(shù)據(jù)倉(cāng)庫(kù)的系統(tǒng)資源得到有效利用。此外，還可

24、收集和分析已完成的查詢(xún)信息，以便確定查詢(xún)、高使用量用戶(hù)、頻繁使用的表和索引間的趨勢(shì)。 管理員可使用 Query Patroller 來(lái)：l 建立系統(tǒng)級(jí)和用戶(hù)級(jí)資源使用策略l 通過(guò)取消和重新安排可能影響數(shù)據(jù)庫(kù)性能的查詢(xún)，監(jiān)控和關(guān)聯(lián)系統(tǒng)使用情況l 生成有助于確定數(shù)據(jù)庫(kù)使用趨勢(shì)的報(bào)告，例如正在訪(fǎng)問(wèn)哪些對(duì)象，哪些個(gè)人或用戶(hù)組產(chǎn)生的工作負(fù)載最大查詢(xún)提交者可使用 Query Patroller 來(lái)：l 監(jiān)控他們已提交的查詢(xún)l 保存查詢(xún)結(jié)果，以備未來(lái)進(jìn)行檢索和重用，從而有效避免了重復(fù)性的查詢(xún)提交l 設(shè)置各種參數(shù)，以定制查詢(xún)提交，例如是否在查詢(xún)完成時(shí)接收電子郵件通知DB2 Query Patroller 可單

25、獨(dú)提供，也可包含在 DB2 Data Warehouse Enterprise Edition 中。2.3 DB2多維分析工具DB2 Cube ViewsDB2 Cube Views 是 DB2 UDB 中的最新一代 OLAP 支持，它能夠使關(guān)系數(shù)據(jù)庫(kù)成為管理及部署企業(yè)多維分析應(yīng)用的OLAP服務(wù)器平臺(tái)。憑借DB2 Cube Views，數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)人員能夠提供可更快速部署、更容易管理并能夠在各種分析應(yīng)用程序（無(wú)論使用哪些特定的 OLAP 工具和技術(shù)）間提高性能的 OLAP 解決方案。DB2 Cube Views 功能部件是如何做到這一點(diǎn)呢？首先，它允許 DB2 支持 OLAP。如果沒(méi)有多維數(shù)據(jù)

26、視圖，關(guān)系數(shù)據(jù)庫(kù)對(duì)于不熟悉數(shù)據(jù)庫(kù)結(jié)構(gòu)和內(nèi)容的人來(lái)說(shuō)似乎是一組令人生畏的帶有一些列的表。DB2 Cube Views 元數(shù)據(jù)使您能夠更完整地記錄 DB2 數(shù)據(jù)庫(kù)中的底層結(jié)構(gòu)。通常，倉(cāng)庫(kù)或數(shù)據(jù)集市是特別為維分析設(shè)計(jì)的。在這種情況下，數(shù)據(jù)庫(kù)通常由被組織為一個(gè)或多個(gè)星型（或雪花型）模式的表組成。簡(jiǎn)單的星型模式包含一個(gè)事實(shí)表，事實(shí)表周?chē)幸恍┚S表。例如，事實(shí)表可以記錄公司各個(gè)產(chǎn)品和分店每日銷(xiāo)售數(shù)據(jù)。維表（或許是 PRODUCTS 和 STORES 表）可能包含有關(guān)各個(gè)產(chǎn)品和分店的詳細(xì)信息，并且與事實(shí)表相連接。元數(shù)據(jù)對(duì)象DB2 Cube Views 元數(shù)據(jù)尤其擅長(zhǎng)捕獲星型或雪花型模式中固有的結(jié)構(gòu)（請(qǐng)參閱圖

27、 1）。該元數(shù)據(jù)通過(guò)一組元數(shù)據(jù)對(duì)象提供關(guān)系數(shù)據(jù)的“空間視圖”。元數(shù)據(jù)對(duì)象被劃分為多層，從簡(jiǎn)單對(duì)象（如 Attribute，簡(jiǎn)單的 Attribute 對(duì)表列建模）到更復(fù)雜的對(duì)象（如 Join、Hierarchy、Dimension 和 Cube Model）。完整定義的多維數(shù)據(jù)模型對(duì)象通常符合星型（或雪花型）模式，并對(duì)一組具有公共維數(shù)的度量建模。然后，多維數(shù)據(jù)模型就封裝其它 DB2 Cube Views 元數(shù)據(jù)對(duì)象（如 Dimension 和 Measure），這一點(diǎn)都不奇怪。圖 1. 引用關(guān)系星型模式的 DB2 Cube Views 多維數(shù)據(jù)模型簡(jiǎn)而言之，DB2 Cube Views 元數(shù)據(jù)

28、使您能夠捕獲 DB2 數(shù)據(jù)庫(kù)的多維結(jié)構(gòu)和設(shè)計(jì)。DB2 Cube Views 元數(shù)據(jù)除了使 DB2 支持 OLAP 外，至少還有兩種使用方法：l DB2 Cube Views 功能部件利用元數(shù)據(jù)來(lái)優(yōu)化命中 DB2 數(shù)據(jù)庫(kù)的 SQL 查詢(xún)。 l 位于 DB2 之上的產(chǎn)品和應(yīng)用程序可以使用元數(shù)據(jù)。 這兩種用法的簡(jiǎn)要介紹：將 DB2 Cube Views 元數(shù)據(jù)用于優(yōu)化DB2 Cube Views 通過(guò)創(chuàng)建合適的實(shí)例化的查詢(xún)表（materialized query table，MQT）來(lái)加速 SQL 查詢(xún)，這些 MQT 中保存了預(yù)先聚集的數(shù)據(jù)。MQT 也稱(chēng)為（自動(dòng)）匯總表。如果可以，DB2 優(yōu)化器會(huì)將

29、 SQL 查詢(xún)重新路由給 MQT（請(qǐng)參閱圖 2）。MQT 通常比底層的基本表（MQT 構(gòu)建于這些基本表之上）小好幾個(gè)數(shù)量級(jí)。因而，對(duì)于同一個(gè) SQL 查詢(xún)，將該查詢(xún)重新路由給 MQT 這種查詢(xún)方法通常比用查詢(xún)基本表的方法快得多。DB2 Cube Views 有一個(gè)基于元數(shù)據(jù)和用戶(hù)輸入的優(yōu)化顧問(wèn)程序，它推薦一組合適的 MQT。圖 2. DB2 優(yōu)化器在適當(dāng)時(shí)將查詢(xún)路由到 MQT元數(shù)據(jù)使用者多維數(shù)據(jù)視圖元數(shù)據(jù)還有其它好處。商業(yè)智能工具可以從 DB2 讀取元數(shù)據(jù)來(lái)了解 DB2 表的維結(jié)構(gòu)。然后，根據(jù)元數(shù)據(jù)，這些工具提供處理 DB2 數(shù)據(jù)的查詢(xún)和報(bào)告解決方案。使用 DB2 Cube Views 元數(shù)據(jù)

30、的工具和應(yīng)用程序一般分為兩類(lèi)： 第一類(lèi)應(yīng)用程序“咬住”DB2 Cube Views 。它們通常通過(guò)使用元數(shù)據(jù)來(lái)構(gòu)造 SQL 查詢(xún)，以讀取元數(shù)據(jù)并直接用它對(duì) DB2 數(shù)據(jù)庫(kù)進(jìn)行分析。大多數(shù)情況下，這些工具對(duì) DB2 Cube Views 多維數(shù)據(jù)模型和多維數(shù)據(jù)對(duì)象進(jìn)行查詢(xún)和報(bào)告。 第二類(lèi)工具使多維數(shù)據(jù)視圖元數(shù)據(jù)從 DB2 流入自己的工具，然后根據(jù)自己的元數(shù)據(jù)查詢(xún) DB2。這些工具必須能夠?qū)?DB2 Cube Views 元數(shù)據(jù)映射到自己的元數(shù)據(jù)。這一映射的復(fù)雜程度取決于元數(shù)據(jù)的相似程度（或相異程度）。 元數(shù)據(jù)生產(chǎn)者并非所有對(duì) DB2 Cube Views 元數(shù)據(jù)感興趣的應(yīng)用程序都讀取元數(shù)據(jù)，這一

31、點(diǎn)也很重要。還有一類(lèi)工具和應(yīng)用程序產(chǎn)生元數(shù)據(jù)并將它推入 DB2。維元數(shù)據(jù)通常來(lái)自數(shù)據(jù)庫(kù)設(shè)計(jì)、抽取-轉(zhuǎn)換-裝入（extract-transform-load，ETL）和其它數(shù)據(jù)庫(kù)管理工具。通過(guò)使維元數(shù)據(jù)流入 DB2，這些工具可以利用先前提到的這些優(yōu)化和管理好處。顯然，為了讀取、創(chuàng)建、修改和刪除元數(shù)據(jù)對(duì)象，工具和應(yīng)用程序需要一種與 DB2 中多維數(shù)據(jù)視圖元數(shù)據(jù)交互的工具，這個(gè)工具就是DB2 Cube Views.DB2 Cube Views組件l 多維元數(shù)據(jù)對(duì)象用戶(hù)可以創(chuàng)建元數(shù)據(jù)對(duì)象集，以便在維度上對(duì)關(guān)系數(shù)據(jù)和 OLAP 結(jié)構(gòu)進(jìn)行建模。DB2 Cube Views 保存了用戶(hù)能夠在 DB2 目錄中

32、創(chuàng)建的所有元數(shù)據(jù)對(duì)象。l OLAP Center 憑借 OLAP Center，用戶(hù)可以創(chuàng)建、處理、導(dǎo)入或?qū)С龆嗑S數(shù)據(jù)集模型、多維數(shù)據(jù)集，以及可用于 OLAP 工具的其它元數(shù)據(jù)對(duì)象。OLAP Center 提供了易用的向?qū)Ш痛翱趤?lái)幫助用戶(hù)使用元數(shù)據(jù)。例如，Optimization Advisor 可分析元數(shù)據(jù)，并建議如何構(gòu)建對(duì) OLAP 式 SQL 查詢(xún)的聚合數(shù)據(jù)加以保存和編寫(xiě)索引的匯總表。l OLAP Center 管理界面l DB2 Office Connect Analytic Edition DB2 Office Connect Analytic Edition 是一種可查詢(xún) DB2

33、中 OLAP 數(shù)據(jù)的易用型電子表格外接工具。憑借 DB2 Office Connect Analytic Edition，用戶(hù)可以連接到 DB2 數(shù)據(jù)庫(kù)，選擇 DB2 Cube Views 多維數(shù)據(jù)集，并探索 Microsoft Excel 中的數(shù)據(jù)。l 多維服務(wù)DB2 Cube Views 提供了面向 OLAP 工具和應(yīng)用程序開(kāi)發(fā)者且基于 SQL 和 XML 的應(yīng)用程序編程界面 (API)。通過(guò) CLI、ODBC 或 JDBC 連接，或者通過(guò)將嵌入式 SQl 應(yīng)用到 DB2，應(yīng)用程序和工具可使用單個(gè)存儲(chǔ)過(guò)程來(lái)創(chuàng)建、修改及檢索元數(shù)據(jù)對(duì)象。l 樣本數(shù)據(jù)DB2 Cube Views還提供了樣本應(yīng)用

34、程序和數(shù)據(jù)庫(kù)來(lái)幫助用戶(hù)學(xué)習(xí)。用戶(hù)可以在 DB2 目錄與 OLAP 工具之間交換元數(shù)據(jù)對(duì)象。l db2mdapiclient 實(shí)用程序 這種 db2mdapiclient 實(shí)用程序是作為對(duì)面向多維服務(wù)的應(yīng)用程序進(jìn)行編碼的樣本源代碼提供的。2.4 Websphere Information Integrator由于當(dāng)前信息技術(shù)的飛速發(fā)展，各企業(yè)的業(yè)務(wù)環(huán)境日益復(fù)雜，各種業(yè)務(wù)數(shù)據(jù)不斷的增加，使得企業(yè)中各種數(shù)據(jù)類(lèi)型繁多，數(shù)據(jù)源也十分分散。用戶(hù)越來(lái)越希望能夠?qū)φ麄€(gè)企業(yè)不同數(shù)據(jù)源及數(shù)據(jù)類(lèi)型的數(shù)據(jù)進(jìn)行統(tǒng)一的相關(guān)聯(lián)的管理。但是目前很多企業(yè)受各方面因素的約束，分散的且不同廠(chǎng)商的數(shù)據(jù)源很難復(fù)制或集中到單一的數(shù)據(jù)庫(kù)上

35、。因此，這就使用戶(hù)越來(lái)越渴望能夠獲得一個(gè)可以整合企業(yè)中各個(gè)分布式的數(shù)據(jù)源以方便訪(fǎng)問(wèn)多樣化數(shù)據(jù)的解決方案。在這種需求之下，IBM公司提供了IBM Information Integrator系列產(chǎn)品，能夠在整個(gè)企業(yè)范圍內(nèi)訪(fǎng)問(wèn)關(guān)系型、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。它能提供戰(zhàn)略上的數(shù)據(jù)集成架構(gòu)，以幫助用戶(hù)去訪(fǎng)問(wèn)、處理以及整合異構(gòu)的、分布式的實(shí)時(shí)數(shù)據(jù)。IBM Information Integrator包括聯(lián)邦數(shù)據(jù)服務(wù)器（Federated Data Server）和復(fù)制服務(wù)器（Replication Server），用于整合異構(gòu)的實(shí)時(shí)數(shù)據(jù)。聯(lián)邦數(shù)據(jù)服務(wù)器（Federated Data Server）利用SQ

36、L或產(chǎn)生SQL的工具（整合的開(kāi)發(fā)環(huán)境、報(bào)表、分析工具）訪(fǎng)問(wèn)、整合及處理分布式的和異構(gòu)的數(shù)據(jù)。該產(chǎn)品主要適用于數(shù)據(jù)源為各類(lèi)關(guān)系型數(shù)據(jù)庫(kù)及其他如XML、Web或內(nèi)容數(shù)據(jù)源。IBM Information Integrator 核心內(nèi)容包括：2.4.1 聯(lián)邦數(shù)據(jù)服務(wù)器（Federated Data Server）聯(lián)邦數(shù)據(jù)服務(wù)器是一種特殊類(lèi)型的分布式數(shù)據(jù)庫(kù)管理系統(tǒng)。一個(gè)聯(lián)邦數(shù)據(jù)服務(wù)器包括一個(gè)作為服務(wù)器的DB2實(shí)例，另外還可以有一個(gè)或多個(gè)不同的數(shù)據(jù)源對(duì)應(yīng)不同廠(chǎng)商的關(guān)系型數(shù)據(jù)庫(kù)，以及訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)和數(shù)據(jù)源的客戶(hù)端（用戶(hù)和應(yīng)用）。利用聯(lián)邦數(shù)據(jù)服務(wù)器，用戶(hù)可以在一個(gè)SQL語(yǔ)句中向不同的數(shù)據(jù)源發(fā)送分布式請(qǐng)求，從而實(shí)

37、現(xiàn)集成異構(gòu)數(shù)據(jù)庫(kù)的功能。DB2聯(lián)邦數(shù)據(jù)服務(wù)器的強(qiáng)大性在于： l 聯(lián)合本地表和遠(yuǎn)程數(shù)據(jù)源，就象所有的數(shù)據(jù)都在本地一樣操作。 l 利用數(shù)據(jù)源的處理功能，向數(shù)據(jù)源發(fā)送分布式請(qǐng)求。 l 在一個(gè)聯(lián)邦數(shù)據(jù)服務(wù)器上處理分布式請(qǐng)求的各個(gè)部分，彌補(bǔ)數(shù)據(jù)源上的SQL限制。 聯(lián)邦數(shù)據(jù)服務(wù)器支持的數(shù)據(jù)源包括：關(guān)系型數(shù)據(jù)庫(kù)：IBM DB2, IBM Informix Dynamic Server, IBM Informix Extended Parallel Server, Microsoft SQL Server, Oracle, Sybase SQL Server, Sybase Adaptive Server E

38、nterprises, Teradata, 以及ODBC數(shù)據(jù)源。非關(guān)系型數(shù)據(jù)源：IBM Websphere MQ Message queues, Web services，Microsoft Access，Microsoft Excel spreadsheets，flat 文件，XML 文檔，LDAP 目錄，和Entrez，Blast， HMMer， BioRS，Documentum，IBMLotus Extended Search能夠訪(fǎng)問(wèn)的數(shù)據(jù)源。IBM Lotus Extended Search 提供訪(fǎng)問(wèn)多個(gè)數(shù)據(jù)存儲(chǔ)，包括Domino， IBM DB2 Information Integr

39、ator for Content sources (比如 IBM Content Manager，IBM Content Manager OnDemand，和IBM ImagePlus)，關(guān)系型數(shù)據(jù)庫(kù)(IBM DB2，Oracle，Sybase，Microsoft SQL Server，Microsoft Access)， Lotus Domino.Doc，Microsoft Index Server，Microsoft Site Server，Microsoft Exchange，和超過(guò)18個(gè)搜索網(wǎng)站。l 針對(duì)開(kāi)發(fā)：一個(gè)開(kāi)發(fā)工具箱，提供開(kāi)發(fā)訪(fǎng)問(wèn)其它的數(shù)據(jù)源。應(yīng)用程序能夠查詢(xún)或檢索整合后的數(shù)據(jù)

40、源就象它們?cè)趩我坏臄?shù)據(jù)庫(kù)上n 查詢(xún)操作使用標(biāo)準(zhǔn)SQL。n 聯(lián)邦數(shù)據(jù)服務(wù)器使用基于成本的分布式查詢(xún)優(yōu)化器選擇最佳的訪(fǎng)問(wèn)路徑以獲取更好的查詢(xún)性能。n 用戶(hù)可以在聯(lián)邦數(shù)據(jù)服務(wù)器上定義數(shù)據(jù)緩存以提高查詢(xún)效率。n 應(yīng)用程序能夠訪(fǎng)問(wèn)傳統(tǒng)數(shù)據(jù)庫(kù)或Web 應(yīng)用客戶(hù)端2.4.2 針對(duì)異構(gòu)關(guān)系型數(shù)據(jù)庫(kù)的復(fù)制服務(wù)器（Replication Server）客戶(hù)可以在異構(gòu)關(guān)系型數(shù)據(jù)資源之間復(fù)制數(shù)據(jù)IBM DB2，IBM Informix，Microsoft，Oracle，和Sybase都是可以作為復(fù)制源或復(fù)制目標(biāo)；Teradata可以作為復(fù)制目標(biāo)。用戶(hù)可以配置一個(gè)多樣性的拓?fù)洵h(huán)境l 復(fù)制服務(wù)器支持分布式（從一個(gè)數(shù)據(jù)庫(kù)到

41、多個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)遷移）和集中式（從多個(gè)數(shù)據(jù)庫(kù)到一個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)遷移）l 數(shù)據(jù)遷移可以同時(shí)使用標(biāo)準(zhǔn)的SQL表達(dá)式或存儲(chǔ)過(guò)程l 數(shù)據(jù)遷移可以定時(shí)的自動(dòng)執(zhí)行，或在一定的時(shí)間間隔執(zhí)行，或連續(xù)執(zhí)行，或者由事件觸發(fā)執(zhí)行2.5 數(shù)據(jù)倉(cāng)庫(kù)管理工具DB2 Warehouse ManagerDB2 Warehouse Manager 提供了用于構(gòu)建、管理及訪(fǎng)問(wèn)數(shù)據(jù)倉(cāng)庫(kù)的強(qiáng)大工具。Warehouse Manager具有以下特性：l 開(kāi)發(fā)簡(jiǎn)單。只需要用簡(jiǎn)單的點(diǎn)擊、拖拉等Windows常用操作，系統(tǒng)會(huì)自動(dòng)生成標(biāo)準(zhǔn)的SQL語(yǔ)句，當(dāng)然，也可以自己定義SQL。一般情況下 不需要編寫(xiě)程序，但提供接口為滿(mǎn)足特殊需要，用戶(hù)也可以自

42、己用VB、C/C+等寫(xiě)數(shù)據(jù)處理程序。l 維護(hù)簡(jiǎn)單。由于基本不需要編程實(shí)現(xiàn)，因此可以適應(yīng)于變化的需求。當(dāng)需求發(fā)生變化時(shí)，只需要改變數(shù)據(jù)倉(cāng)庫(kù)中的定義即可。l 自動(dòng)化的執(zhí)行。通過(guò)調(diào)度(schedule)，數(shù)據(jù)倉(cāng)庫(kù)可以自動(dòng)完成所有的數(shù)據(jù)抽取、整理、轉(zhuǎn)換，以及分發(fā)等功能。l 支持眾多的關(guān)系數(shù)據(jù)庫(kù)，以及非關(guān)系數(shù)據(jù)庫(kù)。從個(gè)人機(jī)到NT服務(wù)器、Unix服務(wù)器以及IBM的主機(jī)系統(tǒng)。l 提供分布式數(shù)據(jù)處理功能。利用Agent技術(shù)，可以分布式處理來(lái)自多個(gè)數(shù)據(jù)源的數(shù)據(jù)。這一點(diǎn)對(duì)于企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)來(lái)說(shuō)非常重要，因?yàn)樗梢蕴峁┝己玫目蓴U(kuò)展性。l 元數(shù)據(jù)管理。DataGuide提供方便的手段管理數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)，用戶(hù)可以用各種

43、方式查看它們。同時(shí)，IBM正在致力于制定數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)的國(guó)際標(biāo)準(zhǔn)(以Warehouse Manager的TAG文件為基礎(chǔ))，以實(shí)現(xiàn)不同數(shù)據(jù)倉(cāng)庫(kù)廠(chǎng)商之間的數(shù)據(jù)交換。l 眾多的第三方工具。如DataStage、Vality、ETI等可以和Warehouse Manager非常好的集成在一起，為數(shù)據(jù)處理提供增強(qiáng)的功能。l DB2 UDB是業(yè)界公認(rèn)的性能優(yōu)良、開(kāi)放、具有出色可擴(kuò)展性的數(shù)據(jù)庫(kù)。Warehouse Manager和DB2 UDB密切協(xié)同工作，為數(shù)據(jù)倉(cāng)庫(kù)的良好運(yùn)作提供保證。這也是為什么世界上許多大型跨國(guó)公司，如花旗銀行、聯(lián)邦快運(yùn)等都將數(shù)據(jù)倉(cāng)庫(kù)建立在IBM方案之上。2.6 數(shù)據(jù)挖掘DB2 In

44、telligent Miner DWE中的IBM DB2 Intelligent Miner 主要是以下產(chǎn)品的集合：l Intelligent Miner Scoring（IM Scoring） l Intelligent Miner Modeling（IM Modeling） l Intelligent Miner Visualization（IM Visualization） 這些產(chǎn)品支持快速實(shí)現(xiàn) IM 分析，此分析是嵌入在商業(yè)智能（BI）、電子商務(wù)或傳統(tǒng)聯(lián)機(jī)事務(wù)處理（OLTP）應(yīng)用程序中的。它們作為獨(dú)立定價(jià)的產(chǎn)品提供。它們還在 IBM DB2 Data Warehouse Edition

45、 中提供。在 DB2 中，專(zhuān)業(yè)人員可以交互地從命令中心或命令行處理器發(fā)出 SQL 語(yǔ)句。他們還可以從這些接口之一啟動(dòng) Intelligent Miner 函數(shù)。Intelligent Miner V8.2 提供基于 Excel 電子表格的加載演示。此演示闡明了 SQL API 的功能以及如何使用它。有了這個(gè)演示，您可以用 IM 函數(shù)為原型開(kāi)發(fā)一個(gè)“概念證明”而無(wú)需處理 SQL API 的復(fù)雜情況。為了輔助應(yīng)用程序開(kāi)發(fā)者，Intelligent Miner V8.2 提供了 WebSphere Studio Plug-in。該插件包含集成在 WebSphere Studio Plug-in 環(huán)境

46、中的圖形向?qū)Ш途庉嬈?。通過(guò)這些工具，應(yīng)用程序開(kāi)發(fā)者可以圖形化方式為挖掘任務(wù)建模，生成 SQL 將 IM SQL 功能嵌入他們的商業(yè)應(yīng)用程序中。根據(jù)經(jīng)驗(yàn)、個(gè)人偏好、挖掘技能和待解決問(wèn)題的復(fù)雜度，您可以在以下開(kāi)發(fā)挖掘解決方案的方法中進(jìn)行選擇：l 使用樣本和教程開(kāi)始并進(jìn)行改編使它們適應(yīng)您自己的商業(yè)問(wèn)題。 l 使用 WebSphere Studio Plug-in 提供的圖形界面來(lái)定義挖掘過(guò)程。生成代碼并將它集成到您自己的商業(yè)應(yīng)用中。 l 對(duì)普通挖掘任務(wù)使用簡(jiǎn)單挖掘過(guò)程來(lái)執(zhí)行典型的挖掘任務(wù)。 l 使用命令行腳本生成器 idmmkSQL 作為起始點(diǎn)來(lái)編寫(xiě) Scoring 語(yǔ)句。 l 在 SQL 腳本中或

47、者從任何 JDBC、CLI、ODBC 或 SQLJ 應(yīng)用程序中使用功能強(qiáng)大的低級(jí)別 SQL/MM API。圖 1. 在您的商業(yè)環(huán)境中使用 IM 產(chǎn)品 圖 1 顯示了如何在商業(yè)環(huán)境中使用 IM 產(chǎn)品的典型應(yīng)用場(chǎng)合：商業(yè)應(yīng)用程序的應(yīng)用程序開(kāi)發(fā)者使用開(kāi)發(fā)者工具將 IM SQL 功能集成到應(yīng)用程序中。 專(zhuān)業(yè)人員從商業(yè)應(yīng)用程序中使用此挖掘功能。2.6.1 DB2 Intelligent Miner ScoringIM Scoring 擴(kuò)展了數(shù)據(jù)庫(kù)功能，并使用戶(hù)能夠?qū)崟r(shí)部署數(shù)據(jù)挖掘分析系統(tǒng)。通過(guò)數(shù)據(jù)挖掘所產(chǎn)生的分析數(shù)據(jù)，為企業(yè)和消費(fèi)客戶(hù)提供更加個(gè)性化的服務(wù)，或通過(guò)不斷進(jìn)行模型改進(jìn)以響應(yīng)特定情況，用戶(hù)可以在

48、商業(yè)智能和運(yùn)營(yíng)應(yīng)用程序中采用它們，以便為企業(yè)及提供更好的服務(wù)。IM Scoring使應(yīng)用程序能夠?qū)?PMML 模型應(yīng)用到大型數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)子集或單行或情況中。應(yīng)用程序使用 SQL API，此 API 由用戶(hù)定義的函數(shù)（UDF）和用戶(hù)定義的方法（UDM）組成，以執(zhí)行記分操作。 PMML 模型可能由某個(gè) Intelligent Miner 產(chǎn)品創(chuàng)建或通過(guò)其它支持 PMML 模型的應(yīng)用程序和工具來(lái)創(chuàng)建。IM Scoring的特點(diǎn)如下：l DB2 Intelligent Miner Scoring 提供了如同數(shù)據(jù)庫(kù)擴(kuò)展的無(wú)與倫比的計(jì)分技術(shù)：DB2 Extender 和 Oracle cartridge

49、。 l 通過(guò)簡(jiǎn)單的 SQL 編程界面和標(biāo)準(zhǔn)開(kāi)發(fā)界面，DB2 Intelligent Miner Scoring 提供了無(wú)與倫比的可擴(kuò)展性和強(qiáng)大功能。 l DB2 Intelligent Miner Scoring 在關(guān)系數(shù)據(jù)庫(kù)中將挖掘模型另存為 XML 對(duì)象。實(shí)施基于數(shù)據(jù)挖掘的新行業(yè)標(biāo)準(zhǔn)。 l DB2 Intelligent Miner Scoring 根據(jù)數(shù)據(jù)挖掘模型中表示的一系列預(yù)定標(biāo)準(zhǔn)對(duì)記錄進(jìn)行計(jì)分對(duì)這些記錄的主題進(jìn)行分段、分類(lèi)和分級(jí)。 l DB2 Intelligent Miner Scoring 支持所有可提供數(shù)據(jù)計(jì)分功能的 DB2 Intelligent Miner，例如決策樹(shù)、基

50、于中心和基于分發(fā)的群集、多項(xiàng)式回歸及神經(jīng)網(wǎng)絡(luò)。通過(guò)使挖掘模型和計(jì)分邏輯與應(yīng)用程序隔離開(kāi)來(lái)，您可以在趨勢(shì)改變或獲得其它信息時(shí)不斷改進(jìn)模型無(wú)需中斷應(yīng)用程序。 用戶(hù)可以在各種環(huán)境下執(zhí)行 DB2 Intelligent Miner Scoring。例如 DB2 Extenders 與 Oracle cartridge、通過(guò) DB2 DataJoiner 對(duì)聯(lián)合數(shù)據(jù)的 DB2 的存取。IM Scoring 包括 IM Scoring Java Bean，使您可以在給定 PMML 模型的情況下對(duì) Java 應(yīng)用程序中的單個(gè)數(shù)據(jù)記錄計(jì)分。這可以用于將計(jì)分集成到電子商務(wù)應(yīng)用中，例如用于客戶(hù)關(guān)系管理（CRM）系

51、統(tǒng)的實(shí)時(shí)計(jì)分。2.6.2 DB2 Intelligent Miner ModelingIM Modeling 提供 IM Modeling 技術(shù)，例如 DB2 extender。它使得 SQL 應(yīng)用程序能夠基于 DB2 Universal Database(TM) V8.1 或 V8.2 SQL 訪(fǎng)問(wèn)的數(shù)據(jù)來(lái)開(kāi)發(fā)分析模型。DB2 IM Modeling的特性如下：l DB2 Intelligent Miner Modeling 為以下建模操作提供了 DB2 Extender： l 關(guān)聯(lián)發(fā)現(xiàn)。應(yīng)用示例包括發(fā)現(xiàn)購(gòu)物籃分析中的產(chǎn)品關(guān)聯(lián)、電子商務(wù)站點(diǎn)的站點(diǎn)訪(fǎng)問(wèn)模式或購(gòu)買(mǎi)的金融產(chǎn)品組合。 l 人口群集。

52、應(yīng)用示例包括市場(chǎng)細(xì)分、商店背景描述及購(gòu)買(mǎi)行為模式。 l 分類(lèi)樹(shù)。應(yīng)用示例包括基于理想結(jié)果的客戶(hù)背景描述，例如購(gòu)買(mǎi)傾向、預(yù)計(jì)的花費(fèi)水平，以及在某段時(shí)間內(nèi)客戶(hù)減少的可能性 l DB2 Intelligent Miner Modeling 是 DB2 數(shù)據(jù)庫(kù)的高級(jí) SQL 擴(kuò)展，它能夠使建模功能嵌入到商業(yè)應(yīng)用程序中。 l DB2 Intelligent Miner Modeling 支持以符合業(yè)界新分析模型標(biāo)準(zhǔn)“預(yù)測(cè)模型標(biāo)記語(yǔ)言 (PMML) V2.0”的形式開(kāi)發(fā)數(shù)據(jù)挖掘模型。 l 當(dāng)發(fā)現(xiàn)新關(guān)系時(shí)，DB2 Intelligent Miner Scoring 可將這些新關(guān)系實(shí)時(shí)應(yīng)用到新數(shù)據(jù)。 l 數(shù)據(jù)

53、挖掘模型分析可通過(guò)基于 Java 的結(jié)果瀏覽器 DB2 Intelligent Miner Visualizer 獲得。通過(guò) DB2 Intelligent Miner Modeling，即使非專(zhuān)家級(jí)人員也能夠查看及評(píng)估數(shù)據(jù)挖掘建模流程的結(jié)果。 2.6.3 DB2 Intelligent Miner VisualizationIM Visualization 提供以下 JAVA 觀(guān)測(cè)器來(lái)顯示數(shù)據(jù)建模結(jié)果以供分析：l 關(guān)聯(lián)觀(guān)測(cè)器 l 分類(lèi)觀(guān)測(cè)器 l 群集觀(guān)測(cè)器 l 回歸觀(guān)測(cè)器（僅對(duì) IM Modeling 模型）可使用 Intelligent Miner Visualizer 使符合 PMML

54、的挖掘模型可視化。應(yīng)用程序可調(diào)用這些觀(guān)測(cè)器來(lái)顯示模型結(jié)果，或者您可將觀(guān)測(cè)器部署為 Web 瀏覽器中的小應(yīng)用程序以供現(xiàn)成分發(fā)?？赏ㄟ^(guò)使用 IM Modeling 或其它通過(guò)使用 PMML 模型支持互操作性的應(yīng)用程序和工具來(lái)開(kāi)發(fā)模型，或者可將 Intelligent Miner for Data 的模型作為 PMML 模型導(dǎo)出。模型作為平面文件存儲(chǔ)，或者您可以直接從數(shù)據(jù)庫(kù)中將挖掘模型可視化。數(shù)據(jù)庫(kù)中的模型已經(jīng)通過(guò) IM Modeling 創(chuàng)建或者已經(jīng)使用 IM Scoring 的導(dǎo)入功能導(dǎo)入數(shù)據(jù)庫(kù)中。PMML 標(biāo)準(zhǔn)的焦點(diǎn)是計(jì)分的互操作性。如果 PMML 模型包含 IM Visualization

55、擴(kuò)展（例如，IM Modeling 產(chǎn)生的分布統(tǒng)計(jì)或質(zhì)量信息），則使用 IM Visualization 能夠?qū)崿F(xiàn)最好的結(jié)果。IM Visualization V8.2 提供以下增強(qiáng)功能：l 成果圖 l 字段重要性 l 質(zhì)量分析2.7 前端展示應(yīng)用開(kāi)發(fā)平臺(tái)DB2 AlphabloxDB2 Alphablox 是一種業(yè)界領(lǐng)先的平臺(tái)，它可實(shí)現(xiàn)應(yīng)用程序中嵌入的集成分析的快速匯編和廣泛部署。其擁有基于 J2EE（Java 2 平臺(tái)，企業(yè)版）標(biāo)準(zhǔn)開(kāi)發(fā)基于 Web 的企業(yè)應(yīng)用程序的業(yè)界標(biāo)準(zhǔn)的開(kāi)放式、可擴(kuò)展架構(gòu)。通過(guò)在無(wú)需復(fù)雜編程的情況下自動(dòng)處理應(yīng)用程序行為的眾多細(xì)節(jié)，其簡(jiǎn)化了企業(yè)應(yīng)用程序開(kāi)發(fā)。 DB2 A

56、lphablox 提供了各種模塊化、可再用的 Blox 組件，以及應(yīng)用程序框架、功能強(qiáng)大的編程模型和各種用于對(duì)分析應(yīng)用程序進(jìn)行匯編的開(kāi)發(fā)工具。針對(duì)其運(yùn)行時(shí)環(huán)境，DB2 Alphablox 充分利用了標(biāo)準(zhǔn) J2EE 應(yīng)用程序服務(wù)器。DB2 Alphablox 可安裝在領(lǐng)先的商用 J2EE 應(yīng)用程序服務(wù)器上，例如 IBM WebSphere 等。當(dāng)開(kāi)發(fā)具有嵌入式 DB2 Alphablox 功能的應(yīng)用程序時(shí)，您能夠利用由基本 J2EE 應(yīng)用程序服務(wù)器提供的眾多功能，包括增強(qiáng)的性能、安全性及個(gè)性化。與應(yīng)用程序服務(wù)器環(huán)境的集成可使應(yīng)用程序生成器充分利用 DB2 Alphablox 來(lái)提供與構(gòu)建、部署及

57、執(zhí)行分析應(yīng)用程序相關(guān)的基本功能，同時(shí)依靠應(yīng)用程序服務(wù)器來(lái)提供強(qiáng)大可靠的管理和部署服務(wù)。 組件 DB2 Alphablox 提供了可滿(mǎn)足集成分析應(yīng)用程序設(shè)計(jì)要求的廣泛 Blox 庫(kù)，以便實(shí)現(xiàn)最高的可用性。這些組件包括： 數(shù)據(jù)存取 blox，其通過(guò)用戶(hù)界面與相應(yīng)數(shù)據(jù)源之間的連接管理數(shù)據(jù)存取。由于 DB2 Alphablox 直接存取您數(shù)據(jù)庫(kù)中的數(shù)據(jù)，因此充分利用其功能的應(yīng)用程序?qū)⒆袷厝魏伟踩匦曰騼?nèi)置到您數(shù)據(jù)庫(kù)中的限制。DB2 Alphablox 顯示了由多維數(shù)據(jù)庫(kù)引擎提供的所有分析功能（例如：分級(jí)、推導(dǎo)出的計(jì)算、排序、高級(jí)過(guò)濾、百分位數(shù)、十分位數(shù)、變異數(shù)、標(biāo)準(zhǔn)差、關(guān)聯(lián)、趨勢(shì)分析、統(tǒng)計(jì)功能，及其它高級(jí)計(jì)算）。此外，DB2 Alphablox 還可使最終用戶(hù)和應(yīng)用程序開(kāi)發(fā)人員創(chuàng)建定制的計(jì)算所得成員。 DataBlox 還提供了以 XML 格式返回?cái)?shù)據(jù)的 API。這開(kāi)啟了通向可擴(kuò)展性的大門(mén)，充分利用 DB2 Alphablox 的應(yīng)用程序?qū)⑴c企業(yè)應(yīng)用程序相集成。它還實(shí)現(xiàn)了到支持 XML 的客戶(hù)端（包括蜂窩電話(huà)、尋呼機(jī)和 PDA）的數(shù)據(jù)傳輸。應(yīng)用程序開(kāi)發(fā)人員還能夠顯示 web 服務(wù)中的數(shù)據(jù)和或構(gòu)建定制的用戶(hù)界面。 由 DB2 Alphablo