數(shù)據(jù)平臺(tái)系統(tǒng)項(xiàng)目-技術(shù)方案

LT

數(shù)據(jù)平臺(tái)項(xiàng)目

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

目錄

第1頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)投標(biāo)書

3.3.1數(shù)據(jù)架構(gòu)設(shè)計(jì)................32

3.3.2數(shù)據(jù)模型設(shè)計(jì)................38

3.3.3靈活查詢功能架構(gòu)............51

3.3.4數(shù)據(jù)備份與恢復(fù)..............52

3.4數(shù)據(jù)平臺(tái)應(yīng)用體系.................56

3.4.1統(tǒng)一報(bào)表平臺(tái)................56

3.4.2數(shù)據(jù)圖表化展示.............127

3.5數(shù)據(jù)平臺(tái)設(shè)計(jì)關(guān)鍵點(diǎn)...............138

3.5.1數(shù)據(jù)平臺(tái)性能保障...........138

3.5.2時(shí)間窗口...................154

3.5.3備份策略...................155

3.5.4數(shù)據(jù)模型的歷史數(shù)據(jù)存儲(chǔ)....157

3.5.5源系統(tǒng)變更影響分析.........160

第4章軟件及推薦硬件設(shè)備配置方案.....162

4.1系統(tǒng)軟件方案.....................162

4.1.1統(tǒng)一報(bào)表平臺(tái)...............163

北京宇信易誠科技有限公司II

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書——技術(shù)部分

第1章方案總述

1.1前言

我們衷心感謝貴行給予我們這樣一個(gè)很好的

機(jī)會(huì)，可以為貴行的數(shù)據(jù)平臺(tái)建設(shè)提供技術(shù)解決

方案和項(xiàng)目實(shí)施方案的建議書，并通過我們的方

案建議書為及其應(yīng)用系統(tǒng)的建設(shè)提供幫助。

我們期盼與貴行共同努力，以我們?cè)谛值芊中?/p>

和其他銀行實(shí)施同類項(xiàng)目的經(jīng)驗(yàn)以及我們使您

的愿景變成現(xiàn)實(shí)的能力，為貴行IT建設(shè)增添一

個(gè)新的里程碑，也為我們與貴行的真誠合作啟動(dòng)

一個(gè)良好的開端。

該項(xiàng)目除了可以用宇信易誠所具有的經(jīng)驗(yàn)和

技術(shù)為貴行提供幫助外，我們認(rèn)為這也是一個(gè)與

貴行建立長期戰(zhàn)略合作關(guān)系的寶貴機(jī)會(huì)。我們?yōu)?/p>

這個(gè)目標(biāo)所做出的努力正反映了這一點(diǎn)，我們?cè)?/p>

意建立一個(gè)靈活的商務(wù)策略，和服務(wù)質(zhì)量有競爭

力的專家團(tuán)隊(duì)來滿足貴行的需要。

1.2項(xiàng)目背景

隨著貴行業(yè)務(wù)的快速發(fā)展，信息系統(tǒng)不斷增

多，業(yè)務(wù)數(shù)據(jù)量的規(guī)模也在急速膨脹。分行數(shù)據(jù)

整合平臺(tái)作為貴行的數(shù)據(jù)整合中心，需緊密銜接

第1頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

總行ODS、數(shù)據(jù)倉庫及分行特色系統(tǒng)、并且

需考慮到貴行未來將要建設(shè)的系統(tǒng)的接入問題o

根據(jù)貴行業(yè)務(wù)的拓展和條線管理的需要，各業(yè)務(wù)

部門對(duì)決策信息依賴程度不斷提高，經(jīng)常會(huì)有一

些高靈活性、多變性、高及時(shí)性的信息需求。貴

行目前需要能夠滿足業(yè)務(wù)需求快速響應(yīng)的統(tǒng)一

數(shù)據(jù)平臺(tái)，僅依靠傳統(tǒng)的數(shù)據(jù)加工模式對(duì)源數(shù)據(jù)

進(jìn)行抽取加工操作，由于業(yè)務(wù)口徑的不一致性、

數(shù)據(jù)質(zhì)量低下、以及缺乏良好的數(shù)據(jù)統(tǒng)計(jì)分析手

段等問題導(dǎo)致分行范圍的決策分析成為難題，不

能充分發(fā)揮業(yè)務(wù)積累的相關(guān)數(shù)據(jù)的作用數(shù)據(jù)的

及時(shí)性和準(zhǔn)確性難以保證，給管理和營銷增加了

難度。

本次數(shù)據(jù)報(bào)表平臺(tái)項(xiàng)目承擔(dān)了分行主要業(yè)務(wù)

數(shù)據(jù)的集中和整合及報(bào)表應(yīng)用展示的功能。通過

數(shù)據(jù)平臺(tái)的建設(shè)，將為零售、公司、同業(yè)、績效、

人力資源、運(yùn)營等業(yè)務(wù)提供統(tǒng)一準(zhǔn)確的數(shù)據(jù)支

持，是貴行業(yè)務(wù)精細(xì)化管理能力的重要基礎(chǔ)類系

統(tǒng)。數(shù)據(jù)平臺(tái)從中遠(yuǎn)期角度來看，將成為貴行

管理層/經(jīng)營層洞察經(jīng)營全貌、優(yōu)化經(jīng)營管控水

平、推進(jìn)戰(zhàn)略決策效能、支撐綜合運(yùn)營分析的數(shù)

據(jù)分析平臺(tái)。通過數(shù)據(jù)的集中化、標(biāo)準(zhǔn)化管理，

第1頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

實(shí)現(xiàn)分行數(shù)據(jù)的信息共享，構(gòu)建實(shí)現(xiàn)企業(yè)數(shù)據(jù)平

臺(tái)及相關(guān)的管理決策分析應(yīng)用。

1.1項(xiàng)目目標(biāo)

貴行數(shù)據(jù)平臺(tái)建設(shè)項(xiàng)目是搭建一個(gè)對(duì)接總

行ODS、數(shù)據(jù)倉庫、銜接分行特色業(yè)務(wù)的數(shù)據(jù)

平臺(tái)。從底層的數(shù)據(jù)平臺(tái)、DW到上層的BI（商

業(yè)智能）展現(xiàn)，數(shù)據(jù)平臺(tái)在各交易系統(tǒng)之間、交

易系統(tǒng)和報(bào)表分析系統(tǒng)之間實(shí)現(xiàn)數(shù)據(jù)交換，通過

數(shù)據(jù)的加工、整合實(shí)現(xiàn)報(bào)表統(tǒng)計(jì)和分析。建立基

礎(chǔ)數(shù)據(jù)模型、ETL平臺(tái)、ETL管理調(diào)度平臺(tái)、

確保數(shù)據(jù)采集完整、保證ETL數(shù)據(jù)質(zhì)量、形成

統(tǒng)一的數(shù)據(jù)展現(xiàn)。具體目標(biāo)為：

1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級(jí)

數(shù)據(jù)模型，整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成分行統(tǒng)一

的數(shù)據(jù)視圖，建設(shè)成為貴行系統(tǒng)應(yīng)用的基礎(chǔ)數(shù)據(jù)

平臺(tái)。

2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺(tái)，在實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)

平臺(tái)的基礎(chǔ)上實(shí)現(xiàn)統(tǒng)一報(bào)表平臺(tái)，為貴行業(yè)務(wù)分

析和經(jīng)驗(yàn)決策提供全面的支持。

1.2項(xiàng)目建設(shè)原則

本次項(xiàng)目建設(shè)遵循的技術(shù)原則如下：

第2頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

數(shù)據(jù)平臺(tái)的正確建立和合理利用將直接影響

到貴行的未來信息化發(fā)展，貴行數(shù)據(jù)平臺(tái)建設(shè)應(yīng)

參考以下架構(gòu)原則，指導(dǎo)和規(guī)范未來的數(shù)據(jù)平臺(tái)

信息化建設(shè)和管理，在項(xiàng)目方案中應(yīng)該能夠體現(xiàn)

以下原則：

1.數(shù)據(jù)集中原則：

將總行ODS、數(shù)據(jù)倉庫數(shù)據(jù)、分行特色數(shù)據(jù)

和應(yīng)用統(tǒng)一進(jìn)行管理和運(yùn)維，保證資源的高度利

用以及通過相關(guān)的技術(shù)保證數(shù)據(jù)和應(yīng)用的絕對(duì)

安全和穩(wěn)定。

2.數(shù)據(jù)標(biāo)準(zhǔn)分行統(tǒng)一原則：

依據(jù)總行的數(shù)據(jù)字典，減少數(shù)據(jù)定義的二義

性。未來分行特色應(yīng)用系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)是分行數(shù)

據(jù)結(jié)構(gòu)模型的子集。對(duì)分行級(jí)數(shù)據(jù)實(shí)行單點(diǎn)維

護(hù)，確保分行級(jí)數(shù)據(jù)的可靠性和一致性。

3.數(shù)據(jù)管理分行統(tǒng)一原則：

統(tǒng)一的存儲(chǔ)管理，統(tǒng)一規(guī)劃使用存儲(chǔ)資源，提

高存儲(chǔ)資源使用效率。統(tǒng)一的性能管理，根據(jù)實(shí)

際業(yè)務(wù)需求，合理分配資源，確保對(duì)數(shù)據(jù)的訪問

性能能夠滿足業(yè)務(wù)的需要。統(tǒng)一標(biāo)準(zhǔn)的安全管

理，提高數(shù)據(jù)訪問控制能力，降低關(guān)鍵業(yè)務(wù)數(shù)據(jù)

的安全隱患。

第3頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

4.降低數(shù)據(jù)冗余和數(shù)據(jù)復(fù)制原則：

減低分行級(jí)數(shù)據(jù)的冗余度，降低數(shù)據(jù)對(duì)存儲(chǔ)資

源的需求。各業(yè)務(wù)系統(tǒng)根據(jù)自身業(yè)務(wù)處理實(shí)際需

求，確定對(duì)屬于其它系統(tǒng)數(shù)據(jù)的同步需求，制訂

出相應(yīng)的數(shù)據(jù)復(fù)制同步策略并統(tǒng)一進(jìn)行實(shí)施。

第2章系統(tǒng)建設(shè)規(guī)劃

2.1項(xiàng)目建設(shè)目標(biāo)的理解

數(shù)據(jù)平臺(tái)的建設(shè)對(duì)于貴行是一個(gè)非常重要的

系統(tǒng)工程，承擔(dān)著貴行企業(yè)數(shù)據(jù)整合、數(shù)據(jù)交換

以及數(shù)據(jù)服務(wù)的重任，通過數(shù)據(jù)平臺(tái)的建設(shè)使得

貴行將自身信息資產(chǎn)切實(shí)、有效的管理起來，形

成企業(yè)統(tǒng)一信息視圖，搭建企業(yè)數(shù)據(jù)治理的框

架，并為統(tǒng)一報(bào)表系統(tǒng)提供有效的數(shù)據(jù)支撐。

2.1.1項(xiàng)目建設(shè)范圍

貴行數(shù)據(jù)平臺(tái)本期項(xiàng)目建設(shè)范圍，可以從涉

及到的業(yè)務(wù)范圍、涵蓋到的組織范圍以及數(shù)據(jù)平

臺(tái)需要接入的源系統(tǒng)范圍三個(gè)角度來分析。

2.1.1.1業(yè)務(wù)范圍

本項(xiàng)目的業(yè)務(wù)范圍以貴行零售、公司業(yè)務(wù)條

線為主，計(jì)財(cái)、績效、運(yùn)營等為輔。

2.1.1.2組織范圍

第4頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

本項(xiàng)目業(yè)務(wù)涵蓋的組織范圍為貴行及轄內(nèi)

二級(jí)分行、支行。

2.1.1.3數(shù)據(jù)范圍

本項(xiàng)目的源系統(tǒng)范圍包括目前貴行的主要

業(yè)務(wù)系統(tǒng)，并需要滿足本期數(shù)據(jù)平臺(tái)主題應(yīng)用的

數(shù)據(jù)需求。

2.1.2項(xiàng)目建設(shè)內(nèi)容

2.1.2.1基礎(chǔ)數(shù)據(jù)平臺(tái)

基礎(chǔ)數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)搭建

從總體上規(guī)劃企業(yè)級(jí)的基礎(chǔ)數(shù)據(jù)平臺(tái)，平臺(tái)

將包含歷史數(shù)據(jù)存儲(chǔ)、基礎(chǔ)數(shù)據(jù)平臺(tái)、統(tǒng)一報(bào)表

平臺(tái)、自動(dòng)調(diào)度監(jiān)控等內(nèi)容組成，數(shù)據(jù)平臺(tái)要采

用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范；

基礎(chǔ)數(shù)據(jù)平臺(tái)ETL監(jiān)控、調(diào)度功能，完成從

原數(shù)據(jù)倉庫數(shù)據(jù)移植到新數(shù)據(jù)平臺(tái)的工作。

ETL子系統(tǒng)實(shí)現(xiàn)將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取

至數(shù)據(jù)平臺(tái)，并進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)化、加載等

操作，形成數(shù)據(jù)分析、決策所需的各種匯總數(shù)據(jù)

模型、分析模型，最終形成各種報(bào)表、查詢以及

KPI指標(biāo)。ETL子系統(tǒng)實(shí)現(xiàn)自動(dòng)化的數(shù)據(jù)抽取、

數(shù)據(jù)加載、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)卸載、自動(dòng)化數(shù)據(jù)重

新加載、加載錯(cuò)誤自動(dòng)處理、臟數(shù)據(jù)識(shí)別等功能。

第5頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

基礎(chǔ)數(shù)據(jù)平臺(tái)數(shù)據(jù)補(bǔ)錄功能

提供數(shù)據(jù)補(bǔ)錄平臺(tái)功能，包括補(bǔ)錄流程

管理、補(bǔ)錄模版管理、單筆補(bǔ)錄、批量補(bǔ)錄等。

通過補(bǔ)錄平臺(tái)實(shí)現(xiàn)數(shù)據(jù)平臺(tái)無法自動(dòng)獲取的具

備分析價(jià)值的數(shù)據(jù)。

本期基礎(chǔ)數(shù)據(jù)平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)涵蓋以下工作

內(nèi)容：

接口標(biāo)準(zhǔn)：規(guī)范數(shù)據(jù)平臺(tái)加載數(shù)據(jù)接口、卸

出數(shù)據(jù)格式及校驗(yàn)標(biāo)準(zhǔn)

公共代碼標(biāo)準(zhǔn)：參考總行ODS與數(shù)據(jù)倉庫標(biāo)

準(zhǔn)與分行特色數(shù)據(jù)標(biāo)準(zhǔn)；

數(shù)據(jù)質(zhì)量管控

數(shù)據(jù)質(zhì)量管控是一個(gè)長期的過程，依托于數(shù)

據(jù)管控組織機(jī)構(gòu)、流程的建立和完善。數(shù)據(jù)平臺(tái)

一期進(jìn)行數(shù)據(jù)質(zhì)量管控體系的初步探索，主要完

成如下目標(biāo)：

(1)、建立初步的數(shù)據(jù)質(zhì)量管理檢查規(guī)則，

包括功能性和非功能性規(guī)則。功能性規(guī)則主要包

括：完整性、唯一性、合法性、準(zhǔn)確性等；非功

能性主要包括信息的完整性、一致性、業(yè)務(wù)稽核

第6頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

(2)、根據(jù)建立的初步檢查規(guī)則，進(jìn)行數(shù)據(jù)

質(zhì)量的監(jiān)測(cè)，出具初步的數(shù)據(jù)質(zhì)量檢查報(bào)告；

(3)、根據(jù)數(shù)據(jù)質(zhì)量檢查報(bào)告，提出數(shù)據(jù)質(zhì)

量提升的解決方案。

2.1.2.2分行級(jí)指標(biāo)體系

借鑒與參考總行統(tǒng)一報(bào)表指標(biāo)體系成果，在

此基礎(chǔ)上建立滿足分行口徑指標(biāo)體系，擴(kuò)展分行

指標(biāo)；滿足業(yè)務(wù)日常固定報(bào)表使用的同時(shí)提供多

樣化的報(bào)表展現(xiàn)界面，包括表格展現(xiàn)，各類圖形

展現(xiàn)；要求界面友好，易用性強(qiáng)，并能夠提供具

性化應(yīng)用風(fēng)格支持。

2.1.2.3統(tǒng)一報(bào)表平臺(tái)

構(gòu)建統(tǒng)一報(bào)表平臺(tái)，實(shí)現(xiàn)分行業(yè)務(wù)應(yīng)用報(bào)表

的集中化管理、一體化服務(wù)；具有報(bào)表定制、管

理、維護(hù)功能；構(gòu)建分行用戶及權(quán)限管理體系，

支撐分行業(yè)務(wù)用戶報(bào)表應(yīng)用需求。能夠快速響應(yīng)

各級(jí)業(yè)務(wù)應(yīng)用人員的報(bào)表需求，滿足報(bào)表批量分

類存檔的需要。

2.2分行數(shù)據(jù)平臺(tái)的建設(shè)目標(biāo)

2.2.1分行數(shù)據(jù)平臺(tái)一期建設(shè)目標(biāo)

基于對(duì)貴行系統(tǒng)現(xiàn)狀的了解,貴行數(shù)據(jù)平臺(tái)一

期的建設(shè)目標(biāo)是:

第7頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級(jí)

數(shù)據(jù)模型，整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成分行統(tǒng)一

的數(shù)據(jù)視圖，建設(shè)成為貴行數(shù)據(jù)集中管理和應(yīng)用

的基礎(chǔ)數(shù)據(jù)平臺(tái)。

2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺(tái)，在實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)

平臺(tái)的基礎(chǔ)上實(shí)現(xiàn)統(tǒng)一報(bào)表平臺(tái)，為貴行業(yè)務(wù)

分析和經(jīng)驗(yàn)決策提供全面的支持。

3、集成現(xiàn)有對(duì)公、零售主要系統(tǒng)業(yè)務(wù)固定報(bào)

表，支撐業(yè)務(wù)數(shù)據(jù)使用需求。

4、指標(biāo)數(shù)據(jù)按照?qǐng)D表樣式進(jìn)行區(qū)間查詢展示

數(shù)據(jù)趨向，波動(dòng)。

5、將分行原指標(biāo)體系按照新指標(biāo)體系進(jìn)行平

移；

2.2.2分行數(shù)據(jù)平臺(tái)二期建設(shè)目標(biāo)

鑒于一期建設(shè)主要是搭建主體平臺(tái)，二期的信

息化建設(shè)目標(biāo)是繼續(xù)完善平臺(tái)，豐富平臺(tái)應(yīng)用效

果,全面覆蓋現(xiàn)有舊綜合平臺(tái)，將重要數(shù)據(jù)遷移。

具體目標(biāo)如下：

二期項(xiàng)目中可以集成計(jì)財(cái)、運(yùn)營、人力資源等

系統(tǒng)報(bào)表；

支持?jǐn)?shù)據(jù)圖表展示、SQL查詢等個(gè)性化查詢需

求;

第8頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

將更多的管理應(yīng)用系統(tǒng)的數(shù)據(jù)源遷移至數(shù)據(jù)

平臺(tái)；

建立并推廣一套完整的需求與技術(shù)落地標(biāo)準(zhǔn)

與體系。

可以預(yù)見，隨著數(shù)據(jù)平臺(tái)的不斷成熟，業(yè)務(wù)部

門對(duì)數(shù)據(jù)平臺(tái)的認(rèn)知不斷提高，會(huì)有源源不斷的

需求基于數(shù)據(jù)平臺(tái)提出，這種變化將使得數(shù)據(jù)平

臺(tái)由前期技術(shù)部門“推”轉(zhuǎn)變?yōu)闃I(yè)務(wù)部門的“拉”,

讓業(yè)務(wù)需求作為數(shù)據(jù)平臺(tái)持續(xù)良好發(fā)展的源動(dòng)

力。

第3章整體設(shè)計(jì)方案

3.1系統(tǒng)設(shè)計(jì)方法論

3.1.1方法論

數(shù)據(jù)平臺(tái)的項(xiàng)目是一個(gè)長期的循序漸進(jìn)的

過程，也是一個(gè)不斷創(chuàng)新、修復(fù)、完善的過程，

其伴隨著應(yīng)用系統(tǒng)的發(fā)展而發(fā)展。根據(jù)貴行的業(yè)

務(wù)特點(diǎn)以及企業(yè)系統(tǒng)建設(shè)的現(xiàn)狀和未來發(fā)展藍(lán)

圖，致力打造一個(gè)可擴(kuò)展的、高可用性的、安全

的、高效的、跨部門的可以快速處理海量數(shù)據(jù)的

數(shù)據(jù)平臺(tái)。

在貴行數(shù)據(jù)平臺(tái)建設(shè)方面依據(jù)可重用性、安

全性、高可用性、可管理性、可擴(kuò)展性、高性能

第9頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

的設(shè)計(jì)原則采取總體規(guī)劃，分層實(shí)現(xiàn)的方式?？v

向?qū)用孀陨隙驴?，貴行數(shù)據(jù)平臺(tái)的架構(gòu)由邏輯

(應(yīng)用)架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)和物理架構(gòu)

四個(gè)層次組成，每個(gè)層次內(nèi)部又根據(jù)設(shè)計(jì)需要進(jìn)

行抽象分層，從而形成立體的貴行數(shù)據(jù)平臺(tái)項(xiàng)目

架構(gòu)方法。

邏輯(應(yīng)用)架構(gòu)是貴行數(shù)據(jù)平臺(tái)項(xiàng)目承載

的應(yīng)用體系，它描述了貴行數(shù)據(jù)平臺(tái)項(xiàng)目所要實(shí)

現(xiàn)的應(yīng)用需求，以及支撐這些應(yīng)用需求所必須的

公共模塊，如調(diào)度、監(jiān)控和元數(shù)據(jù)管理等工具組

件。

數(shù)據(jù)架構(gòu)承載了支撐應(yīng)用架構(gòu)所必須的業(yè)務(wù)

實(shí)體關(guān)系的分布，它通過數(shù)據(jù)模型的方式進(jìn)行組

織，主要分為緩沖數(shù)據(jù)層(ODS)、基礎(chǔ)數(shù)據(jù)層

(FDM)、加工匯總層(ADM)和數(shù)據(jù)集市層(MDM)

等四個(gè)層次。

技術(shù)架構(gòu)是用于支撐貴行數(shù)據(jù)平臺(tái)的數(shù)據(jù)分

布和流動(dòng)的技術(shù)框架，用到的技術(shù)有數(shù)據(jù)庫技

術(shù)、數(shù)據(jù)平臺(tái)技術(shù)、ETL技術(shù)、多維計(jì)算技術(shù)、

數(shù)據(jù)展現(xiàn)技術(shù)等。

作為最底層的物理架構(gòu)，是對(duì)貴行數(shù)據(jù)平臺(tái)

物理設(shè)備和網(wǎng)絡(luò)的合理規(guī)劃部署，它通過有效地

第10頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

利用硬件和網(wǎng)絡(luò)，并能夠添加硬件設(shè)備進(jìn)行擴(kuò)展

為上層架構(gòu)（技術(shù)架構(gòu)、數(shù)據(jù)架構(gòu)、邏輯架構(gòu)）

提供支撐能力。

貴行數(shù)據(jù)平臺(tái)架構(gòu)方法立體視圖

3.1.2設(shè)計(jì)原則

根據(jù)貴行數(shù)據(jù)平臺(tái)提出的系統(tǒng)建議的總體原

則，總結(jié)我們?cè)诙嗉医鹑跈C(jī)構(gòu)建設(shè)數(shù)據(jù)平臺(tái)經(jīng)

驗(yàn)，貴行數(shù)據(jù)平臺(tái)的設(shè)計(jì)原則體現(xiàn)如下原則：標(biāo)

準(zhǔn)規(guī)范，可擴(kuò)展，開放，前瞻，高性能，穩(wěn)定，

安全，易維護(hù)，實(shí)用，可管理，高可用，可重用。

第11頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

系統(tǒng)設(shè)計(jì)原則

3.1.2.1標(biāo)準(zhǔn)規(guī)范

建立標(biāo)準(zhǔn)的ETL開發(fā)流程，制定符合貴行數(shù)

據(jù)平臺(tái)的代碼標(biāo)準(zhǔn)化統(tǒng)一規(guī)范，設(shè)計(jì)應(yīng)對(duì)有高效

數(shù)據(jù)處理要求及日常低能耗操作的兼容性數(shù)據(jù)

模型，建設(shè)符合貴行數(shù)據(jù)平臺(tái)遠(yuǎn)景目標(biāo)利益的技

術(shù)管理體系。

1.數(shù)據(jù)模型：制定表名、字段名命名

規(guī)范標(biāo)準(zhǔn)。設(shè)計(jì)基礎(chǔ)標(biāo)準(zhǔn)模型及基于基礎(chǔ)數(shù)

據(jù)模型之上的未來建設(shè)的應(yīng)用系統(tǒng)的模型

標(biāo)準(zhǔn)。建立數(shù)據(jù)質(zhì)量管理機(jī)制，提高貴行數(shù)

據(jù)平臺(tái)的數(shù)據(jù)質(zhì)量,也是數(shù)據(jù)平臺(tái)邁向標(biāo)準(zhǔn)

第12頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

化規(guī)范化管理的重要環(huán)節(jié)。

2.ETL處理：將ETL處理程序分類化，

整理規(guī)范出各種ETL處理策略。確保ETL

開發(fā)人員所開發(fā)的ETL程序遵循中信總行

的規(guī)范。

3.ETL管理：建設(shè)ETL管理平臺(tái)，將其

納入貴行的ETL管理體系，形成有貴行特色

的ETL管理制度。

3.1.2.2開放性

系統(tǒng)建設(shè)遵循開放原則,適應(yīng)未來業(yè)務(wù)和技術(shù)

發(fā)展，與現(xiàn)有系統(tǒng)進(jìn)行有序的數(shù)據(jù)交互。

1.數(shù)據(jù)模型：數(shù)據(jù)模型的設(shè)計(jì)盡量接

口化，關(guān)系與抽象并存。應(yīng)對(duì)新出現(xiàn)的業(yè)務(wù)

種類，同時(shí)能夠兼容與現(xiàn)有系統(tǒng)進(jìn)行數(shù)據(jù)交

互，完成輸入與輸出系統(tǒng)的角色。

2.ETL處理：ETL程序處理邏輯規(guī)則模

塊化，應(yīng)對(duì)日益更新的技術(shù)發(fā)展及業(yè)務(wù)變

更。

3.相關(guān)產(chǎn)品：項(xiàng)目開發(fā)過程中使用的

宇信易誠工具類產(chǎn)品可以提供客戶相關(guān)開

發(fā)源碼進(jìn)行二次開發(fā)。

第13頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

4.后續(xù)開發(fā)：項(xiàng)目組再實(shí)施過程中，

會(huì)對(duì)客戶方科技人員進(jìn)行相關(guān)的技術(shù)培訓(xùn)I,

使科技人員能夠獨(dú)立的進(jìn)行ETL程序的開

發(fā)、報(bào)表開發(fā)、數(shù)據(jù)分發(fā)的設(shè)置、數(shù)據(jù)源配

-S-."vJ""vt'

3.1.2.3可擴(kuò)展性

可擴(kuò)展性是指數(shù)據(jù)平臺(tái)能夠支持貴行業(yè)務(wù)系

統(tǒng)和應(yīng)用系統(tǒng)發(fā)展的需要。在本項(xiàng)目中，具體要

從以下幾個(gè)方面考慮系統(tǒng)的可擴(kuò)展性：

1.數(shù)據(jù)模型：設(shè)計(jì)基礎(chǔ)數(shù)據(jù)層和數(shù)據(jù)

預(yù)處理層模型時(shí)應(yīng)充分考慮，除了能夠容納

現(xiàn)有源系統(tǒng)的結(jié)構(gòu)設(shè)計(jì),還應(yīng)該盡可能滿足

即將要上線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型，同時(shí)還需

要制定一套合理的模型設(shè)計(jì)規(guī)范，使得新上

線的業(yè)務(wù)系統(tǒng)數(shù)據(jù)模型能很方便地?cái)U(kuò)展到

數(shù)據(jù)平臺(tái)。

2.ETL處理：需要考慮兩個(gè)方面的擴(kuò)展

性,增加新的ETL任務(wù)處理以及原有任務(wù)所

處理的數(shù)據(jù)規(guī)模加大，ETL處理架構(gòu)必須能

適應(yīng)新的變化，需要考慮通過集群的方式來

擴(kuò)展。

第14頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

3.數(shù)據(jù)交換平臺(tái)：在設(shè)計(jì)時(shí)應(yīng)考慮，

隨著分發(fā)數(shù)據(jù)規(guī)模的擴(kuò)大和推送節(jié)點(diǎn)的增

多，對(duì)交換處理和傳輸處理的性能要求會(huì)越

來越高，必須支持集群的方式進(jìn)行擴(kuò)展。此

外，數(shù)據(jù)交換平臺(tái)還必須提供二次開發(fā)接

口，支持SOA服務(wù)模式，可以進(jìn)行應(yīng)用級(jí)的

擴(kuò)展。

4.服務(wù)器：平臺(tái)中的每一種服務(wù)器都

使用集群擴(kuò)展模式，可以通過對(duì)服務(wù)器數(shù)量

的增加獲得更好的數(shù)據(jù)處理和查詢能力。

3.1.2.4高性能

高性能是指在硬件資源有限的情況下,數(shù)據(jù)平

臺(tái)應(yīng)盡可能的支持盡量多的數(shù)據(jù)服務(wù)需求，還能

承受用戶峰值時(shí)間段壓力，使得數(shù)據(jù)平臺(tái)能夠滿

足分行范圍內(nèi)的使用者。在本項(xiàng)目中，高性能的

設(shè)計(jì)主要體現(xiàn)在以下幾個(gè)方面：

1.ETL處理：在進(jìn)行ETL設(shè)計(jì)時(shí)，需要

考慮大數(shù)據(jù)量條件下的處理效率,確保在規(guī)

定的時(shí)間窗口內(nèi)完成ETL處理,特別是一些

特殊日期的ETL處理，例如結(jié)息日、月底等。

2.數(shù)據(jù)交換平臺(tái)：需要考慮在大數(shù)據(jù)

第15頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

量條件下的文件傳輸效率，主要也是體現(xiàn)在

一些特殊日期條件下的文件傳輸，以及特殊

情況下的全量文件傳輸。

3.數(shù)據(jù)庫設(shè)計(jì)：對(duì)一些海量數(shù)據(jù)表或

頻繁訪問的數(shù)據(jù)表,在數(shù)據(jù)庫設(shè)計(jì)的時(shí)候需

要從數(shù)據(jù)庫設(shè)計(jì)的角度考慮性能優(yōu)化機(jī)制。

3.1.2.5可管理性

這里所說的可管理性主要是指系統(tǒng)運(yùn)維的可

管理性。比如：在實(shí)際運(yùn)行過程中，系統(tǒng)能很方

便地對(duì)系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，查看數(shù)據(jù)質(zhì)量

情況；出現(xiàn)系統(tǒng)異常時(shí)，能及時(shí)收到消息通知，

并有一套完善的流程來處理數(shù)據(jù)或系統(tǒng)方面的

異常等等。在本項(xiàng)目中，可管理性的設(shè)計(jì)具體表

現(xiàn)在以下幾個(gè)方面：

1.ETL處理：在ETL的總體設(shè)計(jì)時(shí)，確

保系統(tǒng)可以監(jiān)控全過程的運(yùn)行狀態(tài)，并能對(duì)

異常情況及時(shí)提醒,保存完整的處理日志信

息，并設(shè)計(jì)相應(yīng)的錯(cuò)誤處理流程。另外，還

需要考慮ETL任務(wù)配置的直觀圖形化。

2.數(shù)據(jù)管控：在總體設(shè)計(jì)時(shí)，應(yīng)充分

考慮數(shù)據(jù)的復(fù)雜性，必須能做到多而不亂，

第16頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

能夠清楚了解系統(tǒng)每一個(gè)應(yīng)用的轉(zhuǎn)換邏輯

和數(shù)據(jù)含義，在任何環(huán)節(jié)有變動(dòng)時(shí)，能迅速

的反饋?zhàn)儎?dòng)產(chǎn)生的影響。

3.數(shù)據(jù)交換平臺(tái)：在總體設(shè)計(jì)時(shí)，需

要充分考慮數(shù)據(jù)交換任務(wù)易于配置,傳輸結(jié)

果易于監(jiān)控。

3.1.2.6高可用性

高可用性是指系統(tǒng)在一些特殊情況發(fā)生時(shí),依

靠架構(gòu)的有效設(shè)計(jì)，仍然能保證正常運(yùn)行。在本

項(xiàng)目中，高可用性的設(shè)計(jì)主要體現(xiàn)在以下幾個(gè)方

面：

1.數(shù)據(jù)模型的可用性：模型的設(shè)計(jì)應(yīng)

能屏蔽證券業(yè)務(wù)源系統(tǒng)結(jié)構(gòu)的變化對(duì)數(shù)據(jù)

平臺(tái)集成平臺(tái)和將在其上建設(shè)的分析應(yīng)用

系統(tǒng)帶來影響。局部數(shù)據(jù)模型的擴(kuò)展不會(huì)對(duì)

其它數(shù)據(jù)模型產(chǎn)生大的影響。

2.ETL處理的可用性：應(yīng)充分考慮各源

系統(tǒng)的時(shí)間窗口可能存在不一致的情況,避

免出現(xiàn)一個(gè)系統(tǒng)的數(shù)據(jù)時(shí)間窗口沒有滿足

條件，影響到其它所有系統(tǒng)的ETL處理。

3.系統(tǒng)備份：當(dāng)正在運(yùn)行的系統(tǒng)出現(xiàn)

第17頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

異常時(shí)，系統(tǒng)應(yīng)具備相應(yīng)的備份恢復(fù)機(jī)制，

確保系統(tǒng)能及時(shí)恢復(fù)處理。

4.各個(gè)功能模塊設(shè)計(jì)時(shí)應(yīng)考慮自己的

運(yùn)行管理流程。

3.1.2.7安全性

在本項(xiàng)目中，安全性主要包括兩個(gè)層面的含

義：一是防止數(shù)據(jù)服務(wù)體系的數(shù)據(jù)資源被惡意修

改和盜??；二是防止數(shù)據(jù)在傳輸過程中被截留和

篡改。在本項(xiàng)目中，安全性的設(shè)計(jì)具體體現(xiàn)在以

下方面：

1.對(duì)于第一個(gè)層面的安全性，主要依

賴于各應(yīng)用系統(tǒng)對(duì)用戶角色和功能權(quán)限的

控制。因此，在編寫基于數(shù)據(jù)服務(wù)體系的應(yīng)

用系統(tǒng)設(shè)計(jì)開發(fā)規(guī)范時(shí),應(yīng)明確要求應(yīng)用系

統(tǒng)必須充分考慮安全性的設(shè)計(jì)。若貴行建設(shè)

有面向管理系統(tǒng)的統(tǒng)一用戶認(rèn)證平臺(tái)(UA),

可以考慮通過UA來管理用戶權(quán)限。

對(duì)于數(shù)據(jù)范圍方面的安全控制要求,在梳理

出貴行數(shù)據(jù)平臺(tái)應(yīng)用需求與目標(biāo)用戶權(quán)限

關(guān)系之后，通過在程序中對(duì)數(shù)據(jù)進(jìn)行過濾，

用戶無法涉及其權(quán)限范圍以外的數(shù)據(jù)，以確

第18頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

保數(shù)據(jù)范圍的安全。數(shù)據(jù)過濾程序可抽象為

一個(gè)準(zhǔn)確、高效、易管理維護(hù)的過濾器。

2.對(duì)于第二個(gè)層面的安全性，主要依

賴于文件傳輸過程中的加解密處理。因此,

數(shù)據(jù)交換平臺(tái)在進(jìn)行總體設(shè)計(jì)的時(shí)候需要

充分考慮數(shù)據(jù)傳輸過程中的安全性。

3.此外，系統(tǒng)在進(jìn)行網(wǎng)絡(luò)規(guī)劃時(shí)，對(duì)

系統(tǒng)的安全級(jí)別也需要進(jìn)行分析,必要時(shí)需

要提高網(wǎng)絡(luò)的安全級(jí)別，從物理設(shè)計(jì)層面提

高系統(tǒng)的安全性。

3.1.2.8可重用性

可重用性是指盡可能避免貴行數(shù)據(jù)服務(wù)體系

建設(shè)的重復(fù)投入，應(yīng)盡可能考慮包括物理設(shè)備、

系統(tǒng)軟件、框架組件、規(guī)范方法以及業(yè)務(wù)應(yīng)用等

多個(gè)層面上的復(fù)用。在本項(xiàng)目中，可重用性的設(shè)

計(jì)具體表現(xiàn)在以下幾個(gè)方面：

1.ETL功能組件：在設(shè)計(jì)ETL任務(wù)處理

流程時(shí)，要分析ETL任務(wù)的各個(gè)環(huán)節(jié)，盡可

能找出一些公用的ETL組件,進(jìn)行必要的封

裝，便于在模塊內(nèi)復(fù)用，進(jìn)而推廣到項(xiàng)目內(nèi)

進(jìn)行復(fù)用。

第19頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

2.數(shù)據(jù)預(yù)處理層的數(shù)據(jù)模型：在設(shè)計(jì)

數(shù)據(jù)預(yù)處理層的數(shù)據(jù)模型時(shí),應(yīng)充分考慮應(yīng)

用系統(tǒng)的數(shù)據(jù)加工需求,盡可能將一些共性

的加工需求在該層實(shí)現(xiàn)；并通過這種機(jī)制，

不斷擴(kuò)充和完善改成的數(shù)據(jù)模型，實(shí)現(xiàn)加工

數(shù)據(jù)的復(fù)用。

3.知識(shí)庫的復(fù)用：在ETL管理平臺(tái)中,

應(yīng)充分考慮知識(shí)庫的管理和使用流程，以便

運(yùn)維人員和業(yè)務(wù)人員復(fù)用知識(shí)庫的經(jīng)驗(yàn),來

解決和處理一些日常的問題。

4.組件復(fù)用：各模塊在開發(fā)的過程中,

注意提煉出一些可用共用的公共組件,在模

塊內(nèi)實(shí)現(xiàn)復(fù)用，甚至在模塊間實(shí)現(xiàn)復(fù)用。

5.硬件部署：在進(jìn)行硬件部署的規(guī)劃

時(shí)，應(yīng)充分對(duì)系統(tǒng)的處理規(guī)模進(jìn)行分析。如

果性能允許的話，盡可能集中部署，使用現(xiàn)

有設(shè)備，在硬件方面實(shí)現(xiàn)復(fù)用。

3.2數(shù)據(jù)平臺(tái)技術(shù)體系

3.2.1數(shù)據(jù)平臺(tái)邏輯架構(gòu)

第20頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

分行分析型數(shù)據(jù)區(qū)

-

由

數(shù)據(jù)倉庫

：

層

一

主

應(yīng)

共

理

用

數(shù)

性

模

數(shù)

集■

據(jù)

加

型

據(jù)

市

理

緩統(tǒng)

工

層

層

分

沖(D

EM發(fā)

層D認(rèn)

WIODI平

)M證

臺(tái)

)■一

平操

作

臺(tái)層

系

：

ODS：

任務(wù)調(diào)度元效據(jù)■數(shù)據(jù)辰?

貴行數(shù)據(jù)平臺(tái)邏輯架構(gòu)圖

上圖為宇信易誠對(duì)貴行數(shù)據(jù)平臺(tái)的邏輯架構(gòu)

建議設(shè)計(jì)圖。從邏輯架構(gòu)上看，數(shù)據(jù)平臺(tái)主要分

為下面幾個(gè)部分：

3.2.1.1數(shù)據(jù)集成區(qū)

數(shù)據(jù)集成區(qū)為總行區(qū)域,分行只需要提出對(duì)應(yīng)

接口需求，由數(shù)據(jù)集成區(qū)下發(fā)至分行，目前的范

圍包含了總行ODS、數(shù)據(jù)倉庫。

3.2.1.2分行分析型數(shù)據(jù)區(qū)

分行分析型數(shù)據(jù)區(qū)包含報(bào)表數(shù)據(jù)區(qū)、應(yīng)用服務(wù)

區(qū)及訪問層區(qū)；

報(bào)表數(shù)據(jù)區(qū)將總行數(shù)倉、ODS數(shù)據(jù)經(jīng)分發(fā)平

第21頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

臺(tái)下發(fā)至分行數(shù)據(jù)進(jìn)行整合，選用宇信易誠的

YC.LDM作為參考模型，建立數(shù)據(jù)緩沖層、基

礎(chǔ)整合層、共性加工層、應(yīng)用集市層。其中基礎(chǔ)

整合層模型是用來統(tǒng)一存儲(chǔ)整合企業(yè)所有源系

統(tǒng)的業(yè)務(wù)數(shù)據(jù)；共性加工層數(shù)據(jù)模型主要是用來

存儲(chǔ)一些共性數(shù)據(jù)指標(biāo)，為各應(yīng)用系統(tǒng)提供共同

的基礎(chǔ)數(shù)據(jù)預(yù)處理，提高數(shù)據(jù)共享程度和數(shù)據(jù)使

用效率。

應(yīng)用服務(wù)區(qū)按照?qǐng)?bào)表類別及指標(biāo)作用劃分為

固定報(bào)表、即席報(bào)表、OLAP、儀表盤等，滿足

業(yè)務(wù)報(bào)表需求。

訪問層主要對(duì)用戶角色、操作權(quán)限進(jìn)行管理;

3.2.1.3管理平臺(tái)區(qū)

管理平臺(tái)區(qū)包括任務(wù)調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量

三大模塊。分行需要建設(shè)自身的調(diào)度平臺(tái)。可以

采用總行統(tǒng)一調(diào)度平臺(tái)ETLPLUS或宇信公司

USE調(diào)度產(chǎn)產(chǎn)品，實(shí)現(xiàn)對(duì)作業(yè)調(diào)度、監(jiān)控和配

制管理，支持各類ETLJOB的調(diào)度，能夠與主

流ETL工具集成，支持對(duì)調(diào)度策略、執(zhí)行過程、

錯(cuò)誤日志的實(shí)時(shí)監(jiān)控。此外ETL管理平臺(tái)支持

文件到達(dá)監(jiān)控，ETL集群部署與集群調(diào)度以及

針對(duì)各個(gè)服務(wù)器資源的運(yùn)行情況監(jiān)控。

第22頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

元數(shù)據(jù)及數(shù)據(jù)質(zhì)量使用總行元數(shù)據(jù)及數(shù)據(jù)質(zhì)

量標(biāo)準(zhǔn),，本期暫不考慮分行自建。

3.2.1.4統(tǒng)一報(bào)表展現(xiàn)平臺(tái)

統(tǒng)一報(bào)表展現(xiàn)平臺(tái)（報(bào)表平臺(tái)）是本期基于數(shù)

據(jù)平臺(tái)之上建立的一個(gè)報(bào)表系統(tǒng)，實(shí)現(xiàn)對(duì)報(bào)表的

統(tǒng)一管理以及統(tǒng)一展現(xiàn)服務(wù)，向用戶展現(xiàn)數(shù)據(jù)平

臺(tái)數(shù)據(jù)整合的成果。報(bào)表平臺(tái)在功能上需要具備

系統(tǒng)管理、報(bào)表管理、報(bào)表展現(xiàn)（業(yè)務(wù)報(bào)表需求）、

BI工具集成，報(bào)表目錄與分類，靈活查詢以及

報(bào)表統(tǒng)計(jì)等功能。通過BI工具開發(fā)的報(bào)表能夠

被報(bào)表展現(xiàn)平臺(tái)無縫集成并且以最方便、最直觀

的方式提供給報(bào)表的使用者。在本次貴行數(shù)據(jù)平

臺(tái)建設(shè)中，圖表展示、SQL靈活查詢均將作為

一類特殊的報(bào)表系統(tǒng)的應(yīng)用。由統(tǒng)一報(bào)表展現(xiàn)平

臺(tái)完成功能集成與發(fā)布，向用戶提供統(tǒng)一的訪問

入口以及應(yīng)用體驗(yàn)。

3.2.1.5ETL設(shè)計(jì)關(guān)鍵技術(shù)點(diǎn)說明

3.2.1.5.1.1ETL處理策略

原則上因機(jī)構(gòu)撤并造成的新增賬戶仍以新

增帳戶處理，賬戶間的關(guān)系通過機(jī)構(gòu)拆并表進(jìn)行

對(duì)應(yīng)。如果有臟數(shù)據(jù)，依據(jù)數(shù)據(jù)情況另行處理。

賬戶主檔表的處理：新增賬戶直接插入

第23頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

拉鏈表的處理：關(guān)閉老賬戶，以銷戶方式處

理；新增賬戶直接插入。

3.2.1.5.1.2ETL處理流程

源系統(tǒng)數(shù)據(jù)中心應(yīng)用系統(tǒng)

機(jī)構(gòu)撤并ETL處理流程

.2質(zhì)量檢核

3.2.1.5.2.1ETL處理原則

質(zhì)量檢核是數(shù)據(jù)準(zhǔn)確性的外部保證，應(yīng)盡量

提供檢核處理

檢核處理不能對(duì)ETL處理有較大性能上的

影響

檢核處理不能對(duì)時(shí)間窗口壓力過大

3.2.1.5.2.2ETL處理方法

檢核作業(yè)與該表的數(shù)據(jù)處理作業(yè)封裝在同

一個(gè)作業(yè)組中

3.2.2數(shù)據(jù)采集設(shè)計(jì)

第24頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

在數(shù)據(jù)平臺(tái)架構(gòu)中，數(shù)據(jù)采集平臺(tái)的設(shè)計(jì)主要

體現(xiàn)在T+1數(shù)據(jù)采集區(qū)技術(shù)架構(gòu)、數(shù)據(jù)補(bǔ)錄、

數(shù)據(jù)處理平臺(tái)三個(gè)方面的設(shè)計(jì)。

數(shù)據(jù)采集模式

3.2.2.1T+1數(shù)據(jù)采集

T+1數(shù)據(jù)采集的主要功能需要從源系統(tǒng)中采

集數(shù)據(jù)到數(shù)據(jù)集成平臺(tái)的源系統(tǒng)數(shù)據(jù)文件落地

區(qū)。通用的數(shù)據(jù)采集方法如下：

1.自行開發(fā)通用的數(shù)據(jù)下載平臺(tái)，將源系統(tǒng)生

產(chǎn)數(shù)據(jù)同步到數(shù)據(jù)采集區(qū)。這種模式常用于

核心系統(tǒng)增量數(shù)據(jù)采集。通過該模式基本上

能按需要來定制開發(fā)數(shù)據(jù)采集程序，靈活性

第25頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

大，效率也較高，同時(shí)還可以集成增量比對(duì)、

亂碼校驗(yàn)及修正、壓縮打包、拆分并發(fā)處理、

傳輸處理等功能，是一個(gè)務(wù)實(shí)的做法。但該

模式也存在一個(gè)致命的問題，那就是如何確

定增量數(shù)據(jù)的問題？如果通過數(shù)據(jù)庫日志

來獲取，難度很大，而且也并不一定可行；

如果通過數(shù)據(jù)庫結(jié)構(gòu)的某個(gè)字段來識(shí)別，這

完全取決于源系統(tǒng)最初設(shè)計(jì)時(shí)是否考慮了

增量備份的需求；不幸的是，大多數(shù)情況下,

并沒有考慮。于是，不得不采用先全量下載

的方式，然后傳送到數(shù)據(jù)采集區(qū)，再通過數(shù)

據(jù)采集區(qū)來實(shí)現(xiàn)增量對(duì)比。在這種模式下，

全量數(shù)據(jù)的傳輸無疑又是一個(gè)新的問題。事

實(shí)上，這也正是大部分?jǐn)?shù)據(jù)平臺(tái)目前面臨的

實(shí)際問題。

2.由源系統(tǒng)本身開發(fā)數(shù)據(jù)下載腳本,在本地生

成數(shù)據(jù)，然后通過文件傳輸工具發(fā)送到數(shù)據(jù)

采集區(qū)。這種模式常用于核心系統(tǒng)以外的其

他源系統(tǒng)數(shù)據(jù)采集，這主要是考慮其他源系

統(tǒng)的數(shù)據(jù)采集量不大，而且各源系統(tǒng)架構(gòu)多

樣化，不適宜采用通用的數(shù)據(jù)下載工具。這

種模式是一種主動(dòng)采集模式。

第26頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

上述兩種數(shù)據(jù)采集模式，均各有特點(diǎn)，鑒于總

行下發(fā)數(shù)據(jù)都是采集過的，分行只需要將特色系

統(tǒng)數(shù)據(jù)定時(shí)FTP下發(fā)即可。

T+1數(shù)據(jù)采集除了考慮上述采集技術(shù)外,還應(yīng)

該設(shè)計(jì)T+1數(shù)據(jù)采集區(qū)的存儲(chǔ)方式。分行數(shù)據(jù)

平臺(tái)僅需按一定的規(guī)則存儲(chǔ)不同來源基礎(chǔ)數(shù)據(jù)。

通常的做法是，數(shù)據(jù)采集區(qū)的數(shù)據(jù)以文件的方式

保存，不用加載到數(shù)據(jù)庫。這些數(shù)據(jù)文件的保存

周期大約為7天左右，最長不應(yīng)超過一個(gè)數(shù)據(jù)糾

錯(cuò)周期。

3.2.2.2數(shù)據(jù)補(bǔ)錄

數(shù)據(jù)補(bǔ)錄是為了彌補(bǔ)數(shù)據(jù)源缺失或者業(yè)務(wù)系

統(tǒng)建設(shè)不完善的情況而設(shè)置特殊采集模式。在本

方案中數(shù)據(jù)補(bǔ)錄功能采用宇信易誠開發(fā)的產(chǎn)品

(YC.RIDP)來實(shí)現(xiàn)。

數(shù)據(jù)補(bǔ)錄模塊的提供是針對(duì)不同業(yè)務(wù)數(shù)據(jù)庫

的通用數(shù)據(jù)錄入工具，包括頁面錄入和模板錄入

以及數(shù)據(jù)入庫的審批流程。支持對(duì)錄入數(shù)據(jù)的事

件處理(如新增前進(jìn)行有效性數(shù)據(jù)檢查、新增后

進(jìn)行數(shù)據(jù)平衡校驗(yàn)等，使用檢核規(guī)則來實(shí)現(xiàn))。

數(shù)據(jù)補(bǔ)錄工具服務(wù)于各部門、各機(jī)構(gòu)的數(shù)據(jù)錄

入人員。該模塊使用到“數(shù)據(jù)集管理”功能。

第27頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

3.2.2.2.1檢核規(guī)則管理

檢核規(guī)則有兩種類型:存儲(chǔ)過程、正則表達(dá)式,

是用于對(duì)錄入數(shù)據(jù)進(jìn)行合法性檢核而定義的規(guī)

則。存儲(chǔ)過程類型的檢核規(guī)則必須要有輸入?yún)?shù)

和輸出字段，其中輸入?yún)?shù)得到需要檢核的數(shù)據(jù)

的值，輸出參數(shù)返回檢核結(jié)果的標(biāo)志位。

管理員建立錄入任務(wù)的時(shí)候,可以在檢核規(guī)則

設(shè)置界面設(shè)置錄入的數(shù)據(jù)所對(duì)應(yīng)的檢核規(guī)則，可

以設(shè)置數(shù)據(jù)入庫前、入庫后、修改前、修改后等

各種檢核規(guī)則。

3.2.2.2.2錄入任務(wù)管理

錄入任務(wù)是對(duì)一項(xiàng)錄入工作的總體安排,包括

錄入的目標(biāo)表、操作控制信息、使用的檢核規(guī)則、

批量錄入模板的管理和權(quán)限控制等一系列內(nèi)容。

1.目標(biāo)表：錄入的數(shù)據(jù)將被保存到這個(gè)表中，

目標(biāo)表也是一個(gè)數(shù)據(jù)集。

2.操作控制信息：控制錄入任務(wù)是否可以被新

增、修改、刪除。

3.檢核規(guī)則：用于對(duì)錄入數(shù)據(jù)進(jìn)行檢核，可設(shè)

第28頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

置在入庫前、入庫后、修改前、修改后、

任務(wù)分發(fā)前、任務(wù)分發(fā)后等時(shí)間點(diǎn)觸發(fā)

檢核過程。

4.批量錄入模板：用于批量導(dǎo)入數(shù)據(jù)。

5.權(quán)限管理：設(shè)置錄入任務(wù)的可見機(jī)構(gòu)，用于

控制權(quán)限。

錄入任務(wù)建立并且分發(fā)完畢后,管理員可通過

“權(quán)限管理”菜單下的“權(quán)限對(duì)照設(shè)置”子菜單,

來修改錄入任務(wù)的操作權(quán)限。

3.2.2.2.3數(shù)據(jù)錄入

錄入任務(wù)定義好之后,用戶可以在此界面進(jìn)行

具體數(shù)據(jù)的錄入。

第29頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

數(shù)據(jù)錄入

錄入任務(wù)：數(shù)將錄入選奔Excel模板：|逐球下或［上.J

IDSSHMLUESCORELOCATIONNOTES

|||||「|「］「|‘刪除

確定取消

數(shù)據(jù)錄入

用戶也可以下載批量錄入模板,按模板樣式填

好數(shù)據(jù)之后，可以將批量錄入文件上傳至服務(wù)器

并導(dǎo)入文件中的數(shù)據(jù)。

ElicrosoftExcel20080314160720做據(jù)錄入”J.XIN

Mttqp現(xiàn)由9格式。IJKX）劃8QP■口Q）招助QP庭兒病更劈助的向融

/山，與7A金…Ir&:…

?SnyUbJ口J司

A1▼￡B4-H4

B4m10.II

致施充入

LOCATIO

IDAPPIDIDSSVAL'JESCORENMOTES

如果S入數(shù)據(jù)初出第一格指定的K域諾修改第?格的內(nèi)效區(qū)域葩限;第

二格注春，0—新雄、1一修改、2一■除

批?錄入模板

如果管理員將錄入任務(wù)定義成不需要審批的

狀態(tài)，那么錄入員將數(shù)據(jù)寫入臨時(shí)數(shù)據(jù)后，就可

以直接將它們提交入庫。

3.2.2.2.4查詢操作

用戶可查詢錄入任務(wù)的正式數(shù)據(jù)和臨時(shí)數(shù)據(jù)。

第30頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

可對(duì)錄入任務(wù)的各個(gè)查詢字段輸入條件來篩選

數(shù)據(jù)。

數(shù)據(jù)錄入

直有字段

VALUE

SCORE

奏改放疊畫麗F（物時(shí)散塞力在你時(shí)表中的獨(dú)露.正式數(shù)搭力用戶菱錄入的目標(biāo)表中的敷霜）

K愴?xiàng)l件

錄入日期日日-必境

當(dāng)燈狀態(tài)Z一

瑜定取消

錄入查詢

查詢臨時(shí)數(shù)據(jù)時(shí)，還可以對(duì)“未提交”或者“不

通過”的數(shù)據(jù)進(jìn)行審批操作。

3.2.2.2.5錄入任務(wù)審批

用于對(duì)用戶錄入的臨時(shí)表數(shù)據(jù)進(jìn)行審核及入

庫操作。

用戶錄入的數(shù)據(jù)存放在臨時(shí)表中，需要對(duì)臨時(shí)

表數(shù)據(jù)審核之后，才可以正式入庫。

數(shù)據(jù)錄入

名稱數(shù)據(jù)錄入行猿loooooooost布日期20D8-03-14IwM

I2APPIO2ssWALUESCORELOCATIONNOTES.作

共。條記錄頁次：1/110條須轉(zhuǎn)到第1員±-Tf5拈二取新

返回握艾南川

錄入審批

3.3數(shù)據(jù)平臺(tái)數(shù)據(jù)體系

3.3.1數(shù)據(jù)架構(gòu)設(shè)計(jì)

第31頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

數(shù)據(jù)平臺(tái)數(shù)據(jù)架構(gòu)

數(shù)據(jù)平臺(tái)數(shù)據(jù)架構(gòu)上可分為以下層次：

?源系統(tǒng)數(shù)據(jù)落區(qū)

?緩沖數(shù)據(jù)層(數(shù)據(jù)平臺(tái)-ODM)

?基礎(chǔ)整合層(FDM)

?共性加工層(ADM)

?數(shù)據(jù)集市層(MDM)

3.3.1.1源系統(tǒng)數(shù)據(jù)落地區(qū)

貴行數(shù)據(jù)平臺(tái)的數(shù)據(jù)來源將囊括總行下發(fā)數(shù)

據(jù)、貴行主要系統(tǒng)模塊，包括公司、零售、同業(yè)、

第32頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

績效、運(yùn)營、人力資源多個(gè)子模塊等。數(shù)據(jù)平臺(tái)

每日將總行的增量數(shù)據(jù)將首先以文件形式落地

在源系統(tǒng)數(shù)據(jù)洛地區(qū)內(nèi)，每日的數(shù)據(jù)文件以系統(tǒng)

+日期的形式存儲(chǔ)在特定的文件目錄內(nèi)，之后由

數(shù)據(jù)平臺(tái)的數(shù)據(jù)加載程序完成從文件向數(shù)據(jù)庫

貼源區(qū)裝載的過程。源系統(tǒng)數(shù)據(jù)落地區(qū)的文件需

要保留一定的糾錯(cuò)周期，一般保留周期為1周?1

個(gè)月。

3.3.1.2緩沖數(shù)據(jù)層(ODM)

該層本質(zhì)上是業(yè)務(wù)系統(tǒng)、總行下發(fā)數(shù)據(jù)與數(shù)據(jù)

平臺(tái)之間的中間緩存層次，有以下特點(diǎn)：

?對(duì)接總行ODS、倉庫下發(fā)的主題及匯總數(shù)

據(jù)

?基于分行特色業(yè)務(wù)系統(tǒng)的整理和分析按

照業(yè)務(wù)流程進(jìn)行梳理對(duì)關(guān)鍵業(yè)務(wù)及相關(guān)

信息進(jìn)行抽取整合；

?可按照需要進(jìn)行必要的裁剪但不作轉(zhuǎn)換

和聚合處理；

?不保留歷史信息，每日增量、全量業(yè)務(wù)信

息；

?緩沖數(shù)據(jù)層的數(shù)據(jù)是經(jīng)過標(biāo)準(zhǔn)化的在該

入庫過程進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理動(dòng)作。

第33頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

緩沖層的存儲(chǔ)周期一般僅作為緩沖處理保留周

期為1天。

3.3.1.3基礎(chǔ)整合層(FDM)

基礎(chǔ)整合層(FDM)基于緩沖層主題或非主

題數(shù)據(jù)，進(jìn)行處理和轉(zhuǎn)化?？傂邢掳l(fā)的ODS、

倉庫是經(jīng)過了標(biāo)準(zhǔn)化處理后的，可以直接進(jìn)行主

題存儲(chǔ)。針對(duì)緩沖層非主題書，按照總行主題進(jìn)

行存放，可以結(jié)合分行特色，抽象符合分行特色

的主題域。主題域是對(duì)銀行業(yè)務(wù)的抽象。它著眼

于銀行經(jīng)營活動(dòng)中的要素：團(tuán)體、協(xié)議、事件、

產(chǎn)品等以及這些要素間的關(guān)系。

基礎(chǔ)數(shù)據(jù)層還存儲(chǔ)通過分行平臺(tái)應(yīng)用補(bǔ)錄

的匯總及明細(xì)數(shù)據(jù)。該區(qū)域存儲(chǔ)需要考慮存儲(chǔ)規(guī)

劃，一般建議至少保留1年以上，通過合理的數(shù)

據(jù)庫規(guī)劃可以保留3~5年。

3.3.1.4共性加工層(ADM)

共性加工層(ADM)。該數(shù)據(jù)層主要存放總行

下發(fā)共性明細(xì)、匯總數(shù)據(jù)、以及分行自建的統(tǒng)計(jì)

指標(biāo)數(shù)據(jù)。該層數(shù)據(jù)必須要設(shè)計(jì)相應(yīng)的數(shù)據(jù)模

型。該數(shù)據(jù)層部數(shù)據(jù)是在FDM層的基礎(chǔ)上，經(jīng)

過運(yùn)算加工得到的。根據(jù)我們對(duì)應(yīng)用需求的理解

和提煉，暫規(guī)劃為機(jī)構(gòu)、客戶、產(chǎn)品、渠道、財(cái)

第34頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

務(wù)等匯總模型等幾個(gè)關(guān)鍵主題，完成多維匯總模

型與指標(biāo)體系的規(guī)劃和建設(shè)。

共性加工層的數(shù)據(jù)因?yàn)橐呀?jīng)按照一定粒度進(jìn)

行匯總加工，數(shù)據(jù)量能夠得到控制，因此數(shù)據(jù)存

儲(chǔ)周期一般可以保留5年以上。建議再存儲(chǔ)充足

的情況下一直保留。

3.3.1.5數(shù)據(jù)集市層（MDM）

數(shù)據(jù)集市層保存各管理信息應(yīng)用系統(tǒng)所對(duì)應(yīng)

的數(shù)據(jù)集市。數(shù)據(jù)集市建設(shè)面向具體的業(yè)務(wù)應(yīng)

用，數(shù)據(jù)集市的數(shù)據(jù)是在邏輯模型層數(shù)據(jù)的基礎(chǔ)

上按需生成，允許一定的數(shù)據(jù)冗余，以提高管理

信息系統(tǒng)的數(shù)據(jù)訪問效率。結(jié)合行內(nèi)使用，可以

建立面向零售應(yīng)用、對(duì)公應(yīng)用、計(jì)財(cái)、運(yùn)營、考

核相關(guān)集市數(shù)據(jù)，后續(xù)可以根據(jù)業(yè)務(wù)發(fā)展的需要

逐步進(jìn)行擴(kuò)充。

數(shù)據(jù)集市的數(shù)據(jù)量較小，建議永久保留。

3.3.1.6各層次數(shù)據(jù)特點(diǎn)對(duì)比

下表對(duì)貼源數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)層、共性匯總層、

數(shù)據(jù)集市層次之間數(shù)據(jù)特點(diǎn)和差異作說明：

源系統(tǒng)共性數(shù)據(jù)

貼源數(shù)基礎(chǔ)數(shù)據(jù)

數(shù)據(jù)落匯總集市

據(jù)層層

地區(qū)層層

第35頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

面向特面向

數(shù)面向

定業(yè)務(wù)面向特面向抽象信息

據(jù)應(yīng)用

用途定業(yè)務(wù)主題的模查詢/

用統(tǒng)計(jì)、

用途型化存儲(chǔ)多維

途分析

分析

數(shù)不同業(yè)

不同業(yè)按業(yè)按應(yīng)

據(jù)務(wù)之間按主題集

務(wù)之間務(wù)集用集

組分散成的

分散成的成的

織

數(shù)業(yè)務(wù)數(shù)

星型

據(jù)據(jù)結(jié)構(gòu)業(yè)務(wù)數(shù)關(guān)系數(shù)據(jù)星型

數(shù)據(jù)

結(jié)據(jù)結(jié)構(gòu)結(jié)構(gòu)結(jié)構(gòu)

結(jié)構(gòu)

構(gòu)

數(shù)可變的

據(jù)相對(duì)穩(wěn)定

不變不變

穩(wěn)可變的的,保留歷

的的

定史軌跡

性

數(shù)明細(xì)的經(jīng)過經(jīng)過

據(jù)一次一次

明細(xì)的明細(xì)的

粒數(shù)據(jù)數(shù)據(jù)

度集合集合

第36頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

數(shù)反映當(dāng)歷史歷史

據(jù)前業(yè)務(wù)反映當(dāng)歷史的，反的，反的，反

能信息的前業(yè)務(wù)映長期的映長映長

見信息的信息期的期的

度信息信息

數(shù)

據(jù)未標(biāo)準(zhǔn)

標(biāo)準(zhǔn)化標(biāo)準(zhǔn)標(biāo)準(zhǔn)

標(biāo)化的標(biāo)準(zhǔn)化的

的化的化的

準(zhǔn)

化

數(shù)*虹高，實(shí)

高，實(shí)低、低、

據(jù)時(shí)、低、T+1

時(shí)、T+1和T+1和

時(shí)T+1和歷史數(shù)

T+1和歷史歷史

效據(jù)

歷史的數(shù)據(jù)數(shù)據(jù)

性

3.3.2數(shù)據(jù)模型設(shè)計(jì)

3.3.2.1基礎(chǔ)整合層

主題模型區(qū)按照總行ODS/數(shù)倉主題進(jìn)行存

儲(chǔ)，結(jié)合分行特色抽象提取特色主題。

數(shù)據(jù)補(bǔ)錄區(qū)提供數(shù)據(jù)的補(bǔ)充和錄入功能,是數(shù)

據(jù)完整性、一致性、有效性的有力保證。提供對(duì)

第37頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

錄入數(shù)據(jù)的組織權(quán)限、業(yè)務(wù)權(quán)限和數(shù)據(jù)權(quán)限的全

面控制。

使用檢核規(guī)則實(shí)現(xiàn)對(duì)錄入數(shù)據(jù)的事件處理,可

對(duì)數(shù)據(jù)新增前、新增后、修改前、修改后等事件

關(guān)聯(lián)檢核規(guī)則，以便對(duì)數(shù)據(jù)進(jìn)行有效性數(shù)據(jù)檢

查、數(shù)據(jù)平衡校驗(yàn)等操作。

3.3.2.2共性加工層

3.3.2.2.1共性層模型設(shè)計(jì)思路

根據(jù)在數(shù)據(jù)集市應(yīng)用的經(jīng)驗(yàn)和對(duì)貴行各類業(yè)

務(wù)需求的理解，我們可以將此類業(yè)務(wù)需求分為如

下三類：

＞基礎(chǔ)數(shù)據(jù)類需求:此類需求主要為明細(xì)

業(yè)務(wù)查詢，業(yè)務(wù)部門卸數(shù)需求，外部監(jiān)管、

外部數(shù)據(jù)交換和對(duì)賬等,或者其他數(shù)據(jù)深加

工等方面的基礎(chǔ)數(shù)據(jù)準(zhǔn)備需求。

＞加工指標(biāo)類需求:主要是匯總類的指標(biāo)

數(shù)據(jù)O這些指標(biāo)主要是為各業(yè)務(wù)部門的報(bào)表

里面的指標(biāo)項(xiàng)，包括上報(bào)外部監(jiān)管部門報(bào)表

等，例如內(nèi)部管理報(bào)表“經(jīng)營分析報(bào)告”中

的各個(gè)指標(biāo)項(xiàng)。

A報(bào)表/圖形展現(xiàn)類需求：貼近最終用戶

的形成報(bào)表/圖的展現(xiàn)需求來進(jìn)行設(shè)計(jì)，多

第38頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

數(shù)情況下都是基于對(duì)基礎(chǔ)數(shù)據(jù)、指標(biāo)數(shù)據(jù)的

基礎(chǔ)上通過展現(xiàn)工具將數(shù)據(jù)變?yōu)樾畔⒌倪^

程。

圖表1業(yè)務(wù)需求類型

根據(jù)這三類不同應(yīng)用需求特點(diǎn)，和不同數(shù)據(jù)層次

數(shù)據(jù)粒度要求，可以對(duì)應(yīng)到數(shù)據(jù)平臺(tái)模型設(shè)計(jì)對(duì)

應(yīng)的數(shù)據(jù)層次來：

＞基礎(chǔ)數(shù)據(jù)類需求對(duì)應(yīng)數(shù)據(jù)平臺(tái)中的基

礎(chǔ)數(shù)據(jù)層；

＞加工指標(biāo)類需求對(duì)應(yīng)于數(shù)據(jù)平臺(tái)中的

共性加工數(shù)據(jù)層數(shù)據(jù)（當(dāng)然，加工指標(biāo)類數(shù)

據(jù)還有為某應(yīng)用系統(tǒng)所獨(dú)有的指標(biāo)數(shù)據(jù),為

第39頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

了數(shù)據(jù)平臺(tái)模型整體架構(gòu)的層次更加鮮明

和清晰,我們把它歸入下一層的數(shù)據(jù)集市模

型）；

A而報(bào)表/圖形類需求，則更接近于數(shù)據(jù)

集市模型；

點(diǎn)在本項(xiàng)目的共性加工直數(shù)據(jù)模型建設(shè)中「將

重點(diǎn)從目前需建設(shè)的應(yīng)用系統(tǒng)需求中的提煉共

性需求，建議ADM數(shù)據(jù)層設(shè)計(jì)不宜過“厚。

以免統(tǒng)計(jì)口徑不一致或粒度不符合業(yè)務(wù)需求而

重復(fù)開發(fā)。

3.3.2.2.2共性加工層模型建設(shè)方法

在共性加工數(shù)據(jù)層設(shè)計(jì)時(shí),要充分理解其共性

（即多應(yīng)用系統(tǒng)共用的數(shù)據(jù)）和加工（數(shù)據(jù)匯總、

加工）的兩個(gè)特點(diǎn)，才能在其數(shù)據(jù)模型設(shè)計(jì)中做

出最好的成果。因此，共性加工層數(shù)據(jù)模型的建

設(shè)也就是回答好以下幾個(gè)問題：

?模型存儲(chǔ)什么數(shù)據(jù)？

?數(shù)據(jù)如何獲取？

A數(shù)據(jù)如何存儲(chǔ)？

?模型中數(shù)據(jù)如何組織？

?模型中數(shù)據(jù)如何被使用？

第40頁

數(shù)據(jù)平臺(tái)系統(tǒng)投標(biāo)書一技術(shù)部分

＞模型如何滿足多應(yīng)用系統(tǒng)共性數(shù)據(jù)存儲(chǔ)

的需求？

＞模型如何適應(yīng)指標(biāo)頻繁變化的要求？

3.3.2.2.2.1存儲(chǔ)什么數(shù)據(jù)：存儲(chǔ)具有一定程度匯總的指標(biāo)

共性加工數(shù)據(jù)層存放的是經(jīng)過一定程度加工

匯總的指標(biāo)數(shù)據(jù)。這些指標(biāo)擁有其獨(dú)有的業(yè)務(wù)口

徑，和相應(yīng)的統(tǒng)計(jì)規(guī)則，同時(shí)，指標(biāo)也是具有一

定粒度的。

典型如我們大家都了解的“儲(chǔ)蓄余額”指標(biāo)，其

業(yè)務(wù)口徑和統(tǒng)計(jì)規(guī)則可理解如下：

?業(yè)務(wù)口徑:對(duì)私定活期科目的存款余額的

匯總；

?統(tǒng)計(jì)規(guī)則：可匯總相加的，不像百分比指

一樣不能匯總相加。

A粒度：可以有不同類別的幣種、日期和機(jī)

構(gòu)部門。

3.3.2.2.2.2數(shù)據(jù)如何獲?。褐笜?biāo)分類和指標(biāo)ID

共性加工數(shù)據(jù)層的數(shù)據(jù)不能簡單的堆砌在一

起，首先需要對(duì)指標(biāo)進(jìn)行分類和整合，方便實(shí)現(xiàn)

復(fù)用。不同類別的指標(biāo)，存放到不同的模型中。

另外，為便于用戶或應(yīng)用系統(tǒng)快速對(duì)指標(biāo)進(jìn)