1、商業(yè)銀行風(fēng)險(xiǎn)預(yù)警系統(tǒng)整體架構(gòu)設(shè)計(jì) 目 錄 TOC o 1-2 h z u HYPERLINK l _Toc54371785 第1章 前言 PAGEREF _Toc54371785 h 3 HYPERLINK l _Toc54371786 1.1項(xiàng)目背景 PAGEREF _Toc54371786 h 3 HYPERLINK l _Toc54371787 1.2項(xiàng)目目標(biāo) PAGEREF _Toc54371787 h 3 HYPERLINK l _Toc54371788 1.3建設(shè)原則 PAGEREF _Toc54371788 h 4 HYPERLINK l _Toc54371789 第3章 總體架

2、構(gòu)設(shè)計(jì) PAGEREF _Toc54371789 h 5 HYPERLINK l _Toc54371790 3.1風(fēng)險(xiǎn)預(yù)警系統(tǒng)整體架構(gòu) PAGEREF _Toc54371790 h 5 HYPERLINK l _Toc54371791 3.2網(wǎng)絡(luò)架構(gòu) PAGEREF _Toc54371791 h 25 HYPERLINK l _Toc54371792 3.3運(yùn)行環(huán)境配置 PAGEREF _Toc54371792 h 27 HYPERLINK l _Toc54371793 3.6系統(tǒng)性能指標(biāo) PAGEREF _Toc54371793 h 31第1章 前言項(xiàng)目背景隨著商業(yè)銀行業(yè)務(wù)的不斷創(chuàng)新和快速發(fā)

3、展以及數(shù)據(jù)集中程度和核算自動(dòng)化程度的提高， 現(xiàn)有運(yùn)營(yíng)監(jiān)督工作重心、內(nèi)容等都發(fā)生了很大變化，傳統(tǒng)的賬務(wù)監(jiān)督已愈來愈偏離事后監(jiān)督設(shè)計(jì)的初衷，各項(xiàng)會(huì)計(jì)核算的風(fēng)險(xiǎn)點(diǎn)增多，風(fēng)險(xiǎn)的隱蔽性增強(qiáng)，防范風(fēng)險(xiǎn)的難度也隨之加大,且在監(jiān)督工作中存在著監(jiān)督技術(shù)手段落后、監(jiān)督時(shí)效性不強(qiáng)、監(jiān)督重點(diǎn)不突出等問題。商業(yè)銀行目前運(yùn)營(yíng)風(fēng)險(xiǎn)的預(yù)警和監(jiān)控主要依靠事后監(jiān)督系統(tǒng)，其建設(shè)較早，存在預(yù)警功能模塊存在功能單一、預(yù)警模型預(yù)警針對(duì)性不強(qiáng)、預(yù)警模型開發(fā)不便利等問題，已經(jīng)不能充分發(fā)揮其在防弊糾錯(cuò)、 規(guī)范行為、保證資金安全等方面的重要作用。為加快傳統(tǒng)事后監(jiān)督方式方法轉(zhuǎn)型，運(yùn)用科學(xué)的監(jiān)督技術(shù)和管理手段，建立科學(xué)、高效、智能的監(jiān)督管理架構(gòu)，

4、迫切需要引入先進(jìn)的科技手段，建設(shè)較完善的風(fēng)險(xiǎn)預(yù)警、監(jiān)測(cè)和控制平臺(tái), 實(shí)現(xiàn)對(duì)基礎(chǔ)賬務(wù)數(shù)據(jù)、會(huì)計(jì)業(yè)務(wù)內(nèi)控、風(fēng)險(xiǎn)預(yù)警數(shù)據(jù)系統(tǒng)化、電子化管理的目標(biāo)，提高運(yùn)營(yíng)管理的質(zhì)量和效率、加強(qiáng)風(fēng)險(xiǎn)控制水平,實(shí)現(xiàn)對(duì)風(fēng)險(xiǎn)的事前優(yōu)化、事中預(yù)警阻斷、事后監(jiān)督評(píng)估。項(xiàng)目目標(biāo)本系統(tǒng)的建設(shè)目標(biāo)為建立獨(dú)立的、開放的、全行統(tǒng)一的風(fēng)險(xiǎn)監(jiān)測(cè)預(yù)警系統(tǒng)，輔助行內(nèi)實(shí)現(xiàn)對(duì)重要的網(wǎng)點(diǎn)、柜員、交易、業(yè)務(wù)的智能、連貫、動(dòng)態(tài)化的監(jiān)控，實(shí)現(xiàn)全渠道風(fēng)險(xiǎn)監(jiān)測(cè)的目標(biāo)，防范操作風(fēng)險(xiǎn)，消除案件和事故隱患，充分依托先進(jìn)的科技手段和信息技術(shù)，使業(yè)務(wù)監(jiān)督從簡(jiǎn)單操作型的靜態(tài)事后復(fù)審向動(dòng)態(tài)預(yù)警分析轉(zhuǎn)變，使操作過程的事中控制前移，加大業(yè)務(wù)風(fēng)險(xiǎn)的檢查、監(jiān)督以及監(jiān)控力度。通過建設(shè)

5、該系統(tǒng)，我們期待達(dá)到：有效利用技術(shù)手段強(qiáng)化對(duì)運(yùn)營(yíng)業(yè)務(wù)的風(fēng)險(xiǎn)監(jiān)督和控制，實(shí)現(xiàn)運(yùn)營(yíng)業(yè)務(wù)風(fēng)險(xiǎn)監(jiān)控的科學(xué)化管理。提高預(yù)警系統(tǒng)的實(shí)用性，擴(kuò)大預(yù)警系統(tǒng)的使用范圍，實(shí)現(xiàn)運(yùn)營(yíng)監(jiān)督檢查任務(wù)的系統(tǒng)化管理。實(shí)現(xiàn)對(duì)系統(tǒng)中各個(gè)預(yù)警規(guī)則的靈活配置，提高預(yù)警模型配置效率，減少后期技術(shù)運(yùn)維人力。實(shí)現(xiàn)按村鎮(zhèn)銀行進(jìn)行風(fēng)險(xiǎn)預(yù)警的分級(jí)、分機(jī)構(gòu)、差異化管理，提升村鎮(zhèn)銀行的運(yùn)營(yíng)業(yè)務(wù)風(fēng)險(xiǎn)控制水平。實(shí)現(xiàn)與事后監(jiān)督系統(tǒng)功能的整合，促進(jìn)風(fēng)險(xiǎn)預(yù)警、非現(xiàn)場(chǎng)檢查、現(xiàn)場(chǎng)檢查、監(jiān)督檢查輔助等系統(tǒng)功能的全面提升，提高運(yùn)營(yíng)監(jiān)督檢查的系統(tǒng)管理水平。建設(shè)原則該系統(tǒng)的主要目的是整合本行各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，利用先進(jìn)的科學(xué)技術(shù)方法和經(jīng)驗(yàn)，進(jìn)行業(yè)務(wù)風(fēng)險(xiǎn)預(yù)警。根據(jù)本行業(yè)務(wù)特點(diǎn)

6、以及未來發(fā)展要求，借鑒國(guó)內(nèi)外同業(yè)成熟的技術(shù)和經(jīng)驗(yàn)， 建設(shè)一個(gè)較完善的風(fēng)險(xiǎn)評(píng)估、監(jiān)測(cè)、預(yù)警和防范平臺(tái)，有利于規(guī)范日常風(fēng)險(xiǎn)預(yù)警監(jiān)測(cè)工作， 防范業(yè)務(wù)風(fēng)險(xiǎn)，改善經(jīng)營(yíng)管理水平。本系統(tǒng)應(yīng)能滿足今后 35 年內(nèi)系統(tǒng)進(jìn)一步擴(kuò)充與發(fā)展的需要。系統(tǒng)應(yīng)具有：開放式原則：該系統(tǒng)的應(yīng)用主體不僅僅只是風(fēng)險(xiǎn)監(jiān)測(cè)人員使用，而應(yīng)包括管理風(fēng)險(xiǎn)預(yù)警工作的行領(lǐng)導(dǎo)、各被檢查對(duì)象、各業(yè)務(wù)管理部門及其他用戶?？蓴U(kuò)展原則：系統(tǒng)數(shù)據(jù)來源應(yīng)具有可擴(kuò)展性能，未來根據(jù)工作需要，可將新系統(tǒng)數(shù)據(jù)方便快捷的接入本系統(tǒng)，同時(shí)可根據(jù)需要進(jìn)行快捷的二次開發(fā)。易維護(hù)原則：各模塊之間必須具備很強(qiáng)的定制功能，業(yè)務(wù)人員可根據(jù)業(yè)務(wù)流程和管理的變化自行對(duì)基礎(chǔ)參數(shù)進(jìn)行適當(dāng)維

7、護(hù)，使得業(yè)務(wù)操作、管理模式等可靈活調(diào)整。易操作原則：系統(tǒng)應(yīng)具有友好的用戶操作界面，操作方法方便簡(jiǎn)單、易學(xué)易懂?？赊D(zhuǎn)換原則：系統(tǒng)應(yīng)具有各模塊功能之間能相互快速連接，滿足風(fēng)險(xiǎn)預(yù)警監(jiān)測(cè)人員各自的操作習(xí)慣?？茖W(xué)管理原則：各功能實(shí)現(xiàn)上要具有強(qiáng)大管理功能，不僅要實(shí)現(xiàn)作業(yè)流程的電子化，更要實(shí)現(xiàn)有效的系統(tǒng)管理功能，提高風(fēng)險(xiǎn)預(yù)警管理水平。安全性和可靠性原則：系統(tǒng)應(yīng)對(duì)數(shù)據(jù)的訪問、傳輸、下載、分析、應(yīng)用等操作具有加密功能或設(shè)置嚴(yán)格的權(quán)限控制體系。第3章 總體架構(gòu)設(shè)計(jì)風(fēng)險(xiǎn)預(yù)警系統(tǒng)整體架構(gòu)商業(yè)銀行風(fēng)險(xiǎn)預(yù)警系統(tǒng)總體架構(gòu)風(fēng)險(xiǎn)地圖代辦事項(xiàng)信息查詢個(gè)人管理消息管理我的收藏風(fēng)險(xiǎn)地圖報(bào)表查詢風(fēng)險(xiǎn)報(bào)告應(yīng)用功能& 公共控制預(yù)警監(jiān)測(cè)分析

8、問題臺(tái)賬分析檢查項(xiàng)目分析風(fēng)險(xiǎn)分析報(bào)告統(tǒng)計(jì)報(bào)表管理用戶管理權(quán)限管理系統(tǒng)管理運(yùn)維管理參數(shù)管理元數(shù)據(jù)管理數(shù)據(jù)采集數(shù)據(jù)監(jiān)控?cái)?shù)據(jù)備份邏輯處理& 服務(wù)接口FAP快速開發(fā)平臺(tái)日志組件計(jì)算引擎工作流引擎規(guī)則引擎報(bào)表引擎權(quán)限組件搜索引擎UI組件應(yīng)用服務(wù)接口影像接口應(yīng)用接口OA接口短信接口郵件接口統(tǒng)一認(rèn)證接口視頻接口其他接口數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)審計(jì)數(shù)據(jù)集市系統(tǒng)配置庫風(fēng)險(xiǎn)事件庫經(jīng)驗(yàn)成果庫監(jiān)控信息庫衍生數(shù)據(jù)庫數(shù)據(jù)采集數(shù)據(jù)傳輸數(shù)據(jù)抽取數(shù)據(jù)清理數(shù)據(jù)裝載數(shù)據(jù)加工數(shù)據(jù)管理平臺(tái)基礎(chǔ)管理平臺(tái)綜合查詢問題管理擴(kuò)展功能項(xiàng)目檢查集中授權(quán)監(jiān)控模型管理非實(shí)時(shí)預(yù)警知識(shí)庫管理實(shí)時(shí)監(jiān)控運(yùn)營(yíng)風(fēng)險(xiǎn)評(píng)價(jià)統(tǒng)計(jì)分析平臺(tái)管理者駕駛艙個(gè)人工作平臺(tái)業(yè)務(wù)數(shù)據(jù)層業(yè)務(wù)數(shù)

9、據(jù)是本系統(tǒng)的數(shù)據(jù)來源，包括行內(nèi)各業(yè)務(wù)系統(tǒng)數(shù)據(jù)及第三方數(shù)據(jù)。系統(tǒng)利用自主開發(fā)的 ETL 工具或者第三方 ETL 工具自動(dòng)加載各業(yè)務(wù)系統(tǒng)數(shù)據(jù)至風(fēng)險(xiǎn)數(shù)據(jù)庫，第三方數(shù)據(jù)可通過 ETL 加載或者通過前臺(tái)頁面功能手工加載。業(yè)務(wù)系統(tǒng)數(shù)據(jù)核心業(yè)務(wù)系統(tǒng)信貸管理系統(tǒng)財(cái)務(wù)管理系統(tǒng)銀行卡系統(tǒng)電子銀行系統(tǒng)報(bào)表系統(tǒng)中間業(yè)務(wù)系統(tǒng)對(duì)賬系統(tǒng)第三方數(shù)據(jù)政府、銀監(jiān)、人行、海關(guān)、稅務(wù)、工商、水氣煤電公布的不良信用企業(yè)、網(wǎng)上收集的不良信息、黑名單、影子銀行、廣告（信用卡代辦廣告）、信用卡套現(xiàn)等系統(tǒng)支撐平臺(tái)智能引擎組件規(guī)則引擎：將業(yè)務(wù)模型從應(yīng)用程序代碼中脫離出來，形成模型規(guī)則庫，負(fù)責(zé)模型規(guī)則解析、執(zhí)行等操作。計(jì)算分析引擎：包括事中模型和

10、批量模型計(jì)算分析，負(fù)責(zé)接收輸入數(shù)據(jù)，調(diào)用模型規(guī)則引擎，計(jì)算出模型結(jié)果。報(bào)表工具：負(fù)責(zé)系統(tǒng)各類報(bào)表的設(shè)計(jì)、修改等功能。搜索引擎：負(fù)責(zé)知識(shí)管理平臺(tái)中全文搜索服務(wù)。工作流引擎：負(fù)責(zé)系統(tǒng)中風(fēng)險(xiǎn)項(xiàng)目流程、問題整改跟蹤等作業(yè)流程的配置、流轉(zhuǎn)驅(qū)動(dòng)服務(wù)。公共控制服務(wù)批量作業(yè)管理：應(yīng)用于模型批量運(yùn)行的管理，包括模型批量運(yùn)行、模型數(shù)據(jù)查詢分析等。模型配置管理：模型規(guī)則的配置，包括模型的添加、修改、刪除等操作。日志管理：系統(tǒng)日志查詢、備份和清理。參數(shù)管理：系統(tǒng)運(yùn)行各類參數(shù)的增加、修改、刪除等。權(quán)限管理：系統(tǒng)權(quán)限、角色權(quán)限、用戶權(quán)限的管理，包括系統(tǒng)權(quán)限的新增、修改、刪除以及用戶權(quán)限的新增、修改、刪除等操作。數(shù)據(jù)管理：

11、負(fù)責(zé)系統(tǒng)業(yè)務(wù)數(shù)據(jù)的轉(zhuǎn)換、加載，備份和清理等操作。系統(tǒng)監(jiān)控：包括ETL 運(yùn)行監(jiān)控、模型跑批計(jì)算監(jiān)控、系統(tǒng)用戶監(jiān)控等。應(yīng)用服務(wù)平臺(tái)系統(tǒng)主要為業(yè)務(wù)人員提供基礎(chǔ)管理平臺(tái)、監(jiān)測(cè)預(yù)警平臺(tái)、風(fēng)險(xiǎn)檢查平臺(tái)、風(fēng)險(xiǎn)評(píng)價(jià)平臺(tái)等功能。應(yīng)用服務(wù)接口影像視頻接口：系統(tǒng)與行內(nèi)影像平臺(tái)、賬戶檔案管理系統(tǒng)、信貸檔案管理系統(tǒng)、視頻監(jiān)控平臺(tái)實(shí)現(xiàn)連接，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)與視頻監(jiān)控、影像檔案在風(fēng)險(xiǎn)監(jiān)管工作中的一體化應(yīng)用。短信接口：預(yù)警監(jiān)測(cè)產(chǎn)生的信息可以通過短信平臺(tái)接口發(fā)送；另外問題管理與風(fēng)險(xiǎn)評(píng)估平臺(tái)中，下發(fā)問題的同時(shí)會(huì)通過短信平臺(tái)接口發(fā)送至問題整改人。另外包括統(tǒng)一認(rèn)證、OA 接口、郵件接口等其他接口。授權(quán)用戶風(fēng)險(xiǎn)管理系統(tǒng)的用戶包括：主管領(lǐng)導(dǎo)

12、、風(fēng)險(xiǎn)管理、風(fēng)險(xiǎn)執(zhí)行、技術(shù)支持等。主管領(lǐng)導(dǎo)主要負(fù)責(zé)本行風(fēng)險(xiǎn)工作管理、督查及風(fēng)險(xiǎn)資源調(diào)配與管控，一般多為行領(lǐng)導(dǎo)、風(fēng)險(xiǎn)委員會(huì)成員或風(fēng)險(xiǎn)部門負(fù)責(zé)人等。風(fēng)險(xiǎn)管理該類用戶負(fù)責(zé)日常風(fēng)險(xiǎn)工作的管理控制，包括風(fēng)險(xiǎn)檢查、風(fēng)險(xiǎn)評(píng)價(jià)、知識(shí)管理等核心工作，一般為風(fēng)險(xiǎn)部門的中層或基層管理領(lǐng)導(dǎo)或項(xiàng)目主審人。風(fēng)險(xiǎn)執(zhí)行該類用戶執(zhí)行風(fēng)險(xiǎn)管理領(lǐng)導(dǎo)層分配的工作任務(wù)，執(zhí)行風(fēng)險(xiǎn)檢查、風(fēng)險(xiǎn)評(píng)價(jià)及知識(shí)管理等基層工作，包括預(yù)警線索處理、協(xié)查分析、風(fēng)險(xiǎn)評(píng)價(jià)執(zhí)行、風(fēng)險(xiǎn)質(zhì)量評(píng)估執(zhí)行、知識(shí)管理等多個(gè)工作崗位。技術(shù)支持該類用戶主要對(duì)本系統(tǒng)進(jìn)行日常運(yùn)維管理，多為信息科技部人員或風(fēng)險(xiǎn)部門內(nèi)部 IT 技術(shù)人員。數(shù)據(jù)架構(gòu)數(shù)據(jù)集市數(shù)據(jù)區(qū)UIA數(shù)據(jù)應(yīng)用風(fēng)險(xiǎn)預(yù)警信

13、息化平臺(tái)風(fēng)險(xiǎn)預(yù)警功能系統(tǒng)運(yùn)營(yíng)風(fēng)險(xiǎn)預(yù)警元數(shù)據(jù)管理源系統(tǒng) 核心系統(tǒng)信貸系統(tǒng)票據(jù)系統(tǒng) 影像系統(tǒng) 網(wǎng)銀系統(tǒng) 集中運(yùn)營(yíng) 國(guó)際結(jié)算 財(cái)務(wù)系統(tǒng) 信用卡系統(tǒng)其它系統(tǒng)第三方數(shù)據(jù)風(fēng)險(xiǎn)預(yù)警系統(tǒng)數(shù)據(jù)架構(gòu)圖框架組件數(shù)據(jù)統(tǒng)計(jì)分析組件數(shù)據(jù)訪問組件權(quán)限管理RBAC數(shù)據(jù)字典組件指標(biāo)引擎參數(shù)組件模型配置管理通訊組件模型探索歸集數(shù)據(jù)外部數(shù)據(jù)自定義數(shù)據(jù)客戶風(fēng)險(xiǎn)統(tǒng)計(jì)統(tǒng)計(jì)全科目交易流水基礎(chǔ)數(shù)據(jù)管理信貸管理類客戶信息工作管理平臺(tái)基礎(chǔ)管理平臺(tái)數(shù)據(jù)平臺(tái)非現(xiàn)場(chǎng)平臺(tái)交易系統(tǒng)批處理作業(yè)日志組件計(jì)算引擎規(guī)則引擎預(yù)警指標(biāo)數(shù)據(jù)風(fēng)險(xiǎn)模型庫風(fēng)險(xiǎn)導(dǎo)出數(shù)據(jù)風(fēng)險(xiǎn)資料庫標(biāo)簽庫管理文件數(shù)據(jù)區(qū)域數(shù)據(jù)處理區(qū)STA數(shù)據(jù)緩沖區(qū)DATAPOOL風(fēng)險(xiǎn)管理系統(tǒng)業(yè)務(wù)數(shù)據(jù)從各業(yè)務(wù)系統(tǒng)中

14、經(jīng)數(shù)據(jù)處理區(qū)加載到風(fēng)險(xiǎn)基礎(chǔ)數(shù)據(jù)存儲(chǔ)區(qū)， 經(jīng)計(jì)算分析引擎，模型分析工具，后臺(tái)服務(wù)程序以及業(yè)務(wù)人員分析確認(rèn)后自動(dòng)把數(shù)據(jù)存儲(chǔ)于風(fēng)險(xiǎn)數(shù)據(jù)庫中。公共信息類會(huì)計(jì)記賬授信交易卡片信息類中間層數(shù)據(jù)公共信息類會(huì)計(jì)記賬客戶信息授信交易卡片信息類信貸管理類交易流水統(tǒng)計(jì)全科目客戶風(fēng)險(xiǎn)統(tǒng)計(jì)ODS層數(shù)據(jù)核心系統(tǒng)信貸系統(tǒng)票據(jù)系統(tǒng)影像系統(tǒng)網(wǎng)銀系統(tǒng)集中運(yùn)營(yíng)國(guó)際結(jié)算財(cái)務(wù)系統(tǒng)信用卡其他系統(tǒng)第三方數(shù)據(jù)數(shù)據(jù)庫規(guī)劃和設(shè)計(jì)策略風(fēng)險(xiǎn)管理系統(tǒng)需要海量數(shù)據(jù)，所以數(shù)據(jù)庫規(guī)劃尤為關(guān)鍵。以下是風(fēng)險(xiǎn)基礎(chǔ)數(shù)據(jù)庫設(shè)計(jì)過程中關(guān)注的幾個(gè)設(shè)計(jì)要點(diǎn)。數(shù)據(jù)壓縮策略將表存儲(chǔ)在磁盤上時(shí),如果對(duì)數(shù)據(jù)行空值和系統(tǒng)缺省值使用諸如壓縮之類的功能,則表可能占用較少的空間通過數(shù)據(jù)壓

15、縮,可以使用較少的數(shù)據(jù)庫頁來存儲(chǔ)數(shù)據(jù),從而節(jié)省磁盤存儲(chǔ)空間由于每頁可以存儲(chǔ)更多的邏輯數(shù)據(jù),因此訪問同樣多的邏輯數(shù)據(jù)時(shí)需要讀取的頁數(shù)將會(huì)少一些這意味著壓縮還可以節(jié)省磁盤 I/OI/O 速度也會(huì)加快,因?yàn)榭梢詫⒏嗟倪壿嫈?shù)據(jù)高速緩存在緩沖池中采用壓縮技術(shù)的優(yōu)點(diǎn)是：使用更少的存儲(chǔ)；增加 I/O 吞吐量；以將更多的數(shù)據(jù)高速緩存在緩沖池中。采用壓縮技術(shù)的缺點(diǎn)是：有少量的 CPU 消耗。表分區(qū)策略表分區(qū)功能是一種數(shù)據(jù)組織方案,根據(jù)一個(gè)或多個(gè)表列中的值將表數(shù)據(jù)劃分到多個(gè)稱為數(shù)據(jù)分區(qū)或范圍的存儲(chǔ)對(duì)象中每個(gè)數(shù)據(jù)分區(qū)都是單獨(dú)存儲(chǔ)的這些存儲(chǔ)器對(duì)象可位于不同的表空間和/或相同的表空間中跨多個(gè)存儲(chǔ)器對(duì)象對(duì)表數(shù)據(jù)進(jìn)行分區(qū)

16、的能力為數(shù)據(jù)庫管理員提供了更高的可伸縮性和靈活性,同時(shí)提高了性能和控制能力采用表分區(qū)技術(shù)的優(yōu)點(diǎn)是：將大表按照某種關(guān)系分成若干個(gè)邏輯小表，可以減少數(shù)據(jù)掃描，提高效率；為數(shù)據(jù)庫管理員提供了更高的可伸縮性和靈活性。采用表分區(qū)技術(shù)的缺點(diǎn)是：數(shù)據(jù)庫管理員有較高的要求。元數(shù)據(jù)管理建立風(fēng)險(xiǎn)管理系統(tǒng)一個(gè)重要的工作是元數(shù)據(jù)管理。元數(shù)據(jù)管理就是描述業(yè)務(wù)風(fēng)險(xiǎn)數(shù)據(jù)信息，用于建立、管理、維護(hù)和使用系統(tǒng)。元數(shù)據(jù)模塊是系統(tǒng)中的關(guān)鍵組件，貫穿于風(fēng)險(xiǎn)管理系統(tǒng)的各個(gè)部分。元數(shù)據(jù)相關(guān)工作大致包括元數(shù)據(jù)采集、元數(shù)據(jù)存儲(chǔ)和元數(shù)據(jù)訪問幾個(gè)環(huán)節(jié)。元數(shù)據(jù)采集元數(shù)據(jù)采集是元數(shù)據(jù)管理流程的第一步。系統(tǒng)中元數(shù)據(jù)采集的來源有三個(gè)：ETL、業(yè)務(wù)數(shù)據(jù)文

17、件、數(shù)據(jù)導(dǎo)入模塊。元數(shù)據(jù)存儲(chǔ)通過元數(shù)據(jù)庫集中存儲(chǔ)來自不同系統(tǒng)和環(huán)境下的元數(shù)據(jù)，形成元數(shù)據(jù)基準(zhǔn)，減少元數(shù)據(jù)訪問時(shí)對(duì)源系統(tǒng)的影響和依賴：面向開發(fā)人員的在線的數(shù)據(jù)字典、術(shù)語表、代碼表；面向設(shè)計(jì)人員的實(shí)體關(guān)系、數(shù)據(jù)加工過程、影響分析；面向業(yè)務(wù)人員的業(yè)務(wù)用戶指南，有業(yè)務(wù)元數(shù)據(jù)定義和數(shù)據(jù)使用提示。元數(shù)據(jù)訪問對(duì)外提供統(tǒng)一的元數(shù)據(jù)訪問服務(wù)，將元數(shù)據(jù)存儲(chǔ)細(xì)節(jié)以及差異屏蔽在服務(wù)內(nèi)部。數(shù)據(jù)庫服務(wù)器UIA數(shù)據(jù)指標(biāo)數(shù)據(jù)外部導(dǎo)入數(shù)據(jù)參數(shù)表審計(jì)基礎(chǔ)數(shù)據(jù)元數(shù)據(jù)系統(tǒng)數(shù)據(jù)分布應(yīng)用服務(wù)器上傳臨時(shí)文件目錄用戶導(dǎo)出文件目錄落地?cái)?shù)據(jù)文件目錄ETL服務(wù)器DATAPOOL數(shù)據(jù)處理目錄數(shù)據(jù)倉(cāng)庫服務(wù)器交易數(shù)據(jù)數(shù)據(jù)環(huán)境是整個(gè)系統(tǒng)的數(shù)據(jù)存儲(chǔ)環(huán)境，這

18、個(gè)環(huán)境分為如下三個(gè)區(qū)域：ETL 服務(wù)器這個(gè)區(qū)域存放的是從一些從源系統(tǒng)中卸載過來的數(shù)據(jù)文件：數(shù)據(jù)緩沖區(qū)（DATAPOOL）：存放準(zhǔn)備處理的數(shù)據(jù)文件；數(shù)據(jù)處理區(qū)（STA）：存放當(dāng)前需要處理的數(shù)據(jù)文件，這些數(shù)據(jù)文件在下次同類數(shù)據(jù)處理前被刪除。數(shù)據(jù)庫服務(wù)器風(fēng)險(xiǎn)基礎(chǔ)數(shù)據(jù)區(qū)業(yè)務(wù)基礎(chǔ)數(shù)據(jù)，包括客戶類、服務(wù)渠道類、產(chǎn)品類等數(shù)據(jù)；導(dǎo)入數(shù)據(jù)，通過 ETL 功能組件導(dǎo)入到系統(tǒng)中的外部數(shù)據(jù)；公共數(shù)據(jù)，由外部獲取的公共信息資料，如外匯匯率。風(fēng)險(xiǎn)數(shù)據(jù)區(qū)存放風(fēng)險(xiǎn)功能相關(guān)的數(shù)據(jù)資料，包括：風(fēng)險(xiǎn)資料庫，即風(fēng)險(xiǎn)項(xiàng)目的備份資料以及風(fēng)險(xiǎn)資料；風(fēng)險(xiǎn)模型庫，即風(fēng)險(xiǎn)模型的腳本；UIA 數(shù)據(jù)，即風(fēng)險(xiǎn)模型的結(jié)果數(shù)據(jù)，存儲(chǔ)于數(shù)據(jù)庫表中；標(biāo)簽庫，

19、即風(fēng)險(xiǎn)數(shù)據(jù)標(biāo)簽管理；歸集庫，即風(fēng)險(xiǎn)抽樣、預(yù)警、指標(biāo)等結(jié)果數(shù)據(jù)的歸集管理。數(shù)據(jù)倉(cāng)庫服務(wù)器應(yīng)用服務(wù)器用戶上傳導(dǎo)入數(shù)據(jù)；風(fēng)險(xiǎn)導(dǎo)出數(shù)據(jù)，即風(fēng)險(xiǎn)過程中導(dǎo)出的疑點(diǎn)數(shù)據(jù)。ETL 處理架構(gòu)ETL 總體邏輯架構(gòu)系統(tǒng)ETL 總體邏輯架構(gòu)圖如下：ETL 在架構(gòu)上可以劃分為 4個(gè)組成部分，ETL 任務(wù)、ETL 調(diào)度ETL監(jiān)控、數(shù)據(jù)質(zhì)量。他們以元數(shù)據(jù)為中心進(jìn)行交互和協(xié)作。其中各部分的功能如下：ETL 任務(wù)：完成具體的數(shù)據(jù) ETL 工作。ETL 調(diào)度：控制所有 ETL任務(wù)的運(yùn)行。ETL 監(jiān)控：跟蹤監(jiān)控 ETL任務(wù)的運(yùn)行。數(shù)據(jù)質(zhì)量：跟蹤系統(tǒng)的數(shù)據(jù)質(zhì)量，詳見“4 數(shù)據(jù)質(zhì)量管理”章節(jié)。源系統(tǒng)接口規(guī)范由行方（或雙方）制定接口規(guī)范

20、及傳輸機(jī)制，包括源系統(tǒng)命名規(guī)范、接口文件命名規(guī)范、字段內(nèi)容格式約定、抽取策略等。1、項(xiàng)目組在制定數(shù)據(jù)接口規(guī)范時(shí)將考慮如下方面：數(shù)據(jù)內(nèi)容：確定需要的數(shù)據(jù)表，以及表中的每個(gè)數(shù)據(jù)項(xiàng)，包括數(shù)據(jù)項(xiàng)的長(zhǎng)度、類型等。數(shù)據(jù)格式：指文件格式，如文本文件、字段變長(zhǎng)分隔符分隔。編碼格式：ASCII 碼、EBCDIC 碼等。命名規(guī)范：文件命名、目錄命名等。數(shù)據(jù)周期：數(shù)據(jù)傳輸?shù)念l率，如每日、每周、每月、不定期。2、抽取策略數(shù)據(jù)抽取對(duì)各業(yè)務(wù)系統(tǒng)的依賴性強(qiáng)，應(yīng)該根據(jù)各業(yè)務(wù)系統(tǒng)實(shí)際情況制定相應(yīng)的抽取策略。這些策略包括以下定義：抽取周期日內(nèi)、日、月。接口增量方式日內(nèi)增量：指抽取一天內(nèi)某時(shí)間段（如 1 小時(shí)）發(fā)生變化的、新產(chǎn)生的

21、數(shù)據(jù)最新狀態(tài)快照。每日增量：指抽取每日 00：0024：00 發(fā)生變化的、新產(chǎn)生的數(shù)據(jù)最新狀態(tài)快照。每月增量：指抽取每月 1 日 00：00 時(shí)始至月末最后一日 24：00 止，發(fā)生變化的、新產(chǎn)生的數(shù)據(jù)最新狀態(tài)快照。每日全量：指抽取每日 24：00 時(shí)，所有數(shù)據(jù)的最新狀態(tài)快照。每月全量：指抽取每月月末最后一日 24：00 時(shí)，所有數(shù)據(jù)的最新狀態(tài)快照。每日新增數(shù)據(jù)：指抽取每日 0：00 至 24：00，此時(shí)間范圍內(nèi)新產(chǎn)生的數(shù)據(jù)。每月新增數(shù)據(jù)：指抽取每月 1 日 00：00 時(shí)始至月未最后一日 24：00 止，此時(shí)間范圍內(nèi)新產(chǎn)生的數(shù)據(jù)。抽取方式初始抽?。菏侵赴凑枕?xiàng)目建設(shè)時(shí)點(diǎn)要求，首次從各源業(yè)務(wù)系統(tǒng)

22、系統(tǒng)中將相關(guān)的數(shù)據(jù)一次性的抽取，初始抽取的數(shù)據(jù)范圍包括抽取時(shí)最新狀態(tài)為有效的所有數(shù)據(jù)，初始抽取時(shí)的數(shù)據(jù)周期將在數(shù)據(jù)接口單元的描述中根據(jù)具體情況描述。定期抽?。菏侵父鶕?jù)不同的數(shù)據(jù)內(nèi)容，按照數(shù)據(jù)抽取周期，在指定的時(shí)間內(nèi)對(duì)數(shù)據(jù)進(jìn)行抽取的方式。定期抽取分為新增、增量或全量抽取。對(duì)于某些接口單元的數(shù)據(jù)，抽取周期既有日增量或者日新增數(shù)據(jù)抽取又有月全量抽取時(shí)，其抽取月全量數(shù)據(jù)的當(dāng)日，同時(shí)需要抽取此日增量或者日新增數(shù)據(jù)。根據(jù)源系統(tǒng)數(shù)據(jù)的不同特性，可以使用增量或全量抽取數(shù)據(jù)。對(duì)于增量表的初始化，在上線前需要全量抽取。3、數(shù)據(jù)接口數(shù)據(jù)接口架構(gòu)如下圖：接口文件區(qū)是系統(tǒng)架構(gòu)內(nèi)存放接口文件和對(duì)接口文件進(jìn)行處理的地方。系

23、統(tǒng)中的中的 ETL 程序負(fù)責(zé)維護(hù)此區(qū)域。為了合理的組織接口文件區(qū)的內(nèi)容，我們把接口文件區(qū)按如下目錄結(jié)構(gòu)組織，假設(shè)$DEL_home 代表接口文件區(qū)根目錄（IFS：Interface File Staging）：目錄內(nèi)容$(DEL_Home)inb所有源系統(tǒng)傳過來的接口文件$(DEL_Home)wrkETL過程中的臨時(shí)文件和ETL文件處理結(jié)束后結(jié)果文件的存放地$(DEL_Home)arc備份文件$(DEL_Home)logETL處理日志及拒絕文件存放地$(DEL_Home)out導(dǎo)出文件inb(Inbox)-當(dāng)前正在處理的接口文件。每個(gè)接口文件傳輸?shù)竭@里后，首先根據(jù)文件驗(yàn)證規(guī)則進(jìn)行一致性檢查，驗(yàn)

24、證通過后，就表明這個(gè)文件是有效的，然后將此文件登記到數(shù)據(jù)集市的調(diào)度系統(tǒng)內(nèi)，然后針對(duì)這個(gè)文件可以進(jìn)行進(jìn)一步的處理。wrk(Work)-工作目錄?；谖谋镜?ETL 程序在此目錄內(nèi)把接口文件轉(zhuǎn)換成可以裝載的load 文本，load 成功后，此文件連通原始接口文件可以壓縮后放到 arc 目錄下做備份處理。如果ETL 過程中發(fā)現(xiàn)文件錯(cuò)誤，則將錯(cuò)誤文件放到 log 目錄下。log-日志目錄。ETL 運(yùn)行過程中的日志和發(fā)生錯(cuò)誤的接口文件都存放在此目錄。out-導(dǎo)出目錄。需要傳給外部系統(tǒng)的數(shù)據(jù)，全部安裝目標(biāo)系統(tǒng)分類放在此目錄內(nèi)。arc-備份目錄。存放歷史接口文件。接口文件處理完畢后，將按業(yè)務(wù)類型和日期移動(dòng)到

25、此目錄。然后在此目錄完成數(shù)據(jù)備份。通常接口文件以固定的時(shí)間間由源數(shù)據(jù)系統(tǒng)把數(shù)據(jù)傳輸接口文件區(qū)，在源數(shù)據(jù)系統(tǒng)和數(shù)據(jù)平臺(tái)之間都應(yīng)該有一個(gè)握手機(jī)制來保證文件傳輸?shù)耐陚湫?，即因?yàn)樵诰W(wǎng)絡(luò)上傳輸數(shù)據(jù)文件需要時(shí)間，系統(tǒng)如何知道文件是否已經(jīng)傳完了。在接口規(guī)范上，我們要求源數(shù)據(jù)系統(tǒng)在傳輸完每個(gè)數(shù)據(jù)文件后，立刻創(chuàng)建一個(gè)與數(shù)據(jù)文件同名并以“.end”結(jié)尾的文件，文件內(nèi)容為空或包含一些簡(jiǎn)單的數(shù)據(jù)文件驗(yàn)證信息，來告訴數(shù)據(jù)平臺(tái)這個(gè)文件已經(jīng)傳完了。ETL 任務(wù)管理ETL 任務(wù)完成具體的數(shù)據(jù) ETL 工作，下面按照數(shù)據(jù)處理的階段的不同分別介紹ETL 任務(wù)。1）ETL0： ETL0 完成數(shù)據(jù)的抽取、接口文件的生成，和把數(shù)據(jù)傳輸

26、到接口文件區(qū)。此任務(wù)原則上由源數(shù)據(jù)系統(tǒng)廠商負(fù)責(zé)，生成符合接口規(guī)范要求的接口文件，然后把接口文件傳輸?shù)綌?shù)據(jù)倉(cāng)庫的接口文件區(qū)內(nèi)，供數(shù)據(jù)倉(cāng)庫進(jìn)一步處理和使用。2）ETL1：ETL1 完成對(duì)接口文件進(jìn)行處理，然后驗(yàn)證數(shù)據(jù)并對(duì)數(shù)據(jù)做轉(zhuǎn)換和計(jì)算處理， 最后把數(shù)據(jù)加載到數(shù)據(jù)平臺(tái)層。接口文件處理其主要任務(wù)包括驗(yàn)證接口文件的完整性，和進(jìn)行初始的數(shù)據(jù)轉(zhuǎn)換工作，具體內(nèi)容可以參照前面數(shù)據(jù)源和數(shù)據(jù)接口部分。如果文件處理失敗，拒絕文件和錯(cuò)誤信息都會(huì)儲(chǔ)存在 log 目錄下，然后在數(shù)據(jù)庫內(nèi)記錄錯(cuò)誤日志，根據(jù)相應(yīng)的觸發(fā)條件向管理員發(fā)送短信、Email 等警告信息。問題定位和解決后， 把更新后的文件再次傳輸?shù)?Inbox 目錄下

27、，并重置錯(cuò)誤任務(wù)的狀態(tài)，這樣此接口文件就可以重新加載到數(shù)據(jù)暫存區(qū)內(nèi)。數(shù)據(jù)驗(yàn)證數(shù)據(jù)驗(yàn)證工作是基于一些特定的業(yè)務(wù)規(guī)則進(jìn)行數(shù)據(jù)有效性和引用完整性的驗(yàn)證。數(shù)據(jù)轉(zhuǎn)換、計(jì)算和加載按數(shù)據(jù)平臺(tái)層模型結(jié)構(gòu)轉(zhuǎn)換并加載到數(shù)據(jù)平臺(tái)層的主表內(nèi)。在此階段也可能涉及一些數(shù)據(jù)轉(zhuǎn)換和計(jì)算工作，比如通過 Join 關(guān)聯(lián)不同的表，或生成一些新的指標(biāo)等。裝載時(shí)如果有錯(cuò)誤發(fā)生，會(huì)生成錯(cuò)誤信息，同時(shí)在文件或表內(nèi)記錄不能裝載或刪除的記錄。如果問題嚴(yán)重到需要拒絕整個(gè)裝載文件，我們會(huì)在數(shù)據(jù)庫內(nèi)標(biāo)識(shí)此次裝載失敗，然后操作回滾。數(shù)據(jù)成功裝載到數(shù)據(jù)平臺(tái)層后，源數(shù)據(jù)接口文件轉(zhuǎn)移到備份目錄下，視需求情況進(jìn)行壓縮備份。3) ETL2:ETL2 完成將數(shù)據(jù)

28、平臺(tái)層的數(shù)據(jù)同步更新到應(yīng)用數(shù)據(jù)層。應(yīng)用數(shù)據(jù)層包括明細(xì)數(shù)據(jù)、匯總數(shù)據(jù)、多維數(shù)據(jù)、指標(biāo)數(shù)據(jù)和知識(shí)庫數(shù)據(jù)。數(shù)據(jù)平臺(tái)層的結(jié)構(gòu)化數(shù)據(jù)經(jīng)過ETL 處理，會(huì)先后更新到明細(xì)數(shù)據(jù)、匯總數(shù)據(jù)和多維數(shù)據(jù)及指標(biāo)數(shù)據(jù)。指標(biāo)數(shù)據(jù)和知識(shí)庫數(shù)據(jù)通常也可以由應(yīng)用系統(tǒng)層直接更新維護(hù)。ETL 調(diào)度管理ETL 調(diào)度模塊負(fù)責(zé)所有 ETL 數(shù)據(jù)處理任務(wù)的調(diào)度及順序邏輯控制，具有如下功能：任務(wù)觸發(fā)當(dāng) Job 的啟動(dòng)條件滿足用戶預(yù)先設(shè)定的條件時(shí)，自動(dòng)加載 Job并運(yùn)行。Job 的觸發(fā)條件包括時(shí)間條件和任務(wù)條件兩種，ETL 調(diào)度模塊應(yīng)同時(shí)具有這兩種任務(wù)觸發(fā)機(jī)制：時(shí)間觸發(fā)指定 Job 在特定的時(shí)間點(diǎn)開始運(yùn)行。比如每天的凌晨 1 點(diǎn)；或每月的5

29、號(hào)的凌晨 1 點(diǎn)。事件觸發(fā)發(fā)生特定的事件后 Job 自動(dòng)運(yùn)行。比如接口處理 Job 要在其依賴的接口文件全部到達(dá)后自動(dòng)啟動(dòng)；或一個(gè) Job 其所有前置 Job 成功運(yùn)行完成后自動(dòng)啟動(dòng)。時(shí)間和事件的結(jié)合多個(gè)條件組合都滿足后自動(dòng)運(yùn)行 Job。比如要求月接口文件處 理 Job 在其所有接口文件全部到達(dá)并且時(shí)間在每月的 5 號(hào)的下午 6 點(diǎn)之后運(yùn)行。任務(wù)排序?qū)?ETL Job 運(yùn)行的先后順序進(jìn)行排序，任務(wù)排序體現(xiàn)在如下 2個(gè)方面：依賴關(guān)系任務(wù)之間具有邏輯上絕對(duì)的先后關(guān)系，一個(gè)任務(wù)的啟動(dòng)必須依賴于其前置任務(wù)的成功完成。對(duì)其前置任務(wù)主要考慮與的關(guān)系，也即只有當(dāng)其所有前置任務(wù)完成后才啟動(dòng)任務(wù)。優(yōu)先級(jí)如果兩個(gè)

30、或多個(gè)任務(wù)同時(shí)滿足啟動(dòng)條件，任務(wù)的執(zhí)行先后順序可以通過任務(wù)的優(yōu)先級(jí)來決定，具有較高優(yōu)先級(jí)的 Job 將優(yōu)先運(yùn)行。全局任務(wù)同步對(duì)于運(yùn)行在不同機(jī)器和系統(tǒng)上的 ETL 任務(wù)，調(diào)度模塊可以對(duì)其進(jìn)行同步。比如機(jī)器 1 上的任務(wù) 1 完成后觸發(fā)機(jī)器 2 上的任務(wù) 2。并行執(zhí)行同時(shí)允許多個(gè)任務(wù)并行執(zhí)行?？梢栽O(shè)置各類 Job 的并行度。并行度有如下 2 個(gè)層次：不同機(jī)器任務(wù)之間的并行比如要求不同機(jī)器上的任務(wù)如果沒有相關(guān)性的話，其運(yùn)行應(yīng)該相互不影響。機(jī)器 1 上的任務(wù) 1 和機(jī)器 2 上的任務(wù) 2 可以同時(shí)運(yùn)行。同一機(jī)器內(nèi)部任務(wù)的并行對(duì)于運(yùn)行在同一個(gè)機(jī)器上的任務(wù)，如果沒有相關(guān)性的話可以并行運(yùn)行。比如兩個(gè) ETL

31、 裝載任務(wù)，沒有相關(guān)性，并且優(yōu)先級(jí)相同，可以設(shè)置為兩個(gè)任務(wù)同時(shí)啟動(dòng)。任務(wù)管理允許用戶靈活的添加新的任務(wù)、設(shè)置任務(wù)的觸發(fā)條件、和依賴關(guān)系。能方便的重置任務(wù)狀態(tài)，重啟和結(jié)束任務(wù)運(yùn)行等。ETL 監(jiān)控管理ETL 維護(hù)中最重要的就是隨時(shí)監(jiān)控 ETL 任務(wù)的運(yùn)行情況，因此為了降低系統(tǒng)維護(hù)人員的勞動(dòng)強(qiáng)度，提供友好的 ETL 監(jiān)控功能是必要的。ETL 監(jiān)控提供如下功能：全程全方位監(jiān)控監(jiān)控各個(gè)環(huán)節(jié)的 ETL 任務(wù)統(tǒng)一監(jiān)控所有機(jī)器所有類型的 ETL 任務(wù)多種手段任務(wù)運(yùn)行失敗任務(wù)運(yùn)行結(jié)束時(shí)間延遲多途徑自動(dòng)報(bào)警瀏覽界面短信通知郵件通知數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量問題系統(tǒng)數(shù)據(jù)質(zhì)量問題按照問題的來源和具體原因，可以分為信息、技術(shù)

32、、流程、管理四個(gè)問題域。1、信息問題域信息類問題是由于對(duì)數(shù)據(jù)本身的描述理解及其度量標(biāo)準(zhǔn)的偏差而造成的數(shù)據(jù)質(zhì)量問題。產(chǎn)生這部分?jǐn)?shù)據(jù)質(zhì)量問題的原因主要有：元數(shù)據(jù)描述及理解錯(cuò)誤、數(shù)據(jù)度量的各種性質(zhì)得不到保證和變化頻度不恰當(dāng)?shù)取?、流程問題域流程類問題是指由于系統(tǒng)作業(yè)流程和人工操作流程設(shè)置不當(dāng)造成的數(shù)據(jù)質(zhì)量問題，主要來源于系統(tǒng)數(shù)據(jù)的創(chuàng)建流程、傳遞流程、裝載流程、使用流程、維護(hù)流程和稽核流程等各環(huán)節(jié)：3、技術(shù)問題域技術(shù)類問題是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)的異常造成的數(shù)據(jù)質(zhì)量問題，它產(chǎn)生的直接原因是技術(shù)實(shí)現(xiàn)上的某種缺陷。數(shù)據(jù)質(zhì)量問題的產(chǎn)生環(huán)節(jié)主要包括數(shù)據(jù)創(chuàng)建、數(shù)據(jù)獲取、數(shù)據(jù)傳遞、數(shù)據(jù)裝載、數(shù)據(jù)使用、數(shù)據(jù)

33、維護(hù)等方面的內(nèi)容。4、管理問題域管理類問題是指由于人員素質(zhì)及管理機(jī)制方面的原因造成的數(shù)據(jù)質(zhì)量問題，如人員管理、培訓(xùn)和獎(jiǎng)勵(lì)等方面的措施不當(dāng)導(dǎo)致的管理缺失。數(shù)據(jù)質(zhì)量管理體系數(shù)據(jù)質(zhì)量管理工作涉及到收集數(shù)據(jù)質(zhì)量檢查規(guī)則、部署數(shù)據(jù)質(zhì)量檢查規(guī)則、執(zhí)行數(shù)據(jù)質(zhì)量檢查規(guī)則、分析數(shù)據(jù)質(zhì)量檢查規(guī)則。數(shù)據(jù)質(zhì)量管理體系架構(gòu)如圖所示：數(shù)據(jù)質(zhì)量管理主要包括三大部分： 1、數(shù)據(jù)質(zhì)量模型：數(shù)據(jù)質(zhì)量模型是包括用來存儲(chǔ)數(shù)據(jù)質(zhì)量檢查規(guī)則、檢查任務(wù)的內(nèi)容，同時(shí)還可以存放檢查結(jié)果、檢查結(jié)果臨時(shí)數(shù)據(jù)等內(nèi)容。2、ETL 調(diào)度檢查任務(wù)：大量的數(shù)據(jù)質(zhì)量檢查規(guī)則由 ETL 調(diào)度負(fù)責(zé)執(zhí)行，調(diào)度按照制定的頻率、優(yōu)先級(jí)、依賴調(diào)度相應(yīng)的檢查規(guī)則，并將檢查

34、結(jié)果返回到數(shù)據(jù)質(zhì)量模型中。ETL 執(zhí)行的檢查規(guī)則分別針對(duì)數(shù)據(jù)質(zhì)量的三大對(duì)象：數(shù)據(jù)文件、數(shù)據(jù)庫對(duì)象以及業(yè)務(wù)規(guī)則。3、數(shù)據(jù)質(zhì)量應(yīng)用：數(shù)據(jù)質(zhì)量應(yīng)用是用來提供給數(shù)據(jù)質(zhì)量管理員、以及其他相關(guān)用戶對(duì)數(shù)據(jù)質(zhì)量管理子系統(tǒng)的訪問接口，用戶可以通過應(yīng)用直接進(jìn)行數(shù)據(jù)質(zhì)量的管理、瀏覽、分析功能數(shù)據(jù)質(zhì)量檢核規(guī)則數(shù)據(jù)質(zhì)量管理需要對(duì)關(guān)鍵的數(shù)據(jù)進(jìn)行監(jiān)控，質(zhì)量監(jiān)控是通過制定質(zhì)量檢核規(guī)則并在特定的系統(tǒng)上運(yùn)行來實(shí)現(xiàn)。數(shù)據(jù)質(zhì)量檢核規(guī)則是對(duì)數(shù)據(jù)質(zhì)量問題監(jiān)控的機(jī)制，這些檢核規(guī)則的制定需要遵循一定的原則，按照一定的方式進(jìn)行分類，選擇運(yùn)行機(jī)制在系統(tǒng)中部署。檢核規(guī)則制定原則1、通用性數(shù)據(jù)質(zhì)量的檢核規(guī)則要能夠代表大多數(shù)的數(shù)據(jù)質(zhì)量問題，能夠在相似

35、的場(chǎng)景中使用， 相同的類型的質(zhì)量問題可以使用同一種規(guī)則進(jìn)行檢核。防止重復(fù)制定檢核規(guī)則。2、重要性數(shù)據(jù)質(zhì)量的監(jiān)控主要對(duì)重要數(shù)據(jù)進(jìn)行監(jiān)控，重要數(shù)據(jù)是那些產(chǎn)生質(zhì)量問題會(huì)對(duì)系統(tǒng)產(chǎn)生重要影響的，并需要大量投入去清洗的數(shù)據(jù)。數(shù)據(jù)質(zhì)量監(jiān)控需要將系統(tǒng)資源用于重要數(shù)據(jù)監(jiān)控上，重要性可以從業(yè)務(wù)和技術(shù)角度進(jìn)行評(píng)估。3、簡(jiǎn)潔性數(shù)據(jù)質(zhì)量的監(jiān)控在生產(chǎn)系統(tǒng)運(yùn)行，監(jiān)控重要的數(shù)據(jù)質(zhì)量問題，由于業(yè)務(wù)系統(tǒng)資源的要求，不能消耗太多的系統(tǒng)資源進(jìn)行質(zhì)量監(jiān)控，因此數(shù)據(jù)質(zhì)量的檢查應(yīng)該是簡(jiǎn)明的，容易理解和執(zhí)行的。檢核規(guī)則分類檢核規(guī)則按照檢核內(nèi)容與方式可以分為業(yè)務(wù)檢核規(guī)則和技術(shù)檢核規(guī)則： 1、業(yè)務(wù)檢核規(guī)則業(yè)務(wù)檢核規(guī)則是檢核數(shù)據(jù)的業(yè)務(wù)邏輯中內(nèi)在聯(lián)

36、系滿足度的一類規(guī)則。業(yè)務(wù)檢核規(guī)則需要在產(chǎn)品設(shè)計(jì)、研發(fā)、系統(tǒng)需求分析等過程中由業(yè)務(wù)專家提出，將數(shù)據(jù)間內(nèi)在的必然聯(lián)系作為業(yè)務(wù)檢核規(guī)則。通常情況業(yè)務(wù)檢核規(guī)則需要業(yè)務(wù)專家不斷支持，在規(guī)則管理中不斷完善。2、技術(shù)檢核規(guī)則技術(shù)檢核規(guī)則是技術(shù)專家、系統(tǒng)設(shè)計(jì)人員、系統(tǒng)測(cè)試人員、系統(tǒng)運(yùn)維人員等在技術(shù)實(shí)現(xiàn)和運(yùn)行維護(hù)過程中總結(jié)和發(fā)現(xiàn)的質(zhì)量檢查規(guī)則。這些檢核規(guī)則主要偏向于技術(shù)實(shí)現(xiàn)層面的規(guī)則。數(shù)據(jù)質(zhì)量管理實(shí)施原則數(shù)據(jù)質(zhì)量管理實(shí)施原則包含數(shù)據(jù)質(zhì)量管理的具體工作項(xiàng)與工作流程，通過這些工作項(xiàng)和工作流程形成數(shù)據(jù)質(zhì)量治理的閉環(huán)，不斷提升數(shù)據(jù)質(zhì)量。從改進(jìn)的問題領(lǐng)域選擇開始，到最終的質(zhì)量問題監(jiān)控，這些改進(jìn)過程形成一個(gè)閉環(huán)流程，通過監(jiān)

37、控如果發(fā)現(xiàn)質(zhì)量不能滿足要求， 則需要重新開始新的改進(jìn)流程。與銀監(jiān) EAST 系統(tǒng)接口3.1.9.1 與銀監(jiān) EAST 系統(tǒng)接口公司風(fēng)險(xiǎn)管理系統(tǒng)數(shù)據(jù)集市是基于中國(guó)銀監(jiān)會(huì)監(jiān)管數(shù)據(jù)標(biāo)準(zhǔn)化規(guī)范和中小銀行 及農(nóng)村金融機(jī)構(gòu)監(jiān)管采集數(shù)據(jù)標(biāo)準(zhǔn)化接口規(guī)范基礎(chǔ)上搭建。與銀監(jiān) EAST 系統(tǒng)數(shù)據(jù)接口平臺(tái)保持高度一致，完全符合銀監(jiān) EAST 系統(tǒng)所需要采集的數(shù)據(jù)。系統(tǒng)提供方便快捷的數(shù)據(jù)卸載功能，可每天或定期從數(shù)據(jù)集市中導(dǎo)出全量或每天增量數(shù)據(jù)提供給監(jiān)管部門或相關(guān)使用部門。網(wǎng)絡(luò)架構(gòu)風(fēng)險(xiǎn)預(yù)警平臺(tái)網(wǎng)絡(luò)架構(gòu)圖磁盤陣列核心業(yè)務(wù)數(shù)據(jù)交換平臺(tái)總行審計(jì)部業(yè)數(shù)據(jù)VPN數(shù)據(jù)庫服務(wù)器Oracle第三方數(shù)據(jù)informatica區(qū)域?qū)徲?jì)中心其

38、他系統(tǒng)其他用戶應(yīng)用服務(wù)器：WebLogic/websphere數(shù)據(jù)倉(cāng)庫【Greenplum】接口訪問影像系統(tǒng)接口訪問信貸檔案系統(tǒng)務(wù)系統(tǒng)以總行集中部署，數(shù)據(jù)庫服務(wù)器和 WEB 服務(wù)器部署在風(fēng)險(xiǎn)數(shù)據(jù)信息中心，總行風(fēng)險(xiǎn)監(jiān)管中心和分行、支行、網(wǎng)點(diǎn)、業(yè)務(wù)管理部門通過內(nèi)部網(wǎng)絡(luò)連接 WEB 服務(wù)器，實(shí)現(xiàn)系統(tǒng)管理與非現(xiàn)場(chǎng)風(fēng)險(xiǎn)、現(xiàn)場(chǎng)風(fēng)險(xiǎn)、風(fēng)險(xiǎn)評(píng)價(jià)、風(fēng)險(xiǎn)預(yù)警監(jiān)控等工作的各類操作，系統(tǒng)與行內(nèi)或有的影像檔案平臺(tái)和數(shù)碼監(jiān)控錄像平臺(tái)相連接，實(shí)現(xiàn)風(fēng)險(xiǎn)監(jiān)控工作中的業(yè)務(wù)數(shù)據(jù)與影像檔案、數(shù)據(jù)錄像的一體化應(yīng)用。風(fēng)險(xiǎn)數(shù)據(jù)信息中心風(fēng)險(xiǎn)數(shù)據(jù)信息中心部署數(shù)據(jù)庫服務(wù)器和存儲(chǔ)設(shè)備，數(shù)據(jù)庫服務(wù)器可采用雙機(jī)備份，系統(tǒng)所有數(shù)據(jù)存放在高可用性存儲(chǔ)設(shè)備

39、上；風(fēng)險(xiǎn)數(shù)據(jù)信息中心部署 WEB 服務(wù)器，可采用雙機(jī)備份。總行風(fēng)險(xiǎn)監(jiān)管中心總行風(fēng)險(xiǎn)監(jiān)管中心系統(tǒng)管理人員和內(nèi)審部門作業(yè)人員通過行內(nèi)局域網(wǎng)絡(luò)連接 WEB 邏輯應(yīng)用服務(wù)器進(jìn)行系統(tǒng)管理、預(yù)警監(jiān)測(cè)、查詢查證、風(fēng)險(xiǎn)評(píng)價(jià)、項(xiàng)目評(píng)價(jià)、風(fēng)險(xiǎn)計(jì)劃、風(fēng)險(xiǎn)項(xiàng)目信息管理等作業(yè)和管理。各業(yè)務(wù)部門、分支行機(jī)構(gòu)業(yè)務(wù)管理部門、分支行機(jī)構(gòu)風(fēng)險(xiǎn)監(jiān)管作業(yè)通過行內(nèi)局域網(wǎng)連接 WEB 邏輯應(yīng)用服務(wù)器進(jìn)行風(fēng)險(xiǎn)線索確認(rèn)、問題整改、信息查詢等作業(yè)操作。災(zāi)備中心為了保證系統(tǒng) 7X24 小時(shí)連續(xù)不斷運(yùn)行，系統(tǒng)可部署遠(yuǎn)程災(zāi)備中心。遠(yuǎn)程災(zāi)備中心部署數(shù)據(jù)庫服務(wù)器和存儲(chǔ)設(shè)備、WEB 服務(wù)器，采用數(shù)據(jù)拷貝方式實(shí)現(xiàn)風(fēng)險(xiǎn)監(jiān)管中心到遠(yuǎn)程災(zāi)備中心的數(shù)據(jù)備份。在風(fēng)險(xiǎn)

40、信息數(shù)據(jù)中心遭受災(zāi)難無法恢復(fù)時(shí)系統(tǒng)切換到遠(yuǎn)程災(zāi)備中心運(yùn)行。運(yùn)行環(huán)境配置服務(wù)器硬件環(huán)境硬件環(huán)境硬件類別硬件機(jī)型配置要求數(shù)量生產(chǎn)環(huán)境數(shù)據(jù)庫服務(wù)器小 型 機(jī) 或 PC Server4CPU、32G 內(nèi)存300G*2 硬盤標(biāo)配 1 臺(tái)。可考慮雙機(jī)備份或集群配置WEB 服務(wù)器PC Server4CPU、16G 內(nèi)存146G*2 硬盤標(biāo)配 1 臺(tái)。可考慮集群配置及F5 負(fù)載均衡數(shù)據(jù)存儲(chǔ)高速磁盤陣列至少4TB 可用空間滿足 3 年以上擴(kuò)展需要服務(wù)器端軟件環(huán)境類別類型版本數(shù)量備注操作系統(tǒng)Aix/Linux/WindowsAix6/RedHat/20032系統(tǒng)支持主流的操作系統(tǒng)數(shù)據(jù)庫軟件Db2/Oracle/G

41、reenPl um9.0/10g/4.01支持其他主流數(shù)據(jù)庫系統(tǒng)，如：Sybase、SQLServer 等應(yīng)用中間件WebLogic8.0 以上1支持其他主流產(chǎn)品， 如 ： Websphere 、Tomcat、Jboss 等ETL 工具公司提供的自主開發(fā)的ETL 工具1可選用其他商業(yè) ETL工具【informatica】報(bào)表工具公司提供的自主開發(fā)的報(bào)表工具1可選用其他商業(yè)產(chǎn)品圖形工具公司提供的自主封裝的圖形工具1可選用其他商業(yè)產(chǎn)品計(jì)算引擎公司提供的自主封裝的計(jì)算引擎1規(guī)則引擎公司提供的自主封裝的規(guī)則引擎1工作流引擎公司提供的自主研發(fā)的工作流產(chǎn)品1搜索引擎公司提供的自主封裝的搜索引擎1WebOf

42、fice 插件公司提供的自主研發(fā)的插件1客戶端環(huán)境類別標(biāo)準(zhǔn)配置備注硬件PC 機(jī)主流PC 機(jī)操作系統(tǒng)Windows Xp 以上辦公軟件Office 2000 以上/WPS瀏覽器IE6.0 以上、火狐瀏覽器插件支持ActiveX 控件安全和訪問控制序號(hào)功能內(nèi)容1鑒別機(jī)制采用用戶名和口令機(jī)制：（1）用戶的口令在存儲(chǔ)、傳輸過程中必須是以密文方式存在。（2）輸入口令字時(shí)不許明文回顯。（3）用戶認(rèn)證通過后，如果在 15 分鐘時(shí)間內(nèi)無操作，用戶需要進(jìn)行確認(rèn)性重認(rèn)證。2鑒別失敗處理用戶登錄失敗,需要返回有限的失敗信息【用戶名或密碼錯(cuò)誤、用戶不存在、用戶沒有權(quán)限】當(dāng)用戶連續(xù)鑒別錯(cuò)誤次數(shù)超過限制條件 8 次時(shí)，將該用戶鎖定，12 小時(shí)后自動(dòng)恢復(fù)，或通過管理員重新設(shè)定后恢復(fù).3控制機(jī)制系統(tǒng)限制口令長(zhǎng)度至少 6