Oracle技術(shù)處理方案

ORACLe*

El錄

1.概述.......................................................

1.1背景.....................................................

南方電網(wǎng)“十一五”信息化現(xiàn)實(shí)狀況...........................

南方電網(wǎng)“十二五”信息化定位...............................

1.2項(xiàng)目建設(shè)目的.............................................

13項(xiàng)目建設(shè)范圍.............................................

1.4項(xiàng)目建設(shè)內(nèi)容.............................................

1.5需求分析.................................................

2.Oracle主數(shù)據(jù)管理方案.......................................

2.1Oracle主數(shù)據(jù)管理設(shè)計(jì).....................................

Oracle主數(shù)據(jù)管理總體架構(gòu)設(shè)計(jì)...............................

主數(shù)據(jù)方案設(shè)計(jì)..............................................

互換數(shù)據(jù)方案設(shè)計(jì)............................................

數(shù)據(jù)互換系統(tǒng)功能設(shè)計(jì).......................................

3.Oracle主數(shù)據(jù)管理設(shè)計(jì)產(chǎn)品簡(jiǎn)介..............................

3.1OracleBPMSuite（業(yè)務(wù)流程）.................................

BPM方案總體架構(gòu)...........................................

閉環(huán)的OracleBPM處理方案...................................

業(yè)務(wù)流程分析BPA階段.........................................

業(yè)務(wù)流程執(zhí)行BPE與業(yè)務(wù)流程監(jiān)視BAM階段.....................

OracleBPM平臺(tái)中重要模塊簡(jiǎn)介...............................

3.1.3.10racleBPM服務(wù)器.......................................

業(yè)務(wù)規(guī)則

流程建模與模擬工具............................................

元數(shù)據(jù)資料庫(kù)

OracleBPM處理方案的優(yōu)勢(shì)....................................

3.2OracleSOASuite（應(yīng)用集成）..................................

價(jià)值主張.....................................................

創(chuàng)立服務(wù).....................................................

服務(wù)連通與轉(zhuǎn)換..............................................

流程編排和整合..............................................

服務(wù)公布與注冊(cè)..............................................

服務(wù)的安全管理..............................................

顧客身份管理................................................

SOA平臺(tái)"勺系統(tǒng)管理..........................................

3.3OracleDataIintegrator（批量數(shù)據(jù)抽取）.........................

產(chǎn)品概述.....................................................

ODI產(chǎn)品體系構(gòu)造.............................................

數(shù)據(jù)分發(fā)和傳播..............................................

數(shù)據(jù)集成關(guān)鍵................................................

數(shù)據(jù)質(zhì)量關(guān)鍵................................................

數(shù)據(jù)連接.....................................................

ODI重要優(yōu)勢(shì)................................................

3.4GoldenGate（實(shí)時(shí)數(shù)據(jù)同步方案）.............................

高可用和容災(zāi)處理方案........................................

實(shí)時(shí)數(shù)據(jù)整合處理方案........................................

復(fù)制模式.....................................................

關(guān)鍵特性.....................................................

應(yīng)用方式.....................................................

4.軟件配置及布署方案..........................................

4.1軟件配置及硬件推薦.......................................

4.2布署架構(gòu)圖...............................................

1.概述

1.1背景

1.1.1南方電網(wǎng)“十一五”信息化現(xiàn)實(shí)狀況

Oracle主數(shù)據(jù)管理方案

南方電網(wǎng)口勺數(shù)據(jù)質(zhì)量管理必須有一整套的用于生成和維護(hù)企業(yè)主數(shù)據(jù)H勺規(guī)范、技術(shù)和方

案，以保證主數(shù)據(jù)口勺完整性、一致性和精確性。

（1）數(shù)據(jù)原則管理

數(shù)據(jù)原則包括各業(yè)務(wù)域的數(shù)據(jù)集原則、數(shù)據(jù)模型原則及信息分類編碼原則。這些原則用

于指導(dǎo)各業(yè)務(wù)系統(tǒng)建設(shè)與實(shí)行。

在原則管理上，數(shù)據(jù)資源管理工具應(yīng)能有效管控原則的變更與執(zhí)行。尤其是“十二五”

期間，怎樣管理網(wǎng)省兩級(jí)、省級(jí)集中的業(yè)務(wù)系統(tǒng)的統(tǒng)一版本問(wèn)題是關(guān)鍵。

（2）主數(shù)據(jù)管理

通過(guò)企業(yè)范圍內(nèi)依J統(tǒng)一視圖，即ECIM模型，實(shí)現(xiàn)主數(shù)據(jù)管理，增進(jìn)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集

成與共享。

主數(shù)據(jù)管理需要處理主數(shù)據(jù)口勺定義、標(biāo)識(shí)、存儲(chǔ)、匯集、清洗、監(jiān)管與共享。主數(shù)據(jù)可

認(rèn)為業(yè)務(wù)系統(tǒng)或數(shù)據(jù)中心服務(wù)。

（3）數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)管理H勺最終的目的是為了提高系統(tǒng)數(shù)據(jù)質(zhì)最。在主數(shù)據(jù)的清洗階段，通過(guò)數(shù)據(jù)質(zhì)最

管理工作，對(duì)數(shù)據(jù)進(jìn)行解析、原則化、匹配&去重、補(bǔ)充及驗(yàn)證建立可靠的數(shù)據(jù).對(duì)于關(guān)鍵

構(gòu)造化數(shù)據(jù)在加載到數(shù)據(jù)中心時(shí)也進(jìn)行相似的工作，提高決策支持水平。

南方電網(wǎng)打勺主數(shù)據(jù)管理系統(tǒng)從IT建設(shè)的角度而言都會(huì)是一種相對(duì)復(fù)雜口勺系統(tǒng),往往會(huì)

和企業(yè)數(shù)據(jù)倉(cāng)庫(kù)/決策支持系統(tǒng)以及企業(yè)內(nèi)的各個(gè)業(yè)務(wù)系統(tǒng)發(fā)生關(guān)系，技術(shù)實(shí)現(xiàn)上也會(huì)波

及到ETL、流程、SOA、企業(yè)服務(wù)總線等多種方面，一種經(jīng)典日勺主數(shù)據(jù)管理的信息流為：

?某個(gè)業(yè)務(wù)系統(tǒng)觸發(fā)對(duì)企業(yè)主數(shù)據(jù)的改動(dòng)：

?主數(shù)據(jù)管理系統(tǒng)將整合之后完整、精確的主數(shù)據(jù)分發(fā)給所有有關(guān)的應(yīng)用系統(tǒng)；

?主數(shù)據(jù)管理系統(tǒng)為業(yè)務(wù)系統(tǒng)和決策支持以及數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)提供精確的數(shù)據(jù)源。

因此對(duì)于南方電網(wǎng)數(shù)據(jù)質(zhì)量管理的建設(shè)，必須從項(xiàng)目建設(shè)初期就考慮整體的平臺(tái)框架和技術(shù)

實(shí)現(xiàn)。Oracle主數(shù)據(jù)管理(MasterDataManagement,MDM)是目前業(yè)界最完整的是,種集

成的、完整H勺企業(yè)主數(shù)據(jù)(企業(yè)業(yè)務(wù)運(yùn)行和商務(wù)分析所依賴的關(guān)鍵性基礎(chǔ)數(shù)據(jù))管理平臺(tái)，

具有企業(yè)級(jí)主數(shù)據(jù)存儲(chǔ)、主數(shù)據(jù)整合、主數(shù)據(jù)清洗、主數(shù)據(jù)監(jiān)管以及主數(shù)據(jù)共享等五大功能,

可全面連接企業(yè)數(shù)據(jù)內(nèi)容(廣泛使用和在部門間共享的數(shù)據(jù))和實(shí)現(xiàn)企業(yè)范圍內(nèi)的主數(shù)據(jù)統(tǒng)

一、完整和一致。作為企業(yè)的真實(shí)數(shù)據(jù)來(lái)源，Oracle主數(shù)據(jù)管理(MDM)平臺(tái)通過(guò)數(shù)據(jù)治理服

務(wù)以及對(duì)周圍應(yīng)用系統(tǒng)的集成和對(duì)商務(wù)智能系統(tǒng)的支持,來(lái)統(tǒng)一管理企業(yè)內(nèi)重要的基砒數(shù)據(jù)

信息，可以整合并維護(hù)企業(yè)范圍的全面、精確且權(quán)威U勺主數(shù)據(jù)，并將這些主數(shù)據(jù)信息作為共

享服務(wù)分發(fā)到所需的業(yè)務(wù)和分析系統(tǒng)。

Oracle主數(shù)據(jù)管理處理方案具有如下特性：

?保證數(shù)據(jù)的唯一性和精確性：有效整頓和集中分散在關(guān)鍵企業(yè)流程和應(yīng)用軟件中的

數(shù)據(jù)片斷，通過(guò)一系列匹配、整合和清洗規(guī)則使之形成單一真實(shí)數(shù)據(jù)源，并提供基于工

作流的數(shù)據(jù)監(jiān)管流程來(lái)實(shí)現(xiàn)持續(xù)的數(shù)據(jù)質(zhì)量維護(hù)。最終將統(tǒng)一IJ勺數(shù)據(jù)資產(chǎn)作為Web服務(wù)

提供應(yīng)周圍的業(yè)務(wù)系統(tǒng)，實(shí)現(xiàn)企業(yè)范圍的主數(shù)據(jù)協(xié)同;

?有效減少數(shù)據(jù)管理成本：提供統(tǒng)?的資源庫(kù)來(lái)集中管理企業(yè)重要的數(shù)據(jù)資產(chǎn)，并能

將對(duì)這些數(shù)據(jù)資產(chǎn)的訪問(wèn)以服務(wù)的方式提供應(yīng)周圍應(yīng)用系統(tǒng)，實(shí)時(shí)地提供訪問(wèn)主數(shù)據(jù)日勺

WEB服務(wù)，包括匹配、申請(qǐng)所有信息以及申請(qǐng)所需信息等；

?實(shí)現(xiàn)更好的報(bào)表：精確、有效的數(shù)據(jù)是精確、有效時(shí)報(bào)表的J基礎(chǔ)，OracleMDU可以

將清洗、排重、整頓之后日勺精確數(shù)據(jù)提供應(yīng)企業(yè)的商務(wù)分析系統(tǒng)，得到愈加精確的決策

支持；

?提供企業(yè)系統(tǒng)架構(gòu)靈活性和創(chuàng)新性的基礎(chǔ)：維護(hù)持續(xù)的、唯一而精確的主數(shù)據(jù)資產(chǎn),

可以在不停變化的'業(yè)務(wù)環(huán)境中增強(qiáng)IT彈性，滿足爆炸式數(shù)據(jù)增長(zhǎng)的需求。

Oracle主數(shù)據(jù)管埋能支持如下六大功能:

?指定每個(gè)特定主數(shù)據(jù)域的業(yè)務(wù)職責(zé)，例如，產(chǎn)品、客戶、供應(yīng)商和組織構(gòu)造。

?嚴(yán)格履行職責(zé)可保證接入共享資源的系統(tǒng)一直保持高質(zhì)量主數(shù)據(jù)。

?提取分散在各個(gè)應(yīng)用系統(tǒng)中的主數(shù)據(jù)集中到主數(shù)據(jù)存儲(chǔ)庫(kù)，主數(shù)據(jù)存儲(chǔ)庫(kù)一般采用

二維數(shù)據(jù)庫(kù)存儲(chǔ)主數(shù)據(jù)。

根據(jù)企業(yè)業(yè)務(wù)規(guī)則和企業(yè)數(shù)據(jù)質(zhì)量原則對(duì)搜集到的主數(shù)據(jù)進(jìn)行加工清理，從而形成

符合企業(yè)需求的J主數(shù)據(jù)。

.制定主數(shù)據(jù)變更B勺流程審批機(jī)制，從而保證主數(shù)據(jù)修改B勺一致性和穩(wěn)定性。

?實(shí)現(xiàn)各個(gè)數(shù)據(jù)運(yùn)用系統(tǒng)與主數(shù)據(jù)存儲(chǔ)庫(kù)的數(shù)據(jù)同步，從而保證每個(gè)系統(tǒng)使用的主數(shù)

據(jù)相似。）

伴隨IT系統(tǒng)的建設(shè)，主數(shù)據(jù)的修改動(dòng)作必然從既有分散的各個(gè)系統(tǒng)轉(zhuǎn)移到主數(shù)據(jù)存儲(chǔ)

庫(kù)集中進(jìn)行，因此必須保證目前主數(shù)據(jù)管理系統(tǒng)的靈活性，以便修改、監(jiān)控、更新關(guān)聯(lián)

絡(luò)統(tǒng)主數(shù)據(jù)的變化。

Oracle主數(shù)據(jù)管理在企業(yè)范圍內(nèi)主數(shù)據(jù)協(xié)同方面完善了一套端到端的模式可滿足

客戶不一樣的實(shí)行需要，即“推進(jìn)模式”和“拉動(dòng)模式”，前者通過(guò)前端獨(dú)立應(yīng)用軟件

（包括Oracle應(yīng)用系統(tǒng)、企業(yè)自主開發(fā)以及第三方軟件犯勺主數(shù)據(jù)改動(dòng)，通過(guò)Oracle應(yīng)

用集成架構(gòu)自動(dòng)且迅速地同步到OracleMDM主數(shù)據(jù)平臺(tái)，可實(shí)現(xiàn)企業(yè)范圍內(nèi)的全面數(shù)

據(jù)整合，而后者則是曰主數(shù)據(jù)平臺(tái)積極對(duì)前端應(yīng)用軟件進(jìn)行'實(shí)時(shí)的訪問(wèn)，獲取新增、更

改和補(bǔ)充數(shù)據(jù)，并通過(guò)Oracle應(yīng)用集成架構(gòu)和內(nèi)割數(shù)據(jù)規(guī)則實(shí)現(xiàn)原則化，從而最終在

主數(shù)據(jù)平臺(tái)實(shí)現(xiàn)唯一精確地共享數(shù)據(jù)。

2.1Oracle主數(shù)據(jù)管理設(shè)計(jì)

2.1.1Oracle主數(shù)據(jù)管理總體架構(gòu)設(shè)計(jì)

營(yíng)網(wǎng)管理財(cái)務(wù)管理協(xié)同辦公資產(chǎn)臂理探合管理人力資力管理

Oracle主數(shù)據(jù)管理的重要功能可歸結(jié)為如下六大功能:

主數(shù)據(jù)存儲(chǔ)

主數(shù)據(jù)整合與連接

主數(shù)據(jù)質(zhì)量管理

主數(shù)據(jù)管理監(jiān)控

主數(shù)據(jù)共享

安全可靠的平臺(tái)

主數(shù)據(jù)存儲(chǔ)

?一種具有無(wú)限可擴(kuò)展性的內(nèi)置.、靈活（隨時(shí)間變化）內(nèi)開放數(shù)據(jù)模型可維護(hù)南方電網(wǎng)

主數(shù)據(jù)和所有需要的屬性（構(gòu)造化和非構(gòu)造化的）、有關(guān)實(shí)體、分類和關(guān)系；

?可跟蹤主數(shù)據(jù)屬性、審計(jì)跟蹤信息和歷史主數(shù)據(jù)剖析的來(lái)源

重要用于存儲(chǔ)整合后主數(shù)據(jù)，將各系統(tǒng)的需求信息概括形成一條完整H勺記錄并進(jìn)行存儲(chǔ)供應(yīng),

提供一種完整FI勺數(shù)據(jù)模型，主數(shù)據(jù)的不一樣部分分布在不一樣H勺業(yè)務(wù)系統(tǒng)中，例如一種call

center系統(tǒng)需要保留客戶II勺所有聯(lián)絡(luò)信息，不過(guò)一種計(jì)費(fèi)系統(tǒng)也許只需要保留客戶H勺與計(jì)費(fèi)

有關(guān)的信息，怎樣將客戶信息形成一條完整的記錄并進(jìn)行存儲(chǔ)供應(yīng)，當(dāng)然是需要概括所有這

些系統(tǒng)的需求，提供一種完整的數(shù)據(jù)模型。

數(shù)據(jù)整合與連接

?領(lǐng)先的嵌入式數(shù)據(jù)質(zhì)量管理工具及與第三方數(shù)據(jù)源的集成，用于驗(yàn)證和充實(shí)數(shù)據(jù)

?可保持?jǐn)?shù)據(jù)最新H勺持續(xù)數(shù)據(jù)清理功能集

?迅速安全的參數(shù)化搜索引擎，能識(shí)別和防止反復(fù)數(shù)據(jù)

?智能合并和自動(dòng)合并功能，消除數(shù)據(jù)反復(fù)，同步保證對(duì)的I肉數(shù)據(jù)屬性排除

-運(yùn)用與外部?jī)?nèi)容提供商口勺預(yù)建集成來(lái)充實(shí)主數(shù)據(jù)內(nèi)容

-包括主數(shù)據(jù)生命周期管理工作流

主數(shù)據(jù)分散在不一樣的業(yè)務(wù)系統(tǒng)中，要進(jìn)行數(shù)據(jù)整合，第一步是實(shí)現(xiàn)這些異構(gòu)系統(tǒng)的互聯(lián)互

通，然后通過(guò)一定的觸發(fā)機(jī)制將各個(gè)系統(tǒng)針對(duì)主數(shù)據(jù)的修改同步到主數(shù)據(jù)存儲(chǔ)庫(kù)。不過(guò)在實(shí)

行數(shù)據(jù)集成的過(guò)程中,由于不一樣系統(tǒng)提供H勺數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量千差萬(wàn)別,區(qū)

至?xí)龅綌?shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等問(wèn)題，將會(huì)嚴(yán)重阻礙數(shù)據(jù)在各部門

和各應(yīng)用系統(tǒng)中H勺流動(dòng)與共享。因此，怎樣對(duì)數(shù)據(jù)進(jìn)行有效的集成管理是數(shù)據(jù)共享中心建設(shè)

的一種關(guān)鍵難點(diǎn)。

ETL是實(shí)現(xiàn)數(shù)據(jù)集成H勺重要技術(shù)。ETL中三個(gè)字母分別代表日勺是ExtractsTransformsLoad,

即抽取、轉(zhuǎn)換、加載。（1）數(shù)據(jù)抽取：從源數(shù)據(jù)源系統(tǒng)抽取目日勺數(shù)據(jù)源系統(tǒng)需要的I數(shù)據(jù)：（2）

數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務(wù)需求，轉(zhuǎn)換成目的J數(shù)據(jù)源規(guī)定H勺形式，并對(duì)錯(cuò)

誤、不一致H勺數(shù)據(jù)進(jìn)行清洗和加工。（3）數(shù)據(jù)加載：將轉(zhuǎn)換后日勺數(shù)據(jù)裝載到目日勺數(shù)據(jù)源。ETL

過(guò)程中的重要環(huán)節(jié)就是數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和加工、數(shù)據(jù)裝載。

CRM8CMLeoacyERP

Oracle的主數(shù)據(jù)整合管理ETL基于ODI來(lái)實(shí)現(xiàn)，使用ODI設(shè)計(jì)和生成經(jīng)典格式；運(yùn)用已經(jīng)

有的元數(shù)據(jù)格式設(shè)計(jì)MDM應(yīng)用（實(shí)體，字段，關(guān)系）：生成和維護(hù)主數(shù)據(jù)構(gòu)造；生成和布署

轉(zhuǎn)換。

主數(shù)據(jù)質(zhì)量管理

-為每個(gè)主數(shù)據(jù)實(shí)體創(chuàng)立通用ID并構(gòu)建針對(duì)每個(gè)所連接記錄/系統(tǒng)對(duì)向交叉引用

-一種數(shù)據(jù)導(dǎo)入工作臺(tái)和顧客界面，以協(xié)助數(shù)據(jù)管理員管理源系統(tǒng)口勺映射和數(shù)據(jù)加載

及主數(shù)據(jù)剖析

-使用預(yù)建、符合原則的業(yè)務(wù)服務(wù)和適配器實(shí)現(xiàn)集成

-使用可配置的屬性“排除”規(guī)則，根據(jù)多種數(shù)據(jù)源創(chuàng)立單一H勺記錄

-運(yùn)用基礎(chǔ)服務(wù)框架的數(shù)據(jù)聯(lián)合功能

主數(shù)據(jù)維護(hù)著企業(yè)里該種類型數(shù)據(jù)H勺最值得信任的數(shù)據(jù)，因此使用質(zhì)量管理技術(shù)來(lái)保證這些

數(shù)據(jù)的精確是主數(shù)據(jù)管理里非常重要的一環(huán)。

攻■標(biāo)準(zhǔn)化喔配小擎■復(fù)處理

?抽和標(biāo)?；?性?使用軍■的引掌運(yùn)行人

ftM?金算條目妃景目防止

?在主從目錄中遇斤分關(guān)在產(chǎn)品豉據(jù)存儲(chǔ)中產(chǎn)

?以財(cái)重復(fù)井懵防里立段

?使用行業(yè)&公M卜力lift

生

自動(dòng)產(chǎn)生和■認(rèn)工作談

x西這條目號(hào)描逑才成爆?退步拉什斯東門宣又

?fc?占*不必要的紀(jì)

程?依說(shuō)程

01!遇懺砂檄蠅格化果宏送少酸糖■

3?住所有依據(jù)入口點(diǎn)謾求而?聲晶變化柱物

戶白定義?乂_

1.數(shù)據(jù)清洗：數(shù)據(jù)清洗是對(duì)數(shù)據(jù)進(jìn)行校驗(yàn)和原則化，例如地址與否存在等等。

2.數(shù)據(jù)匹配：數(shù)據(jù)匹配是找出有也許反復(fù)的記錄。例如MDM系統(tǒng)里有兩個(gè)閾值是用于控

制數(shù)據(jù)匹配的流程，第一種閾值是高分閾值，對(duì)于數(shù)據(jù)匹配分值高于高分閾值的記錄將會(huì)

使用數(shù)據(jù)存活規(guī)則進(jìn)行自動(dòng)合并；第二個(gè)閾值是中分閾值，數(shù)據(jù)匹配得分在高分閾值和中分

閾值之間的記錄將會(huì)進(jìn)入人工判斷工作流，由管理員或者其他指定的人決定合并還是作為

新記錄。低于中分閾值的記錄都將會(huì)被作為新記錄。

數(shù)據(jù)存活規(guī)則(Survivorshiprules)

一般而言，企業(yè)里的主數(shù)據(jù)來(lái)源于企業(yè)里的各個(gè)系統(tǒng)，當(dāng)不一樣系統(tǒng)日勺同一種屬性值有.不一

樣時(shí)值的時(shí)候，就需要決定哪一種系統(tǒng)時(shí)值是精確口勺。數(shù)據(jù)存活規(guī)則指定多種規(guī)則來(lái)決定新

的數(shù)據(jù)進(jìn)入到主數(shù)據(jù)庫(kù)或者當(dāng)新數(shù)據(jù)和舊有主數(shù)據(jù)沖突H勺時(shí)候的處理措施。數(shù)據(jù)存活規(guī)則重

要有三種：

?Recent規(guī)則：當(dāng)相似的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時(shí)候，后來(lái)來(lái)的數(shù)據(jù)為準(zhǔn)，后來(lái)數(shù)據(jù)

替代本來(lái)的數(shù)據(jù)。例如contact(聯(lián)絡(luò)人)信息，缺省是后來(lái)來(lái)的更新為主。

?History規(guī)則：當(dāng)相似的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時(shí)候，以本來(lái)的I數(shù)據(jù)為準(zhǔn)，不接受后

來(lái)數(shù)據(jù)的更新。

?Source規(guī)則：當(dāng)相似的數(shù)據(jù)進(jìn)入主數(shù)據(jù)系統(tǒng)的時(shí)候，以數(shù)據(jù)來(lái)源系統(tǒng)的可信度為作

為使用哪個(gè)數(shù)據(jù)最終存活的規(guī)則。例如當(dāng)源系統(tǒng)有A,B,C三個(gè)系統(tǒng)的時(shí)候，我們

需要在主數(shù)據(jù)管理系統(tǒng)里注冊(cè)這三個(gè)系統(tǒng)的時(shí)候，同步給這此源系統(tǒng)評(píng)分，則當(dāng)

使用source規(guī)則II勺時(shí)候，則后來(lái)的數(shù)據(jù)將以評(píng)分高的系統(tǒng)為準(zhǔn)。例如有三個(gè)系統(tǒng)，

CRM,財(cái)務(wù)，物流，對(duì)于客戶信息而言，我們認(rèn)為CRM系統(tǒng)里的客戶信息應(yīng)當(dāng)是最

準(zhǔn)”勺，我們應(yīng)當(dāng)給于CRM系統(tǒng)較高的分值，則這個(gè)時(shí)候?qū)τ诳蛻魯?shù)據(jù)我們將使用

Source規(guī)則，則后來(lái)所有的CRM系統(tǒng)對(duì)應(yīng)客戶的更新會(huì)覆蓋本來(lái)不是CRM系統(tǒng)的

更新。

3.數(shù)據(jù)質(zhì)量管理流程

數(shù)據(jù)質(zhì)量的大體控制流程，即當(dāng)記錄進(jìn)入主數(shù)據(jù)系統(tǒng)時(shí)，先會(huì)在主數(shù)據(jù)系統(tǒng)里尋找也許匹配

的記錄，假如成果認(rèn)為是不匹配，則將進(jìn)入處理不匹配流程來(lái)增長(zhǎng)一條新記錄；假如是分

值足夠高，則進(jìn)入自動(dòng)匹配流程把該記錄和原有記錄進(jìn)行數(shù)據(jù)存活規(guī)則處理并合并記錄；假

如是分值局限性夠高，則需要人工來(lái)決定該記錄是新記錄還是需要和原有記錄合并。

主數(shù)據(jù)管理監(jiān)控

-最佳的工作流功能（例如針對(duì)南方電網(wǎng)主數(shù)據(jù)定義和審批路由的可配置工作流）響

應(yīng)整個(gè)主數(shù)據(jù)管理生命周期事件;。racleBPEL規(guī)范制定自動(dòng)化業(yè)務(wù)處理流程，支

持顧客自定義變更類型

-保證堅(jiān)如磐石的安全性和法規(guī)遵守證明的完整歷史和審計(jì)跟蹤

■納稅人數(shù)據(jù)認(rèn)證，支持機(jī)構(gòu)創(chuàng)立數(shù)據(jù)質(zhì)量原則，遵守這些原則并提高顧客對(duì)數(shù)據(jù)的

信心

-商務(wù)智能基礎(chǔ)架構(gòu)，支持剖析、法規(guī)遵守和業(yè)務(wù)績(jī)效指標(biāo)

?自動(dòng)化、人工流程，提供良好的顧客界面UI,多種告知方式

?自動(dòng)化、人工的審核和同意，逐層審批

?易于多組織的協(xié)同工作

主數(shù)據(jù)公布和共享

-面向終端顧客和數(shù)據(jù)管理員的直觀GUI,管理主數(shù)據(jù)H勺整個(gè)生命周期一一從創(chuàng)立或?qū)?/p>

入主數(shù)據(jù)信息到清理、匹配、增強(qiáng)和公布。使用預(yù)建的流程使南方電網(wǎng)更輕松地管

理主數(shù)據(jù)

-對(duì)所有集成模二1一一實(shí)時(shí)（緊耦合和松耦合）、近實(shí)時(shí)（松耦合）和批量一一的嚴(yán)格

的多模型支持

■提供作為業(yè)務(wù)服務(wù)和Web服務(wù)n勺常用功能

-一種內(nèi)部觸發(fā)的機(jī)制，創(chuàng)立變更信息并向所有相連系統(tǒng)布署

■為所有的管理軟件和分析系統(tǒng)提供主數(shù)據(jù)記錄和所選屬性

-在面向服務(wù)的架構(gòu)（SOA）和/或消息傳遞總線上的運(yùn)行管理軟件和數(shù)據(jù)倉(cāng)庫(kù)雙向交互

■通過(guò)Oracle應(yīng)用集成架構(gòu)（AIA）流程集成包（PIP）預(yù)建的集成

-與Oroclc商務(wù)智能企業(yè)版（OBIEE）預(yù)建的集成

為了實(shí)現(xiàn)主數(shù)據(jù)共享，首先全網(wǎng)應(yīng)當(dāng)各個(gè)分散的業(yè)務(wù)系統(tǒng)連接起來(lái)，實(shí)現(xiàn)各個(gè)業(yè)務(wù)系統(tǒng)與主數(shù)據(jù)

存儲(chǔ)的互聯(lián)互通，目前H勺南網(wǎng)主數(shù)據(jù)管理處理方案重要采用兩種方式來(lái)實(shí)現(xiàn)：基于ETL工具的方

式和基于SOA體系架構(gòu)的方式。

1.基于ODI的方式

A

J

>

Q

0

e

u

u

0

5

S

B

。

基于ODI這樣Fl勺ETL工具設(shè)計(jì)的架構(gòu)更適合全網(wǎng)業(yè)務(wù)系統(tǒng)中的非實(shí)時(shí)數(shù)據(jù)量大的主數(shù)據(jù)共享公布。

如上圖所示，采用基于ODIH勺ETL工具具有連接多種異構(gòu)數(shù)據(jù)源和變化捕捉的能力，采用它來(lái)實(shí)

現(xiàn)MDM中異構(gòu)系統(tǒng)H勺數(shù)據(jù)觸發(fā)、整合和公布應(yīng)當(dāng)是順理成章日勺事情，當(dāng)某個(gè)主數(shù)據(jù)的源發(fā)生變

化時(shí)，ETL的CDC（變化數(shù)掂捕捉）功能就會(huì)捕捉到變化，進(jìn)而將變化向數(shù)據(jù)傳播到主數(shù)據(jù)管理系

統(tǒng)的臨時(shí)存儲(chǔ)區(qū)，然后ETL工具根據(jù)定義的數(shù)據(jù)轉(zhuǎn)化規(guī)則對(duì)數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)化，形成主數(shù)據(jù)，進(jìn)

而ETL調(diào)用審批監(jiān)管流程，一旦獲得審批，ETL即可將主數(shù)據(jù)同步到主數(shù)據(jù)存儲(chǔ)系統(tǒng)，同步分發(fā)

給各個(gè)訂閱該主數(shù)據(jù)的業(yè)務(wù)系統(tǒng)。同步ODI可以支撐流程的設(shè)計(jì)、運(yùn)行、監(jiān)控，否則ETL工具必

須可以調(diào)用其他口勺工作流引擎，ODI可以實(shí)現(xiàn)與SOAH勺無(wú)縫集成，既可以將數(shù)據(jù)或者轉(zhuǎn)化封裝為

WebService服務(wù)，也可以調(diào)用外部I向WebService服務(wù)。

2.基于SOA架構(gòu)的方式:

監(jiān)控管理查詢修改添加復(fù)制

MDM

I

—同步—*

HR

CUSTCUST

APP1

APP2

在該方案更適合實(shí)時(shí)向數(shù)據(jù)量小的主數(shù)據(jù)共享公布，采用OSB（企業(yè)服務(wù)總線）技術(shù)構(gòu)建應(yīng)用集

成平臺(tái)，采用webservice方式實(shí)目前多種系統(tǒng)間應(yīng)用集成和互聯(lián)互通。應(yīng)用集成平臺(tái)是數(shù)據(jù)采

集、數(shù)據(jù)互換及服務(wù)提供能力的直接承載。數(shù)據(jù)的搜集和分發(fā)采用多種應(yīng)用和適配器實(shí)現(xiàn)，多種

應(yīng)用適配器一般提供變化數(shù)據(jù)時(shí)的輪詢或者推送功能。監(jiān)控管理可以采用SOA中II勺工作流引擎

來(lái)實(shí)現(xiàn)，同步SOA中的流程監(jiān)控系統(tǒng)可以對(duì)整個(gè)主數(shù)據(jù)的搜集、轉(zhuǎn)化、審批分發(fā)提供端到端的

監(jiān)控。采用SOA技術(shù)設(shè)計(jì)的主數(shù)據(jù)管理架構(gòu)基于J2EE的開放架構(gòu)，會(huì)非常靈活，同步便于和其

他系統(tǒng)集成，系統(tǒng)的擴(kuò)展性上很好，其問(wèn)題在于假如主數(shù)據(jù)同步的量非常大，效率會(huì)有一定問(wèn)題。

安全可靠的平臺(tái)

?基于原則的開放平臺(tái)

-多語(yǔ)言和多國(guó)家支持

■經(jīng)驗(yàn)證R勺平臺(tái)，全球各行業(yè)（包括公共部門）數(shù)千客戶口勺選擇

■面向混合的重工作負(fù)載一一Oracle擁有巨大數(shù)目的客戶一一卜關(guān)鍵數(shù)據(jù)訪問(wèn)的高度

可用和可伸縮的平臺(tái)。

安全特性包括全面且靈活的認(rèn)證、全面的審計(jì)和監(jiān)控以及所有架構(gòu)級(jí)別的力L密。

Oracle已經(jīng)獲得了17項(xiàng)獨(dú)立安全性評(píng)估的擔(dān)保，確立了Oracle在該領(lǐng)域日勺領(lǐng)導(dǎo)地位。

這些評(píng)估包括TCSEC、ITSEC、FIPS和多種通用原則評(píng)估。

2.1.2主數(shù)據(jù)方案設(shè)計(jì)

主數(shù)據(jù)管理H勺關(guān)鍵是數(shù)據(jù)整合、數(shù)據(jù)管控和數(shù)據(jù)服務(wù)。在橫跨這三個(gè)層次需要進(jìn)行數(shù)據(jù)

安全管理、質(zhì)量管理和元數(shù)據(jù)管理。下面分別進(jìn)行簡(jiǎn)介：

數(shù)據(jù)整合：數(shù)據(jù)整合就是將離散于各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集中化，統(tǒng)一整合集成至

數(shù)據(jù)中心。數(shù)據(jù)整合將通過(guò)ETL工具實(shí)現(xiàn)數(shù)據(jù)的抽取、轉(zhuǎn)換和加載等功能。

數(shù)據(jù)管控：重要包括數(shù)據(jù)中心物理模型、邏輯模型的設(shè)計(jì)，數(shù)據(jù)FI勺維護(hù)管理以及存儲(chǔ)管

埋等管控功能。

數(shù)據(jù)服務(wù)管控：數(shù)據(jù)服務(wù)管控重要是對(duì)采集至數(shù)據(jù)中心的數(shù)據(jù)進(jìn)行數(shù)據(jù)互換和管控，重:

要包括數(shù)據(jù)百換服務(wù)設(shè)計(jì)，數(shù)據(jù)總線互換共享,以及數(shù)據(jù)互換管理等功能c

元數(shù)據(jù)管理：元數(shù)據(jù)管理是整個(gè)數(shù)據(jù)共享中心中基礎(chǔ)信息的管理，包括ETL元數(shù)據(jù)、接

口元數(shù)據(jù)、模型元數(shù)據(jù)和數(shù)據(jù)服務(wù)元數(shù)據(jù)等的管理功能.

質(zhì)量管理:在數(shù)據(jù)管理W、J不一樣階段，數(shù)據(jù)管理對(duì)數(shù)據(jù)質(zhì)量管理的側(cè)重點(diǎn)也有所不一樣。

數(shù)據(jù)質(zhì)量管理H勺目日勺，逐漸從單純地提高數(shù)據(jù)精確性，延伸至保障數(shù)據(jù)的完整性、唯一性、

合法性、一致性、及時(shí)性等屬性；從單純以技術(shù)角度考慮數(shù)據(jù)質(zhì)量問(wèn)題，發(fā)展至從顧客視角

衡量數(shù)據(jù)質(zhì)量問(wèn)題，提高頑客對(duì)數(shù)據(jù)的滿意度；建立數(shù)據(jù)質(zhì)量監(jiān)控機(jī)制，及時(shí)發(fā)現(xiàn)、匯報(bào)、

處理數(shù)據(jù)共享中心中的數(shù)據(jù)質(zhì)量問(wèn)題。數(shù)據(jù)質(zhì)量管理子系統(tǒng)是數(shù)據(jù)共享中心中數(shù)據(jù)質(zhì)晶管理

體系的重要構(gòu)成部分。

安全管理：重要包括數(shù)據(jù)存儲(chǔ)安全、數(shù)據(jù)管控安全和數(shù)據(jù)互換等安全管理。

主數(shù)據(jù)方案設(shè)計(jì)原則

主數(shù)據(jù)方案設(shè)計(jì)，遵照如下一般原則：

?每類業(yè)務(wù)數(shù)據(jù)實(shí)體的屬性有且僅有一種所有者（Owner）,零個(gè)或多種消費(fèi)者

（Consumer）；

?對(duì)數(shù)據(jù)的維護(hù)必須通過(guò)所有者進(jìn)行，消費(fèi)者對(duì)數(shù)據(jù)只有只讀功能；假如消費(fèi)者需要

對(duì)數(shù)據(jù)進(jìn)行維護(hù)，必須調(diào)用所有者數(shù)據(jù)維護(hù)服務(wù)；

?數(shù)據(jù)有且僅有一種主數(shù)據(jù)源（MasterLocation）,主數(shù)據(jù)源可以是數(shù)據(jù)所有者的應(yīng)用

數(shù)據(jù)庫(kù)（ADB）或者數(shù)據(jù)中心數(shù)據(jù)庫(kù)?；谛阅艿目紤]，消費(fèi)者可以在ADB保留

數(shù)據(jù)的備份，由主數(shù)據(jù)源實(shí)時(shí)或定期發(fā)起數(shù)據(jù)同步；

?主數(shù)據(jù)源提供對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)服務(wù)：

主數(shù)據(jù)集成方案設(shè)計(jì)

根據(jù)主數(shù)據(jù)源位置（Location）、數(shù)據(jù)冗余方式（Redundant）和數(shù)據(jù)維護(hù)的歸屬（Owner）,

一般的主數(shù)據(jù)集成方案分析如下表：

方案123456

主數(shù)據(jù)源數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心數(shù)據(jù)中心ADBADB

Owner數(shù)據(jù)中心數(shù)據(jù)中心ADBADBADBADB

Consumer

與否有備

份YNYNYN

直接讀同1調(diào)用數(shù)據(jù)調(diào)用數(shù)據(jù)直接讀直接讀

OwnerADB中心數(shù)據(jù)中心數(shù)據(jù)OwnerADBOwnerADB

中的數(shù)據(jù)訪問(wèn)服務(wù)訪問(wèn)服務(wù)

Owner讀備份

Step1、在在一種交Step1、調(diào)用數(shù)據(jù)Step1、寫寫Owner

一種交易易內(nèi)寫調(diào)用數(shù)據(jù)中心數(shù)據(jù)OwnerADB

內(nèi)寫OwnerOwnerADB中心數(shù)據(jù)維護(hù)服務(wù)ADB；

ADB和數(shù)據(jù)和數(shù)據(jù)中維護(hù)服Step2、通

中心；心務(wù)；過(guò)數(shù)據(jù)中

Step2、通Step2、心或主數(shù)

過(guò)數(shù)據(jù)中通過(guò)數(shù)據(jù)據(jù)源啟動(dòng)

心啟動(dòng)對(duì)中心啟動(dòng)對(duì)

Consumer對(duì)Consumer

ADB日勺數(shù)據(jù)ConsumerADB曰勺數(shù)

同步ADBR勺數(shù)據(jù)同步

Owner寫據(jù)同步

數(shù)直接讀調(diào)用數(shù)據(jù)直接讀調(diào)用數(shù)據(jù)直接讀通過(guò)數(shù)據(jù)

據(jù)Consumer中心數(shù)據(jù)Consumer中心數(shù)據(jù)Consumer中心口勺統(tǒng)

維ConsumerADB中日勺數(shù)訪問(wèn)服務(wù)ADB中口勺訪問(wèn)服務(wù)ADB中的一視圖獲

護(hù)讀據(jù)備份數(shù)據(jù)備份數(shù)據(jù)備份取數(shù)據(jù)；

方Optionl：Optionl：同1同2同1同2

式在一種交Consumer

易內(nèi)，調(diào)用Owner

ConsumerH勺數(shù)據(jù)維

調(diào)用Owner護(hù)服務(wù)；

日勺數(shù)據(jù)維Option2：

護(hù)服務(wù)，同集成Owner

步寫的數(shù)據(jù)維

Consumer護(hù)界面

ADB；

Option2：

集成Owner

H勺數(shù)據(jù)維

護(hù)界面，由

數(shù)據(jù)中心

啟動(dòng)同步

ConsumerConsumer

寫ADB

下面就各個(gè)方案進(jìn)行分析，對(duì)于方案1和方案2：

集成方案1一

特點(diǎn)單點(diǎn)存情多點(diǎn)學(xué)偌.=數(shù)零*心負(fù)與蚊囑的造手

Owner數(shù)需*心敢綣*心

Master蚊囑*二蚊囑中心

各立尼系正和欲曙*心都安京京婷.但熏雪*心作為這

簡(jiǎn)要提故得宛*到豉喔中心平臺(tái)寺.其它票支不至鼓甥約master系緡.對(duì)主欲提及超更套必須先遇匕殺

再兵石.其它系竟對(duì)數(shù)得的話號(hào)全抗改買

迷教至中心平臺(tái)上第之二W廳.再二京囑寺心關(guān)起可于.定程習(xí)步土改今果

期柜美裝筑.各個(gè)營(yíng)業(yè)系竟不能對(duì)效般發(fā)超更折.

優(yōu)點(diǎn)運(yùn)忑強(qiáng)勢(shì)城求手段出氧對(duì)豉逐笥控的M恬對(duì)政嘈的更新親*管差.窕色攻好的控芨敢提的型呈

統(tǒng)一和堂皇控制

缺點(diǎn)致指率心平臺(tái)三力根大.氏度跟字.其它皆系交C5有一定的改造重.行妄耳藪其它系史對(duì)這至數(shù)

系S數(shù)注量喂大雪豹爭(zhēng)鼓：敬幅*?二二臺(tái)號(hào)行這對(duì)遼至親喝的W運(yùn)力鞋

這兩種方案重要合用于尚無(wú)任何系統(tǒng)時(shí)，進(jìn)行一體化系統(tǒng)建設(shè)，如應(yīng)用于已經(jīng)有系統(tǒng)則

改造量較大。同步，這兩種方案均以數(shù)據(jù)中心做為主數(shù)據(jù)的維護(hù)中心。

對(duì)于方案3、4和方案5、6：

集成方案3、4集成方案5、6

多盧這看.UADB友玉蚊幅的造用.會(huì)囑*心東為素多上考佳.*ADB棄支或崛的統(tǒng)—ADB做看數(shù)《

特點(diǎn)

噸的主弓W蕓芝.發(fā)苴對(duì)其三系芨的茲提習(xí)步的主寺便系史.發(fā)起對(duì)其桂親藝的蟻提同步

OwnerADBADB

Master數(shù)需*心ADB

數(shù)弟*心作為數(shù)幅的master系史.對(duì)主豉雪發(fā)包更W^的主官ADB忤為其master系竟.對(duì)主豉雪發(fā)藝

簡(jiǎn)要提必須先在ADB對(duì)數(shù)指*心W行更手.再士數(shù)贈(zèng)牛心發(fā)學(xué)改等在對(duì)立的ADB系正中遂行,E=諺ADB發(fā)起

述它可步品程習(xí)步體改結(jié)果到電關(guān)系近習(xí)步充程可步到鼓電中心和其它相美史弓.

優(yōu)點(diǎn)對(duì)鼓雪的更方生豐管控.金磐較好的控專.致得的貨總系遷改造量小.逡合三官系疑

適會(huì)行罡系史

致電費(fèi)量=主官立與分近控制數(shù)零受量生主舌寸與分教控卻

坡點(diǎn)對(duì)于數(shù)堀幸士建設(shè)莖己節(jié)成的ADB之同的意我失或方

之同角或呈叉狀,經(jīng)為復(fù)雜

式江昊改用上方案.改壬H作量經(jīng)大ADB

方案5、6較適合已經(jīng)有大量系統(tǒng)日勺狀況，帶來(lái)的系統(tǒng)改造量最小。方案3、4適合在主

數(shù)據(jù)維護(hù)職能不變?nèi)丈谞顩r下將主數(shù)據(jù)在數(shù)據(jù)中心中進(jìn)行集中，并提供應(yīng)新建應(yīng)用。

主數(shù)據(jù)實(shí)行方案設(shè)計(jì)

1、主數(shù)據(jù)創(chuàng)立抽取設(shè)計(jì)

主數(shù)據(jù)創(chuàng)立抽取過(guò)程如下：

其一、先對(duì)既有業(yè)務(wù)系統(tǒng)進(jìn)行解耦，處理目前各業(yè)務(wù)系統(tǒng)間交叉訪問(wèn)，耦合度過(guò)高H勺問(wèn)

題。通過(guò)建設(shè)共享數(shù)據(jù)庫(kù)，并將目前南方甩網(wǎng)各系統(tǒng)交叉訪問(wèn)的共享數(shù)據(jù)通過(guò)數(shù)據(jù)復(fù)制機(jī)制

同步或異步復(fù)制到共享數(shù)據(jù)庫(kù)，然后再更改各業(yè)務(wù)系統(tǒng)既有的共享視圖或物化視圖定義，將

共享訪問(wèn)數(shù)據(jù)源統(tǒng)一指向共享數(shù)據(jù)庫(kù)。通過(guò)共享數(shù)據(jù)庫(kù)的建設(shè)及數(shù)據(jù)復(fù)制機(jī)制的建立，可以

將目前網(wǎng)狀口勺交叉訪問(wèn)接口平滑過(guò)渡到基于共享數(shù)據(jù)庫(kù)n勺星狀接口，有效處理各系統(tǒng)依賴度

過(guò)高的問(wèn)題，同步也為下一步各系統(tǒng)H勺升級(jí)改造打下基礎(chǔ)。

這里歡I數(shù)據(jù)復(fù)制產(chǎn)品可以考慮Oracle曰勺GoldenGate實(shí)時(shí)復(fù)制產(chǎn)品，先將數(shù)據(jù)復(fù)制到共

享數(shù)據(jù)庫(kù)，完畢“系統(tǒng)解耦”工作。

其二、是進(jìn)行數(shù)據(jù)共享協(xié)同平臺(tái)的建設(shè)。在進(jìn)行系統(tǒng)解耦時(shí)，我們會(huì)構(gòu)建共享數(shù)據(jù)庫(kù)，

但該共享庫(kù)僅僅是將目前分散到各業(yè)務(wù)系統(tǒng)的共享數(shù)據(jù)進(jìn)行了集中，還缺乏統(tǒng)一的規(guī)劃，因

此還需要對(duì)共享庫(kù)進(jìn)行重新規(guī)劃設(shè)計(jì)，同步也需要對(duì)共享協(xié)同平臺(tái)和外部互換庫(kù)進(jìn)行規(guī)劃設(shè)

計(jì)?？傮w規(guī)劃設(shè)計(jì)完畢后，即可開始構(gòu)建數(shù)據(jù)共享中心和業(yè)務(wù)協(xié)同平臺(tái)，其中數(shù)據(jù)共享中心

構(gòu)建完畢后，就可.以逐漸將各系統(tǒng)間本來(lái)基于視圖和物化視圖日勺數(shù)據(jù)共享訪問(wèn)調(diào)整為基于數(shù)

據(jù)共享中心H勺訪問(wèn)模式。

共享庫(kù)規(guī)劃生成主數(shù)據(jù)管埋，可以考慮OracleDataIntegrator產(chǎn)品，實(shí)現(xiàn)數(shù)據(jù)ETL的工

作。

主敏■在U

?T傳■■峨?住力?一!!??■■

.

?4???

玲.????

??本”

v??供fllatMb?外

?3E92帶卷?將

BIA?ttfMrittW

2、主數(shù)據(jù)共享分發(fā)流程設(shè)計(jì)

主數(shù)據(jù)創(chuàng)立生成后，就是對(duì)主數(shù)據(jù)進(jìn)行有效管理和運(yùn)用。同其他系統(tǒng)進(jìn)行可以進(jìn)行實(shí)時(shí)或半

實(shí)時(shí)的同步從多種源系統(tǒng)建立統(tǒng)一、完整的記錄，再將主數(shù)據(jù)信息同步到其他系統(tǒng)中。通過(guò)

內(nèi)嵌的集成服務(wù)同其他系統(tǒng)進(jìn)行集成，例如豐富U勺公共API和業(yè)務(wù)事件。通過(guò)不停的數(shù)據(jù)清

理和轉(zhuǎn)換規(guī)則來(lái)保證同步數(shù)據(jù)的質(zhì)量。

主數(shù)據(jù)管理功能設(shè)計(jì)

主數(shù)據(jù)的管理功能基本與內(nèi)部互換數(shù)據(jù)、外部互換數(shù)據(jù)相似。

2.1.3互換數(shù)據(jù)方案設(shè)計(jì)

內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)在數(shù)據(jù)互換上的業(yè)務(wù)功能和邏輯，以及技術(shù)實(shí)現(xiàn)都是相似的j,可以

采用相似歐I數(shù)據(jù)互換方案框架。數(shù)據(jù)互換方案框架涵蓋了數(shù)據(jù)互換，質(zhì)品清洗，數(shù)據(jù)管控和

數(shù)據(jù)使用，處理了怎樣在關(guān)鍵數(shù)據(jù)上實(shí)現(xiàn)統(tǒng)一的存儲(chǔ)，維護(hù)和使用的問(wèn)題。

>數(shù)據(jù)集成：數(shù)據(jù)集成就是將離散于各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行集中化，統(tǒng)一整合集

成至數(shù)據(jù)共享中心。數(shù)據(jù)集成需要對(duì)南方電網(wǎng)內(nèi)部系統(tǒng)以及外部系統(tǒng)進(jìn)行數(shù)據(jù)集成。

對(duì)于不一樣的數(shù)據(jù)集成場(chǎng)景，有不一樣口勺數(shù)據(jù)集成實(shí)現(xiàn)模式，例如有基于Oracle

ODI的“拉”數(shù)據(jù)集成模式和基于ESB總線的“推”數(shù)據(jù)集成模式等。

>質(zhì)量管理：在數(shù)據(jù)管理H勺不一樣階段，數(shù)據(jù)管理對(duì)數(shù)據(jù)質(zhì)量管理H勺側(cè)重點(diǎn)也有所不

一樣。數(shù)據(jù)質(zhì)量管理H勺目的，逐漸從單純地提高數(shù)據(jù)精確性，延伸至保障數(shù)據(jù)H勺完

整性、唯一性、合法性、一致性、及時(shí)性等屬性；從單純以技術(shù)角度考慮數(shù)據(jù)質(zhì)量

問(wèn)題，發(fā)展至從顧客視角衡量數(shù)據(jù)質(zhì)量問(wèn)題，提高顧客對(duì)數(shù)據(jù)的滿意度；建立數(shù)據(jù)

質(zhì)量監(jiān)控機(jī)制，及時(shí)發(fā)現(xiàn)、匯報(bào)、處理數(shù)據(jù)共享中心中的數(shù)據(jù)質(zhì)量問(wèn)題。數(shù)據(jù)質(zhì)量

管理子系統(tǒng)是數(shù)據(jù)共享中心中數(shù)據(jù)質(zhì)量管理體系口勺重要構(gòu)成部分。

數(shù)據(jù)標(biāo)準(zhǔn)化風(fēng)配黃重引摯合并

?Runexh?uatrv?M?rcfm

usingcu?Aom(rMi*eengrw?Mer9?AMVIracord*to

?ider^y(Mi*ca1e?andprevent?

prewnthAreoccuroncM1productdatareposMory

DataQualityTools

故據(jù)自動(dòng)校驗(yàn),格式化人工工作通故維清理

?NormeftMg一心…tarc,Slep-byolepnew4em

?Removeunwanted

1)MCnpOonruiMde6M6and^MOMB(

FVCOCCHIoraduc*

,Ap0yuMr-dvftnodvataMcnpcocesaes

datavokxn?

HJIMalaldataentrypants■Productchangecontrol

圖：數(shù)據(jù)質(zhì)量管理

>數(shù)據(jù)管控：數(shù)據(jù)管控不是純粹的技術(shù)問(wèn)題，而是由技術(shù)、人、信息和流程4個(gè)方面

共同影響口勺綜合管理問(wèn)題。數(shù)據(jù)管控的演進(jìn)思緒劃分為4個(gè)環(huán)節(jié)：提出管理需求、

制定管理流程框架、細(xì)化詳細(xì)管理流程、與組織機(jī)構(gòu)詳細(xì)角色進(jìn)行對(duì)應(yīng)。

>數(shù)據(jù)使用：存在于數(shù)據(jù)共享中心中的數(shù)據(jù)重要有兩大方面的使用，一是封裝成數(shù)據(jù)

服務(wù)，并集成于業(yè)務(wù)協(xié)同平臺(tái)（服務(wù)總線平臺(tái)）進(jìn)行數(shù)據(jù)服務(wù)共享，南方電網(wǎng)信息

內(nèi)部系統(tǒng)和其他外部系統(tǒng)統(tǒng)一通過(guò)業(yè)務(wù)協(xié)同平臺(tái)獲取所需業(yè)務(wù)數(shù)據(jù)；二是基于數(shù)據(jù)

共享中心口勺集成化數(shù)據(jù)進(jìn)行綜合查詢分析的應(yīng)用，查詢分析記錄功能不再基于關(guān)鍵

業(yè)務(wù)數(shù)據(jù)庫(kù)，防止導(dǎo)致對(duì)關(guān)鍵業(yè)務(wù)系統(tǒng)的J性能影響。

-:?模式一把于鹿務(wù)管理平臺(tái)配?生成依據(jù)腰務(wù)

?模式三基于BPEL流程弓|景進(jìn)行服務(wù)編排

田

圖：數(shù)據(jù)服務(wù)共享

2.1.4數(shù)據(jù)互換系統(tǒng)功能設(shè)計(jì)

基于內(nèi)部數(shù)據(jù)互換方案框架，并結(jié)合南方電網(wǎng)數(shù)據(jù)共享協(xié)同平臺(tái)總體功能需求分析口勺基

礎(chǔ)上，梳理出南方電網(wǎng)共享中心11勺總體功能組織構(gòu)造如下圖所示:

如下將分別對(duì)數(shù)據(jù)共享中心數(shù)據(jù)集成域、數(shù)據(jù)管控域、質(zhì)量檢測(cè)域和數(shù)據(jù)使用域的功能

規(guī)劃進(jìn)行詳細(xì)簡(jiǎn)介:

數(shù)據(jù)集成

數(shù)據(jù)集成引擎(DataIntegrationEngine)面向應(yīng)用系統(tǒng)，在各個(gè)應(yīng)用系統(tǒng)I向數(shù)據(jù)源中提

取數(shù)據(jù)，是一種跨平臺(tái)的用于整合異構(gòu)系統(tǒng)數(shù)據(jù)的ETL二具，在數(shù)據(jù)共享中心中，數(shù)據(jù)集成

引擎實(shí)現(xiàn)了從各業(yè)務(wù)應(yīng)用系統(tǒng)的數(shù)據(jù)源中提取用于整合共享的數(shù)據(jù)，通過(guò)質(zhì)量檢查后，按新

的數(shù)據(jù)模型對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換和清洗，對(duì)的無(wú)誤后加載到目FI勺數(shù)據(jù)共享中心中。

數(shù)據(jù)集成引擎(DataIntegrationEngine)

目標(biāo)數(shù)據(jù)加載(TargetDataLoading)

數(shù)據(jù)轉(zhuǎn)換清洗(DataTransforming&Cleaning)

數(shù)據(jù)質(zhì)量檢查(DalaQualityCheck)

I批量數(shù)據(jù)提取]]變化數(shù)據(jù)捕獲

(BulkDataExtract)(ChangeDataCapture)

接口

下面對(duì)數(shù)據(jù)集成引擎中的各個(gè)部分的功能進(jìn)行詳細(xì)簡(jiǎn)介。

元數(shù)據(jù)模型

為了可以自動(dòng)完數(shù)據(jù)提取、質(zhì)量檢查、數(shù)據(jù)轉(zhuǎn)換清沅和數(shù)據(jù)加載這個(gè)數(shù)據(jù)整合過(guò)程，數(shù)

據(jù)集成引擎需要懂得源數(shù)據(jù)、目日勺數(shù)據(jù)的數(shù)據(jù)構(gòu)造，源數(shù)據(jù)到目H勺數(shù)據(jù)的轉(zhuǎn)換及清洗規(guī)則，

尚有源數(shù)據(jù)日勺質(zhì)最檢查規(guī)則等數(shù)據(jù)，這些用于描述數(shù)據(jù)自身的數(shù)據(jù)被稱為數(shù)據(jù)集成H勺元數(shù)據(jù),

而無(wú)數(shù)據(jù)模型是元數(shù)據(jù)的一種實(shí)例集合，描述了詳細(xì)口勺數(shù)據(jù)構(gòu)造和規(guī)則，在數(shù)據(jù)進(jìn)行集成前，

必須先定義好元數(shù)據(jù)模型。

詳細(xì)的I元數(shù)據(jù)包括：

1）數(shù)據(jù)源定義

2）目的庫(kù)定義

3）數(shù)據(jù)物理模型

4）數(shù)據(jù)檢查規(guī)則

5）數(shù)據(jù)轉(zhuǎn)換規(guī)則

6）數(shù)據(jù)清洗規(guī)則

批量數(shù)據(jù)提取

批量數(shù)據(jù)提取(BulkDataExtract)從數(shù)據(jù)源定期批量提取數(shù)據(jù)進(jìn)行整合，是數(shù)據(jù)集成引

擎的J前端功能，與元數(shù)據(jù)模型中定義的各個(gè)數(shù)據(jù)源進(jìn)行連接，獲取需要整合H勺數(shù)據(jù)，然后存

儲(chǔ)到中間數(shù)據(jù)庫(kù)(StagingDatabase)進(jìn)行后續(xù)口勺質(zhì)量檢查、清洗和轉(zhuǎn)換處理。

批量數(shù)據(jù)提取由于提取的數(shù)據(jù)量較多，對(duì)于性能日勺影響也較大，一般用于非實(shí)時(shí)的數(shù)據(jù)

整合，合用于時(shí)效性規(guī)定不高并且不但愿過(guò)多影響源系統(tǒng)數(shù)據(jù)處理性能日勺狀況。

對(duì)于關(guān)系型數(shù)據(jù)庫(kù)的批量數(shù)據(jù)提取可以使用兩種接口方式來(lái)進(jìn)實(shí)現(xiàn)：

1)ORACLEDBLINK：

這種方式合用于目的數(shù)據(jù)庫(kù)和數(shù)據(jù)源數(shù)據(jù)庫(kù)都是Oracle的I狀況，直接在目的I數(shù)據(jù)庫(kù)建

立源數(shù)據(jù)庫(kù)H勺DBLINK,通過(guò)DBLINK就可以像在一種數(shù)據(jù)庫(kù)同樣通過(guò)SQL直接提取數(shù)據(jù)源

的數(shù)據(jù)。

2)JDBCDataSource：

這種方式適合源數(shù)據(jù)庫(kù)是#Oracle并且支持JDBC協(xié)議日勺數(shù)據(jù)庫(kù)，目前大部分主流數(shù)據(jù)

庫(kù)都支持JDBC協(xié)議，在JDBC協(xié)議上建立DataSource,通過(guò)JDBC在源數(shù)據(jù)庫(kù)上執(zhí)行SQL進(jìn)

行數(shù)據(jù)提取。

使用批量數(shù)據(jù)提取的方式來(lái)提取數(shù)據(jù)可以用于初次初始化加載全量數(shù)據(jù)，也可在初次加

載數(shù)據(jù)后通過(guò)兩種方式實(shí)現(xiàn)非實(shí)時(shí)日勺增量更新，這兩種方式分別是：

1)基于時(shí)間戳的增量更新

這種方式提取數(shù)據(jù)速度較快，源數(shù)據(jù)庫(kù)通過(guò)物理表或者試圖的方式暴露數(shù)據(jù)，但規(guī)定數(shù)

據(jù)源的表或者視圖必須有時(shí)間戳II勺字段并且不能對(duì)數(shù)據(jù)記錄進(jìn)行物理刪除。

2)基于主鍵比對(duì)的增量更新

這種方式需要每次都提取所有數(shù)據(jù)，然后在目的數(shù)據(jù)庫(kù)上按主鍵標(biāo)識(shí)對(duì)所有數(shù)據(jù)進(jìn)行全

量比對(duì)來(lái)識(shí)別增量更新的數(shù)據(jù)記錄，效率低，數(shù)據(jù)源的樂(lè)力較大，只適合小數(shù)據(jù)量口勺提取,

基于主鍵比對(duì)的更新對(duì)源數(shù)據(jù)附表或者視圖無(wú)特殊規(guī)定。

變化數(shù)據(jù)捕捉

和批量數(shù)據(jù)提取同樣，變化數(shù)據(jù)捕捉(ChangeDataCapture)同樣是數(shù)據(jù)集成引擎11勺前

端功能，和數(shù)據(jù)源進(jìn)行隊(duì)列；但顧名思義，變化數(shù)據(jù)捕捉只提供增量數(shù)據(jù)提取的功能，通過(guò)

對(duì)源數(shù)據(jù)庫(kù)上變更數(shù)據(jù)的捕捉，數(shù)據(jù)集成引擎可以實(shí)現(xiàn)實(shí)時(shí)或準(zhǔn)實(shí)時(shí)數(shù)據(jù)同步，此方式合用

于整合有較高時(shí)效性規(guī)定的數(shù)據(jù)。

變化數(shù)據(jù)捕捉提供多種技術(shù)實(shí)現(xiàn)方式，包括數(shù)據(jù)庫(kù)觸發(fā)器、數(shù)據(jù)庫(kù)日志采集器、基于消

息隊(duì)列的變更數(shù)據(jù)訂閱和基于WebService的數(shù)據(jù)變化告知，下面對(duì)幾種方式進(jìn)行描述：

集成數(shù)據(jù)引擎積極捕捉數(shù)據(jù)變化的方式：

1)數(shù)據(jù)庫(kù)觸發(fā)器(DatabaseTriggers)：

通過(guò)在源數(shù)據(jù)表.卜.創(chuàng)立觸發(fā)器來(lái)獲取變化的數(shù)據(jù)，此方式實(shí)時(shí)性高，但需要對(duì)源數(shù)據(jù)庫(kù)

進(jìn)行改動(dòng)，對(duì)高負(fù)載應(yīng)用時(shí)性能有一定的影響，此方式支持主流的關(guān)系數(shù)據(jù)庫(kù)。

2)數(shù)據(jù)庫(kù)日志采集器(LogMiner)：

通過(guò)對(duì)源數(shù)據(jù)庫(kù)口志文獻(xiàn)進(jìn)行分析，實(shí)時(shí)捕捉數(shù)據(jù)庫(kù)數(shù)據(jù)的變化狀況，此方式速度較快,

對(duì)源系統(tǒng)不會(huì)導(dǎo)致太大的壓力，但需要數(shù)據(jù)庫(kù)自身歐I功能進(jìn)行實(shí)現(xiàn)，目前只支持Oracle和

DB2兩種數(shù)據(jù)庫(kù)類型。

上面兩種方式是數(shù)據(jù)集成引擎積極捕捉變化數(shù)據(jù)，而卜.面H勺兩種方式則是數(shù)據(jù)集成引擎

被動(dòng)接受源系統(tǒng)H勺告知:

1)變更數(shù)據(jù)訂閱(ChangeDataSubscriber)：

通過(guò)消息隊(duì)列技術(shù)，變化數(shù)據(jù)捕捉功能在數(shù)據(jù)源應(yīng)用提供的基于JMS原則的消息

隊(duì)列上訂閱數(shù)據(jù)H勺變化消息，通過(guò)監(jiān)聽(tīng)數(shù)據(jù)變更隊(duì)列，實(shí)時(shí)獲得數(shù)據(jù)源應(yīng)用放到隊(duì)列中

的數(shù)據(jù)變化消息，此方式的提取速度快，并且JMS消息隊(duì)列提供了消息傳播的高可靠

性，但實(shí)時(shí)性取決于數(shù)據(jù)源應(yīng)用，并且數(shù)據(jù)源應(yīng)用需要開發(fā)對(duì)應(yīng)的功能來(lái)實(shí)現(xiàn)。

2)數(shù)據(jù)變化告知(DataChangeNotification)：

和變更數(shù)據(jù)訂閱相似H勺原理，數(shù)據(jù)變化告知技術(shù)是通過(guò)暴露數(shù)據(jù)變化告知H勺Web

Service接口給數(shù)據(jù)源應(yīng)用，當(dāng)數(shù)據(jù)的I變化被數(shù)據(jù)源應(yīng)用捕捉后，數(shù)據(jù)源應(yīng)用調(diào)用告