利用信息集成技術(shù) 構(gòu)建勞動(dòng)與社會(huì)保障數(shù)據(jù)交換平臺(tái) IBM 技術(shù)建議方案 2 一、 概述 以現(xiàn)有信息網(wǎng)絡(luò)為依托，以現(xiàn)有業(yè)務(wù)信息為樞紐，為勞動(dòng)與社?？蛻艚⒔y(tǒng)一的數(shù)據(jù)交換平臺(tái)。在建立集中統(tǒng)一的數(shù)據(jù)交換平臺(tái)，實(shí)現(xiàn)提取生產(chǎn)區(qū)的實(shí)際業(yè)務(wù)數(shù)據(jù)，并進(jìn)行數(shù)據(jù)的過(guò)濾、檢測(cè)。統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)。形成統(tǒng)一的交換資源數(shù)據(jù)庫(kù)，為統(tǒng)計(jì)分析提供基礎(chǔ)數(shù)據(jù)。完成全國(guó)聯(lián)網(wǎng)數(shù)據(jù)上報(bào)工作。同時(shí)實(shí)現(xiàn)業(yè)務(wù)資源數(shù)據(jù)庫(kù)的遠(yuǎn)程備份。 1. 現(xiàn)狀 現(xiàn)在的勞動(dòng)與社保數(shù)據(jù)庫(kù)有近十個(gè)，其中數(shù)據(jù)庫(kù)容量平均是 50G，而且數(shù)據(jù)源為異構(gòu)數(shù)據(jù)源，包括 Oracle、 DB2、 Sqlserver 等數(shù)據(jù)庫(kù)； 2. 系統(tǒng)主要建設(shè)目標(biāo)： 建立 數(shù)據(jù)中心業(yè)務(wù) 資源庫(kù)的數(shù)據(jù)采集平臺(tái) ， 用以實(shí)現(xiàn) 對(duì)垂直的下級(jí) 業(yè)務(wù)系統(tǒng)數(shù)據(jù)向 上級(jí)中心業(yè)務(wù) 資源庫(kù)的 及時(shí) 更新 以及數(shù)據(jù)轉(zhuǎn)換。 數(shù)據(jù)中心資源庫(kù)數(shù)據(jù)采集平臺(tái)包括數(shù)據(jù)采集和數(shù)據(jù)轉(zhuǎn)換兩個(gè)主要部分。 數(shù)據(jù)采集平臺(tái)起到隔離基層業(yè)務(wù)系統(tǒng)和相關(guān)資源庫(kù)應(yīng)用的作用，使得未來(lái)任何的業(yè)務(wù)系統(tǒng)的變化（系統(tǒng)更新、升級(jí)、數(shù)據(jù)格式改變甚至數(shù)據(jù)庫(kù)系統(tǒng)變更等 ）都不會(huì)影響整個(gè)資源庫(kù)系統(tǒng)的運(yùn)行。 數(shù)據(jù)轉(zhuǎn)換平臺(tái)起到 數(shù)據(jù)質(zhì)量管理 的作用 ，對(duì)數(shù)據(jù)的屬性、邏輯正確性、完整性、一致性等進(jìn)行驗(yàn)證 查核 工作。 保障 信息資源庫(kù) 取 得的數(shù)據(jù)是真實(shí)、一致和完整的。 數(shù)據(jù)采集和數(shù)據(jù)轉(zhuǎn)換相結(jié)合，將形成一個(gè)長(zhǎng)期穩(wěn)定的數(shù)據(jù)采集平臺(tái)。 支持 數(shù)據(jù)分析和綜合決策。在資源庫(kù)基礎(chǔ)上，進(jìn)行數(shù)據(jù) 信息的 綜合利用，實(shí)現(xiàn) 信息 分析 、數(shù)據(jù)挖掘 和決策 支持 。同時(shí)資源庫(kù)的建設(shè)將為數(shù)據(jù)倉(cāng)庫(kù)及應(yīng)用的建設(shè)打下基礎(chǔ)。 建立對(duì)外的統(tǒng)一數(shù)據(jù)交換區(qū)， 實(shí)現(xiàn)業(yè)務(wù)資源數(shù)據(jù)與交換資源數(shù)據(jù)的數(shù)據(jù)交換、上報(bào)的功能， 將數(shù)據(jù)及時(shí)地通過(guò)統(tǒng)一的數(shù)據(jù)交換平臺(tái)，實(shí)現(xiàn)向部 3 里及橫向與其它平級(jí)單位間的數(shù)據(jù)交換。 實(shí)現(xiàn)業(yè)務(wù)資源數(shù)據(jù)庫(kù)到交換資源庫(kù)的數(shù)據(jù)交換，實(shí)現(xiàn)向部上報(bào)數(shù)據(jù)的功能。建立統(tǒng)一的交換數(shù)據(jù)區(qū)。 基于交換平臺(tái)，實(shí) 現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)的檢測(cè)、過(guò)濾、篩選、抽取等功能。實(shí)現(xiàn)業(yè)務(wù)資源數(shù)據(jù)的數(shù)據(jù)檢測(cè)、過(guò)濾、篩選、抽取。 數(shù)據(jù)交換平臺(tái)是建設(shè)勞動(dòng)與社保數(shù)據(jù)分析區(qū)及數(shù)據(jù)交換區(qū)的核心系統(tǒng)，其主要的作用為： 為地市級(jí)社保信息向上級(jí)提供安全、高效的信息傳遞、采集通道； 保證社保分析數(shù)據(jù)信息交互的數(shù)據(jù)實(shí)時(shí)性和數(shù)據(jù)一致性； 在社保內(nèi)部形成統(tǒng)一的數(shù)據(jù)視圖，方便管理； 提供向部里進(jìn)行數(shù)據(jù)交換的統(tǒng)一平臺(tái)； 屏蔽當(dāng)前勞動(dòng)與社保內(nèi)的 I T 環(huán)境的復(fù)雜性，方便應(yīng)用開(kāi)發(fā)和管理； 屏蔽當(dāng)前勞動(dòng)與社保管理機(jī)構(gòu)內(nèi)的 I T 環(huán)境的分布式特性（省級(jí)、地市級(jí)管理），方便應(yīng)用 開(kāi)發(fā)和管理； 在此，我們建議利用 IBM 最新的信息整合的技術(shù)和解決方案構(gòu)建一個(gè)統(tǒng)一的公共數(shù)據(jù)交換平臺(tái)方案。下面我們對(duì)這樣的一個(gè)解決方案進(jìn)行詳細(xì)說(shuō)明。 二、 勞動(dòng)與社會(huì)保障行業(yè)數(shù)據(jù)交換平臺(tái)方案 1. 本解決方案的設(shè)計(jì)出發(fā)點(diǎn)： 快速實(shí)現(xiàn)對(duì)多種異構(gòu)數(shù)據(jù)源的集成 保證勞動(dòng)與社保分析區(qū)數(shù)據(jù)采集、交換區(qū)數(shù)據(jù)的實(shí)時(shí)性、一致性； 建立一套安全可靠的信息交換通道，實(shí)現(xiàn)數(shù)據(jù)在上、下級(jí)管理系統(tǒng)之間的數(shù)據(jù)交換、數(shù)據(jù)同步； 建立統(tǒng)一數(shù)據(jù)視圖，支持真正意義上的勞動(dòng)與社保信息分析區(qū)及交換區(qū)的建立，提供復(fù)雜、分布式環(huán)境下的可讀寫(xiě)操作環(huán)境，并支持今后建 立跨業(yè)務(wù)系統(tǒng)條塊的新的業(yè)務(wù)流程； 4 簡(jiǎn)化應(yīng)用編程的難度，縮短開(kāi)發(fā)和實(shí)施的周期，降低日常維護(hù)難度； 能夠很好地將當(dāng)前業(yè)務(wù)系統(tǒng)與新的綜合業(yè)務(wù)系統(tǒng)的用戶管理、認(rèn)證及授權(quán)機(jī)制結(jié)合，建立方便、清晰、易管理的用戶安全認(rèn)證管理機(jī)制； 在分布式的環(huán)境下實(shí)現(xiàn)全局優(yōu)化，保證分析應(yīng)用及數(shù)據(jù)交換的整體性能表現(xiàn)； 適應(yīng)未來(lái)擴(kuò)展性要求，方便應(yīng)用范疇的擴(kuò)展； 2. 建議通過(guò) IBM 信息集成（ II）技術(shù) 方式 實(shí)現(xiàn)公共數(shù)據(jù)交換平臺(tái) 信息整合方式也稱為數(shù)據(jù)整合方式。信息整合就是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行有機(jī)的整合集成，從而實(shí)現(xiàn)對(duì)信息數(shù)據(jù)共享、交換的過(guò)程。 IBM 信息集成 II 的核心在于業(yè)務(wù)數(shù)據(jù)的采集，并不關(guān)心原有業(yè)務(wù)數(shù)據(jù)的流程。 因此， II 的核心是數(shù)據(jù)的集成。它采用數(shù)據(jù)包裝器作為連接件，將現(xiàn)有客戶的異種數(shù)據(jù)庫(kù)（ Oracle、 DB2、 Sqlserver） 等連接在一起。 II 可以采用 XML 格式或者關(guān)系型格式對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)定義，平臺(tái)工具內(nèi)嵌數(shù)據(jù)采集監(jiān)測(cè)功能。應(yīng)用的開(kāi)發(fā)支持 SQL99、 XML 和 Web Service 標(biāo)準(zhǔn)，保障了數(shù)據(jù)使用的通用性。并且可以保證系統(tǒng)的有效性、性能和易開(kāi)發(fā)性。 在 有效性 方面， II 的數(shù)據(jù)采集機(jī)制，對(duì)源數(shù)據(jù)增量識(shí)別的問(wèn)題采用了偵聽(tīng)同步或者數(shù)據(jù)復(fù)制的方式， 可以有效地解決數(shù)據(jù)采集同步的問(wèn)題。而 II 的數(shù)據(jù)包裝器運(yùn)行在資源庫(kù)系統(tǒng)中心，無(wú)需異地開(kāi)發(fā)。 II 能跨本地和異地網(wǎng)提取數(shù)據(jù)，也能在源業(yè)務(wù)系統(tǒng)屏蔽訪問(wèn)時(shí)，由源業(yè)務(wù)系統(tǒng)傳遞 XML 數(shù)據(jù)包，對(duì) XML 數(shù)據(jù)文件進(jìn)行信息分解和提取，能夠滿足不同的源業(yè)務(wù)系統(tǒng)的特點(diǎn)。 在 性能 方面，實(shí)際的測(cè)試表明， II 的數(shù)據(jù)復(fù)制能夠達(dá)到 1.26GB/小時(shí)的數(shù)據(jù)提取量，而 II 的快速數(shù)據(jù)導(dǎo)入功能更能達(dá)到 30GB/小時(shí)，而該測(cè)試結(jié)果還是在一臺(tái)資源緊張的服務(wù)器運(yùn)行出來(lái)的。由于 II 的平臺(tái)設(shè)計(jì)的目的就是為了解決數(shù)據(jù)整合的問(wèn)題，因此能夠得到這樣比較理想的測(cè)試結(jié)果 ，而無(wú)需依賴于特殊的開(kāi)發(fā)和編程手段。 基于上述理由，我們推薦使用信息集成平臺(tái)來(lái)完成資源庫(kù)的數(shù)據(jù)采集功能，以建立長(zhǎng)期穩(wěn)定的綜合資源數(shù)據(jù)庫(kù)平臺(tái)，滿足中心業(yè)務(wù)數(shù)據(jù)庫(kù)交換和數(shù)據(jù)復(fù)用的 5 需求。 通過(guò) IBM 數(shù)據(jù)整合平臺(tái)，建立勞動(dòng)與社會(huì)保障業(yè)務(wù)數(shù)據(jù)中心及數(shù)據(jù)分析區(qū)和交換區(qū) 我們利用 IBM 數(shù)據(jù)整合平臺(tái)建立一個(gè)信息集成訪問(wèn)接口，建立起社保信息數(shù)據(jù)交換平臺(tái)，同時(shí)在分級(jí)上下系統(tǒng)間業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)采集平臺(tái)，并在分析數(shù)據(jù)區(qū)、交換數(shù)據(jù)區(qū)間建立一個(gè)可讀寫(xiě)的雙向訪問(wèn)接口，實(shí)現(xiàn)不同數(shù)據(jù)分區(qū)間的數(shù)據(jù)交換。 在所提供的統(tǒng)一訪問(wèn)接口的支持下，就可以在 一個(gè)整體數(shù)據(jù)庫(kù)的邏輯視圖下（這一視圖跨越地市級(jí)勞動(dòng)與社保信息管理系統(tǒng)），經(jīng)過(guò)相應(yīng)的數(shù)據(jù)轉(zhuǎn)換，來(lái)實(shí)現(xiàn)中心業(yè)務(wù)數(shù)據(jù)，和面向勞動(dòng)與社保信息分析及交換的數(shù)據(jù)流程和業(yè)務(wù)流程，實(shí)現(xiàn)整個(gè)勞動(dòng)與社保分析系統(tǒng)和數(shù)據(jù)交換系統(tǒng)快速開(kāi)發(fā)和部署。 在分級(jí)縱向信息整合建立起數(shù)據(jù)中心的過(guò)程中，建議分階段實(shí)現(xiàn)，第一階段旨在利用數(shù)據(jù)映射層，實(shí)現(xiàn)統(tǒng)一查詢?cè)L問(wèn)，使全省數(shù)據(jù)可共享。第二階段，結(jié)合數(shù)據(jù)整合層的各項(xiàng)功能，進(jìn)行分極系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)范化，提高共享的質(zhì)量和數(shù)據(jù)復(fù)用，并為數(shù)據(jù)交換做準(zhǔn)備。這兩個(gè)階段是信息整合所不可或缺的必要環(huán)節(jié)。第三階段，將 部分被頻繁訪問(wèn)、且實(shí)時(shí)性要求有限的數(shù)據(jù)物理集中，提高數(shù)據(jù)查詢的質(zhì)量，便于決策分析等業(yè)務(wù)應(yīng)用。第四階段，在第二階段數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化的基礎(chǔ)上，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)交換。這兩個(gè)階段可根據(jù)實(shí)際業(yè)務(wù)需求取舍，也可更換先后次序。 數(shù)據(jù)交換平臺(tái)的架構(gòu)圖如下： 6 數(shù)據(jù)整合平臺(tái)負(fù)責(zé)從市級(jí)業(yè)務(wù)數(shù)據(jù)庫(kù)及外部數(shù)據(jù)源中獲取資源庫(kù)所需的數(shù)據(jù)，實(shí)現(xiàn)中心不同數(shù)據(jù)分區(qū)間的交換。數(shù)據(jù)整合平臺(tái)位于業(yè)務(wù)數(shù)據(jù)庫(kù)和數(shù)據(jù)轉(zhuǎn)換平臺(tái)之間，屏蔽了后續(xù)數(shù)據(jù)處理與數(shù)據(jù)來(lái)源間的直接關(guān)系。整合平臺(tái)主要實(shí)現(xiàn)兩個(gè)方面的功能： 業(yè)務(wù)數(shù)據(jù)中心的 數(shù)據(jù)采集和轉(zhuǎn)換 不同數(shù)據(jù)分區(qū)（業(yè)務(wù)數(shù)據(jù)區(qū)、分析區(qū)、交換區(qū)）間的數(shù)據(jù)交換 為保證對(duì)數(shù)據(jù)整合平臺(tái)的統(tǒng)一控制和管理，我們采用集中式的數(shù)據(jù)整合平臺(tái)設(shè)計(jì)思路，即在中心部署一個(gè)大的平臺(tái)上完成對(duì)主要業(yè)務(wù)數(shù)據(jù)的采集，及不同數(shù)據(jù)分區(qū)間的數(shù)據(jù)交換。數(shù)據(jù)整合平臺(tái)設(shè)計(jì)的基本原則是在業(yè)務(wù)系統(tǒng)部署軟件，和編寫(xiě)專用接口，所有的軟件部署也都在此平臺(tái)上實(shí)施。 2.1 實(shí)現(xiàn)數(shù)據(jù)交換 在本方案中，根據(jù)與已有系統(tǒng)連接的要求，需要支持實(shí)現(xiàn)與 Oracle， SQL Server， DB2等異構(gòu)、多個(gè)數(shù)據(jù)庫(kù)系統(tǒng)之間的數(shù)據(jù)復(fù)制，這就面臨著一個(gè)異構(gòu)數(shù)據(jù)庫(kù)之間雙 向復(fù)制的技術(shù)要求，這在數(shù)據(jù)庫(kù)領(lǐng)域一直是一個(gè)很難解決的問(wèn)題。而IBM WebSphere Information Integrator 恰恰在解決一個(gè)企業(yè)級(jí)異構(gòu)數(shù)據(jù)集成同時(shí)，很好地解決了這一棘手的問(wèn)題。 IBM WebSphere Information Integrator 7 能夠支持用戶在一個(gè)廣泛的異構(gòu)數(shù)據(jù)環(huán)境內(nèi)，定義各個(gè)異構(gòu)數(shù)據(jù)源之間的復(fù)制關(guān)系和復(fù)制機(jī)制， IBM WebSphere Information Integrator可以支持表級(jí)的、雙向的、指定時(shí)間點(diǎn)的復(fù)制，能夠提供接近實(shí)時(shí)的，事務(wù)一致的數(shù)據(jù)復(fù)制 機(jī)制的定義和實(shí)現(xiàn)。 使用 IBM WebSphere Information Inetgrator 后， IBM DB2， IBM Informix，Microsoft， Oracle，和 Sybase 都可以作為復(fù)制源或復(fù)制目標(biāo)； 用戶可以配置一個(gè)多樣性的拓?fù)洵h(huán)境 復(fù)制服務(wù)器支持分布式（從一個(gè)數(shù)據(jù)庫(kù)到多個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)遷移）和集中式（從多個(gè)數(shù)據(jù)庫(kù)到一個(gè)數(shù)據(jù)庫(kù)的數(shù)據(jù)遷移） 數(shù)據(jù)遷移可以同時(shí)使用標(biāo)準(zhǔn)的 SQL 表達(dá)式或存儲(chǔ)過(guò)程 數(shù)據(jù)遷移可以定時(shí)的自動(dòng)執(zhí)行，或在一定的時(shí)間間隔執(zhí)行，或連續(xù)執(zhí)行，或者由事件觸發(fā)執(zhí)行 數(shù)據(jù)復(fù)制定義關(guān) 系如下圖所示： 8 從上圖可以看出，使用 IBM WebSphere Information Integrator 后，可以非常方便地實(shí)現(xiàn)跨業(yè)務(wù)平臺(tái)、跨數(shù)據(jù)平臺(tái)、跨地域的業(yè)務(wù)數(shù)據(jù)匯總、統(tǒng)計(jì)分析等工作的開(kāi)展。而從前，我們要實(shí)現(xiàn)這樣一個(gè)應(yīng)用，就需要花費(fèi)大量的精力，進(jìn)行數(shù)據(jù)采集匯總的工作，從各個(gè)地域、各個(gè)業(yè)務(wù)系統(tǒng)、各個(gè)數(shù)據(jù)庫(kù)平臺(tái)上進(jìn)行數(shù)據(jù)遷移，工作量大，而且準(zhǔn)確率和實(shí)時(shí)性都很差。而在本方案中，這一切難題都會(huì)迎刃而解。 2.2 實(shí)現(xiàn)數(shù)據(jù)采集 通過(guò)數(shù)據(jù)整合平臺(tái)，實(shí)現(xiàn)中心對(duì) 垂直業(yè)務(wù)數(shù)據(jù)的采集，我們可以提供三種數(shù)據(jù)采集的途徑，分別說(shuō)明如下： 數(shù)數(shù) 據(jù)據(jù) 運(yùn)運(yùn) 輸輸 表表 Oracle SQL Server ANY source 地市級(jí)管理系統(tǒng)統(tǒng) 縣級(jí)管理系統(tǒng) IBM Information Integrator 數(shù)據(jù)復(fù)制引擎 外部應(yīng)用 管理系統(tǒng) 數(shù)據(jù)庫(kù)系統(tǒng) Oracle 9 批量數(shù)據(jù)抽取 對(duì)于比較規(guī)范的業(yè)務(wù)系統(tǒng)，如果通過(guò)理解其數(shù)據(jù)庫(kù)表結(jié)構(gòu)能夠識(shí)別增量數(shù)據(jù)，則建議采用批量數(shù)據(jù)抽取的方式。 批量數(shù)據(jù)抽取的方式一般為非實(shí)時(shí)模式，在業(yè)務(wù)系統(tǒng)空閑時(shí)進(jìn)行運(yùn)行。對(duì)于網(wǎng)絡(luò)條件較好的數(shù)據(jù)源，該方式可直接通過(guò)信息采集平臺(tái)向業(yè)務(wù)數(shù)據(jù)庫(kù)發(fā)送數(shù)據(jù)抽取的 SQL 語(yǔ)句，增量信息通過(guò) Where 條件傳入，采集的數(shù)據(jù)直接保存在信息整合平臺(tái)。 對(duì)于網(wǎng)絡(luò)狀況不理想的業(yè)務(wù)系統(tǒng)，該方式可分兩步進(jìn)行。首先在業(yè)務(wù)系統(tǒng)數(shù)據(jù)源將增量信息卸載 為文件，然后再將文件傳送到信息采集平臺(tái)。這種模式要求在數(shù)據(jù)源部署卸載及數(shù)據(jù)傳輸程序，管理維護(hù)成本較大，建議盡量采用第一種方式。 數(shù)據(jù)復(fù)制 數(shù)據(jù)采集平臺(tái)提供對(duì)各類(lèi)主流數(shù)據(jù)庫(kù)的各主要版本數(shù)據(jù)復(fù)制的能力。在復(fù)制 10 的過(guò)程中，系統(tǒng)自動(dòng)抽取數(shù)據(jù)的變化，通過(guò)中間的傳輸，最后加載到目的地。在大多數(shù)情況下，復(fù)制應(yīng)該不干預(yù)現(xiàn)有的應(yīng)用，對(duì)系統(tǒng)的影響應(yīng)該降到最低，復(fù)制過(guò)程有必要進(jìn)行管理和監(jiān)控。 復(fù)制可分為兩個(gè)步驟 Capture 用于獲取數(shù)據(jù)源數(shù)據(jù)的增量。對(duì) Oracle 數(shù)據(jù)源，通過(guò) Trigger 機(jī)制實(shí)現(xiàn)。 Apply 負(fù)責(zé)將變 更的數(shù)據(jù)送到數(shù)據(jù)目標(biāo)。 WII 提供對(duì)純?cè)隽康膹?fù)制能力，在目標(biāo)端自動(dòng)附加操作類(lèi)型、時(shí)間戳等信息，以用于后續(xù)數(shù)據(jù)轉(zhuǎn)換的處理。 WII 所提供的數(shù)據(jù)復(fù)制方式提供多種調(diào)度手段，支持分鐘級(jí)數(shù)據(jù)的同步。對(duì)大多數(shù)據(jù)業(yè)務(wù)系統(tǒng)而言，數(shù)據(jù)復(fù)制對(duì)系統(tǒng)有一定影響，但影響有限。建議應(yīng)用在難以提供增量信息，而業(yè)務(wù)負(fù)荷又有一定擴(kuò)展性的系統(tǒng)。 數(shù)據(jù)偵聽(tīng)同步 數(shù)據(jù)偵聽(tīng)同步的模式與數(shù)據(jù)復(fù)制有一定類(lèi)似，但可大大降低對(duì)業(yè)務(wù)系統(tǒng)正常工作時(shí)間的影響。 對(duì)于部分不能提供增量信息，而當(dāng)前業(yè)務(wù)系統(tǒng)負(fù)荷又較重的系統(tǒng)，可采用數(shù)據(jù)偵聽(tīng)的模式。數(shù)據(jù)偵聽(tīng)與數(shù)據(jù)復(fù)制最大 的不同是在變更數(shù)據(jù)捕獲方面。數(shù)據(jù)偵聽(tīng)只捕獲變更數(shù)據(jù)的主鍵信息，占整個(gè)記錄的信息量很小。因而對(duì)業(yè)務(wù)系統(tǒng)的工作時(shí)間的影響很小。 11 數(shù)據(jù)偵聽(tīng)同步分兩個(gè)步驟完成數(shù)據(jù)的采集。首先通過(guò)數(shù)據(jù)偵聽(tīng)獲取變更數(shù)據(jù)的主鍵及操作類(lèi)型信息，并同步到數(shù)據(jù)采集平臺(tái)。然后在業(yè)務(wù)系統(tǒng)的空閑時(shí)間，通過(guò)偵聽(tīng)得到的變更信息，重新通過(guò)數(shù)據(jù)采集平臺(tái)訪問(wèn)數(shù)據(jù)源，批量將其他數(shù)據(jù)內(nèi)容信息抽取到數(shù)據(jù)采集平臺(tái)。 數(shù)據(jù)同步中可能的意外情況由系統(tǒng)自動(dòng)管理。 數(shù)據(jù)采集平臺(tái)通過(guò)提供批量數(shù)據(jù)抽取、數(shù)據(jù)復(fù)制和數(shù)據(jù)偵聽(tīng)同步的方式，針對(duì)省廳的多種不同情況的源業(yè)務(wù)系統(tǒng)，均提出了有 效的采集方案，對(duì)建立系統(tǒng)打下了堅(jiān)實(shí)的基礎(chǔ)。 3. IBM數(shù)據(jù)整合平臺(tái)的功能 我們建議選用 IBM 數(shù)據(jù)整合平臺(tái) WebSphere Information Integrator 作為數(shù)據(jù)交換平臺(tái)的核心技術(shù)。將市社保的各類(lèi)數(shù)據(jù)源通過(guò)聯(lián)邦的方式映射到一個(gè)數(shù)據(jù)采集平臺(tái)的邏輯數(shù)據(jù)庫(kù)中。對(duì)所有業(yè)務(wù)數(shù)據(jù)的訪問(wèn)都通過(guò) WebSphere II 完成，數(shù)據(jù)存儲(chǔ)的異構(gòu)性和不同數(shù)據(jù)庫(kù)操作的異構(gòu)性由 WebSphere II 屏蔽。 信息整合平臺(tái)基礎(chǔ)架構(gòu)如下所示： 12 基于聯(lián)邦數(shù)據(jù)映射能力，在數(shù)據(jù)整合平臺(tái)可直接獲取業(yè)務(wù)數(shù)據(jù)庫(kù)的數(shù)據(jù)。在此基礎(chǔ)上， WII 還提供異構(gòu)數(shù)據(jù)復(fù)制技術(shù)及數(shù)據(jù)偵聽(tīng)技術(shù)，實(shí)現(xiàn)對(duì)增量信息的識(shí)別和同步。 其實(shí)現(xiàn)原理如下圖所示： 圖中：聯(lián)邦服務(wù)器（ Federated Database Server）通過(guò)稱為包裝器（ Wrapper）的軟件模塊與數(shù)據(jù)源進(jìn)行通信。對(duì)于上述各類(lèi)數(shù)據(jù)源， WebSphere II 提供專用的wrapper，每個(gè) wrapper 實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的 SQL 處理，支持異構(gòu)數(shù)據(jù)庫(kù)間數(shù)據(jù)類(lèi)型的轉(zhuǎn)換和函數(shù)的轉(zhuǎn)換。對(duì)關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)源而言，包裝器通過(guò)安裝在信息整合平臺(tái)的該數(shù)據(jù)庫(kù)的客戶端與其進(jìn)行交互 。對(duì)非關(guān)系型數(shù)據(jù)源，包裝器直接進(jìn)行數(shù)據(jù)訪問(wèn)。包裝器從信息整合服務(wù)器接受數(shù)據(jù)訪問(wèn)指令，進(jìn)行轉(zhuǎn)換為數(shù)據(jù)源所支持的 SQL，通過(guò)數(shù)據(jù)源的客戶端提交執(zhí)行。然后將結(jié)果返回給信息整合服務(wù)器處理。 除包裝器外，信息整合服務(wù)器還有三個(gè)核心的部分。信息整合服務(wù)器維護(hù)一個(gè)全局的數(shù)據(jù)字典，其中保存需在信息整合平臺(tái)被訪問(wèn)的數(shù)據(jù)的相關(guān)描述，包括數(shù)據(jù)源的配置信息，數(shù)據(jù)源表的結(jié)構(gòu)，字段數(shù)據(jù)類(lèi)型，相應(yīng)的索引及數(shù)據(jù)量數(shù)據(jù)分布的統(tǒng)計(jì)信息。（注：該類(lèi)信息無(wú)需用戶自行輸入，在定義過(guò)程中，系統(tǒng)可從源數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)字典中自動(dòng)獲?。?。另外全局?jǐn)?shù)據(jù)字典還 記錄數(shù)據(jù)源的 CPU，網(wǎng)絡(luò)， I/O 等系統(tǒng)資源情況。 13 現(xiàn)對(duì) IBM 信息集成關(guān)鍵技術(shù)進(jìn)行說(shuō)明 1）聯(lián)邦技術(shù) 采用聯(lián)邦技術(shù)，可通過(guò)簡(jiǎn)單的配置，快速實(shí)現(xiàn)數(shù)據(jù)共享。其主要特點(diǎn)為： 透明性。所有信息源看起來(lái)就像是一個(gè)信息源。 異構(gòu)性。從不同數(shù)據(jù)源整合數(shù)據(jù)。 雙向 SQL 訪問(wèn)?；跇?biāo)準(zhǔn)的通用訪問(wèn)方式，且雙向可讀寫(xiě)。 可擴(kuò)展性和工具化?？梢栽L問(wèn)任何數(shù)據(jù)源，配置方便。 避免對(duì)現(xiàn)有數(shù)據(jù)源和應(yīng)用程序進(jìn)行更改。 其性能可以滿足實(shí)際應(yīng)用程序和可能應(yīng)用程序的需要，包括高級(jí)查詢優(yōu)化技術(shù)、本地?cái)?shù)據(jù)訪問(wèn)以及透明緩存支持。 可以充分利用標(biāo)準(zhǔn)的分析、 報(bào)告和開(kāi)發(fā)工具等高級(jí)功能。 WebSphere II查詢接口提供了基于標(biāo)準(zhǔn)的完整功能 包括對(duì)后端數(shù)據(jù)源中缺失能力的補(bǔ)償。 2） SQL 復(fù)制 在多種數(shù)據(jù)源的環(huán)境中，主要采用 SQL 復(fù)制技術(shù)。 SQL 復(fù)制技術(shù)能夠 支持網(wǎng)絡(luò)上同構(gòu)或異構(gòu)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)的有效傳輸和冗余性復(fù)制， 能夠?qū)崿F(xiàn) 多 種復(fù)制 模式 （如： 準(zhǔn) 實(shí)時(shí)復(fù)制、定時(shí)復(fù)制、雙向復(fù)制、 復(fù)制轉(zhuǎn)發(fā) 等 ，復(fù)制范圍可整表復(fù)制或表中部分行復(fù)制或修改單元復(fù)制） 。 復(fù)制運(yùn)行時(shí)包括三個(gè)組成部分： Capture、 Monitor 和 Apply。其中 Capture提取復(fù)制數(shù)據(jù)源的變化增量； Apply獲取 Capture 的結(jié)果，并根據(jù)復(fù)制映射關(guān)系進(jìn)行轉(zhuǎn)換，按照一定的時(shí)間規(guī)劃，作用于目標(biāo)數(shù)據(jù)； Monitor 監(jiān)控復(fù)制過(guò)程，并給出監(jiān)控信息。 SQL 復(fù)制實(shí)現(xiàn)機(jī)制能夠解決以下三個(gè)主要問(wèn)題： 增量復(fù)制 支持對(duì)數(shù)據(jù)的變化增量識(shí)別、提取和復(fù)制，與全量數(shù)據(jù)復(fù)制相比，可避免全量數(shù)據(jù)傳輸?shù)木薮筘?fù)載對(duì)各個(gè)系統(tǒng)的影響。 14 對(duì) DB2 家族的復(fù)制數(shù)據(jù)源而言，通過(guò)讀取數(shù)據(jù)庫(kù)日志信息獲取數(shù)據(jù)增量，可避免對(duì)數(shù)據(jù)庫(kù)運(yùn)行性能的影響。對(duì)于復(fù)制數(shù)據(jù)源為非 DB2 的數(shù)據(jù)庫(kù)，其獲取數(shù)據(jù)增量的 Capture 方式由數(shù)據(jù)源的 Trigger 機(jī)制實(shí)現(xiàn) (注：這些 Trigger 由 DB2 的復(fù)制機(jī)制自動(dòng)維護(hù) )。 圖 3.1 SQL 復(fù)制機(jī)制 源數(shù)據(jù)與目標(biāo)數(shù)據(jù)間的復(fù)制轉(zhuǎn)換 源數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間 ,往往存在著數(shù)據(jù)類(lèi)型、格式、邏輯等不一致。為了使目標(biāo)數(shù)據(jù)源能夠讀懂、接受復(fù)制數(shù)據(jù)源的數(shù)據(jù)，就必須進(jìn)行復(fù)制轉(zhuǎn)換。在復(fù)制過(guò)程中的常用轉(zhuǎn)換方法有如下兩種： 復(fù)制映射和添加計(jì)算列 ： 復(fù)制映射主要指復(fù)制源和目標(biāo)之間的列映射，可以用如下圖所示的配置工具實(shí)現(xiàn)。鼠標(biāo)拖拽產(chǎn)生的箭頭指示源與目標(biāo)列的對(duì)應(yīng)關(guān)系。 “添加計(jì)算列”可以使用 SQL 對(duì)復(fù)制源的某 列進(jìn)行運(yùn)算，產(chǎn)生一個(gè)計(jì)算列，該列的定義記錄在復(fù)制控制表中，不影響源表。如下圖紫色方框標(biāo)注的兩列：右側(cè)的是目標(biāo)列，其定義長(zhǎng)度為 30 個(gè)字符；左側(cè)的是對(duì)源表某列作 SUBSTR 字符串截取生成的計(jì)算列，截取前 30 個(gè)字符。此外常用的 SQL 還有 DATE 函數(shù)、 CASE語(yǔ)句等等。 15 圖：復(fù)制映射和添加計(jì)算列 兩階段復(fù)制：一致更改數(shù)據(jù) CCD 表作中間表 兩階段復(fù)制的優(yōu)勢(shì)在于能夠獲取數(shù)據(jù)增量及其類(lèi)別，并結(jié)合多種數(shù)據(jù)轉(zhuǎn)換方法。 兩階段復(fù)制中，首先由源表復(fù)制到一致更改數(shù)據(jù) CCD 表，后者能夠記錄在源表上所有的更改操作的類(lèi)型（插入、更新 及刪除）和結(jié)果，從而捕獲源表中所有的增量信息。第二階段，開(kāi)發(fā)者可以編寫(xiě)存儲(chǔ)過(guò)程、或應(yīng)用程序處理 CCD 表中的數(shù)據(jù)，再采用復(fù)制方法使數(shù)據(jù)作用到最終目標(biāo)表。 可配置、可管理的數(shù)據(jù)分發(fā) 數(shù)據(jù)分發(fā)主要指 Apply 的過(guò)程，即將復(fù)制數(shù)據(jù)源的增量應(yīng)用到復(fù)制目標(biāo)。數(shù)據(jù)分發(fā)過(guò)程中的配置和管理，對(duì)復(fù)制的可靠性和可管理十分重要。 數(shù)據(jù)分發(fā)提供的配置選擇包括：?jiǎn)?dòng) /停止數(shù)據(jù)應(yīng)用到目標(biāo)表；選擇連續(xù)復(fù)制方式或設(shè)置復(fù)制時(shí)間間隔等；提供自動(dòng)數(shù)據(jù)分組、出錯(cuò)自動(dòng)回滾等功能，處理傳輸過(guò)程中的異常處理，用戶可配置發(fā)生網(wǎng)絡(luò)或系統(tǒng)故障時(shí)的傳輸重試間隔 。 3）雙層認(rèn)證授權(quán)機(jī)制 WebSphere II 的雙層認(rèn)證授權(quán)機(jī)制，充分保證異地?cái)?shù)據(jù)訪問(wèn)下的數(shù)據(jù)安全。 16 Information Integrator 用戶對(duì)數(shù)據(jù)的操作權(quán)限，取決于各個(gè)應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)向它開(kāi)放的用戶的授權(quán)，是且僅可能是后者的子集。通過(guò)開(kāi)放不同權(quán)限的用戶給Information Integrator，可限制通過(guò) II 的用戶訪問(wèn)的數(shù)據(jù)內(nèi)容和數(shù)據(jù)庫(kù)操作（如插入、修改和刪除），這樣就保證了業(yè)務(wù)數(shù)據(jù)的安全性，不會(huì)出現(xiàn)超越業(yè)務(wù)授權(quán)的所謂超級(jí)用戶，消除數(shù)據(jù)安全隱患。 三、 IBM 信息集成技術(shù)的特點(diǎn) 3.1 全局統(tǒng) 一的數(shù)據(jù)視圖 按照 IBM 的預(yù)想，信息集成基礎(chǔ)構(gòu)架必須為應(yīng)用層提供對(duì)其所需訪問(wèn)數(shù)據(jù)的全局統(tǒng)一的數(shù)據(jù)視圖，使應(yīng)用對(duì)數(shù)據(jù)的訪問(wèn)不受數(shù)據(jù)格式、數(shù)據(jù)位置和訪問(wèn)接口差異的限制。對(duì)數(shù)據(jù)管理系統(tǒng)的發(fā)展不僅是要實(shí)現(xiàn)對(duì)單一數(shù)據(jù)庫(kù)中存儲(chǔ)的信息進(jìn)行管理，而且還要能夠提供對(duì)所有形式數(shù)據(jù)的增值性集成、對(duì)數(shù)據(jù)安排實(shí)施動(dòng)態(tài)管理以滿足可用性、實(shí)時(shí)性同時(shí)滿足性能要求以及提供可繼續(xù)減輕 IT 人員管理復(fù)雜數(shù)據(jù)體系結(jié)構(gòu)負(fù)擔(dān)的自主特色功能。為此， IBM 制訂了一項(xiàng)代號(hào)為 Xperanto 的計(jì)劃，旨在應(yīng)對(duì)客戶對(duì)集成結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù) 的需求。依靠在研究上的不斷投資及在關(guān)系數(shù)據(jù)、 XML、內(nèi)容管理、聯(lián)邦、搜索和復(fù)制等領(lǐng)域所擁有的可靠的數(shù)據(jù)管理技術(shù)， IBM 正著手開(kāi)發(fā)集成式基礎(chǔ)構(gòu)架（如下圖所示）。 17 IBM 基礎(chǔ)構(gòu)架憑借一系列程序設(shè)計(jì)模型、一套豐富的集成特色功能及與 IBM 的整個(gè)業(yè)務(wù)集成框架的互操作性提供了靈活的訪問(wèn)方式。 3.2 靈活的訪問(wèn)方式 IBM 的設(shè)想是通過(guò)行業(yè)標(biāo)準(zhǔn)接口提供對(duì)信息集成基礎(chǔ)構(gòu)架的靈活訪問(wèn)。客戶應(yīng)用訪問(wèn)信息可通過(guò) ODBC、 JBDC、網(wǎng)絡(luò)服務(wù)、本地客戶機(jī)或異步客戶機(jī)接口來(lái)實(shí)現(xiàn)。無(wú)論數(shù)據(jù)是 分布在何種數(shù)據(jù)庫(kù) ,文件或消息隊(duì)列中 ,應(yīng)用對(duì)數(shù)據(jù)的訪問(wèn)都如同是在對(duì)一個(gè)邏輯的數(shù)據(jù)庫(kù)進(jìn)行 . 它所支持的查詢語(yǔ)言將包括： 結(jié)構(gòu)化查詢語(yǔ)言 (SQL)：業(yè)界最成熟、功能最強(qiáng)大的查詢語(yǔ)言，市場(chǎng)應(yīng)用廣泛； XQuery：有關(guān) XML 數(shù)據(jù)訪問(wèn)的新興標(biāo)準(zhǔn)，萬(wàn)維網(wǎng)協(xié)會(huì) (W3C) 目前正在進(jìn)行其標(biāo)準(zhǔn)化工作 IBM DB2 Content Manager： 是面向?qū)ο蟮膽?yīng)用程序編程接口，它支持內(nèi)容管理生命周期，包括富文本和圖像查詢。 無(wú)論采用何種客戶訪問(wèn)方式和查詢語(yǔ)言，應(yīng)用程序都應(yīng)能夠訪問(wèn)通過(guò)集成服務(wù) 18 器連接的所有數(shù)據(jù)。這種客 戶訪問(wèn)和查詢語(yǔ)言靈活性的組合使現(xiàn)有開(kāi)發(fā)和分析工具能夠通過(guò)集成服務(wù)器訪問(wèn)更廣泛的數(shù)據(jù) ,并直接利用集成服務(wù)器所提供的信息集成功能。它還使基礎(chǔ)構(gòu)架能夠通過(guò) Web Services 適應(yīng)以服務(wù)為導(dǎo)向的體系結(jié)構(gòu)，還可提供與工作流異步集成或輕松調(diào)度長(zhǎng)耗時(shí)的查詢?nèi)蝿?wù)，并能保護(hù)您在現(xiàn)有和新應(yīng)用程序基礎(chǔ)構(gòu)架上的投資。 3.3 豐富的特色功能 利用 IBM 信息集成基礎(chǔ)構(gòu)架可實(shí)現(xiàn)對(duì)各種分散于各處的實(shí)時(shí)數(shù)據(jù)的集成，就好像它們來(lái)自同一數(shù)據(jù)源。該基礎(chǔ)構(gòu)架具有聯(lián)邦、搜索、高速緩存、轉(zhuǎn)換和復(fù)制異構(gòu)數(shù)據(jù)等重要的功能： 聯(lián)邦 : IBM 提供業(yè)界領(lǐng)先的對(duì)相異數(shù)據(jù)源的聯(lián)邦功能。聯(lián)邦的概念是：用戶可以像對(duì)待一個(gè)數(shù)據(jù)源那樣對(duì)多個(gè)數(shù)據(jù)源實(shí)施查詢和處理，同時(shí)保持?jǐn)?shù)據(jù)源各自的獨(dú)立性和完整性。視實(shí)施的具體情況，這些數(shù)據(jù)源可能是同構(gòu)或異構(gòu)數(shù)據(jù)源，也可能是集中或分散的數(shù)據(jù)源。 IBM 的聯(lián)邦引擎提供了下述功能： 透明度 :它具有屏蔽作用，可協(xié)助使用戶在訪問(wèn)數(shù)據(jù)時(shí) ,無(wú)法察覺(jué)底層數(shù)據(jù)源的差異、特質(zhì)和實(shí)現(xiàn)方式，并使一組聯(lián)邦數(shù)據(jù)源看上去就像是一個(gè)系統(tǒng)。 19 異構(gòu)性 : 一如其名它具有聯(lián)邦異構(gòu)類(lèi)型數(shù)據(jù)的功能，這些數(shù)據(jù)類(lèi)型包括結(jié)構(gòu)化數(shù)據(jù)（例如，關(guān)系 數(shù)據(jù)庫(kù)）、半結(jié)構(gòu)化數(shù)據(jù)（例如， XML 文檔）、非結(jié)構(gòu)化數(shù)據(jù)（例如，自由格式文本）。 可擴(kuò)展性 : 一種可將聯(lián)邦能力擴(kuò)展到幾乎任何數(shù)據(jù)源的功能?？蓴U(kuò)展性專為這一目的而設(shè)計(jì)，即最大程度降低集成新數(shù)據(jù)源的工作量，同時(shí)靈活地為優(yōu)化查詢?cè)L問(wèn)提供必要的信息。 豐富的函數(shù)功能 : 包括通過(guò)支持的查詢語(yǔ)言提供的函數(shù)、對(duì)后端數(shù)據(jù)源中所缺函數(shù)的補(bǔ)償以及將數(shù)據(jù)源專用功能無(wú)縫嵌入到查詢語(yǔ)言中的功能。 數(shù)據(jù)源自主性 : 即可將數(shù)據(jù)源聯(lián)邦在一起，而對(duì)現(xiàn)有應(yīng)用程序或系統(tǒng)沒(méi)有或幾乎沒(méi)有影響。 性能優(yōu)化 : 使聯(lián)邦查詢成為一種現(xiàn)實(shí)備選方案的性能特性 。憑借超過(guò) 25 年的研究和開(kāi)發(fā)經(jīng)驗(yàn)及專利的優(yōu)化技術(shù)， IBM 可以事實(shí)證明，聯(lián)邦是一個(gè)能夠滿足性能要求的可行方案。 搜索 : IBM 的基礎(chǔ)構(gòu)架將提供高級(jí)搜索和查詢功能，包括網(wǎng)絡(luò)爬行、文檔索引建立、多搜索引擎搜索結(jié)果聯(lián)邦、以實(shí)現(xiàn)智能訪問(wèn)為目標(biāo)的文本文檔分類(lèi)和摘要信息建立以及語(yǔ)義理解。 2002 年， IBM 組建了“ IBM 搜索和文本分析研究院”，以通過(guò)集成式體系結(jié)構(gòu)統(tǒng)一并加速 IBM 在高級(jí)搜索和挖掘功能上的研究和部署。研究成果將可為 IBM 信息集成平臺(tái)以及其它 IBM 方案提供動(dòng)力。 高速緩沖存儲(chǔ)器 : IBM 的信息集成基礎(chǔ)構(gòu)架將支持在數(shù)據(jù)層級(jí)中的多個(gè)點(diǎn)放置和管理數(shù)據(jù)，以改善性能。這絕非是簡(jiǎn)單的高速緩存功能，而是基于策略的數(shù)據(jù)安排和管理。需要由一系列高速緩存策略才能向發(fā)出請(qǐng)求的應(yīng)用程序提供足夠的性能、實(shí)時(shí)性和可用性特性。 轉(zhuǎn)換 : 基礎(chǔ)構(gòu)架必須提供豐富的轉(zhuǎn)換特色功能，以便進(jìn)行分析、交換和呈現(xiàn)。轉(zhuǎn)換功能完成不同類(lèi)型數(shù)據(jù)庫(kù) SQL 語(yǔ)句的動(dòng)態(tài)轉(zhuǎn)換 (如數(shù)據(jù)類(lèi)型及函數(shù)的匹配 ).另外還包括對(duì)數(shù)據(jù)源缺失函數(shù)的補(bǔ)償和原有數(shù)據(jù)源專用功能 (如存儲(chǔ)過(guò)程和用戶自定義函數(shù) )的嵌入。 復(fù)制 : 作為信息集成基礎(chǔ)構(gòu)架的一個(gè)基本特征，復(fù)制功能不可 或缺。它是分布 20 式訪問(wèn)特色功能的有益補(bǔ)充，實(shí)現(xiàn)了對(duì)集中式數(shù)據(jù)存儲(chǔ)器的管理，并為高效管理數(shù)據(jù)高速緩沖存儲(chǔ)器提供了必需的基礎(chǔ)構(gòu)架。信息集成可實(shí)現(xiàn)異構(gòu)關(guān)系型數(shù)據(jù)源之間的相互復(fù)制 . 支持多點(diǎn)對(duì)一點(diǎn)的數(shù)據(jù)集中模式和一點(diǎn)對(duì)多點(diǎn)的數(shù)據(jù)分發(fā)模式 . 包括初始的數(shù)據(jù)同步和增量的鑒別和同步 . 并提供對(duì)復(fù)制過(guò)程的監(jiān)控 . 簡(jiǎn)化全面業(yè)務(wù)集成 : 如前所提及，信息集成只是整個(gè)業(yè)務(wù)集成基礎(chǔ)構(gòu)架的一部分。為支持業(yè)務(wù)的改良需求，此基礎(chǔ)構(gòu)架補(bǔ)充了強(qiáng)健的數(shù)據(jù)和內(nèi)容存儲(chǔ)器及附加集成技術(shù)，并采用了行業(yè)標(biāo)準(zhǔn)。 數(shù)據(jù)存儲(chǔ)： IBM 現(xiàn)今提供業(yè)內(nèi)領(lǐng)先的關(guān)系數(shù)據(jù)庫(kù) 管理系統(tǒng)和內(nèi)容管理系統(tǒng)，并在提供集成 XML 支持方面引領(lǐng)著行業(yè)的發(fā)展。除現(xiàn)有功能（基于關(guān)系數(shù)據(jù)庫(kù)模型）外， XML 儲(chǔ)存還必須完整地包含和充分利用 XML 數(shù)據(jù)模型。 XML 儲(chǔ)存設(shè)計(jì)有一個(gè)內(nèi)置 XML 注冊(cè)表，可以輕松管理大量 XML 工件。這些工件包括隨 XML 數(shù)據(jù)數(shù)量和種類(lèi)的增加而可能產(chǎn)生的 XML schema 文檔、文檔類(lèi)型定義 (DTD) 和 Web Services 說(shuō)明文檔等。 利用互補(bǔ)的集成技術(shù)： 開(kāi)發(fā)企業(yè)集成基礎(chǔ)構(gòu)架的關(guān)鍵在于能否自如地組合利用或單獨(dú)利用適用的集成技術(shù)。 IBM 繼續(xù)專注于信息集 成對(duì)“ IBM 軟件集團(tuán)”全線產(chǎn)品，特別是 WebSphere 業(yè)務(wù)集成系列產(chǎn)品的集成，以提供一套全面的業(yè)務(wù)集成基礎(chǔ)構(gòu)架。 WebSphere 軟件平臺(tái)為數(shù)據(jù)庫(kù)及聯(lián)邦數(shù)據(jù)庫(kù)應(yīng)用程序提供了一個(gè)開(kāi)放、集成式的 Java 技術(shù)開(kāi)發(fā)環(huán)境。同時(shí)， IBM 也在投入力量使其能夠與 Microsoft VisualStudio 順暢協(xié)作并實(shí)現(xiàn)集成。簡(jiǎn)言之， IBM 的集成式解決方案是業(yè)內(nèi)覆蓋領(lǐng)域最廣、最完整的集成式解決方案。 支持行業(yè)標(biāo)準(zhǔn)： IBM 繼續(xù)處于開(kāi)發(fā)和采用行業(yè)標(biāo)準(zhǔn)的最前沿，為在不同開(kāi)發(fā)商工具間實(shí)現(xiàn)廣泛的互操作性提供 便利。 21 四、 IBM 信息整合解決方案的優(yōu)勢(shì) 我們建議的 社保信息數(shù)據(jù)交換平臺(tái) 解決方案具備以下幾個(gè)關(guān)鍵的技術(shù)優(yōu)勢(shì)： 4 1 建立、地市級(jí)管理系統(tǒng)之間的信息交互 、地市級(jí)管理系統(tǒng)的信息交互，實(shí)際包含兩方面的含義： 數(shù)據(jù)交換：實(shí)現(xiàn)、地市級(jí)級(jí)系統(tǒng)之間的數(shù)據(jù)交換，實(shí)現(xiàn)數(shù)據(jù)的物理遷移，數(shù)據(jù)由某個(gè)數(shù)據(jù)源傳遞到某個(gè)目標(biāo)數(shù)據(jù)庫(kù)中； 數(shù)據(jù)共享：為跨越社保管理現(xiàn)有的業(yè)務(wù)系統(tǒng)、各個(gè)合作機(jī)構(gòu)的業(yè)務(wù)系統(tǒng)中所有相關(guān)數(shù)據(jù)，進(jìn)行綜合查詢和分析提供數(shù)據(jù)集成訪問(wèn)支持； 4 2 利用異構(gòu)數(shù)據(jù)透明訪問(wèn)技術(shù)實(shí)現(xiàn)數(shù)據(jù)共享 IBM 解決方案的核心產(chǎn)品是 IBM Information Integrator， 其中核心技術(shù)之一為聯(lián)邦數(shù)據(jù)訪問(wèn)技術(shù)。如下圖所示，通過(guò)采用 IBM Information Integrator， 將數(shù)據(jù)交換平臺(tái)各級(jí)業(yè)務(wù)管理系統(tǒng)中的各類(lèi)數(shù)據(jù)源，通過(guò)聯(lián)邦的方式映射到一個(gè)邏輯的數(shù)據(jù)庫(kù)中。對(duì)所有數(shù)據(jù)的訪問(wèn)都通過(guò) IBM Information Integrator 完成，數(shù)據(jù)存儲(chǔ)的異構(gòu)性和不同數(shù)據(jù)庫(kù)操作的異構(gòu)性由 IBM Information Integrator 屏蔽。 基于 IBM Information Integrator 可實(shí)現(xiàn)異構(gòu)平臺(tái)的表級(jí)數(shù)據(jù)庫(kù)的通用 SQL 操作。 4 3 統(tǒng)一編程接口，簡(jiǎn)化應(yīng)用編程 由于對(duì)所有數(shù)據(jù)的訪問(wèn)都通過(guò) IBM Information Integrator 完成，數(shù)據(jù)存儲(chǔ)的異構(gòu)性和不同數(shù)據(jù)庫(kù)操作的異構(gòu)性由 IBM Information Integrator 屏蔽。因此對(duì)于新的省級(jí)社保信息綜合業(yè)務(wù)系統(tǒng)（如數(shù)據(jù)實(shí)時(shí)交換、綜合查詢、數(shù)據(jù)遷移等）的開(kāi)發(fā)者來(lái)說(shuō)，不必了解現(xiàn)有各種業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)訪問(wèn)接口及編程方法，而只需熟練掌握 IBM Information Integrator 所提供的一套編程訪問(wèn)接口就可以實(shí)現(xiàn)所有的應(yīng)用開(kāi)發(fā)工作。整個(gè)編程開(kāi)發(fā)將非常簡(jiǎn) 便。 22 4 4 提供全局優(yōu)化技術(shù)，保證系統(tǒng)整體性能 領(lǐng)先的基于成本的優(yōu)化器 : IBM 在業(yè)界最早實(shí)現(xiàn)了基于成本的優(yōu)化技術(shù)，優(yōu)化器能夠模擬采用不同方式從磁盤(pán)中查詢數(shù)據(jù)所付出的代價(jià)，從而選用最佳查詢方案。它在優(yōu)化時(shí)考慮了CPU 速度、磁盤(pán) I/O 率、表格尺寸、有效訪問(wèn)路徑，并且如果可能的話可以重寫(xiě)查詢，以得到更高的性能。 IBM 的優(yōu)化器充分考慮了并行、大量并發(fā)用戶、復(fù)雜查詢等各種可能遇到的情況，使其能夠運(yùn)行于各種計(jì)算環(huán)境。通過(guò)調(diào)節(jié)相應(yīng)參數(shù)，數(shù)據(jù)庫(kù)管理員還可以根據(jù)數(shù)據(jù)庫(kù)應(yīng)用的具體類(lèi)型方便地選擇是否讓優(yōu)化器為此種應(yīng)用做專門(mén) 的優(yōu)化。 獨(dú)特的查詢重寫(xiě)技術(shù) : IBM 對(duì)用戶的每一個(gè) SQL 語(yǔ)句的處理過(guò)程于其它數(shù)據(jù)庫(kù)有所不同：在經(jīng)過(guò)語(yǔ)法分析和語(yǔ)義檢查之后，先對(duì)用戶的 SQL 語(yǔ)句進(jìn)行查詢重寫(xiě)，再將重寫(xiě)后的查詢 SQL 語(yǔ)句送交優(yōu)化器優(yōu)化。 由于經(jīng)過(guò)查詢重寫(xiě)的 SQL 語(yǔ)句可以最有效的被優(yōu)化器優(yōu)化，程序員可以專心于業(yè)務(wù)邏輯的實(shí)現(xiàn)，而不必過(guò)多地將精力放在了解數(shù)據(jù)庫(kù)優(yōu)化器工作原理以及關(guān)注 SQL 語(yǔ)句的寫(xiě)法上，減少了應(yīng)用程序不能正確實(shí)現(xiàn)業(yè)務(wù)邏輯的可能性。另一方面，查詢重寫(xiě)技術(shù)還有助于消除經(jīng)常見(jiàn)到的由于項(xiàng)目組中不同開(kāi)發(fā)人員的水平差異導(dǎo)致的程序執(zhí)行效率不同，或圖 形界面動(dòng)態(tài)生成 SQL 語(yǔ)句繁瑣、低效的現(xiàn)象。 在異構(gòu)環(huán)境下優(yōu)化技術(shù)同樣適用： 使用 IBM Information Integrator 構(gòu)建一個(gè)異構(gòu)分布式數(shù)據(jù)庫(kù)環(huán)境后， IBM 先進(jìn)的基于成本優(yōu)化器仍然可以通過(guò) IBM Information Integrator 發(fā)揮作用，也就是說(shuō)， IBM 可以將一個(gè)跨越多個(gè)業(yè)務(wù)系統(tǒng)的 SQL 語(yǔ)句根據(jù)各個(gè)業(yè)務(wù)系統(tǒng)的實(shí)際狀況進(jìn)行成本估算、查詢重寫(xiě)、最優(yōu)查詢路徑模擬及確定。實(shí)現(xiàn)一個(gè)跨業(yè)務(wù)系統(tǒng)的全局優(yōu)化。從而保證了整個(gè)系統(tǒng)的整體性能。 IBM Information Integrator 提供一 個(gè)本地的數(shù)據(jù)存儲(chǔ)支持，聯(lián)邦服務(wù)引擎實(shí)現(xiàn) SQL 的分解和訪問(wèn)路徑的優(yōu)化，其主要原則為將對(duì)數(shù)據(jù)的操作盡量分發(fā)到分布式的數(shù)據(jù)源，在 IBM Information Integrator 聯(lián)邦服務(wù)引擎中統(tǒng)一考慮處理的成本，選擇成本最低的路徑。成本 23 優(yōu)化依據(jù)保存在 IBM Information Integrator catalog 中的各類(lèi)數(shù)據(jù)源的統(tǒng)計(jì)信息。 4 5 先進(jìn)的 Cache 技術(shù)，保證系統(tǒng)性能 IBM Information Integrator 內(nèi)置了先進(jìn)的 Cache 技術(shù)，可以支持用戶建立物化查詢表（ Materialized Query Table），這個(gè)物化查詢表可以跨越各個(gè)業(yè)務(wù)系統(tǒng)建立一個(gè)針對(duì)經(jīng)常查詢內(nèi)容的預(yù)計(jì)算、預(yù)處理的結(jié)果集，使用 Cache 技術(shù)存放起來(lái)，來(lái)提高使用到這些結(jié)果集的運(yùn)算或查詢操作的速度。 4 6 對(duì) XML 技術(shù)的完美支持 我們知道 XML 作為數(shù)據(jù)交換的一個(gè)載體，將在未來(lái)的應(yīng)用中占據(jù)越來(lái)越重要的位置，因此，在 IBM Information Integrator 中對(duì) XML 有強(qiáng)大的支持，以適應(yīng)當(dāng)前和未來(lái)的應(yīng)用需要。 IBM Information Integrator 提供了專用的 XML wrapper。 通過(guò) XML wrapper, IBM Information Integrator 支持對(duì) XML 內(nèi)容基于 SQL 的訪問(wèn)支持。即用戶可以使用 SQL 直接操作 XML 文本，將存放在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)組成一個(gè) XML 文本輸出，或者將一個(gè) XML 文本依照 DTD 或 Schema分解存儲(chǔ)。 4 7 簡(jiǎn)化 Web Services 技術(shù)實(shí)現(xiàn) IBM 作為 Web Service 架構(gòu)的倡導(dǎo)者和領(lǐng)導(dǎo)者，在自身的全部產(chǎn)品線中，都提供了全面的 Web Services 支持， IBM Information Integrator 也不例外，如下圖所示，基于統(tǒng)一 數(shù)據(jù)服務(wù)平臺(tái)，可大大簡(jiǎn)化復(fù)雜異構(gòu)環(huán)境的 web Services的實(shí)現(xiàn)。 24 4 8 對(duì) MQ 的直接支持 MQ 是在消息傳輸中間件市場(chǎng)的冠軍產(chǎn)品，在很多涉及數(shù)據(jù)傳輸和數(shù)據(jù)交換平臺(tái)建設(shè)中， IBM MQ 產(chǎn)品系列得到了廣泛的應(yīng)用，因此作為綜合業(yè)務(wù)系統(tǒng)整合的數(shù)據(jù)管理產(chǎn)品，一定要具備與 MQ 的直接訪問(wèn)和支持的能力。而在本建議方案中，IBM Information Integrator 提供了對(duì) MQ message 的直接訪問(wèn)能力。可將 SQL的輸出直接送入 MQ 的隊(duì)列，也可用 SQL 直接訪問(wèn) MQ 隊(duì)列，對(duì)應(yīng) 用的整合提供了更好的靈活性。 4 9 結(jié)合各業(yè)務(wù)系統(tǒng)用戶管理機(jī)制，支持建立跨業(yè)務(wù)應(yīng)用的用戶管 理機(jī)制 使用 IBM Information Integrator 可以實(shí)現(xiàn)一個(gè)原有系統(tǒng)的用戶及其權(quán)限對(duì)Information Integrator 用戶權(quán)限的一個(gè)映射定義。即 Information Integrator 中的一個(gè)用戶，也就是省級(jí)數(shù)據(jù)交換平臺(tái)系統(tǒng)中的一個(gè)用戶可以映射到下屬各個(gè)業(yè)務(wù)系統(tǒng)中的某個(gè)或某幾個(gè)用戶上，由各個(gè)業(yè)務(wù)系統(tǒng)管理訪問(wèn)自身業(yè)務(wù)數(shù)據(jù)的所有用戶及其授權(quán)，而省級(jí)數(shù)據(jù)交換平臺(tái)的用戶僅是這些數(shù)據(jù)的一個(gè)使用者， 其對(duì)數(shù)據(jù)的操作權(quán)限不能超越自身系統(tǒng)的授權(quán)機(jī)制，這樣就保證了業(yè)務(wù)數(shù)據(jù)的安全性。不會(huì)出現(xiàn)超越業(yè)務(wù)授權(quán)的所謂超級(jí)用戶，消除數(shù)據(jù)安全隱患。 25 4 10 開(kāi)放性，支持多種主流平臺(tái) IBM Information Integrator 是一個(gè)開(kāi)放的系統(tǒng)，能夠支持主流的 UNIX、Windows、 Linux： Microsoft Windows NT Microsoft Windows 2000 AIX HP-UX Sun Solaris Linux 26 五、 IBM 配置方案 方案中，我們通過(guò)先進(jìn)的數(shù)據(jù)整合技術(shù)，實(shí)現(xiàn)一個(gè)邏輯集中、物理 分布與物理集中相配合的中心業(yè)務(wù)信息庫(kù)，從而構(gòu)建起一個(gè)數(shù)據(jù)交換平臺(tái)，解決了數(shù)據(jù)的讀寫(xiě)雙向訪問(wèn)技術(shù)難點(diǎn)，在此之上可以定義跨越社保管理?xiàng)l塊的業(yè)務(wù)流程和數(shù)據(jù)流程。是一個(gè)先進(jìn)、合理、可實(shí)施的方案。 在方案中，數(shù)據(jù)中心部署 IBM 數(shù)據(jù)整合平臺(tái)，建立數(shù)據(jù)中心的業(yè)務(wù)數(shù)據(jù)中心，形成一個(gè)全局范圍內(nèi)的業(yè)務(wù)數(shù)據(jù)全集，首先可以滿足對(duì)勞動(dòng)與社保業(yè)務(wù)的分析要求，而且，在一定程度上滿足了數(shù)據(jù)層面中心對(duì)市級(jí)單位數(shù)據(jù)的冗余，備份。 系統(tǒng)配置如下圖所示： 27 根據(jù)各地的實(shí)際情況， IBM WebSphere Information Integrator Advanced 可以考慮配置在 UNIX、 Windows 或者 LINUX 服務(wù)器上，支撐整個(gè)信息集成的應(yīng)用。如果在該級(jí)數(shù)據(jù)中心需要建立一個(gè)本地?cái)?shù)據(jù)庫(kù)系統(tǒng)來(lái)支撐類(lèi)似統(tǒng)一單位庫(kù)、統(tǒng)一人員庫(kù)等標(biāo)準(zhǔn)化的數(shù)據(jù)存儲(chǔ)，同時(shí)還考慮開(kāi)展決策分析系統(tǒng)，那么可以使用 IBM Information Integrator 內(nèi)置的企業(yè)級(jí)數(shù)據(jù)庫(kù)存儲(chǔ)引擎支持建立一個(gè)本地的數(shù)據(jù)庫(kù)系統(tǒng)。根據(jù)數(shù)據(jù)量的大小，配置合適的磁盤(pán) 陣列。同時(shí)我們建議購(gòu)置磁帶庫(kù)及相應(yīng)的企業(yè)級(jí)備份管理軟件，配合 IBM Information Integrator 實(shí)現(xiàn)數(shù)據(jù)的備份 /恢復(fù)工作。以保證整個(gè)系統(tǒng)運(yùn)行的安全、可靠。 建議軟件配置： IBM WebSphere Information Integrator Advance Edition 內(nèi)蒙古勞動(dòng)廳數(shù)據(jù)中心 磁盤(pán) 陣列 IBM DB2 Information Integrator Advanced Edition Connector IBM DB2 II Connector 數(shù)據(jù)中心管理員 企業(yè)級(jí)數(shù)據(jù)備份系統(tǒng) 磁帶庫(kù) 社保信息系統(tǒng)主干網(wǎng) 市級(jí)社保業(yè)務(wù)應(yīng)用 + 部里社保分析應(yīng)用 28 IBM WebSphere Information Integrator Connector IBM WebSphere Data Stage Server Edition 29 附件 IBM DB2 Information Integrator 產(chǎn)品簡(jiǎn)介 由于當(dāng)前信息技術(shù)的飛速發(fā)展，各企業(yè)的業(yè)務(wù)環(huán)境日益復(fù)雜，各種業(yè)務(wù)數(shù)據(jù)不斷的增加，使得企業(yè)中各種數(shù)據(jù)類(lèi)型繁多，數(shù)據(jù)源也十分分散。用戶越來(lái)越希望能夠?qū)φ麄€(gè)企業(yè)不同數(shù)據(jù)源及數(shù)據(jù)類(lèi)型的數(shù)據(jù)進(jìn)行統(tǒng)一的相關(guān)聯(lián)的管理。但是目前很多企業(yè)受各方面因素的約束，分散的且不同廠商的數(shù)據(jù)源很難復(fù)制或集中到單一的數(shù)據(jù)庫(kù)上。因此，這就使用戶越來(lái)越渴望能夠獲得一個(gè)可以整合企業(yè)中各個(gè)分布式的數(shù)據(jù)源以方便訪問(wèn)多樣化數(shù)據(jù)的解決方案。在這種需求之下， IBM公司提供了 IBM Information Integrator 系列產(chǎn)品，能夠在整個(gè)企業(yè)范圍內(nèi)訪問(wèn)關(guān)系型、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。它能提供 戰(zhàn)略 上的 數(shù)據(jù)集成架構(gòu)，以幫助用戶去訪問(wèn)、處理以及整合異構(gòu)的、分布式的實(shí)時(shí)數(shù)據(jù)。 IBM Information Integrator 包括聯(lián)邦數(shù)據(jù)服務(wù)器（ Federated Data Server）和復(fù)制服務(wù)器（ Replication Server），用于整合異構(gòu)的實(shí)時(shí)數(shù)據(jù)。聯(lián)邦數(shù)據(jù)服務(wù)器（ Federated Data Server）利用 SQL或產(chǎn)生 SQL 的工具（整合的開(kāi)發(fā)環(huán)境、報(bào)表、分析工具）訪問(wèn)、整合及處理分布式的和異構(gòu)的數(shù)據(jù)。該產(chǎn) 品主要適用于數(shù)據(jù)源為各類(lèi)關(guān)系型數(shù)據(jù)庫(kù)