1、數(shù)據(jù)適配器產(chǎn)品功能介紹 V0.06 目錄1.1簡介41.2體系結(jié)構(gòu)61.3系統(tǒng)組成71.4數(shù)據(jù)適配器種類81.4.1簡單適配器81.4.2復(fù)雜適配器91.5系統(tǒng)功能91.5.1配置管理91.5.2數(shù)據(jù)收集101.5.3數(shù)據(jù)清洗111.5.4數(shù)據(jù)填充111.5.5數(shù)據(jù)格式翻譯111.5.6數(shù)據(jù)壓縮121.5.7數(shù)據(jù)加密和簽名121.5.8監(jiān)控管理121.5.9通知管理131.5.10權(quán)限管理131.5.11日志管理131.5.12節(jié)點管理141.5.13數(shù)據(jù)查詢141.6系統(tǒng)特點141.6.1應(yīng)用集成框架141.6.2集中化管理141.6.3多種數(shù)據(jù)格式141.6.4靈活的數(shù)據(jù)加工處理151.6

2、.5支持事務(wù)功能151.6.6可靠的故障恢復(fù)151.6.7XML的支持151.7操作環(huán)境151.7.1硬件151.7.2軟件16 1.1 簡介隨著大型企業(yè)及政府機關(guān)機構(gòu)實現(xiàn)業(yè)務(wù)集中處理后，各個數(shù)據(jù)中心產(chǎn)生的大量數(shù)據(jù)信息，以及各種文件、圖像、數(shù)據(jù)及多媒體數(shù)據(jù)等需要及時快速地從市、區(qū)、縣一級的服務(wù)器或終端傳輸?shù)绞』蛉珖行?，或者從全國中心往省、市、縣級中心下發(fā)。由于數(shù)據(jù)的復(fù)雜性，收集的突發(fā)性，同時由于數(shù)據(jù)來源各式各樣，因此對數(shù)據(jù)收集的效率、可靠性、靈活性、安全等方面提出了諸多要求，手工收集明顯無法勝任企業(yè)級應(yīng)用環(huán)境的需求。數(shù)據(jù)適配器是面向分布式的數(shù)據(jù)收集管理服務(wù)。針對上述需求，提供滿足企業(yè)級應(yīng)用需

3、要的靈活通用的數(shù)據(jù)收集管理功能，使用戶能夠方便地、隨時隨地地挖掘、提取、轉(zhuǎn)換和管理數(shù)據(jù)。數(shù)據(jù)適配器能夠為需要數(shù)據(jù)集成的應(yīng)用提供數(shù)據(jù)流服務(wù)，即需要解決數(shù)據(jù)從何而來，哪個應(yīng)用對其感興趣，以及如何被每個系統(tǒng)使用。數(shù)據(jù)適配器通過把信息提供者和消費者隔離，來構(gòu)建靈活的系統(tǒng)，使得這些系統(tǒng)不會受到數(shù)據(jù)的物理位置的影響，也不會受到需要存取數(shù)據(jù)信息的應(yīng)用個數(shù)的影響。這樣，對于每一個系統(tǒng)，在一般情況下不需要進(jìn)行特別的定制處理，可以在系統(tǒng)之間實現(xiàn)信息的集成了。許多企業(yè)需要將許多不同的系統(tǒng)連接在一起，使得它們之間能夠進(jìn)行信息交互。原來的典型處理方法是需要一個直接的“點對點”的數(shù)據(jù)鏈接，并且需要定制編程以實現(xiàn)系統(tǒng)之間的

4、“會話”。隨著新系統(tǒng)的不斷增加，直接的定向連接和定制編程的情況會急劇增加，這最終會成為信息流動的瓶頸。數(shù)據(jù)適配器通過一個集成框架的方案來解決這個問題，即自動定制系統(tǒng)集成需要的大部分編碼。數(shù)據(jù)適配器通過為開發(fā)人員提供一組標(biāo)準(zhǔn)接口來實現(xiàn)這個方案，數(shù)據(jù)適配器可以實現(xiàn)系統(tǒng)和系統(tǒng)間的連接，也可以實現(xiàn)系統(tǒng)和中間件之間的連接。數(shù)據(jù)適配器提供解決數(shù)據(jù)集成問題的標(biāo)準(zhǔn)適配器，比如數(shù)據(jù)轉(zhuǎn)換，過濾和填充，同時也支持?jǐn)?shù)據(jù)交換標(biāo)準(zhǔn)，比如XML等。數(shù)據(jù)適配器還具有例外處理能力。所有這些類型的適配器都可以非常容易無縫集成到異步消息系統(tǒng)和訂閱/發(fā)布系統(tǒng)中。數(shù)據(jù)適配器可以為不同的專用中間件系統(tǒng)提供適配器，通過對接口協(xié)議需求進(jìn)行抽

5、象，使用數(shù)據(jù)適配器框架，就可以完成某個中間件產(chǎn)品的特定接口。使用數(shù)據(jù)適配器，可以很容易和快速的實現(xiàn)新的適配器。作為一個面向企業(yè)級應(yīng)用的產(chǎn)品，數(shù)據(jù)適配器具備以下品質(zhì)特性：可靠性：即系統(tǒng)必須保證數(shù)據(jù)收集的可靠性，不能在非正常斷電、操作系統(tǒng)崩潰后導(dǎo)致數(shù)據(jù)丟失和不完整。在數(shù)據(jù)收集過程時，非正常斷電、操作系統(tǒng)崩潰，數(shù)據(jù)適配器能夠保證數(shù)據(jù)的完整性，支持故障恢復(fù)。可擴(kuò)展性：系統(tǒng)能夠隨著業(yè)務(wù)規(guī)模的擴(kuò)大和對文件傳輸服務(wù)要求的變化、快速方便地部署新的處理節(jié)點和調(diào)整數(shù)據(jù)收集的方式，適應(yīng)用戶系統(tǒng)的變化。安全性：通過集中的用戶身份認(rèn)證和權(quán)限管理中心，對所有節(jié)點的用戶統(tǒng)一進(jìn)行管理和授權(quán)，保證系統(tǒng)的訪問安全。數(shù)據(jù)適配器還提

6、供節(jié)點標(biāo)識認(rèn)證、數(shù)據(jù)加密、日志等多種機制，在多個層次上保證系統(tǒng)的安全性?？晒芾硇裕合到y(tǒng)提供統(tǒng)一的圖形用戶界面，配置、管理、控制等都可以通過圖形界面操作完成。系統(tǒng)易用性：用戶對于系統(tǒng)的使用，不需要進(jìn)行大量的開發(fā)工作，而只需要將數(shù)據(jù)適配器安裝在需要收集數(shù)據(jù)的各節(jié)點上，進(jìn)行少量的簡單配置工作，就可以實現(xiàn)數(shù)據(jù)收集管理功能，非常容易使用。易于開發(fā)和集成：系統(tǒng)提供應(yīng)用開發(fā)接口，供用戶和系統(tǒng)集成商進(jìn)行了應(yīng)用開發(fā)、便于與其他系統(tǒng)的靈活集成。信息系統(tǒng)名稱是一個面向地方區(qū)域的服務(wù)對象例舉等服務(wù)對象的系統(tǒng)，大量數(shù)據(jù)信息分布在地方區(qū)域的服務(wù)對象例舉。利用數(shù)據(jù)適配器靈活通用的數(shù)據(jù)收集管理功能，并透過信息系統(tǒng)名稱使用戶能

7、夠方便地、隨時隨地地挖掘、提取、轉(zhuǎn)換和管理數(shù)據(jù)。同時，為了更進(jìn)一步進(jìn)行數(shù)據(jù)集成，充分釋放單位名稱數(shù)據(jù)的價值，降低用戶在系統(tǒng)開發(fā)方面的投資，縮短系統(tǒng)開發(fā)周期和提升產(chǎn)品質(zhì)量，數(shù)據(jù)適配器提供了多種類型的應(yīng)用程序接口，允許用戶利用外部的工作流對數(shù)據(jù)適配器進(jìn)行二次開發(fā)。包括：擴(kuò)展處理接口、消息通知接口、協(xié)作接口和數(shù)據(jù)網(wǎng)關(guān)，方便用戶靈活開發(fā)更加個性化的數(shù)據(jù)收集管理系統(tǒng)和與其他系統(tǒng)進(jìn)行集成1.2 體系結(jié)構(gòu) 圖1 數(shù)據(jù)適配器示意圖數(shù)據(jù)適配器以處理引擎為處理核心，處理引擎內(nèi)置的服務(wù)包括：數(shù)據(jù)收集、數(shù)據(jù)清洗、數(shù)據(jù)填充、數(shù)據(jù)格式翻譯等基本的數(shù)據(jù)處理功能。如用戶需要對數(shù)據(jù)進(jìn)行個性化的處理，如：擴(kuò)展處理適配器不支持的文

8、件格式翻譯、數(shù)據(jù)需經(jīng)外部系統(tǒng)處理等，可通過擴(kuò)展處理接口實現(xiàn)擴(kuò)展的個性化處理。業(yè)務(wù)流程由業(yè)務(wù)規(guī)則驅(qū)動，對業(yè)務(wù)流程的大部分修改都是對業(yè)務(wù)規(guī)則的修改（相對于針對技術(shù)進(jìn)行的修改）。但是，由于在傳統(tǒng)的應(yīng)用程序中，業(yè)務(wù)規(guī)則包含在一些不透明的程序代碼中，在不影響正在運行的業(yè)務(wù)流程的前提下，無法輕松地訪問或修改它們。將業(yè)務(wù)規(guī)則從程序代碼或者任何流程實現(xiàn)機制中抽離出來可以極大改善業(yè)務(wù)流程的管理。數(shù)據(jù)適配器內(nèi)置的工作流引擎提供了可視化的圖形設(shè)計界面，方便用戶根據(jù)自身的業(yè)務(wù)規(guī)則定義數(shù)據(jù)處理流程。內(nèi)置工作流引擎負(fù)責(zé)管理步驟，應(yīng)用業(yè)務(wù)邏輯，以及調(diào)用復(fù)雜流程和（或）事務(wù)集合的支持程序。此外，處理引擎還包含了與其他節(jié)點或系

9、統(tǒng)協(xié)作進(jìn)行數(shù)據(jù)收集的結(jié)點管理。通過結(jié)點管理對邏輯上分布的各個節(jié)點進(jìn)行集中化管理。上級結(jié)點既可通過調(diào)度下級結(jié)點進(jìn)行數(shù)據(jù)收集，也可由上級結(jié)點向下級結(jié)點廣播數(shù)據(jù)。 圖2 數(shù)據(jù)處理引擎功能模塊圖數(shù)據(jù)適配器提供有供最終用戶使用的圖形用戶界面，完成引擎的配置、處理的監(jiān)控管理、數(shù)據(jù)查詢打印等任務(wù)；為了適應(yīng)復(fù)雜多變的數(shù)據(jù)處理方式，我們采用了插件式的設(shè)計，用戶個性化的處理（如：支持更多的數(shù)據(jù)格式、個性化的數(shù)據(jù)轉(zhuǎn)換處理）可利用數(shù)據(jù)適配器提供的擴(kuò)展處理接口進(jìn)行擴(kuò)展。圖3 數(shù)據(jù)適配器與消息通知網(wǎng)關(guān)的關(guān)系在消息通知方面靈活多樣，用戶可利用統(tǒng)一的消息通知接口，輕松簡單地發(fā)出各種消息，包括：故障通知、數(shù)據(jù)異常通知、數(shù)據(jù)處理

10、通知和用戶自定義信息。1.3 系統(tǒng)組成配置工具：允許系統(tǒng)管理員通過配置管理界面對處理引擎的執(zhí)行動作進(jìn)行配置和管理。處理引擎：采用多任務(wù)處理方式，由不同的進(jìn)程來提供不同的服務(wù)，如數(shù)據(jù)收集進(jìn)程、數(shù)據(jù)清洗進(jìn)程、數(shù)據(jù)格式翻譯進(jìn)程等等，這些進(jìn)程由內(nèi)置工作流引擎驅(qū)動，相互協(xié)調(diào)工作，完成系統(tǒng)的各種任務(wù)。監(jiān)控器：允許系統(tǒng)管理員通過管理界面進(jìn)行數(shù)據(jù)處理、實時監(jiān)控數(shù)據(jù)處理的情況。查詢工具：提供靈活的查詢定義功能，使業(yè)務(wù)人員方便地查詢統(tǒng)計收集的數(shù)據(jù)。擴(kuò)展處理接口：為了彌補處理引擎固有處理的不足，數(shù)據(jù)適配器提供了擴(kuò)展處理接口，用戶可以基于這些接口，實現(xiàn)個性化的處理操作。消息通知接口：允許系統(tǒng)管理配置各種通知方式，如：

11、郵件、QQ、SMS、OA通知等，系統(tǒng)通過接口實現(xiàn)故障通知、數(shù)據(jù)異常通知、數(shù)據(jù)處理通知和用戶自定義通知等功能。協(xié)作接口：一方面，允許節(jié)點間對數(shù)據(jù)處理引擎進(jìn)行遠(yuǎn)程調(diào)度，實現(xiàn)數(shù)據(jù)收集協(xié)作。另一方面，用戶可以基于這接口函數(shù)實現(xiàn)與其他系統(tǒng)集成。數(shù)據(jù)網(wǎng)關(guān)：為了方便用戶更加靈活地使用和管理數(shù)據(jù)，數(shù)據(jù)適配器提供數(shù)據(jù)存取，用戶可利用此接口實現(xiàn)數(shù)據(jù)交換和數(shù)據(jù)共享。內(nèi)置服務(wù)包括：數(shù)據(jù)壓縮、數(shù)據(jù)加密和簽名等，保證數(shù)據(jù)進(jìn)出數(shù)據(jù)適配器的安全性。1.4 數(shù)據(jù)適配器種類1.4.1 簡單適配器簡單適配器適合于數(shù)據(jù)傳輸具備獨立語義的特性，即：數(shù)據(jù)元素的傳輸不依賴于其他元素的傳輸；數(shù)據(jù)元素的引用和解釋是自包含的；有很多數(shù)據(jù)元素的傳

12、輸具備獨立語義特征，例如：一個word文件、一條統(tǒng)計數(shù)據(jù)記錄、一個審批批準(zhǔn)的公文等等。簡單說，具備獨立語義的數(shù)據(jù)元素就是最小的傳輸單元，這個概念類似于數(shù)據(jù)庫應(yīng)用中的事務(wù)處理特征，即要么整個數(shù)據(jù)元素被傳輸，要么不被傳輸。具備獨立語義的數(shù)據(jù)元素傳輸不會引起數(shù)據(jù)中心查詢的歧義。1.4.2 復(fù)雜適配器同時，隨著數(shù)據(jù)匯集的深入，數(shù)據(jù)越來越體現(xiàn)應(yīng)用的語義特征。即，數(shù)據(jù)元素不再是獨立語義，具備復(fù)合語義。一個數(shù)據(jù)元素傳輸成功的前提必須是其他數(shù)據(jù)元素的傳輸成功。復(fù)雜適配器是為了解決復(fù)合數(shù)據(jù)元素的一致傳輸和同步問題。例如：包含統(tǒng)計匯總信息和明細(xì)信息的數(shù)據(jù)包就包含了多個數(shù)據(jù)元素，只有這些數(shù)據(jù)元素的同時完成才能使得數(shù)

13、據(jù)中心查詢得到的數(shù)據(jù)不會歧義，否則領(lǐng)導(dǎo)在數(shù)據(jù)中心會看到不一致的數(shù)據(jù)信息。特別地，當(dāng)數(shù)據(jù)源越來越多時候，這個問題將越突出、越難發(fā)現(xiàn)和解決。復(fù)雜適配器可以分為兩類：一類是：復(fù)合數(shù)據(jù)元素又若干個獨立語義數(shù)據(jù)元素組成，組成結(jié)構(gòu)是一個樹關(guān)系。另一類是：復(fù)合數(shù)據(jù)元素又?jǐn)?shù)據(jù)元素組成的關(guān)系是復(fù)雜的。可以分為：圖關(guān)系、嵌套關(guān)系、與應(yīng)用事務(wù)相關(guān)的關(guān)系。1.5 系統(tǒng)功能數(shù)據(jù)收集處理是數(shù)據(jù)適配器的核心功能，此外，還提供了跨越系統(tǒng)多個層次的安全性機制和良好的可管理性，以滿足企業(yè)級應(yīng)用的要求。1.5.1 配置管理用戶通過圖形化對數(shù)據(jù)適配器的行為進(jìn)行設(shè)置。設(shè)置項包括：收集任務(wù)定義、輸入定義、輸出定義、數(shù)據(jù)清洗規(guī)則定義、數(shù)據(jù)

14、填充規(guī)則定義、數(shù)據(jù)映射關(guān)系定義、處理流程定義等。圖4 配置管理界面1.5.2 數(shù)據(jù)收集數(shù)據(jù)適配器目前支持以下幾種數(shù)據(jù)源：XML文檔、Word文檔、Excel文檔、CSV文件、文本文件、Access文檔、SQL SERVER、MySQL、Oracle、DB2、Sybase等。用戶可利用擴(kuò)展處理接口以實現(xiàn)支持其他數(shù)據(jù)源。數(shù)據(jù)收集模式分為：定時收集：系統(tǒng)按用戶設(shè)定的時間定時執(zhí)行已配置于好的數(shù)據(jù)處理流程。變化自動收集：通過系統(tǒng)監(jiān)視指定數(shù)據(jù)源的數(shù)據(jù)是否發(fā)生變化，一但數(shù)據(jù)發(fā)生變化便啟動數(shù)據(jù)收集處理任務(wù)。被動通知收集：由外部節(jié)點發(fā)出通知，節(jié)點收到通知后，根據(jù)相應(yīng)的權(quán)限設(shè)置進(jìn)行數(shù)據(jù)收集處理。手工收集：用戶通過

15、監(jiān)控界面直接調(diào)用一個已配置好的工作流程實現(xiàn)數(shù)據(jù)收集處理。外部調(diào)用收集：由外部系統(tǒng)通過接口調(diào)用數(shù)據(jù)適配進(jìn)行收集工作。實現(xiàn)這種收集模式需要外部系統(tǒng)進(jìn)行一定開發(fā)或修改。1.5.3 數(shù)據(jù)清洗根據(jù)用戶定義的數(shù)據(jù)清洗規(guī)則對數(shù)據(jù)進(jìn)行合法性、合理性檢查，保證每個節(jié)點收集的數(shù)據(jù)是正確可用的。1.5.4 數(shù)據(jù)填充根據(jù)用戶定義的數(shù)據(jù)填充規(guī)則對數(shù)據(jù)填充，保證數(shù)據(jù)的完整性。1.5.5 數(shù)據(jù)格式翻譯根據(jù)用戶定義的數(shù)據(jù)映射關(guān)系，對數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換。提供了數(shù)十種數(shù)據(jù)處理函數(shù)，可以完成數(shù)學(xué)計算、邏輯判斷、數(shù)據(jù)轉(zhuǎn)換等操作，甚至可以用常用開發(fā)語言設(shè)計自己的處理函數(shù)。數(shù)據(jù)映射關(guān)系有以下幾種關(guān)系：一對一：數(shù)據(jù)源的數(shù)據(jù)元素與數(shù)據(jù)目標(biāo)的數(shù)

16、據(jù)元素是一對一關(guān)系，數(shù)據(jù)轉(zhuǎn)換過程只是對源數(shù)據(jù)元素進(jìn)行數(shù)學(xué)計算、邏輯判斷、數(shù)據(jù)轉(zhuǎn)換等相關(guān)操作就可轉(zhuǎn)換成目標(biāo)數(shù)據(jù)元素。一對多：數(shù)據(jù)源的數(shù)據(jù)元素與數(shù)據(jù)目標(biāo)的數(shù)據(jù)元素是一對一關(guān)系，源數(shù)據(jù)元素通過相同（或不同）的數(shù)學(xué)計算、邏輯判斷、數(shù)據(jù)轉(zhuǎn)換等相關(guān)操作轉(zhuǎn)換成目標(biāo)數(shù)據(jù)元素。多對一：數(shù)據(jù)源的數(shù)據(jù)元素與數(shù)據(jù)目標(biāo)的數(shù)據(jù)元素是多對一關(guān)系，多個源數(shù)據(jù)元素通過數(shù)學(xué)計算、邏輯判斷、數(shù)據(jù)轉(zhuǎn)換等相關(guān)處理轉(zhuǎn)換成一個目標(biāo)數(shù)據(jù)元素。多對多：數(shù)據(jù)源的數(shù)據(jù)元素與數(shù)據(jù)目標(biāo)的數(shù)據(jù)元素是多對多關(guān)系，最復(fù)雜的一種映射關(guān)系，多個源數(shù)據(jù)元素通才相同（或不同）的數(shù)據(jù)通過數(shù)學(xué)計算、邏輯判斷、數(shù)據(jù)轉(zhuǎn)換等相關(guān)操作分別轉(zhuǎn)換成多個目標(biāo)數(shù)據(jù)元素。圖5 數(shù)據(jù)格式

17、翻譯界面1.5.6 數(shù)據(jù)壓縮根據(jù)用戶的選擇，對數(shù)據(jù)進(jìn)行壓縮處理。最大限度地減少傳輸時網(wǎng)絡(luò)上的數(shù)據(jù)流量。1.5.7 數(shù)據(jù)加密和簽名為了保證數(shù)據(jù)的機密性、信息的完整性、身份的可認(rèn)證性、不可抵賴性，數(shù)據(jù)適配器支持對稱密鑰和公開密鑰兩種加密方式。1.5.8 監(jiān)控管理數(shù)據(jù)適配器提供實時監(jiān)控工具對系統(tǒng)進(jìn)行監(jiān)控和管理，系統(tǒng)管理員可以第一時間發(fā)現(xiàn)系統(tǒng)故障和運行的異常情況，及時進(jìn)行處理；同時也可以對數(shù)據(jù)處理的情況進(jìn)行統(tǒng)計分析，及時掌握數(shù)據(jù)處理情況。圖6 監(jiān)控管理界面1.5.9 通知管理提供可視化的管理界面，讓用戶設(shè)定：是否接收通知、接收方式（支持指定接收時間、即時發(fā)送等）、通知方式（支持SMS、郵件、QQ、OA

18、通知等）、接收內(nèi)容選擇等。通過設(shè)定，用戶便隨時了解系統(tǒng)運行情況、數(shù)據(jù)收集情況。1.5.10 權(quán)限管理數(shù)據(jù)適配器通過權(quán)限管理中心，實現(xiàn)資源權(quán)限數(shù)據(jù)的集中存放和分級管理。為便于大型系統(tǒng)的管理，數(shù)據(jù)適配器支持分組授權(quán)功能，根節(jié)點安裝時內(nèi)置一個根系統(tǒng)管理員，擁有系統(tǒng)的所有權(quán)限。根系統(tǒng)管理員可以視需要建立下級系統(tǒng)管理員，并將自己擁有的部分或全部權(quán)限授予下級系統(tǒng)管理員，通過逐級授權(quán)，可以將整個系統(tǒng)劃分為若干管理區(qū)域，以利于系統(tǒng)的實施和管理維護(hù)。1.5.11 日志管理用戶使用數(shù)據(jù)適配器完成的所有任務(wù)，均有詳細(xì)的日志信息；此外，系統(tǒng)運行中出現(xiàn)的故障，也會在日志中進(jìn)行記錄。通過日志信息，用戶可以快速地進(jìn)行運行故障定位和方便地進(jìn)行運行審計。1.5.12 節(jié)點管理數(shù)據(jù)適配器采用層級管理機制。每個節(jié)點均有安裝后，自動生成一個唯一的標(biāo)識。除根節(jié)點外，所有節(jié)點均需要向上級節(jié)點注冊。1.5.13 數(shù)據(jù)查詢提供靈活的查詢定義界面，用戶可以通過界面輕松地定義各種復(fù)雜的查詢條件。所有查詢都由到權(quán)限限制，只有授權(quán)用戶才能進(jìn)行數(shù)據(jù)查詢。1.6 系統(tǒng)特點1.6.1 應(yīng)