公共信息平臺技術(shù)方案文檔版本V1.0發(fā)布日期

目錄1. 系統(tǒng)架構(gòu) 12. 軟件架構(gòu) 23. 硬件架構(gòu) 34. 軟硬件配置需求 45. 系統(tǒng)功能 55.1. 數(shù)據(jù)共享系統(tǒng) 55.1.1. 數(shù)據(jù)采集 55.1.2. 采集任務(wù)管理 55.1.3. 信息處理 55.1.4. 數(shù)據(jù)服務(wù) 65.1.5. 接口檢測 65.1.6. 數(shù)據(jù)統(tǒng)計分析報表 65.1.7. 自身管理 75.2. 數(shù)據(jù)交換系統(tǒng) 75.2.1. 數(shù)據(jù)交換與訪問 75.2.2. 發(fā)布流程管理 95.2.3. 訪問流程管理 95.2.4. 參數(shù)配置 95.2.5. 信息運用行為統(tǒng)計報表 9系統(tǒng)架構(gòu)公共信息平臺的總體架構(gòu)如下圖所示：圖1系統(tǒng)總體架構(gòu)圖如上圖所示，公共信息平臺由數(shù)據(jù)共享系統(tǒng)和數(shù)據(jù)交換系統(tǒng)兩個子系統(tǒng)組成。數(shù)據(jù)共享系統(tǒng)實現(xiàn)對公共數(shù)據(jù)、以及各才智應(yīng)用須要共享出來的數(shù)據(jù)進(jìn)行統(tǒng)一采集和集中存儲，為綜合門戶和手機APP等應(yīng)用供應(yīng)基礎(chǔ)數(shù)據(jù)支撐。數(shù)據(jù)交換系統(tǒng)實現(xiàn)對數(shù)據(jù)共享系統(tǒng)的對外接口以及各才智應(yīng)用的對外接口進(jìn)行集中調(diào)度和管理。

軟件架構(gòu)公共信息平臺的軟件部署架構(gòu)如下圖所示：表示層表示層數(shù)據(jù)共享系統(tǒng)數(shù)據(jù)交換系統(tǒng)數(shù)據(jù)來源文件用戶操作界面數(shù)據(jù)庫KETTLE數(shù)據(jù)庫WebServiceHTTP信息流DB數(shù)據(jù)流MuleESBOther數(shù)據(jù)采集數(shù)據(jù)服務(wù)流程引擎平臺管理模塊發(fā)布流程訪問流程圖3軟件部署架構(gòu)圖

硬件架構(gòu)公共信息平臺的硬件部署架構(gòu)如下圖所示：圖2物理部署架構(gòu)圖如上圖所示，公共信息平臺需部署三臺服務(wù)器和一臺PC終端，分別為數(shù)據(jù)共享系統(tǒng)服務(wù)器、數(shù)據(jù)交換系統(tǒng)服務(wù)器、數(shù)據(jù)庫服務(wù)器、管理終端。軟硬件配置需求序號業(yè)務(wù)名稱臺數(shù)CPU內(nèi)存硬盤操作系統(tǒng)

（小版本號）中間件部署

（小版本號）其他軟件或要求1數(shù)據(jù)共享系統(tǒng)服務(wù)器1IntelE52680

8核8G600GWindows2008Tomcat6Kettle2數(shù)據(jù)交換系統(tǒng)服務(wù)器1IntelE52680

8核16GB600GWindows2008Tomcat6MuleESB3數(shù)據(jù)庫服務(wù)器1IntelE52680

8核16GB1TWindows2008無Oracle10g4管理終端1Inteli3

2核4GB100GWindows7無系統(tǒng)功能數(shù)據(jù)共享系統(tǒng)數(shù)據(jù)采集數(shù)據(jù)共享系統(tǒng)支持對組織機構(gòu)域、公共域、平臺域、基礎(chǔ)設(shè)施域、業(yè)務(wù)應(yīng)用域和綜合域等六個域的信息數(shù)據(jù)進(jìn)行采集，針對不同的采集方式供應(yīng)相應(yīng)的WebService適配器、文件適配器、數(shù)據(jù)庫適配器等適配器進(jìn)行數(shù)據(jù)的采集。為了使系統(tǒng)具備良好的可擴展性，充分適應(yīng)將來改變的數(shù)據(jù)管理需求，系統(tǒng)供應(yīng)了高可擴展性的數(shù)據(jù)適配框架。WebService的Server端、Client端，以及其它適配器，都作為數(shù)據(jù)適配框架的插件而存在。將來假如出現(xiàn)須要擴展的其它適配技術(shù)，只須要增加新的插件即可。無論插件的增加、移除，均不影響適配框架的正常運行。采集任務(wù)管理為了使系統(tǒng)具有更好的敏捷性，系統(tǒng)采納基于策略的采集技術(shù)和任務(wù)化的采集方式，支持管理員敏捷設(shè)置采集周期、執(zhí)行時間、采集接口等參數(shù)，同時對于采集任務(wù)，支持增加、修改、刪除、啟用、停用等操作。信息處理信息處理包括對采集到的數(shù)據(jù)進(jìn)行語法檢查、語義分析、格式轉(zhuǎn)換、長久化存儲等環(huán)節(jié)，詳細(xì)來說：語法檢查：依據(jù)數(shù)據(jù)接口規(guī)范的要求，系統(tǒng)對采集的數(shù)據(jù)進(jìn)行語法檢查。檢查的內(nèi)容主要包括：數(shù)據(jù)格式的正確性、數(shù)據(jù)的完整性、數(shù)據(jù)類型的正確性、數(shù)據(jù)是否可空等。假如檢查不通過，則在記錄本批次的數(shù)據(jù)異樣信息，以便后續(xù)的分析。語義分析：系統(tǒng)對采集到的數(shù)據(jù)進(jìn)行語義解析和處理。格式轉(zhuǎn)換：將數(shù)據(jù)從元數(shù)據(jù)模型轉(zhuǎn)換為物理模型可接受的數(shù)據(jù)，同時對數(shù)據(jù)進(jìn)行統(tǒng)一化處理，轉(zhuǎn)換單位、保留小數(shù)等。長久化存儲：對轉(zhuǎn)換為物理模型的數(shù)據(jù)進(jìn)行數(shù)據(jù)庫存儲。系統(tǒng)采納開源的ETL工具Kettle進(jìn)行信息處理，Kettle以元數(shù)據(jù)驅(qū)動的方式供應(yīng)強大的抽取、轉(zhuǎn)換和加載(ETL)實力，并且供應(yīng)了簡潔易用的圖形界面設(shè)計器。Kettle本身支持各種數(shù)據(jù)源，包括數(shù)據(jù)庫、文件、LDAP、WebServcie和RSS等數(shù)據(jù)源。Kettle供應(yīng)了一組Java接口，可以通過應(yīng)用限制Kettle的執(zhí)行過程，并對Kettle的執(zhí)行信息和結(jié)果信息進(jìn)行監(jiān)控。數(shù)據(jù)服務(wù)數(shù)據(jù)共享系統(tǒng)對綜合門戶和手機APP等應(yīng)用等第三方應(yīng)用系統(tǒng)供應(yīng)訪問系統(tǒng)內(nèi)數(shù)據(jù)的服務(wù)。接口檢測數(shù)據(jù)共享系統(tǒng)供應(yīng)接口檢測的功能，通過周期性巡檢的方式，對各數(shù)據(jù)采集接口和數(shù)據(jù)服務(wù)的接口進(jìn)行檢測，當(dāng)發(fā)覺接口異樣時，自動記錄日志便于維護(hù)人員進(jìn)行分析。同時，對于數(shù)據(jù)服務(wù)的接口支持自愛護(hù)的功能，當(dāng)接口檢測發(fā)覺數(shù)據(jù)服務(wù)接口異樣時，通過自動重啟該接口服務(wù)的方式，快速復(fù)原數(shù)據(jù)服務(wù)運行。數(shù)據(jù)統(tǒng)計分析報表數(shù)據(jù)共享系統(tǒng)供應(yīng)數(shù)據(jù)統(tǒng)計分析報表，對系統(tǒng)中的數(shù)據(jù)進(jìn)行匯總分析，通過宏觀全景的分析報表來表現(xiàn)用戶關(guān)切的數(shù)據(jù)，并支持將報表導(dǎo)出為Excel、PDF等格式的文件。自身管理數(shù)據(jù)共享系統(tǒng)供應(yīng)自身管理的功能，主要包括數(shù)據(jù)自動備份、采集日志管理、訪問日志管理等對于系統(tǒng)自身的管理功能。數(shù)據(jù)自動備份，系統(tǒng)定期對數(shù)據(jù)庫中的數(shù)據(jù)備份為庫文件或SQL文件，用于防范當(dāng)系統(tǒng)故障時，可以快速進(jìn)行數(shù)據(jù)復(fù)原。采集日志管理，系統(tǒng)自動記錄數(shù)據(jù)采集接口的日志，主要包括接口名稱、接口地址、采集時間、采集結(jié)果等參數(shù)。同時，系統(tǒng)供應(yīng)支持管理員對采集日志進(jìn)行查詢和導(dǎo)出。訪問日志管理，系統(tǒng)自動記錄數(shù)據(jù)訪問接口的日志，主要包括接口名稱、接口地址、訪問者地址、訪問時間、訪問結(jié)果等參數(shù)。同時，系統(tǒng)供應(yīng)支持管理員對訪問日志進(jìn)行查詢和導(dǎo)出。數(shù)據(jù)交換系統(tǒng)數(shù)據(jù)交換系統(tǒng)實現(xiàn)對數(shù)據(jù)共享系統(tǒng)的對外接口以及各才智應(yīng)用的對外接口進(jìn)行集中調(diào)度和管理。從功能上來講，主要包括數(shù)據(jù)交換與訪問、發(fā)布流程管理、訪問流程管理、用戶與角色管理、權(quán)限管理、日志管理、參數(shù)配置、信息運用行為統(tǒng)計報表等。數(shù)據(jù)交換與訪問數(shù)據(jù)交換系統(tǒng)以開源組件Mule-ESB為基礎(chǔ)，供應(yīng)數(shù)據(jù)交換與訪問的服務(wù)。MuleESB是一種基于java的、輕量級的企業(yè)服務(wù)總線和集成平臺，并且允許開發(fā)者快速的、簡潔的連接應(yīng)用，并能夠?qū)崿F(xiàn)數(shù)據(jù)的轉(zhuǎn)換。Mule-ESB的數(shù)據(jù)交換功能示意圖如下所示：圖5Mule-ESB數(shù)據(jù)交換示意圖數(shù)據(jù)交換與訪問的功能主要包括：服務(wù)書目：用MuleESB作為一個服務(wù)容器來暴露可訪問的服務(wù)。服務(wù)調(diào)解：隱藏服務(wù)消息的格式和協(xié)議，將業(yè)務(wù)邏輯從消息中獨立出來，并可以實現(xiàn)本地獨立的服務(wù)調(diào)用。消息路由：基于內(nèi)容和規(guī)則的消息路由、消息過濾、消息合并和消息的重新排序。數(shù)據(jù)轉(zhuǎn)換：在不同的格式和傳輸協(xié)議中進(jìn)行轉(zhuǎn)換數(shù)據(jù)。無論數(shù)據(jù)共享系統(tǒng)還是各才智應(yīng)用對外供應(yīng)的數(shù)據(jù)接口都統(tǒng)一在數(shù)據(jù)交換系統(tǒng)中注冊，對于綜合展示門戶和手機APP等數(shù)據(jù)運用方干脆通過數(shù)據(jù)交換系統(tǒng)來訪問數(shù)據(jù)。數(shù)據(jù)交換系統(tǒng)在接受到數(shù)據(jù)運用方的調(diào)用懇求時，通過消息路由功能，將此懇求轉(zhuǎn)換至數(shù)據(jù)供應(yīng)方的接口進(jìn)行響應(yīng)。發(fā)布流程管理為了便利后期系統(tǒng)功能的擴展，系統(tǒng)供應(yīng)發(fā)布流程管理功能，對服務(wù)的發(fā)布過程進(jìn)行管理，新服務(wù)的發(fā)布須要經(jīng)過申請、審核，批準(zhǔn)后才能執(zhí)行發(fā)布，執(zhí)行發(fā)布后更新服務(wù)書目。訪問流程管理訪問流程管理是對服務(wù)訪問方首次訪問服務(wù)之前的申請及審批過程進(jìn)行管理，訪問懇求被批準(zhǔn)后用戶須要更新權(quán)限信息，然后服務(wù)訪問方才能訪問相應(yīng)的