版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
智慧城市公共數(shù)據(jù)共享交換平臺(tái)建設(shè)方案2018年3月智慧城市公共數(shù)據(jù)共享交換平臺(tái)建設(shè)方案智慧城市公共數(shù)據(jù)共享交換平臺(tái)建設(shè)方案#目錄TOC\o"1-5"\h\z項(xiàng)目概述5平臺(tái)建設(shè)目標(biāo)5.總體需求分析6.平臺(tái)需求分析9.平臺(tái)建設(shè)思路9一套架構(gòu)平臺(tái)9.兩類(lèi)構(gòu)建框架102.2.1.頁(yè)面構(gòu)建框架102.2.2.安全構(gòu)建框架10三種工具組件102.3.1.日志組件102.3.2.消息組件112.3.3.單點(diǎn)登陸組件11四項(xiàng)基礎(chǔ)服務(wù)112.4.1.文件分布式存儲(chǔ)服務(wù)112.4.2.文檔在線閱讀服務(wù)112.4.3.流媒體服務(wù)122.4.4.任務(wù)調(diào)度服務(wù)12五個(gè)運(yùn)行引擎122.5.1.工作流引擎122.5.2.數(shù)據(jù)接口引擎122.5.3.報(bào)表引擎132.5.4.全文檢索引擎13權(quán)限分級(jí)引擎14平臺(tái)總體設(shè)計(jì)14平臺(tái)建設(shè)原則14平臺(tái)架構(gòu)設(shè)計(jì)15平臺(tái)功能設(shè)計(jì)17數(shù)據(jù)采集19數(shù)據(jù)清洗加載20數(shù)據(jù)共享交換21資源目錄管理23元數(shù)據(jù)管理24數(shù)據(jù)資源管理25目錄管理與服務(wù)25資源統(tǒng)一調(diào)度27數(shù)據(jù)質(zhì)量管理28運(yùn)行監(jiān)控管理29接口開(kāi)發(fā)與服務(wù)29服務(wù)總線30云應(yīng)用引擎30平臺(tái)詳細(xì)建設(shè)方案314.1.數(shù)據(jù)采集314.1.1.元數(shù)據(jù)管理33.采集字段管理33.采集目錄資源庫(kù)管理34.數(shù)據(jù)源管理34數(shù)據(jù)采集管理3.采集策略管理3.采集任務(wù)管理36調(diào)度與監(jiān)控37.離線數(shù)據(jù)采集38日志管理384.2.數(shù)據(jù)清洗加載394.2.1.數(shù)據(jù)清洗3.數(shù)據(jù)轉(zhuǎn)換規(guī)則配置39數(shù)據(jù)轉(zhuǎn)換40數(shù)據(jù)去贓40.數(shù)據(jù)批量清洗414.2.2.數(shù)據(jù)加載414.2.3.日志管理41數(shù)據(jù)共享交換414.3.1.交換橋接454.3.2.前置交換464.3.3.交換傳輸484.3.4.交換管理48資源目錄管理494.4.1.專(zhuān)項(xiàng)資源目錄庫(kù)494.4.2.共享資源目錄庫(kù)494.4.3.資源目錄管理50.目錄生產(chǎn)50目錄管理50目錄查詢524.4.4.編目管理53元數(shù)據(jù)管理544.5.1.元數(shù)據(jù)定義564.5.2.元數(shù)據(jù)存儲(chǔ)564.5.3.元數(shù)據(jù)查詢574.5.4.元數(shù)據(jù)維護(hù)574.5.5.元數(shù)據(jù)檢查574.5.6.元數(shù)據(jù)分析58數(shù)據(jù)資源管理584.6.1.模型管理594.6.2.數(shù)據(jù)查詢594.6.3.同步和遷移594.6.4.導(dǎo)入導(dǎo)出594.6.5.計(jì)劃任務(wù)60目錄管理與服務(wù)604.7.1.資源目錄服務(wù)604.7.2.目錄共享統(tǒng)計(jì)分析614.7.3.數(shù)據(jù)訂閱61資源統(tǒng)一調(diào)度624.8.1.任務(wù)調(diào)度配置624.8.2.智能調(diào)度運(yùn)行624.8.3.資源控制634.8.4.優(yōu)先級(jí)管理評(píng)估634.8.5.調(diào)度策略管理634.8.6.調(diào)度全面監(jiān)控644.8.7.作業(yè)告警與錯(cuò)誤反饋644.8.8.調(diào)度變更64數(shù)據(jù)質(zhì)量管理654.9.1.數(shù)據(jù)質(zhì)量控制654.9.2.數(shù)據(jù)質(zhì)量評(píng)估66.自動(dòng)化評(píng)估66評(píng)估報(bào)告664.9.3.數(shù)據(jù)稽核管理66運(yùn)行監(jiān)控管理674.10.1.運(yùn)行監(jiān)控674.10.2.數(shù)據(jù)采集過(guò)程監(jiān)控684.10.3.監(jiān)控告警684.10.4.日志管理69接口開(kāi)發(fā)與服務(wù)69服務(wù)總線ESB694.12.1.權(quán)限校驗(yàn)70服務(wù)治理71協(xié)議轉(zhuǎn)換714.12.4.消息格式轉(zhuǎn)換72服務(wù)路由74監(jiān)控和運(yùn)維75服務(wù)等級(jí)76日志管理76異常處理76云應(yīng)用引擎77項(xiàng)目概述1.1.平臺(tái)建設(shè)目標(biāo)智慧城市是城市信息化發(fā)展的階段演進(jìn),是相對(duì)數(shù)字城市、互聯(lián)城市而言,城市信息化發(fā)展的高級(jí)階段?!皵?shù)字城市”以計(jì)算機(jī)、辦公軟件、虛擬現(xiàn)實(shí)技術(shù)等為主要特征,實(shí)現(xiàn)從紙面化的到數(shù)字化,將現(xiàn)實(shí)物理世界轉(zhuǎn)化為用電腦數(shù)據(jù)代表的虛擬狀態(tài);“互聯(lián)城市”以互聯(lián)網(wǎng)、軟件技術(shù)、城域網(wǎng)快速發(fā)展為主要特征,實(shí)現(xiàn)從數(shù)字化到網(wǎng)絡(luò)化,通過(guò)對(duì)分散的、局部的虛擬信息處理,對(duì)物理世界做出反應(yīng);而進(jìn)入“智慧城市”階段,強(qiáng)調(diào)從網(wǎng)絡(luò)化到云中樞化,通過(guò)充分運(yùn)用信息通信技術(shù)手段,更好的感測(cè)、分析、整合城市核心系統(tǒng)的各項(xiàng)關(guān)鍵信息,從而對(duì)包括民生、環(huán)保、公共安全、城市服務(wù)、工商業(yè)活動(dòng)在內(nèi)的各種需求做出智能的響應(yīng),為人類(lèi)創(chuàng)造更美好的城市生活。隨著新型城鎮(zhèn)化建設(shè)逐步發(fā)展成為中國(guó)最大的內(nèi)需潛力和實(shí)現(xiàn)現(xiàn)代化的重要任務(wù),起來(lái)越多的城市開(kāi)始開(kāi)展智慧城市的規(guī)劃、設(shè)計(jì)與建設(shè)工作,希望能夠有效應(yīng)對(duì)新型城鎮(zhèn)化進(jìn)程中的各類(lèi)挑戰(zhàn),實(shí)現(xiàn)城市的和諧宜居、產(chǎn)為轉(zhuǎn)型和高效運(yùn)營(yíng)的可持續(xù)發(fā)展。通過(guò)智慧城市項(xiàng)目的建設(shè),實(shí)現(xiàn)城市內(nèi)的智慧應(yīng)用數(shù)據(jù)互融互通如智慧交通、教育醫(yī)療、智慧管網(wǎng)、智慧環(huán)衛(wèi)、智慧綜治、智慧城管、智慧教育、智慧審批、智慧農(nóng)業(yè)等數(shù)據(jù)信息通過(guò)公共信息平臺(tái)打破信息孤島。實(shí)現(xiàn)數(shù)據(jù)信息應(yīng)用價(jià)值的同時(shí),并形成良好的服務(wù)運(yùn)營(yíng)模式。市場(chǎng)的生活品質(zhì)得到明顯提升,城市建設(shè)和管理的科學(xué)化水平明顯提以信息、知識(shí)和腦力資源為支撐,通過(guò)透明、充分的信息獲取,廣泛、安全的信息傳遞,有效、科學(xué)的信息處理,均衡而有效地提高城市運(yùn)行和管理效率,改善城市公共服務(wù)水平,從而跨越式地提高城市發(fā)展的創(chuàng)新性、有序性和持續(xù)性,形成低碳城市生態(tài)圈,構(gòu)建城市發(fā)展的新形態(tài),使整個(gè)城市像一個(gè)有智慧的人那樣,具有較為完善的感知、認(rèn)知、學(xué)習(xí)、成長(zhǎng)、創(chuàng)新、決策、調(diào)控能力和行為意識(shí),使絕大多數(shù)市民都能享受到智慧城市的服務(wù)和應(yīng)用。1.2.總體需求分析智慧城市(SmartCity),是新一輪信息技術(shù)變革的產(chǎn)物,是信息資源日益成為重要生產(chǎn)要素和信息化向更高階段發(fā)展的表現(xiàn)。它以互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、無(wú)線寬帶、云計(jì)算、大數(shù)據(jù)等新技術(shù)為基礎(chǔ),更加廣泛深入地推進(jìn)基礎(chǔ)型與應(yīng)用型信息系統(tǒng)開(kāi)發(fā)建設(shè)和各類(lèi)信息資源的開(kāi)發(fā)利用,形成技術(shù)集成、高端發(fā)展、綜合應(yīng)用的現(xiàn)代化、信息化、智能化城市。為城市規(guī)劃、建設(shè)、調(diào)控、預(yù)測(cè)提供了革命性的手段,具有廣闊的發(fā)展前景。自2008年IBM首次提出“智慧地球”(SmartEarth)這一概念以來(lái),國(guó)外許多城市都在進(jìn)行智慧城市建設(shè)的籌劃與嘗試,有相當(dāng)一部分城市已經(jīng)開(kāi)始實(shí)施示范性工程。中國(guó)已有北京、上海、無(wú)錫、寧波、廣州、沈陽(yáng)、南京、西安、重慶等近百個(gè)地區(qū)提出要建設(shè)智慧城市?!爸腔鄢鞘薪ㄔO(shè)”也已被列為中國(guó)“十三五”社會(huì)發(fā)展戰(zhàn)略的重點(diǎn)之一。當(dāng)前,信息技術(shù)發(fā)展突飛猛進(jìn),信息技術(shù)創(chuàng)新層出不窮,以“大數(shù)據(jù)”為主導(dǎo)的信息化浪潮正席卷全球,成為全球范圍內(nèi)加速企業(yè)技術(shù)創(chuàng)新、推動(dòng)政府職能轉(zhuǎn)變、引領(lǐng)社會(huì)管理變革的利器。大數(shù)據(jù)既是一種海量的數(shù)據(jù)狀態(tài)及其相應(yīng)的數(shù)據(jù)處理技術(shù),也是一種新的思維方式,是一系列新理念、新方法、新要素的集中體現(xiàn)。它不僅是信息化的一種手段、一項(xiàng)設(shè)施,而是已經(jīng)成為信息化社會(huì)發(fā)展演進(jìn)的重要目標(biāo)之一,以及實(shí)現(xiàn)發(fā)展目標(biāo)的重要路徑。在大數(shù)據(jù)時(shí)代,數(shù)據(jù)就是財(cái)富,就是資源,就是競(jìng)爭(zhēng)力。近年來(lái),多市縣被列為國(guó)家新型城鎮(zhèn)化綜合試點(diǎn)地區(qū)。各市緊緊圍繞“精致、獨(dú)特、典雅、生態(tài)”目標(biāo),秉承“以人為本、以史為脈、以和為魂、以綠為韻”理念,高位規(guī)劃,統(tǒng)籌建設(shè),精細(xì)管理,全力推進(jìn)新型城鎮(zhèn)化建設(shè),城鄉(xiāng)建設(shè)品位明顯提升。目前,被列為智慧城市建設(shè)試點(diǎn)的地區(qū),將按照《國(guó)家新型城鎮(zhèn)化綜合試點(diǎn)總體實(shí)施方案》中明確的各項(xiàng)試點(diǎn)任務(wù)總體要求,堅(jiān)持突出地方特色,推動(dòng)建設(shè)功能好、交通暢、環(huán)境優(yōu)、形象美的新型、美麗城鎮(zhèn),努力打造成全國(guó)新型城鎮(zhèn)化和城鄉(xiāng)統(tǒng)籌發(fā)展示范區(qū)。而智慧城市的建設(shè)和實(shí)施,是打造國(guó)家新型城鎮(zhèn)化的重要途徑。近兩年,被列為試點(diǎn)政府工作中明確提出,深化智慧城市建設(shè),將各委辦局?jǐn)?shù)據(jù)實(shí)現(xiàn)共享,將是智慧城市建設(shè)的第一步,也是最為重要的一步。將公安的人口數(shù)據(jù)、醫(yī)院的衛(wèi)生健康數(shù)據(jù)、綜合治安的治安數(shù)據(jù)等進(jìn)行抽取共享形成公共交換數(shù)據(jù)中心,為各委辦局提供基礎(chǔ)數(shù)據(jù)的支撐。構(gòu)建精確、高效、全時(shí)段、全方位的城市治理模式。在智慧建設(shè)建設(shè)過(guò)程中,將整合匯集各部門(mén)的信息資源,采用云計(jì)算、大數(shù)據(jù)等技術(shù)建成公共數(shù)據(jù)共享交換平臺(tái)及各委辦局業(yè)務(wù)應(yīng)用平臺(tái),以實(shí)現(xiàn)強(qiáng)政、利企、惠民的建設(shè)目標(biāo)。按照總體建設(shè)要求,把握全域城市化、新型工業(yè)化和高新技術(shù)產(chǎn)業(yè)化的內(nèi)在需求,全面促進(jìn)城市運(yùn)行管理創(chuàng)新機(jī)制的形成、構(gòu)建功能完善的信息通信基礎(chǔ)設(shè)施和城市信息資源高效融合的公共信息服務(wù)支撐平臺(tái),催生一批成熟助力經(jīng)濟(jì)產(chǎn)業(yè)發(fā)展、城市管理、政務(wù)建設(shè)和民生保障服務(wù)的重點(diǎn)應(yīng)用,培育一批具有競(jìng)爭(zhēng)力的智慧產(chǎn)業(yè)集群。建成信息通信技術(shù)基礎(chǔ)設(shè)施環(huán)境區(qū)域領(lǐng)先、城市管理運(yùn)營(yíng)與民生服務(wù)質(zhì)量明顯提高、產(chǎn)業(yè)結(jié)構(gòu)與創(chuàng)新能力優(yōu)化發(fā)展的智慧型現(xiàn)代化城市,實(shí)現(xiàn)以生態(tài)、高端、活力、宜居為重要特征的現(xiàn)代城市。融合科學(xué)發(fā)展理念,創(chuàng)建生態(tài)城市通過(guò)“智慧城市”的建設(shè),從創(chuàng)新城市發(fā)展理念、創(chuàng)新城市發(fā)展形態(tài)、創(chuàng)新城市組合功能、創(chuàng)新城市產(chǎn)業(yè)形態(tài)、創(chuàng)新城市要素集成方式、創(chuàng)新城市管理模式等方面創(chuàng)新城市發(fā)展方式。著眼城市功能,進(jìn)一步提高生態(tài)建設(shè)標(biāo)準(zhǔn),打造生態(tài)文明示范區(qū),完善高端商務(wù)、休閑、居住及公共服務(wù)等功能,豐富城市文化內(nèi)涵。促進(jìn)經(jīng)濟(jì)發(fā)展,實(shí)現(xiàn)活力城市通過(guò)“智慧城市”的建設(shè),著眼產(chǎn)業(yè)功能,著力破解制約服務(wù)業(yè)發(fā)展的關(guān)鍵環(huán)節(jié)和體制機(jī)制性障礙,探索以現(xiàn)代服務(wù)業(yè)引領(lǐng)區(qū)域經(jīng)濟(jì)發(fā)展的新模式,穩(wěn)步發(fā)展現(xiàn)代服務(wù)業(yè)重點(diǎn)領(lǐng)域,把城市打造成為全國(guó)深化服務(wù)業(yè)綜合改革的先行區(qū)和樣板區(qū)。提升民生服務(wù)水平,構(gòu)建宜居城市通過(guò)“智慧城市”的建設(shè),提高公共服務(wù)、公共治安、城市管理等諸多方面,為政府管理和決策提供支撐。完善管理和服務(wù)體制、優(yōu)化資源配置、加強(qiáng)部門(mén)間協(xié)作,提高政府的管理效率。充分利用現(xiàn)代信息技術(shù),促進(jìn)政府工作透明度、豐富公共服務(wù)手段、優(yōu)化公共服務(wù)內(nèi)容、提高公共服務(wù)質(zhì)量,滿足群眾在生活、工作等方面的需求,真正做到“權(quán)為民所用、利為民所謀”。1.3.平臺(tái)需求分析建設(shè)公共數(shù)據(jù)共享交換平臺(tái),采用虛擬化等新技術(shù),通過(guò)整合、擴(kuò)展、完善,建設(shè)公共數(shù)據(jù)共享交換平臺(tái),廣泛推行基礎(chǔ)設(shè)施共享服務(wù)、平臺(tái)共享服務(wù)、應(yīng)用共享服務(wù),實(shí)現(xiàn)技術(shù)資源整合共享。公共數(shù)據(jù)共享交換平臺(tái)目標(biāo)是實(shí)現(xiàn)全縣的共性問(wèn)題的統(tǒng)一處理,解決某一個(gè)應(yīng)用單位或機(jī)構(gòu)難以獨(dú)立完成的公共能力,為政府、企業(yè)和公眾的各類(lèi)應(yīng)用及其協(xié)同提供平臺(tái)支撐。公共數(shù)據(jù)共享交換平臺(tái)是智慧城市系統(tǒng)的基礎(chǔ)設(shè)施,是系統(tǒng)流轉(zhuǎn)的核心。公共數(shù)據(jù)共享交換平臺(tái)是城市公共數(shù)據(jù)進(jìn)出的通道,實(shí)現(xiàn)城市公共數(shù)據(jù)的交換、清洗、整合和加工;實(shí)現(xiàn)城市公共數(shù)據(jù)的組織、編目、管理以及城市公共數(shù)據(jù)應(yīng)用績(jī)效評(píng)估;實(shí)現(xiàn)城市公共數(shù)據(jù)的共享服務(wù),為城市政府專(zhuān)網(wǎng)和公共網(wǎng)絡(luò)上的各類(lèi)智慧應(yīng)用提供基于城市公共數(shù)據(jù)庫(kù)的服務(wù)、時(shí)空信息承載服務(wù)、基于數(shù)據(jù)挖掘的決策知識(shí)服務(wù)等。平臺(tái)建設(shè)思路智慧城市的邏輯層次要通過(guò)提供基礎(chǔ)服務(wù)與工具組件,為業(yè)務(wù)管理系統(tǒng)提供統(tǒng)一的基礎(chǔ)功能支持,各服務(wù)之間通過(guò)平臺(tái)服務(wù)總線進(jìn)行交互通信。2.1.一套架構(gòu)平臺(tái)基于SOA架構(gòu)應(yīng)用開(kāi)發(fā)平臺(tái),為各種復(fù)雜應(yīng)用系統(tǒng)提供標(biāo)準(zhǔn)、安全、集成、高效的開(kāi)發(fā)平臺(tái)。2.2.兩類(lèi)構(gòu)建框架頁(yè)面構(gòu)建框架符合W3C標(biāo)準(zhǔn)是Web頁(yè)面設(shè)計(jì)的發(fā)展趨勢(shì),更代表了高端網(wǎng)頁(yè)構(gòu)建技術(shù)。平臺(tái)基于B/S架構(gòu)設(shè)計(jì)的,瀏覽器的種類(lèi)繁多,如IE、Firefox、Safari、Opera、Chrome等,因此終端用戶的使用體驗(yàn)很大程度上取決其所使用的瀏覽器。如果單純針對(duì)某一種瀏覽器叮E,進(jìn)行Web頁(yè)面設(shè)計(jì)和優(yōu)化,那么當(dāng)用戶使用其他瀏覽器時(shí),可能會(huì)出現(xiàn)顯示效果不佳甚至某些組件功能不可用的情況,這與平臺(tái)的靈活適應(yīng)特性背道而馳。安全構(gòu)建框架作為業(yè)務(wù)基礎(chǔ)平臺(tái),平臺(tái)需要可靠支撐企業(yè)的業(yè)務(wù)運(yùn)行環(huán)境,保證企業(yè)的商業(yè)機(jī)密資源等信息的安全。因此平臺(tái)需要構(gòu)建安全保密的網(wǎng)絡(luò)運(yùn)行環(huán)境,提供準(zhǔn)確可靠的身份鑒別機(jī)制,具備粒度適中授權(quán)訪問(wèn)控制機(jī)制和完善的日志管理和審計(jì)功能。2.3.三種工具組件日志組件日志組件是平臺(tái)提供的日志管理服務(wù)組件,作為一個(gè)獨(dú)立的服務(wù)組件,它能夠完成模塊注冊(cè)、日志表管理、日志字段維護(hù)、日志的查詢和審計(jì)等功能。消息組件消息組件是平臺(tái)之間各個(gè)模塊進(jìn)行互相通信的一種外部體驗(yàn)。同樣作為一個(gè)獨(dú)立的服務(wù)組件,模塊之間可以設(shè)置消息通信,通過(guò)頁(yè)面消息給予用戶明確的提示信息,以便用戶即時(shí)處理待辦信息。單點(diǎn)登陸組件單點(diǎn)登陸組件完成各個(gè)子系統(tǒng)之間的單點(diǎn)登陸,用戶無(wú)需在各個(gè)系統(tǒng)中重復(fù)登陸。2.4.四項(xiàng)基礎(chǔ)服務(wù)文件分布式存儲(chǔ)服務(wù)平臺(tái)支持件存儲(chǔ)時(shí)采用分布式存儲(chǔ)的方式,將文件存儲(chǔ)在不同的文件服務(wù)器上,再通過(guò)分布式管理服務(wù)進(jìn)行文件調(diào)用和查閱。這樣既處理了海量數(shù)據(jù)的存儲(chǔ)問(wèn)題,同時(shí)在數(shù)據(jù)查閱和處理時(shí)又提升了計(jì)算速度,提高了系統(tǒng)數(shù)據(jù)訪問(wèn)性能。文檔在線閱讀服務(wù)文檔在線閱讀服務(wù)打破了以往在線閱讀需要安裝插件的技術(shù)限制,用戶只需要安裝好在線閱讀服務(wù),無(wú)論進(jìn)行哪種格式的文檔的查看都不需要在安裝任何第三方插件,使用簡(jiǎn)單、操作方便。流媒體服務(wù)流媒體服務(wù)也和以往不同,主要采用MP4技術(shù),這一特點(diǎn)使得在手機(jī)、平板電腦等移動(dòng)終端上也一樣能夠很好地兼容使用。任務(wù)調(diào)度服務(wù)任務(wù)調(diào)度服務(wù)的運(yùn)行能夠?qū)崟r(shí)的監(jiān)控正在運(yùn)行的各項(xiàng)任務(wù),包括后臺(tái)運(yùn)行的程序、正在進(jìn)行中的工作流等等,系統(tǒng)管理員可以通過(guò)任務(wù)調(diào)度服務(wù)將這些正在運(yùn)行中的任務(wù)取消或暫停,并進(jìn)行更加合理的資源調(diào)配。2.5.五個(gè)運(yùn)行引擎工作流引擎工作流是工作流程的計(jì)算模型,其將工作流程中的工作以一定的邏輯和規(guī)則組織起來(lái),并使用恰當(dāng)?shù)挠?jì)算模型進(jìn)行表示以實(shí)施計(jì)算。在計(jì)算機(jī)中,工作流系統(tǒng)解決的主要問(wèn)題是:為實(shí)現(xiàn)某個(gè)業(yè)務(wù)目標(biāo),在多個(gè)參與者之間,按照預(yù)定規(guī)則自動(dòng)傳遞文檔、信息或者任務(wù)。通過(guò)使用工作流引擎的這些支撐工具,一方面降低了平臺(tái)業(yè)務(wù)流程的開(kāi)發(fā)和維護(hù)成本,另一方面加快了平臺(tái)的業(yè)務(wù)流程開(kāi)發(fā)速度。數(shù)據(jù)接口引擎智慧城市的業(yè)務(wù)平臺(tái)一定會(huì)需要和各種各樣現(xiàn)有的信息系統(tǒng)進(jìn)
行數(shù)據(jù)交換,平臺(tái)設(shè)計(jì)研發(fā)數(shù)據(jù)接口引擎,用以處理各種復(fù)雜的數(shù)據(jù)
交互。數(shù)據(jù)引擎主要提供三種類(lèi)型的數(shù)據(jù)接口,分別是:基礎(chǔ)數(shù)據(jù)整合接口、業(yè)務(wù)數(shù)據(jù)交互接口和外部平臺(tái)接口。報(bào)表引擎平臺(tái)作為業(yè)務(wù)基礎(chǔ)平臺(tái),需要能夠支撐運(yùn)行多種業(yè)務(wù)流程,為方便用戶查詢和統(tǒng)計(jì)各業(yè)務(wù)流程產(chǎn)生的數(shù)據(jù),平臺(tái)構(gòu)建報(bào)表引擎。報(bào)表引擎以企業(yè)熟悉并經(jīng)常使用的表格為建模和設(shè)計(jì)工具,為平臺(tái)提供一種精確管理和深入分析業(yè)務(wù)數(shù)據(jù)的途徑。報(bào)表引擎融合Excel電子表格和數(shù)據(jù)庫(kù)軟件的優(yōu)勢(shì),既具備電子表格展示形式的靈活多樣性和操作簡(jiǎn)潔高效性,又具備數(shù)據(jù)庫(kù)軟件的大規(guī)模存儲(chǔ)和便于實(shí)施統(tǒng)計(jì)分析的能力。全文檢索引擎在平臺(tái)中,各組件模塊均為用戶提供基于數(shù)據(jù)庫(kù)的本模塊內(nèi)容信息的查詢和檢索服務(wù),方便用戶查詢相關(guān)業(yè)務(wù)信息并分析生成統(tǒng)計(jì)數(shù)據(jù)。然而,這種針對(duì)組件模塊業(yè)務(wù)信息的查詢和檢索服務(wù)是有局限的首先,查詢和檢索服務(wù)需要針對(duì)不同的組件模塊分別設(shè)計(jì)開(kāi)發(fā),缺乏統(tǒng)一的接口和機(jī)制,從而造成各組件模塊的檢索功能參差不齊,用戶友好性差;其次,這種查詢檢索服務(wù)只能針對(duì)結(jié)構(gòu)化信息進(jìn)行,如數(shù)據(jù)庫(kù)中各數(shù)據(jù)表的關(guān)鍵字段,而對(duì)文本附件等非結(jié)構(gòu)化信息無(wú)法檢索因此無(wú)法全面地展示信息資源特征;再次,這種信息查詢和檢索機(jī)制對(duì)數(shù)據(jù)庫(kù)系統(tǒng)依賴較高,使用簡(jiǎn)單的字符串匹配算法,效率低下。為此,平臺(tái)要有全文檢索技術(shù),用于對(duì)平臺(tái)上的各種資源實(shí)施統(tǒng)一的全文檢索,與針對(duì)組件模塊的簡(jiǎn)單查詢和檢索服務(wù)相比,技術(shù)具備結(jié)構(gòu)清晰、簡(jiǎn)單易用、用戶體驗(yàn)好的優(yōu)勢(shì)。2.5.5.權(quán)限分級(jí)引擎權(quán)限分級(jí)引擎是提出的業(yè)務(wù)系統(tǒng)權(quán)限管理功能,它通過(guò)詳細(xì)的權(quán)限級(jí)別定義,使系統(tǒng)安全員在給用戶或者角色賦權(quán)時(shí)能夠通過(guò)級(jí)別來(lái)設(shè)置。權(quán)限分級(jí)引擎的提出給系統(tǒng)帶來(lái)的優(yōu)勢(shì)包括:靈活的權(quán)限劃分機(jī)制;便捷的權(quán)限分配方式。平臺(tái)總體設(shè)計(jì)3.1.平臺(tái)建設(shè)原則1、平臺(tái)獨(dú)立性平臺(tái)采用基礎(chǔ)型平臺(tái)的視角進(jìn)行規(guī)劃和建設(shè),采用統(tǒng)一、松耦合的技術(shù)集成方式與接口,面向業(yè)務(wù)提供標(biāo)準(zhǔn)化的接口和服務(wù),實(shí)現(xiàn)平臺(tái)獨(dú)立、標(biāo)準(zhǔn)、統(tǒng)一、共享等特性。2、統(tǒng)一性系統(tǒng)的建設(shè)堅(jiān)持統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一實(shí)施為原則,既要注重平臺(tái)本身的建設(shè)要求,也要兼顧業(yè)務(wù)不斷集成的需求,還要考慮日后基于精細(xì)化使用和管理的需要。3、實(shí)用性以滿足業(yè)務(wù)需要為首要原則,在滿足功能實(shí)現(xiàn)的前提下,盡可能降低技術(shù)實(shí)現(xiàn)難度,提供方便的系統(tǒng)管理與維護(hù)、節(jié)約建設(shè)投資,提高運(yùn)行效率。在硬件規(guī)劃上,利用通用性更強(qiáng)的基于X86平臺(tái)的PCServer或云平臺(tái),對(duì)于數(shù)據(jù)存儲(chǔ),可以選用擴(kuò)展性和并行計(jì)算性能更強(qiáng)的Hadoop分布式文件系統(tǒng)架構(gòu)。這些硬件和軟件的選擇,兼顧了經(jīng)濟(jì)、擴(kuò)展和維護(hù)便利及成本。4、先進(jìn)性平臺(tái)利用Hadoop分布式大數(shù)據(jù)架構(gòu)構(gòu)建,存儲(chǔ)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。通過(guò)HDFS、Hbase等組件實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的安全存儲(chǔ)和備份,其靈活的橫向擴(kuò)展能力支持海量數(shù)據(jù)的持久化管理;其次利用ES等組件實(shí)現(xiàn)數(shù)據(jù)的快速索引、全文檢索等。5、可擴(kuò)展性平臺(tái)基于當(dāng)前,放眼未來(lái),在架構(gòu)設(shè)計(jì)、功能設(shè)計(jì)、性能設(shè)計(jì)、客戶體驗(yàn)等方面充分考慮可擴(kuò)展性,滿足不斷發(fā)展變化的業(yè)務(wù)和技術(shù)需求,擁有靈活、平滑的升級(jí)方式和廣闊、長(zhǎng)遠(yuǎn)的擴(kuò)展空間,可適應(yīng)未來(lái)3至5年業(yè)務(wù)的不斷發(fā)展及業(yè)務(wù)規(guī)模的擴(kuò)張。6、高可靠性平臺(tái)通過(guò)集群設(shè)計(jì)、負(fù)載均衡設(shè)備等應(yīng)用實(shí)現(xiàn)系統(tǒng)運(yùn)行無(wú)單點(diǎn)故障,具備連續(xù)、穩(wěn)定運(yùn)行的高可靠性。3.2.平臺(tái)架構(gòu)設(shè)計(jì)公共信息平臺(tái)是基于微服務(wù)的技術(shù)架構(gòu)設(shè)計(jì)理念來(lái)做的總體架構(gòu)設(shè)計(jì)。具體的架構(gòu)設(shè)計(jì)如下圖所示:基礎(chǔ)設(shè)施層基礎(chǔ)層是公共信息平臺(tái)的運(yùn)行網(wǎng)絡(luò)及軟硬件環(huán)境。網(wǎng)絡(luò)依托智慧城市項(xiàng)目所搭建的數(shù)據(jù)中心、運(yùn)維中心和指揮中心等基礎(chǔ)設(shè)施。平臺(tái)支撐層平臺(tái)支撐層是基于基礎(chǔ)設(shè)施層構(gòu)建的為數(shù)據(jù)管理和數(shù)據(jù)共享提供支撐的中間件和應(yīng)用引擎。平臺(tái)支撐層包括大數(shù)據(jù)采集、清洗和加載的ETL;ESB企業(yè)服務(wù)總線、統(tǒng)一的搜索引擎、統(tǒng)一的接口服務(wù)和云應(yīng)用引擎。數(shù)據(jù)管理層公共信息平臺(tái)數(shù)據(jù)管理層由元數(shù)據(jù)管理、資源目錄管理、數(shù)據(jù)資源管理、目錄服務(wù)管理、資源調(diào)度管理、運(yùn)行監(jiān)控管理、數(shù)據(jù)質(zhì)量管理組成。數(shù)據(jù)交換層數(shù)據(jù)交換層是為內(nèi)外部業(yè)務(wù)應(yīng)用系統(tǒng)提供數(shù)據(jù)交換的系統(tǒng)。數(shù)據(jù)交換系統(tǒng)由交換橋接、前置交換、交換傳輸、交換管理等子系統(tǒng)組成,作用在于實(shí)現(xiàn)信息資源的統(tǒng)一交換,通過(guò)交換橋接子系統(tǒng)將政府部門(mén)需要交換的信息送到前置交換信息庫(kù),在交換管理子系統(tǒng)的流程控制下,通過(guò)交換傳輸子系統(tǒng)、前置交換子系統(tǒng),把需要交換的信息定向傳輸?shù)浇邮詹块T(mén),同時(shí)把共享信息實(shí)時(shí)交換到共享信息庫(kù)。3.3.平臺(tái)功能設(shè)計(jì)公共信息平臺(tái)目標(biāo)是實(shí)現(xiàn)全縣的共性問(wèn)題的統(tǒng)一處理,解決某一個(gè)應(yīng)用單位或機(jī)構(gòu)難以獨(dú)立完成的公共能力,為政府、企業(yè)和公眾的各類(lèi)應(yīng)用及其協(xié)同提供平臺(tái)支撐。公共信息平臺(tái)是智慧城市系統(tǒng)的基礎(chǔ)設(shè)施,是系統(tǒng)流轉(zhuǎn)的核心。公共信息平臺(tái)是城市公共數(shù)據(jù)進(jìn)出的通道,實(shí)現(xiàn)城市公共數(shù)據(jù)的交換清洗、整合和加工;實(shí)現(xiàn)城市公共數(shù)據(jù)的組織、編目、管理以及城市公共數(shù)據(jù)應(yīng)用績(jī)效評(píng)估;實(shí)現(xiàn)城市公共數(shù)據(jù)的共享服務(wù),為城市政府專(zhuān)網(wǎng)和公共網(wǎng)絡(luò)上的各類(lèi)智慧應(yīng)用提供基于城市公共數(shù)據(jù)庫(kù)的服務(wù)、時(shí)空信息承載服務(wù)、基于數(shù)據(jù)挖掘的決策知識(shí)服務(wù)等。智慧城市項(xiàng)目的建設(shè)對(duì)公共信息平臺(tái)提出了如下的要求:公共信息平臺(tái)的功能設(shè)計(jì)如下圖所示:交換平臺(tái)廚圖蘇轄云應(yīng)月弓摩3.3.1.數(shù)據(jù)采集采集模塊支撐大數(shù)據(jù)平臺(tái)數(shù)據(jù)源的采集工具,支持各類(lèi)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的采集;平臺(tái)實(shí)現(xiàn)可視化的數(shù)據(jù)采集,采用元數(shù)據(jù)管理的辦法,由用戶或?qū)I(yè)技術(shù)人員在界面上操作實(shí)現(xiàn)數(shù)據(jù)采集;于專(zhuān)網(wǎng)或其他原因的用戶,通過(guò)客戶端應(yīng)用實(shí)現(xiàn)數(shù)據(jù)采集功能實(shí)現(xiàn);并提供線上或線下的導(dǎo)入功能;對(duì)政府各機(jī)構(gòu)業(yè)務(wù),以及數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化定義,建立數(shù)據(jù)字典,并建立目錄資源庫(kù);實(shí)現(xiàn)數(shù)據(jù)和業(yè)務(wù)的唯一解釋?zhuān)恢С蛛x線采集及實(shí)時(shí)數(shù)據(jù)采集模式;手段包括但不限于“推”模式、“拉”模式、web上傳模式、直連模式;數(shù)據(jù)更新方式包括但不限于快照模式、觸發(fā)器模式、日志模式、API模式、影子表法模式、時(shí)間戳模式;提供采集節(jié)點(diǎn)監(jiān)控和異常處理機(jī)制,包括:采集任務(wù)中斷、采集數(shù)據(jù)失敗等相關(guān)異?,F(xiàn)象時(shí),實(shí)現(xiàn)相關(guān)的補(bǔ)采機(jī)制,并通過(guò)告警的方式通知系統(tǒng)用戶以保障源數(shù)據(jù)采集的可靠性;支持采集周期配置,可按實(shí)分、小時(shí)、天、月等不同的時(shí)間周期進(jìn)行配置。支持采集數(shù)據(jù)的存儲(chǔ)路徑配置。3.3.2.數(shù)據(jù)清洗加載大數(shù)據(jù)清洗加載模塊通過(guò)大規(guī)模,可擴(kuò)展算法的ETL實(shí)現(xiàn)數(shù)據(jù)的清洗、轉(zhuǎn)換、加載功能;保障采集的數(shù)據(jù)正確、完整、規(guī)范地加載到目的地;實(shí)現(xiàn)數(shù)據(jù)整合過(guò)程中的傳輸異常、數(shù)據(jù)加載異常、數(shù)據(jù)結(jié)構(gòu)與質(zhì)量異常等問(wèn)題。數(shù)據(jù)清洗功能包括但不限于:數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)去臟和轉(zhuǎn)換規(guī)則的計(jì)算,批量分布式清洗和實(shí)時(shí)不落地清洗,數(shù)據(jù)轉(zhuǎn)換規(guī)則配置,數(shù)據(jù)處理過(guò)程日志,數(shù)據(jù)清洗轉(zhuǎn)換處理多組件設(shè)置,硬編碼數(shù)據(jù)轉(zhuǎn)換、庫(kù)外數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)加載功能包括但不限于:全量數(shù)據(jù)加載、增量數(shù)據(jù)加載、流式(實(shí)時(shí))數(shù)據(jù)加載、數(shù)據(jù)加載過(guò)程控制、數(shù)據(jù)校驗(yàn)、異常處理等。清洗、加載模塊通過(guò)可視化的數(shù)據(jù)處理工具實(shí)現(xiàn),該工具應(yīng)該提供新的數(shù)據(jù)源加入大數(shù)據(jù)平臺(tái)體系;并可根據(jù)不同的清洗規(guī)則進(jìn)行可視化配置;3.3.3.數(shù)據(jù)共享交換數(shù)據(jù)共享交換模塊涉及的核心業(yè)務(wù)即交換數(shù)據(jù)。交換數(shù)據(jù)是指數(shù)據(jù)交換過(guò)程中產(chǎn)生的信息,包含消息路由信息、流程管理信息、異常管理信息、監(jiān)控管理信息、參數(shù)管理信息和交換臨時(shí)庫(kù)中的數(shù)據(jù)等。a數(shù)據(jù)共享趟前置対站統(tǒng)數(shù)據(jù)裁倨^a數(shù)據(jù)共享趟前置対站統(tǒng)數(shù)據(jù)裁倨^m里數(shù)據(jù)共享交換系統(tǒng)由交換橋接、前置交換、交換傳輸、交換管理等子系統(tǒng)組成,作用在于實(shí)現(xiàn)信息資源的統(tǒng)一交換,通過(guò)交換橋接子系統(tǒng)將政府部門(mén)需要交換的信息送到前置交換信息庫(kù),在交換管理子系統(tǒng)的流程控制下,通過(guò)交換傳輸子系統(tǒng)、前置交換子系統(tǒng),把需要交換的信息定向傳輸?shù)浇邮詹块T(mén),同時(shí)把共享信息實(shí)時(shí)交換到共享信息庫(kù),實(shí)現(xiàn)人口、法人、宏觀經(jīng)濟(jì)、空間地理等信息資源的同步更新。大數(shù)據(jù)交換與共享模塊負(fù)責(zé)各委辦局相關(guān)業(yè)務(wù)信息資源數(shù)據(jù)的傳輸、交換、格式轉(zhuǎn)換的工作,實(shí)現(xiàn)信息資源在全縣范圍內(nèi)的交換與共享。采用SOA架構(gòu),能夠在多個(gè)異構(gòu)系統(tǒng)(如不同的數(shù)據(jù)庫(kù)、消息中間件、數(shù)據(jù)文件等)之間進(jìn)行數(shù)據(jù)和應(yīng)用集成,實(shí)現(xiàn)互連互通、數(shù)據(jù)共享交換、應(yīng)用集成等功能,同時(shí)支持分布式多節(jié)點(diǎn)部署。在網(wǎng)絡(luò)不可達(dá)的情況下,可采用前置機(jī)部署。應(yīng)用中間件應(yīng)提供JavaEE架構(gòu)支撐服務(wù),符合GB/T26232-2010國(guó)家標(biāo)準(zhǔn)。通用文件共享、交換、傳輸服務(wù)中間件:應(yīng)提供非結(jié)構(gòu)化文件交換,滿足點(diǎn)對(duì)點(diǎn)、路由、業(yè)務(wù)域、單向、雙向、廣播的交換部署要求,提供基于交換任務(wù)、交換域的文件到文件、文件到文件夾、文件夾到文件夾的多排列式交換,支持雙向同步交換。數(shù)據(jù)交換管理監(jiān)控系統(tǒng)應(yīng)提供交換中心、交換接入、中間件軟件、數(shù)據(jù)交換量的統(tǒng)一監(jiān)控,并支持用戶管理、組織管理、多維數(shù)據(jù)交換量統(tǒng)計(jì)分析。通過(guò)數(shù)據(jù)交換與共享平臺(tái)將各個(gè)參建部門(mén)的業(yè)務(wù)信息資源數(shù)據(jù)匯總到城市大數(shù)據(jù)中心,城市級(jí)數(shù)據(jù)交換與共享平臺(tái)可支撐多個(gè)交換域,從而形成政務(wù)信息資源交換體系框架。利用交換平臺(tái)實(shí)現(xiàn)異構(gòu)系統(tǒng)的數(shù)據(jù)采集、可靠信息傳輸?shù)裙δ堋?.3.4.資源目錄管理資源輪目庫(kù)專(zhuān)磁?尼庫(kù)資源目裁資源輪目庫(kù)專(zhuān)磁?尼庫(kù)資源目裁信息資源目錄管理系統(tǒng)包括專(zhuān)項(xiàng)資源目錄庫(kù)和共享資源總目錄庫(kù)。各部門(mén)可以根據(jù)協(xié)同應(yīng)用的需要建立部門(mén)間共享指標(biāo)項(xiàng)目目錄庫(kù)可以對(duì)數(shù)據(jù)中心的所有基礎(chǔ)庫(kù)和專(zhuān)題庫(kù)資源的進(jìn)行管理。資源目錄管理系統(tǒng)包括針對(duì)全縣統(tǒng)一資源目錄的生產(chǎn)、管理、查詢及維護(hù)功能。目錄管理功能包括目錄設(shè)計(jì)、目錄提交、目錄審核、目錄發(fā)布、目錄數(shù)據(jù)檢索等功能。目錄子系統(tǒng)的建設(shè),以目錄方式實(shí)現(xiàn)資源共享,是公共信息平臺(tái)實(shí)現(xiàn)信息資源共享的有效手段,使用目錄體系可以以更靈活的方式實(shí)現(xiàn)更多應(yīng)用單位、更多資源的接入與共享。目錄管理子系統(tǒng)作為公共服務(wù)平臺(tái)信息資源目錄體系的載體,采用一種非落地的信息共享模式,是對(duì)交換共享模式的補(bǔ)充。在目錄式共享中,各應(yīng)用單位對(duì)各自共享的資源有完整的控制權(quán),可有效地解決交換模式中各應(yīng)用單位因擔(dān)心違反相關(guān)規(guī)定而不愿意批量提供數(shù)據(jù)的問(wèn)題。
3.3.5.元數(shù)據(jù)管理元數(shù)據(jù)是描述資源的數(shù)據(jù),是信息共享和交換的基礎(chǔ)和前提,用-超據(jù)存儲(chǔ)-元數(shù)據(jù)管理元數(shù)據(jù)是描述資源的數(shù)據(jù),是信息共享和交換的基礎(chǔ)和前提,用-超據(jù)存儲(chǔ)-元數(shù)據(jù)管理于描述數(shù)據(jù)集的內(nèi)容、質(zhì)量、表示方法、空間參考、管理方式以及數(shù)據(jù)集的其他特征。元數(shù)據(jù)庫(kù)用于存儲(chǔ)元數(shù)據(jù)。元數(shù)據(jù)與數(shù)據(jù)目錄密切相關(guān),良好的元數(shù)據(jù)管理是目錄管理的有效基礎(chǔ)和前提。元數(shù)據(jù)的范圍包括數(shù)據(jù)源數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)詞典、字段維度、程序映射邏輯、數(shù)據(jù)生命周期等。元數(shù)據(jù)管理包括元數(shù)據(jù)定義、存儲(chǔ)、查詢、維護(hù)、檢查和分析應(yīng)用等功能。3.3.6.數(shù)據(jù)資源管理數(shù)據(jù)資源管理模塊功能需包括但不限于:模型管理,構(gòu)建專(zhuān)業(yè)的模型設(shè)計(jì)器,創(chuàng)建、修改和設(shè)計(jì)所有數(shù)據(jù)對(duì)象;數(shù)據(jù)查閱,構(gòu)建視覺(jué)化數(shù)據(jù)查閱工具使運(yùn)管團(tuán)隊(duì)高效創(chuàng)建和編輯數(shù)據(jù)查閱方案;同步和遷移,保證分布式應(yīng)用環(huán)境下多服務(wù)器間數(shù)據(jù)結(jié)構(gòu)的一致性、安全性,實(shí)現(xiàn)字段對(duì)應(yīng)、代碼轉(zhuǎn)換、量綱轉(zhuǎn)換、數(shù)據(jù)合并、數(shù)據(jù)拆分等功能;導(dǎo)入導(dǎo)出,完成從不同格式的文件導(dǎo)入數(shù)據(jù)到數(shù)據(jù)中心,以及數(shù)據(jù)到各種格式導(dǎo)出控制;計(jì)劃任務(wù),設(shè)置計(jì)劃并在指定的時(shí)間運(yùn)行,實(shí)現(xiàn)不同數(shù)據(jù)庫(kù)在同一批處理作業(yè)中的統(tǒng)一調(diào)用。3.3.7.目錄管理與服務(wù)目錄管理與服務(wù)主要是指資源目錄的共享管理與服務(wù)。主要包括有資源目錄服務(wù)、目錄共享統(tǒng)計(jì)分析、數(shù)據(jù)訂閱等模塊。數(shù)據(jù)共享服務(wù)系統(tǒng)是公共信息平臺(tái)的基礎(chǔ)設(shè)施之一。它以資源目錄為核心,共享平臺(tái)作為數(shù)據(jù)支撐,形成信息資源管理、識(shí)別、檢索、定位和共享的應(yīng)用服務(wù)體系,將應(yīng)用服務(wù)功能集中在同一服務(wù)平臺(tái)中不同機(jī)構(gòu)、不同機(jī)構(gòu)下的各級(jí)單位、不同權(quán)限用戶通過(guò)系統(tǒng)依需獲取相應(yīng)的應(yīng)用服務(wù),從而提高管理效率和公共服務(wù)水平。目錄管理與服務(wù)涉及的業(yè)務(wù)邏輯如下圖所示:兀接口注出—.接口總曲》1?'其他業(yè)務(wù)數(shù)據(jù)序卷井基礎(chǔ)數(shù)據(jù)庫(kù)公其數(shù)抓偉應(yīng)用單杭詩(shī)求十用接口目錄管理與服務(wù)涉及的業(yè)務(wù)邏輯如下圖所示:兀接口注出—.接口總曲》1?'其他業(yè)務(wù)數(shù)據(jù)序卷井基礎(chǔ)數(shù)據(jù)庫(kù)公其數(shù)抓偉應(yīng)用單杭詩(shī)求十用接口前置壞境數(shù)握庫(kù)繪合運(yùn)營(yíng)中心管建數(shù)據(jù)/——/功叵弋餐理應(yīng)fflM業(yè)務(wù)紜產(chǎn)庫(kù)3.3.8.資源統(tǒng)一調(diào)度資源統(tǒng)一調(diào)度模塊完成數(shù)據(jù)中心所有數(shù)據(jù)處理工作的統(tǒng)一執(zhí)行調(diào)度,統(tǒng)一調(diào)度提供以下功能:所有任務(wù)統(tǒng)一調(diào)度配置、智能調(diào)度運(yùn)行、資源控制、優(yōu)先級(jí)管理評(píng)估、調(diào)度策略管控、調(diào)度全面監(jiān)控、集中的作業(yè)告警與錯(cuò)誤反饋等;調(diào)度管理根據(jù)業(yè)務(wù)需要可以進(jìn)行變更。3.3.9.數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)質(zhì)量管理模塊包含數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)質(zhì)量評(píng)估及數(shù)據(jù)稽核管理三部分。數(shù)據(jù)質(zhì)量控制部件支持?jǐn)?shù)據(jù)質(zhì)量規(guī)則需求的手動(dòng)配置和自動(dòng)化優(yōu)化建議,依據(jù)歷史運(yùn)行信息自動(dòng)調(diào)整算法、閥值、優(yōu)先級(jí)建議;支持?jǐn)?shù)據(jù)質(zhì)量執(zhí)行周期配置;支持?jǐn)?shù)據(jù)質(zhì)量的數(shù)值、波動(dòng)、平衡性、關(guān)聯(lián)性、一致性監(jiān)控。數(shù)據(jù)評(píng)估部件支持?jǐn)?shù)據(jù)質(zhì)量自動(dòng)化評(píng)估,動(dòng)態(tài)出具數(shù)據(jù)質(zhì)量報(bào)告、數(shù)據(jù)質(zhì)量?jī)?yōu)化建議報(bào)告。數(shù)據(jù)稽核管理部件支持?jǐn)?shù)據(jù)質(zhì)量稽核管理規(guī)則配置、稽核任務(wù)調(diào)度配置、稽核結(jié)果分析等。3.3.10.運(yùn)行監(jiān)控管理運(yùn)行監(jiān)控,從數(shù)據(jù)庫(kù)、軟件、硬件等維度進(jìn)行系統(tǒng)實(shí)時(shí)監(jiān)控、運(yùn)行平臺(tái)性能(包括CPU、內(nèi)存等使用情況)實(shí)時(shí)監(jiān)控和預(yù)警,以反應(yīng)數(shù)據(jù)中心運(yùn)行的整體狀況。日志管理,實(shí)現(xiàn)日志信息查詢統(tǒng)計(jì)與分析管理,包括但不限于:登錄登出日志、訪問(wèn)日志、操作日志、日志統(tǒng)計(jì)、用戶狀態(tài)管理;數(shù)據(jù)采集過(guò)程監(jiān)控,實(shí)現(xiàn)對(duì)交換過(guò)程監(jiān)控的數(shù)據(jù)依據(jù)執(zhí)行中的任務(wù)、未啟動(dòng)的任務(wù)、執(zhí)行失敗的任務(wù)進(jìn)行分類(lèi)篩選監(jiān)控。3.3.11.接口開(kāi)發(fā)與服務(wù)為了實(shí)現(xiàn)社會(huì)管理服務(wù)指揮平臺(tái)資源的整合,集成其他獨(dú)立運(yùn)行的系統(tǒng)以及需要新建的各個(gè)業(yè)務(wù)系統(tǒng),實(shí)現(xiàn)政務(wù)服務(wù)和社會(huì)化服務(wù)的統(tǒng)一接入、統(tǒng)一發(fā)布、統(tǒng)一治理,需要在公共信息平臺(tái)的基礎(chǔ)上基于面向服務(wù)的技術(shù)體系(SOA)來(lái)建立一套接口與服務(wù)系統(tǒng),以解決資源整合、互聯(lián)互通的問(wèn)題。接口與服務(wù)系統(tǒng)將公共信息平臺(tái)中數(shù)據(jù)分析、共享交換等服務(wù)組件和信息資源注冊(cè)到服務(wù)總線上,由服務(wù)總線實(shí)現(xiàn)所有系統(tǒng)的集成和管理,并以服務(wù)接口的方式開(kāi)放到門(mén)戶系統(tǒng)上,提供給內(nèi)外網(wǎng)用戶或各類(lèi)智慧應(yīng)用來(lái)使用。服務(wù)組件可根據(jù)業(yè)務(wù)發(fā)展需要而動(dòng)態(tài)調(diào)整。公共信息平臺(tái)同時(shí)也提供開(kāi)發(fā)接口服務(wù),支持開(kāi)發(fā)者或應(yīng)用開(kāi)發(fā)商調(diào)用平臺(tái)提供的服務(wù)和自己的業(yè)務(wù)應(yīng)用進(jìn)行集成,或是開(kāi)發(fā)基于公共信息平臺(tái)的應(yīng)用系統(tǒng)。3.3.12.服務(wù)總線大數(shù)據(jù)交換與共享系統(tǒng)需包含應(yīng)用集成ESB中間件、應(yīng)用集成ESB中間件適配器、數(shù)據(jù)集成中間件、消息中間件、通用文件傳輸中間件、應(yīng)用中間件、數(shù)據(jù)交換管理監(jiān)控系統(tǒng)。數(shù)據(jù)服務(wù)為數(shù)據(jù)共享提供基礎(chǔ)支撐,主要包括接口服務(wù)、服務(wù)編排、發(fā)布服務(wù)、日志查詢、日志分析等功能。3.3.13.云應(yīng)用引擎云應(yīng)用引擎是為各種服務(wù)提供數(shù)據(jù)存儲(chǔ)、應(yīng)用托管及開(kāi)發(fā)工具的支持,可以通過(guò)微服務(wù)管理治理,實(shí)現(xiàn)統(tǒng)一應(yīng)用、服務(wù)管理,包括注冊(cè)、刪除,可以對(duì)服務(wù)進(jìn)行監(jiān)控和保護(hù)等,另外還支持將各種應(yīng)用程序部署到容器上,并對(duì)應(yīng)用程序進(jìn)行管理,如查看監(jiān)控狀態(tài)、性能統(tǒng)計(jì)報(bào)告等。平臺(tái)詳細(xì)建設(shè)方案為了使公共信息平臺(tái)具備良好的可擴(kuò)展性,充分適應(yīng)未來(lái)變化的數(shù)據(jù)管理要求,系統(tǒng)提供了高可擴(kuò)展性的數(shù)據(jù)適配框架。WebService的Server端、Client端,以及其它適配器,都作為數(shù)據(jù)適配框架的插件而存在。未來(lái)如果出現(xiàn)需要擴(kuò)展的其他適配技術(shù),只需要增加新的插件即可。無(wú)論插件的增加、移除,均不影響適配框架的正常運(yùn)行。4.1.數(shù)據(jù)采集數(shù)據(jù)采集支持對(duì)組織機(jī)構(gòu)域、公共域、平臺(tái)域、基礎(chǔ)設(shè)施域、業(yè)務(wù)應(yīng)用域和綜合域等多領(lǐng)域的信息數(shù)據(jù)進(jìn)行采集。針對(duì)不同的采集方式提供相應(yīng)的WebService適配器、文件適配器、數(shù)據(jù)庫(kù)適配器等適配器進(jìn)行數(shù)據(jù)采集、管理。對(duì)數(shù)據(jù)源數(shù)據(jù)結(jié)構(gòu)進(jìn)行選擇性采集;定制采集ETL策略;數(shù)據(jù)采集模塊詳細(xì)的功能設(shè)計(jì)如下圖所示:舞源勰堆2^訓(xùn)凋竝毓限勰口心渭子王題沖元數(shù)據(jù)管理采集字段節(jié)里采集目錄資源庫(kù)管理數(shù)據(jù)源管理城訥13里4.1.1.元數(shù)據(jù)管理.采集字段管理采集字段管理是將需要采集的數(shù)據(jù)字段進(jìn)行可視化的創(chuàng)建、維護(hù)移除等管理操作。可以根據(jù)用戶方的實(shí)際應(yīng)用需要進(jìn)行處理,采集字段管理分為手工管理、自動(dòng)管理兩種。手工管理:管理員利用手工維護(hù)的方法進(jìn)行注冊(cè)字段或修改字段主要包括創(chuàng)建、修改、刪除、審核、發(fā)布等功能。自動(dòng)管理:管理員完成數(shù)據(jù)源的配置后,并配置字段自動(dòng)管理屬性;系統(tǒng)即可根據(jù)要求對(duì)數(shù)據(jù)源進(jìn)行自動(dòng)采集,并完成其自動(dòng)字段的創(chuàng)建、發(fā)布、自動(dòng)審核等操作。.采集目錄資源庫(kù)管理采集目錄資源庫(kù)是對(duì)采集目錄的資源的統(tǒng)一、規(guī)范化管理。通過(guò)資源庫(kù)對(duì)采集目錄以可視化的界面呈現(xiàn)方式供用戶查看并可查詢。.數(shù)據(jù)源管理數(shù)據(jù)源管理是對(duì)所需要采集的數(shù)據(jù)源地址進(jìn)行統(tǒng)一的創(chuàng)建管理。包括數(shù)據(jù)源的名稱、采集地址、歸屬單位或部門(mén)等信息進(jìn)行詳細(xì)的描述和管理。4.1.2.數(shù)據(jù)采集管理為了使系統(tǒng)具有更好的靈活性,系統(tǒng)采用基于策略的采集技術(shù)和任務(wù)化的采集方式,支持管理員靈活設(shè)置采集周期、執(zhí)行時(shí)間、采集接口等參數(shù),同時(shí)對(duì)于采集任務(wù),支持增加、修改、刪除、啟用、停用等操作。
采隼任務(wù)管理調(diào)度與控制采集策略管理■—次—次調(diào)度控^權(quán)限管理中周克節(jié)愿調(diào)度監(jiān)3空赫告警麵采隼任務(wù)管理調(diào)度與控制采集策略管理■—次—次調(diào)度控^權(quán)限管理中周克節(jié)愿調(diào)度監(jiān)3空赫告警麵離線數(shù)據(jù)采集9導(dǎo)入采集策略管理全量采集對(duì)數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行完全復(fù)制。該復(fù)制將產(chǎn)生與源數(shù)據(jù)完全一致的數(shù)據(jù)副本,該采集方式主要應(yīng)用在初始化數(shù)據(jù)采集的時(shí)候,用于建立數(shù)據(jù)源和目標(biāo)數(shù)據(jù)的一致視圖,然后在此基礎(chǔ)上進(jìn)行增量抽取。增量采集只捕獲源數(shù)據(jù)中被修改的數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)源的變化能夠反饋到目標(biāo)數(shù)據(jù)中,使得目標(biāo)數(shù)據(jù)能夠隨著數(shù)據(jù)源的變化而改變。此類(lèi)數(shù)據(jù)采集方式支持觸發(fā)器、MD5、時(shí)間戳三種方式捕獲變化的數(shù)據(jù)。支持雙向數(shù)據(jù)同步,能夠避免雙向同步產(chǎn)生的循環(huán)觸發(fā)問(wèn)題。一次性采集一次性采集是系統(tǒng)初次上線運(yùn)行前,將數(shù)據(jù)源中的所有數(shù)據(jù)一次性的采集到目錄數(shù)據(jù)庫(kù)中用于建立數(shù)據(jù)源和目標(biāo)數(shù)據(jù)的一致視圖。采集任務(wù)管理采集任務(wù)管理是將數(shù)據(jù)采集的任務(wù)與數(shù)據(jù)采集的策略相配合進(jìn)行數(shù)據(jù)采集,對(duì)采集任務(wù)進(jìn)行分類(lèi)管理,采集任務(wù)包括定時(shí)采集、周期性采集和一次性采集三種。定時(shí)采集定時(shí)采集即設(shè)置數(shù)據(jù)采集任務(wù)執(zhí)行的時(shí)間。當(dāng)?shù)竭_(dá)指定采集時(shí)間時(shí),采集任務(wù)將會(huì)自動(dòng)執(zhí)行。周期性采集對(duì)采集任務(wù)設(shè)置周期性采集間隔。采集任務(wù)從第一次執(zhí)行,間隔所設(shè)置的時(shí)長(zhǎng)后,將會(huì)自動(dòng)進(jìn)行采集任務(wù),形成周期性采集??砂磳?shí)分、小時(shí)、天、月等不同的時(shí)間周期進(jìn)行配置。支持采集數(shù)據(jù)的存儲(chǔ)路徑配置。一次性采集一次性采集是通過(guò)手動(dòng)執(zhí)行的采集方式。當(dāng)數(shù)據(jù)采集需要進(jìn)行一次性采集的時(shí)候,由管理人員進(jìn)行手動(dòng)操作,根據(jù)數(shù)據(jù)源、采集字段等信息完成數(shù)據(jù)的一次性采集。調(diào)度與監(jiān)控調(diào)度與監(jiān)控,分為中心調(diào)度監(jiān)控和節(jié)點(diǎn)調(diào)度監(jiān)控;中心控制整個(gè)網(wǎng)絡(luò)系統(tǒng);節(jié)點(diǎn)僅僅控制自身的采集任務(wù)與調(diào)度;權(quán)限管理權(quán)限管理功能主要提供基于機(jī)構(gòu)、用戶、權(quán)限和服務(wù)等方面的綜合配置管理功能,其主要包括資源權(quán)限等級(jí)定義、系統(tǒng)參數(shù)管理、機(jī)構(gòu)環(huán)境管理、用戶角色管理、分類(lèi)方式管理、服務(wù)類(lèi)型查詢和權(quán)限管理等功能。在此,權(quán)限和用戶機(jī)構(gòu)管理均為托管方式,由平臺(tái)運(yùn)維系統(tǒng)中的用戶管理系統(tǒng)進(jìn)行統(tǒng)一權(quán)限認(rèn)證。權(quán)限管理對(duì)于調(diào)度任務(wù),權(quán)限相應(yīng)的角色權(quán)限進(jìn)行授權(quán)。所有的調(diào)度任務(wù)只有經(jīng)過(guò)中心授權(quán)后才能實(shí)現(xiàn)任務(wù)的調(diào)度操作。中心調(diào)度監(jiān)控中心調(diào)度監(jiān)控是為管理中心權(quán)限的用戶對(duì)整個(gè)應(yīng)用平臺(tái)的網(wǎng)絡(luò)數(shù)據(jù)采集的任務(wù)運(yùn)行狀態(tài)進(jìn)行監(jiān)控節(jié)點(diǎn)調(diào)度監(jiān)控節(jié)點(diǎn)調(diào)度監(jiān)控是為各節(jié)點(diǎn)的調(diào)度、監(jiān)控管理權(quán)限的角色提供的調(diào)度監(jiān)控功能。節(jié)點(diǎn)調(diào)度監(jiān)控功能只監(jiān)控自己所需要的數(shù)據(jù)采集任務(wù)的執(zhí)行狀態(tài)。采集告警設(shè)置對(duì)采集采集進(jìn)行有效的中心監(jiān)控和節(jié)點(diǎn)監(jiān)控兩級(jí)調(diào)度監(jiān)控過(guò)程中,如果數(shù)據(jù)采集任務(wù)狀態(tài)異?;虿杉蝿?wù)失敗,可以通過(guò)采集告警設(shè)置功能將此類(lèi)異常情況做相應(yīng)的反饋方式設(shè)置。采集告警設(shè)置包括重新執(zhí)行采集任務(wù)的次數(shù)設(shè)置、采集任務(wù)異常狀態(tài)的聲光報(bào)警燈、報(bào)警聲音提醒等提醒方式。采集異常處理當(dāng)數(shù)據(jù)采集任務(wù)狀態(tài)發(fā)生異常時(shí),系統(tǒng)會(huì)自動(dòng)根據(jù)采集告警設(shè)置中用戶所設(shè)置的方式進(jìn)行執(zhí)行。用戶在收到異常報(bào)警后,通過(guò)采集異常處理功能對(duì)發(fā)生異常的任務(wù)進(jìn)行手動(dòng)的檢查或刪除、重新執(zhí)行等異常處理。.離線數(shù)據(jù)采集離線數(shù)據(jù)采集的主要手段是數(shù)據(jù)的批量上傳接口。通過(guò)制定數(shù)據(jù)采集上傳的規(guī)范、統(tǒng)一的采集模板。將數(shù)據(jù)通過(guò)數(shù)據(jù)源導(dǎo)出后,經(jīng)離線數(shù)據(jù)采集模塊將數(shù)據(jù)源導(dǎo)出的數(shù)據(jù)進(jìn)行批量的上傳。在數(shù)據(jù)離線上傳的過(guò)程中,同樣需要執(zhí)行數(shù)據(jù)校驗(yàn)規(guī)則以驗(yàn)證數(shù)據(jù)的規(guī)范性。4.1.3.日志管理采集日志管理系統(tǒng)自動(dòng)記錄數(shù)據(jù)采集接口的日志,主要包括接口名稱、接口地址、采集時(shí)間、采集結(jié)果等參數(shù)。同時(shí),系統(tǒng)提供支持
管理員對(duì)采集日志進(jìn)行查詢和導(dǎo)出。4.2.數(shù)據(jù)清洗加載數(shù)據(jù)清洗加載模塊包括數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)去臟和轉(zhuǎn)換規(guī)則的計(jì)算,批量分布式清洗和實(shí)時(shí)不落地清洗,數(shù)據(jù)轉(zhuǎn)換規(guī)則配置,數(shù)據(jù)處理過(guò)程日志,數(shù)據(jù)清洗轉(zhuǎn)換處理多組件設(shè)置,硬編碼數(shù)據(jù)轉(zhuǎn)換、庫(kù)外數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)加載功能包括但不限于:全量數(shù)據(jù)加載、增量數(shù)據(jù)加載、流式(實(shí)時(shí))數(shù)據(jù)加載、數(shù)據(jù)加載過(guò)程控制、數(shù)據(jù)校驗(yàn)、異常處理等。清洗、加載模塊通過(guò)可視化的數(shù)據(jù)處理工具實(shí)現(xiàn),該工具應(yīng)該提供新的數(shù)據(jù)源加入大數(shù)據(jù)平臺(tái)體系;并可根據(jù)不同的清洗規(guī)則進(jìn)行可視化配置。數(shù)據(jù)清洗加載重點(diǎn)功能如下圖所示:數(shù)據(jù)轉(zhuǎn)換規(guī)則設(shè)置數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)去贓數(shù)據(jù)批量清洗數(shù)據(jù)清洗騁換多絹件設(shè)賢數(shù)據(jù)加載清洗數(shù)據(jù)加載數(shù)據(jù)加載清洗數(shù)據(jù)加載日志管理數(shù)據(jù)清洗.數(shù)據(jù)轉(zhuǎn)換規(guī)則配置以圖形操作模式配置數(shù)據(jù)整合參數(shù),實(shí)現(xiàn)進(jìn)行清洗、轉(zhuǎn)換、比對(duì)、
數(shù)據(jù)導(dǎo)出、數(shù)據(jù)拆分等數(shù)據(jù)整合規(guī)則的動(dòng)態(tài)配置。數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換是探測(cè)和去除(修正)數(shù)據(jù)庫(kù)來(lái)增加數(shù)據(jù)精確性的過(guò)程實(shí)現(xiàn)減少冗余和提高已經(jīng)結(jié)合了分散數(shù)據(jù)庫(kù)的不同數(shù)據(jù)集的一致性數(shù)據(jù)轉(zhuǎn)換與清洗能通過(guò)列映射、派生列、條件性拆分、排序、聯(lián)接、聚合、SQL腳本、Java腳本等多種手段完成以下任務(wù):1)把多個(gè)不同數(shù)據(jù)源的數(shù)據(jù)合并。2)不同數(shù)據(jù)集的轉(zhuǎn)換和同步。3)數(shù)據(jù)類(lèi)型和格式的轉(zhuǎn)換。丙isAJuswimto4)用于不同目標(biāo)表的數(shù)據(jù)分離。nmnn■丙isAJuswimto4)用于不同目標(biāo)表的數(shù)據(jù)分離。nmnn■li増產(chǎn)mnnm.數(shù)據(jù)去贓數(shù)據(jù)云贓是對(duì)采集到的數(shù)據(jù)中存在的重復(fù)性數(shù)據(jù)、不完整且不可補(bǔ)充的數(shù)據(jù)、空數(shù)據(jù)等贓數(shù)據(jù)進(jìn)行刪除操作。數(shù)據(jù)批量清洗數(shù)據(jù)批量清洗是根據(jù)數(shù)據(jù)轉(zhuǎn)換規(guī)則配置模塊中所設(shè)置的數(shù)據(jù)清洗規(guī)則,對(duì)所采集到的數(shù)據(jù)按照規(guī)則進(jìn)行大批量的檢查,將不需要數(shù)據(jù)規(guī)則的數(shù)據(jù)一次性的查找并顯示出來(lái)供用戶進(jìn)行二次檢查。數(shù)據(jù)加載完成數(shù)據(jù)清洗形成規(guī)則、可用的數(shù)據(jù)后,通過(guò)數(shù)據(jù)分類(lèi)、批量的輸入形成最終可供各業(yè)務(wù)應(yīng)用平臺(tái)所使用的數(shù)據(jù)。日志管理在數(shù)據(jù)清洗加載的過(guò)程中,系統(tǒng)執(zhí)行的每一步操作,在日志管理模塊中均有詳細(xì)的執(zhí)行時(shí)間、所執(zhí)行的操作、執(zhí)行結(jié)果、執(zhí)行人等信息記錄。管理員可以通過(guò)信息查詢將所需要的操作日志查找出來(lái),并提供下載操作。4.3.數(shù)據(jù)共享交換數(shù)據(jù)共享交換是通過(guò)集成不同應(yīng)用系統(tǒng)之間形成松耦合連接,實(shí)現(xiàn)信息交換、路由、分發(fā)、轉(zhuǎn)換等功能。數(shù)據(jù)交換系統(tǒng)主要以消息和異步通訊技術(shù)為手段,面向服務(wù)體系為框架,服務(wù)總線為基礎(chǔ),XML為信息描述語(yǔ)言,實(shí)現(xiàn)各應(yīng)用系統(tǒng)間的集成。
共耳謚瀕—數(shù)據(jù)共享交換由基礎(chǔ)服務(wù)、消息服務(wù)、消息代理服務(wù)三部分組成。共耳謚瀕—數(shù)據(jù)共享交換由基礎(chǔ)服務(wù)、消息服務(wù)、消息代理服務(wù)三部分組成。內(nèi)置安全和目錄管理提供安全認(rèn)證、信息加密傳輸和資源訪問(wèn)控制等功能。同時(shí),提供系統(tǒng)管理工具,實(shí)現(xiàn)系統(tǒng)的分布式遠(yuǎn)程管理和監(jiān)控。數(shù)據(jù)交換系統(tǒng)的主要功能有以下5個(gè)子功能構(gòu)成1.基礎(chǔ)服務(wù)基礎(chǔ)服務(wù)主要包括MBean服務(wù)、SOAP服務(wù)、Web服務(wù)、XML消息封裝、目錄服務(wù)和基于PKI技術(shù)的安全認(rèn)證系統(tǒng)?;A(chǔ)服務(wù)提供用于管理服務(wù)的MBean服務(wù),實(shí)現(xiàn)組件的可管理(包括遠(yuǎn)程管理和部署)。利用Web服務(wù)、SOAP服務(wù)、XML消息封裝實(shí)現(xiàn)基于Web服務(wù)技術(shù)的信息封裝、信息交換和應(yīng)用整合,以服務(wù)描述語(yǔ)言格式封裝業(yè)務(wù)系統(tǒng),對(duì)外提供Web服務(wù)接口?;A(chǔ)服務(wù)提供LDAP或UDDI等目錄服務(wù),實(shí)現(xiàn)服務(wù)的注冊(cè)、查詢、檢索等功能?;A(chǔ)服務(wù)提供符合PKI規(guī)范的安全認(rèn)證系統(tǒng),實(shí)現(xiàn)消息摘要、身份認(rèn)證和消息加密功能;同時(shí),提供和外部安全支撐系統(tǒng)的接口,連接符合PKI規(guī)范的外部安全支撐平臺(tái)。基礎(chǔ)服務(wù)還提供消息隊(duì)列存儲(chǔ)、事務(wù)控制、雙機(jī)熱備、錯(cuò)誤處理等服務(wù),以保障基礎(chǔ)服務(wù)的穩(wěn)定性和可靠性。2.消息服務(wù)消息服務(wù)將數(shù)據(jù)以“點(diǎn)到點(diǎn)(PeertoPeer)”方式或“發(fā)布/訂閱(Pub/Sub)”方式傳送,支持基礎(chǔ)服務(wù)提供的HTTP、HTTPS、RMI、SMTP、SOAP等多種傳輸協(xié)議。消息服務(wù)的主要功能是:支持Web服務(wù)和消息隊(duì)列兩種消息傳輸機(jī)制,保證平臺(tái)對(duì)不同系統(tǒng)的適應(yīng)性;信息以XML格式表示,數(shù)據(jù)交換和傳輸通過(guò)HTTP等傳輸協(xié)議,數(shù)據(jù)打包采用SOAP技術(shù)標(biāo)準(zhǔn)。提供可靠的信息傳輸,支持大規(guī)模信息發(fā)布、消息隊(duì)列的存儲(chǔ)保護(hù)、傳輸確認(rèn)、斷點(diǎn)續(xù)傳、一次性傳輸和消息壓縮傳輸。提供符合PKI規(guī)范的安全信息傳輸功能,支持SSL傳輸、消息報(bào)文和消息內(nèi)容加密等不同級(jí)別的安全保護(hù)措施,支持消息摘要、數(shù)字簽名、消息加密。支持局域網(wǎng)(LAN)和廣域網(wǎng)(WAN)消息通信,支持靜態(tài)和動(dòng)態(tài)IP地址。基于消息軟總線的體系結(jié)構(gòu),利用智能化的信息路由傳輸機(jī)制,動(dòng)態(tài)地實(shí)現(xiàn)點(diǎn)到點(diǎn)、點(diǎn)到多點(diǎn)和多點(diǎn)到多點(diǎn)等不同的信息通信方式,支持多播功能。提供靈活方便的應(yīng)用開(kāi)發(fā)接口,便于二次開(kāi)發(fā);提供易于使用的部署工具,方便系統(tǒng)實(shí)施。提供易于使用的遠(yuǎn)程管理接口和圖形化界面,實(shí)現(xiàn)集中管理。提供和其他消息系統(tǒng)之間的消息傳輸和轉(zhuǎn)換。3.消息代理服務(wù)消息代理服務(wù)提供消息的傳遞、轉(zhuǎn)換、過(guò)濾、映射和路由等功能。根據(jù)設(shè)定的消息格式規(guī)則和轉(zhuǎn)換規(guī)則,進(jìn)行消息格式的轉(zhuǎn)換。同時(shí),根據(jù)消息路由規(guī)則,實(shí)現(xiàn)消息的路由,并將消息傳遞給相應(yīng)的應(yīng)用系統(tǒng)。4.消息轉(zhuǎn)換消息轉(zhuǎn)換根據(jù)轉(zhuǎn)換規(guī)則,實(shí)現(xiàn)不同數(shù)據(jù)存儲(chǔ)格式和表示格式的轉(zhuǎn)換。消息轉(zhuǎn)換規(guī)則支持XSLT語(yǔ)言,用戶可自定義消息傳輸格式。消息傳輸提供圖形化的轉(zhuǎn)換工具,利用圖形化界面,將一種應(yīng)用數(shù)據(jù)格式“映射”到另一種數(shù)據(jù)格式,轉(zhuǎn)換工具能夠自動(dòng)生成轉(zhuǎn)換規(guī)則文件(XSLT文件)。轉(zhuǎn)換功能支持XML和數(shù)據(jù)庫(kù)之間、不同數(shù)據(jù)庫(kù)之間、不同XML之間的轉(zhuǎn)換。轉(zhuǎn)換規(guī)則文件可以動(dòng)態(tài)地部署到數(shù)據(jù)交換系統(tǒng)中。5.消息路由根據(jù)消息路由規(guī)則,消息路由服務(wù)實(shí)現(xiàn)消息在不同的數(shù)據(jù)交換系統(tǒng)之間和不同消息隊(duì)列之間的路由。消息路由支持兩種路由規(guī)則:基于內(nèi)容的路由根據(jù)消息的內(nèi)容,消息路由按照定義的規(guī)則將特定內(nèi)容的消息路由到不同的數(shù)據(jù)交換系統(tǒng)或消息隊(duì)列中?;谙㈩^的路由根據(jù)消息頭中的目的地進(jìn)行消息路由。
數(shù)據(jù)共享交換的交換橋接功能指由各業(yè)務(wù)數(shù)據(jù)庫(kù)(或文件等數(shù)據(jù))到前置交換數(shù)據(jù)庫(kù)(或文件等數(shù)據(jù))之間的信息交換橋接接口,以完成兩個(gè)數(shù)據(jù)庫(kù)(或文件等數(shù)據(jù))之間的在線實(shí)時(shí)交換的系統(tǒng)。之所以采用橋接系統(tǒng)是為了保護(hù)業(yè)務(wù)系統(tǒng)的安全性和獨(dú)立性,信息交換平臺(tái)通過(guò)前置機(jī)與業(yè)務(wù)系統(tǒng)相連,在前置機(jī)上建立交換庫(kù),用于存儲(chǔ)各節(jié)點(diǎn)想外發(fā)布的信息和從其他節(jié)點(diǎn)交換過(guò)來(lái)的信息。橋接功能的實(shí)現(xiàn)可以利用集成中間件提供的編程接口,但業(yè)務(wù)系統(tǒng)接口的編程是必不可少的,必須像適配器提供一個(gè)透明的數(shù)據(jù)提供源。考慮到業(yè)務(wù)系統(tǒng)的復(fù)雜情形,有時(shí)并不一定是提供數(shù)據(jù)接口,也可以是文件的格式,提供給前置交換系統(tǒng),再通過(guò)交換平臺(tái)進(jìn)行傳遞。交換橋交與數(shù)據(jù)交換中心的網(wǎng)絡(luò)系統(tǒng),交換前置機(jī)的操作系統(tǒng)、前置交換數(shù)據(jù)庫(kù)、數(shù)據(jù)交換通訊接口、數(shù)據(jù)交換橋接接口、前置交換安全管理模塊等組成。交換前置機(jī)的主要任務(wù)是由部門(mén)業(yè)務(wù)數(shù)據(jù)庫(kù)到前置交換機(jī)數(shù)據(jù)庫(kù)之間的信息交換橋接接口,以完成兩個(gè)信息庫(kù)之間的在線實(shí)時(shí)交換。數(shù)據(jù)交換前置機(jī)是該系統(tǒng)的重要組成部分,從功能上,可以看作是一個(gè)小型的中轉(zhuǎn)平臺(tái)。數(shù)據(jù)交換前置機(jī)擔(dān)負(fù)著來(lái)自數(shù)據(jù)交換平臺(tái)的數(shù)據(jù)抓取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)封裝和消息監(jiān)聽(tīng)、消息處理等功能。前置交換前置機(jī)交換主要通過(guò)以前置數(shù)據(jù)庫(kù)為載體,實(shí)現(xiàn)與數(shù)據(jù)交換平臺(tái)的橋接。前置交換系統(tǒng)主要通過(guò)交換平臺(tái)傳輸和接收各部門(mén)或委辦局的交換數(shù)據(jù),保證數(shù)據(jù)的安全準(zhǔn)確及時(shí)傳輸。資源初始化提供前置與平臺(tái)中心之間的初始化設(shè)置,通過(guò)初始化可以實(shí)現(xiàn)前置與平臺(tái)中心之間的通信和目錄同步,主要包括前置節(jié)點(diǎn)注冊(cè)、用戶權(quán)限認(rèn)證等相關(guān)服務(wù)。結(jié)構(gòu)化數(shù)據(jù)編目前置編目系統(tǒng)提供對(duì)異構(gòu)數(shù)據(jù)庫(kù)等結(jié)構(gòu)化數(shù)據(jù)進(jìn)行手工或自動(dòng)編目,應(yīng)支持主流數(shù)據(jù)庫(kù),包括:Oracle、DB2、MSSQL、MYSQL等異構(gòu)數(shù)據(jù)庫(kù)。非結(jié)構(gòu)化數(shù)據(jù)編目前置編目系統(tǒng)除了可以對(duì)數(shù)據(jù)庫(kù)等結(jié)構(gòu)化數(shù)據(jù)進(jìn)行編目外,也可以對(duì)非結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行編目,如文件、圖片、視頻等進(jìn)行編目,通過(guò)文件交換系統(tǒng)實(shí)現(xiàn)文件的共享服務(wù)。編目信息查詢提供前置編目信息的查詢服務(wù),支持快速查詢和自定義查詢,可以通過(guò)資源標(biāo)示符、資源名稱、關(guān)鍵字、分類(lèi)方式、編目日期等多種條件進(jìn)行查詢,并支持查詢結(jié)果的目錄詳細(xì)信息查看,從而讓用戶快速定位信息資源位置。編目信息提交提供前置編目信息提交至平臺(tái)中心的服務(wù),編目信息經(jīng)過(guò)提交后在編目中心等待審核人員進(jìn)行審批,并最終發(fā)布。提供編目信息批量發(fā)布功能,并能夠查詢已提交的編目信息。編目信息審核編目信息審核主要提供給編目前置管理員使用,編目信息經(jīng)審核后方能向編目中心提交,在編目信息審核后可以進(jìn)行該條編目信息的查看。編目信息注冊(cè)編目信息注冊(cè)主要提供前端編目信息提交至編目中心的服務(wù),通過(guò)編目信息注冊(cè)服務(wù),前置編目信息會(huì)被注冊(cè)至中心的信息資源目錄中供多個(gè)應(yīng)用單位進(jìn)行目錄訪問(wèn)和資源申請(qǐng)。編目信息管理編目信息管理提供編目信息的修改和刪除功能,前置編目人員可以對(duì)編目的信息進(jìn)行修改,包括編目信息的核心元數(shù)據(jù)項(xiàng)、核心表數(shù)據(jù)項(xiàng)、字段數(shù)據(jù)項(xiàng)等內(nèi)容。修改完畢后,可以對(duì)編目重新進(jìn)行提交、審核和注冊(cè)。同時(shí),前置編目人員也可以通過(guò)編目信息刪除的方式刪除多余的編目信息。交換傳輸交換傳輸提供數(shù)據(jù)同步的監(jiān)控和手動(dòng)執(zhí)行傳輸?shù)墓δ?,其主要是針?duì)系統(tǒng)參數(shù)管理中的參數(shù)進(jìn)行手動(dòng)執(zhí)行傳輸,通過(guò)目錄傳輸,將前置子系統(tǒng)修改的參數(shù)與共享數(shù)據(jù)交換系統(tǒng)進(jìn)行同步。交換管理交換管理提供交換隊(duì)列管理、交換規(guī)則定義等功能,主要包括交換隊(duì)列查詢、交換隊(duì)列管理(添加、刪除、查看、修改)、交換規(guī)則定義等。4.4.資源目錄管理資源目錄管理數(shù)據(jù)庫(kù)用于存儲(chǔ)基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、模型數(shù)據(jù)等平臺(tái)資源的目錄信息。專(zhuān)項(xiàng)資源目錄庫(kù)專(zhuān)項(xiàng)資源目錄庫(kù)是根據(jù)各業(yè)務(wù)平臺(tái)所專(zhuān)屬的資源形成不對(duì)處共享,只應(yīng)用于專(zhuān)屬業(yè)務(wù)平臺(tái)的資源目錄庫(kù)。共享資源目錄庫(kù)共享資源目錄庫(kù)是為了實(shí)現(xiàn)各業(yè)務(wù)平臺(tái)間的資源目錄共享而設(shè)計(jì)的共享資源目錄庫(kù)。各業(yè)務(wù)平臺(tái)所需要的外部資源目錄均通過(guò)各自的數(shù)據(jù)共享接口,根據(jù)資源目錄的應(yīng)用權(quán)限從共享資源目錄庫(kù)中抽取相應(yīng)的共享資源。資源目錄管理目錄生產(chǎn)目錄收集目錄收集是通過(guò)對(duì)各業(yè)務(wù)應(yīng)用平臺(tái)在數(shù)據(jù)采集的過(guò)程中,將采集到的數(shù)據(jù)形成目錄進(jìn)行批量的收集形成資源目錄。目錄生產(chǎn)目錄的生產(chǎn)是相關(guān)權(quán)限的用戶通過(guò)手動(dòng)創(chuàng)建的資源目錄進(jìn)行歸類(lèi)管理。目錄生產(chǎn)包括資源目錄的創(chuàng)建和資源目錄的維護(hù)。元數(shù)據(jù)關(guān)聯(lián)對(duì)采集的數(shù)據(jù)庫(kù)根據(jù)數(shù)據(jù)間的業(yè)務(wù)關(guān)聯(lián)關(guān)系實(shí)現(xiàn)元數(shù)據(jù)的關(guān)聯(lián),通過(guò)元數(shù)據(jù)的關(guān)聯(lián),增加實(shí)體數(shù)據(jù)的維度,將單個(gè)的數(shù)據(jù)擴(kuò)展成行業(yè)信息資源,提高數(shù)據(jù)的價(jià)值。目錄管理目錄審核目錄審核功能是規(guī)范的目錄管理流程,提供合理的確認(rèn)管理流程允許政府信息管理部門(mén)對(duì)各單位用戶錄入的目錄信息進(jìn)行審批確認(rèn),并對(duì)未滿足條件的信息進(jìn)行回退操作,提高信息質(zhì)量。提供批量審核、審批及退回功能:為了提高用戶操作操作效率,簡(jiǎn)化操作流程,系統(tǒng)應(yīng)支持政府信息管理部門(mén)批量審核、審批單位用戶上報(bào)的信息,批量退回未通過(guò)審核的信息。目錄發(fā)布對(duì)審核通過(guò)的目錄數(shù)據(jù),填寫(xiě)有關(guān)的發(fā)布參數(shù)(發(fā)布信息類(lèi)型、更新時(shí)間、優(yōu)先級(jí)等),然后通過(guò)網(wǎng)絡(luò)接口對(duì)外發(fā)布。同時(shí)支持提供以網(wǎng)站方式的目錄發(fā)布和以HTTP+XML接口的形式發(fā)布。以網(wǎng)站形式的目錄發(fā)布是把信息資源目錄以網(wǎng)頁(yè)的形式發(fā)布到網(wǎng)站上。用戶通過(guò)登錄網(wǎng)站訪問(wèn)網(wǎng)頁(yè),查詢和檢索信息資源的目錄信息。用戶根據(jù)需要選擇多種風(fēng)格的網(wǎng)頁(yè)界面模版,美化發(fā)布效果。分系統(tǒng)發(fā)布的目錄資源是和業(yè)務(wù)應(yīng)用相關(guān)的信息內(nèi)容。以HTTP+XML接口的方式進(jìn)行發(fā)布則是其他分系統(tǒng)通過(guò)調(diào)用這套接口實(shí)現(xiàn)目錄資源信息的查詢和檢索等功能。所提供的接口大致包括目錄查詢、安全認(rèn)證等內(nèi)容。目錄權(quán)限管理目錄權(quán)限管理是對(duì)目錄的生產(chǎn)、審核、發(fā)布、利用等操作權(quán)限,根據(jù)用戶的角色、工作職責(zé)等設(shè)置相應(yīng)的權(quán)限,以確保資源目錄的安全性和管理的規(guī)范性。目錄查詢多維度目錄查詢資源目錄信息建立索引劃分為索引信息的規(guī)劃和索引信息的建立。索引信息的規(guī)劃是建立在目錄資源信息元數(shù)據(jù)的基礎(chǔ)上,根據(jù)用戶查詢和檢索的需要,設(shè)定需要建立索引的信息。比如:標(biāo)題、內(nèi)容、類(lèi)型、來(lái)源等;索引信息的建立是在索引信息規(guī)劃的基礎(chǔ)上,根據(jù)數(shù)據(jù)更新的規(guī)則建立索引信息。可以建立的索引信息類(lèi)型有:目錄資源信息的元數(shù)據(jù)中描述性字段文本文件HTML文件Word文件中的文本內(nèi)容Excel文件中的文本內(nèi)容PowerPoint文件中的文本內(nèi)容等索引信息的建立,按照數(shù)據(jù)范圍可以劃分為全文索引信息的建立指定目錄索引信息的建立、全文增量索引信息的建立和指定目錄增量索引信息的建立;按照建立的方式可以劃分為手動(dòng)建立索引信息、定時(shí)建立索引信息和觸發(fā)式建立索引信息。索引信息的建立,按照數(shù)據(jù)范圍劃分全文索引信息的建立。清除原來(lái)所有的索引信息,按照索引信息的規(guī)劃為所有目錄的數(shù)據(jù)建立索引信息。指定目錄索引信息的建立。清除指定目錄原來(lái)所有的索引信息,按照索引信息的規(guī)劃,為指定目錄的數(shù)據(jù)建立索引信息。全文增量索引信息的建立。按照索引信息的規(guī)劃為所有目錄的發(fā)生變化的數(shù)據(jù)建立索引信息。這些數(shù)據(jù)包括刪除的數(shù)據(jù)、新增加的數(shù)據(jù)和發(fā)生改動(dòng)的數(shù)據(jù)。指定目錄增量索引信息的建立。索引信息的建立,按照建立方式劃分手動(dòng)建立索引信息。通過(guò)操作界面建立索引信息。定時(shí)建立索引信息。設(shè)置好建立索引的時(shí)間和周期,建立索引的參數(shù);系統(tǒng)根據(jù)這些設(shè)置自動(dòng)建立索引信息。觸發(fā)式建立索引信息。設(shè)置建立索引的觸發(fā)條件,如:數(shù)據(jù)更新維護(hù)以后設(shè)置建立索引的參數(shù),系統(tǒng)根據(jù)這些設(shè)置在觸發(fā)條件成立的時(shí)候自動(dòng)建立索引信息。列表查詢以列表的方式對(duì)目錄信息進(jìn)行查詢,且查詢到的符合查詢條件目錄信息以音序的順序排列列表方式進(jìn)行呈現(xiàn)。.3.信息資源訪問(wèn)信息資源訪問(wèn)提供對(duì)目錄信息進(jìn)行查詢檢索。點(diǎn)擊信息資源訪問(wèn)進(jìn)入信息資源頁(yè)面,進(jìn)行查看信息資源的詳細(xì)描述。編目管理編目管理包括編目信息發(fā)布、編目信息撤銷(xiāo)和編目狀態(tài)同步操作編目信息發(fā)布主要提供注冊(cè)至編目中心的編目信息的發(fā)布功能(同時(shí)支持批量及指定),在發(fā)布時(shí)可指定允許訪問(wèn)資源或目錄的應(yīng)用單位列表及資源訪問(wèn)權(quán)限要求,通過(guò)編目信息發(fā)布,可以將前置編目信息發(fā)布到全市統(tǒng)一的門(mén)戶中供各級(jí)應(yīng)用單位進(jìn)行檢索、查看和申請(qǐng)針對(duì)無(wú)效的編目信息或需要進(jìn)行下線的目錄信息,系統(tǒng)提供編目信息撤消的功能,該功能可對(duì)已發(fā)布的編目信息進(jìn)行撤消和下線,該編目信息撤消后可重新進(jìn)入待發(fā)布狀態(tài),如需發(fā)布可以重新進(jìn)行發(fā)布編目狀態(tài)同步主要提供平臺(tái)門(mén)戶與后臺(tái)數(shù)據(jù)的手動(dòng)同步功能,系統(tǒng)提供自動(dòng)同步檢測(cè)的功能,能夠自動(dòng)檢測(cè)目錄狀態(tài)不一致的狀況,通過(guò)選對(duì)相應(yīng)的編目數(shù)據(jù)手工進(jìn)行同步,可實(shí)現(xiàn)目錄狀態(tài)的同步修正更新。4.5.元數(shù)據(jù)管理元數(shù)據(jù)通常是指關(guān)于數(shù)據(jù)的數(shù)據(jù)(DataaboutData)。從共享平臺(tái)的角度,是關(guān)于信息資源的描述數(shù)據(jù),主要描述信息資源管理與應(yīng)用所需的核心數(shù)據(jù)。共享平臺(tái)的元數(shù)據(jù)除管理業(yè)務(wù)公用基礎(chǔ)數(shù)據(jù)外,還要管理各個(gè)部門(mén)子系統(tǒng)可以共享數(shù)據(jù)的元數(shù)據(jù),為實(shí)現(xiàn)數(shù)據(jù)的集成提供服務(wù)。元數(shù)據(jù)模型如下圖所示:
元數(shù)據(jù)可以分為資源位置元數(shù)據(jù)、服務(wù)元數(shù)據(jù)、數(shù)據(jù)庫(kù)元數(shù)據(jù)、文件元數(shù)據(jù)四大類(lèi),其中資源位置元數(shù)據(jù)主要描述信息資源所在位置以信息系統(tǒng)為基本單元,包含服務(wù)器和數(shù)據(jù)源;服務(wù)元數(shù)據(jù)主要描述信息系統(tǒng)中服務(wù)器可以提供的服務(wù),如WebService;數(shù)據(jù)庫(kù)元數(shù)據(jù)主要描述數(shù)據(jù)庫(kù)的組成結(jié)構(gòu)及其相互關(guān)系;文件元數(shù)據(jù)主要描述文件數(shù)據(jù)的相關(guān)信息,如類(lèi)型、所有者、創(chuàng)建時(shí)間基于元數(shù)據(jù)模型可以有效地管理信息資源,并為應(yīng)用軟件提供元數(shù)據(jù)驅(qū)動(dòng)的機(jī)制,也就是說(shuō)應(yīng)用軟件通過(guò)元數(shù)據(jù)訪問(wèn)系統(tǒng)的數(shù)據(jù),系統(tǒng)的數(shù)據(jù)的調(diào)整與修改,只需修改元數(shù)據(jù),而無(wú)須修改應(yīng)用軟件。元數(shù)據(jù)管理詳細(xì)功能如下圖所示:元數(shù)據(jù)管理元數(shù)毎定義元魏居存儲(chǔ)元數(shù)扌居維護(hù)元數(shù)據(jù)檢査元數(shù)據(jù)分析元數(shù)據(jù)定義公共信息平臺(tái)的元數(shù)據(jù)定義提供對(duì)核心元數(shù)據(jù)的定義管理,包括核心元數(shù)據(jù)查詢、添加、編輯和刪除功能,同時(shí)提供核心元數(shù)據(jù)詳細(xì)信息查看的功能。元數(shù)據(jù)存儲(chǔ)通過(guò)元數(shù)據(jù)定義功能對(duì)元數(shù)據(jù)進(jìn)行創(chuàng)建和信息完善后形成最終審核后的元數(shù)據(jù)信息并進(jìn)行保存、存儲(chǔ)。在元數(shù)據(jù)存儲(chǔ)過(guò)程中,以元數(shù)據(jù)目錄樹(shù)的形成分級(jí)別進(jìn)行存儲(chǔ),且存儲(chǔ)的元數(shù)據(jù)目錄樹(shù)可導(dǎo)出。元數(shù)據(jù)查詢?cè)诠残畔⑵脚_(tái)應(yīng)用的過(guò)程中,隨著對(duì)元數(shù)據(jù)的逐步增加,將會(huì)形成數(shù)量龐大的元數(shù)信息庫(kù)。在元數(shù)據(jù)管理模塊中,為解決元數(shù)據(jù)快速定位的問(wèn)題,特提供了元數(shù)據(jù)查詢的功能。元數(shù)據(jù)查詢功能可以通過(guò)元數(shù)據(jù)名稱和模糊查詢、元數(shù)據(jù)的類(lèi)別等方式進(jìn)行快速的查找和定位。元數(shù)據(jù)維護(hù)隨著各智慧城市應(yīng)用系統(tǒng)的運(yùn)行,對(duì)于元數(shù)據(jù)的理解也越來(lái)越深入或者對(duì)于有疑問(wèn)或有二義性的元數(shù)據(jù)需要做出相應(yīng)的修改。為解決此類(lèi)問(wèn)題,元數(shù)據(jù)管理模塊提供了元數(shù)據(jù)維護(hù)功能。元數(shù)據(jù)維護(hù)功能是主要是針對(duì)需要進(jìn)行維護(hù)和修改的元數(shù)據(jù)信息。通過(guò)元數(shù)據(jù)維護(hù)功能對(duì)其進(jìn)行完善和維護(hù)。元數(shù)據(jù)檢查元數(shù)據(jù)的名稱、類(lèi)型、基礎(chǔ)信息等屬性信息可以通過(guò)可視化的元數(shù)據(jù)檢查功能進(jìn)行詳細(xì)的檢查。元數(shù)據(jù)檢查功能通過(guò)點(diǎn)擊需要檢查的元數(shù)據(jù),可以顯示出此元數(shù)據(jù)的所有信息及類(lèi)似名稱、類(lèi)似基礎(chǔ)信息的類(lèi)似元數(shù)據(jù)供用戶進(jìn)行關(guān)聯(lián)分析,以對(duì)此元數(shù)據(jù)進(jìn)行檢查。元數(shù)據(jù)分析元數(shù)據(jù)分析是對(duì)元數(shù)據(jù)的類(lèi)型、生成日期,啟用時(shí)間、使用時(shí)長(zhǎng)、利用率、元數(shù)據(jù)用戶等信息進(jìn)行綜合性統(tǒng)計(jì)分析并以圖表的表示方式呈現(xiàn)給元數(shù)據(jù)管理人員查看、分析使用。數(shù)據(jù)資源管理數(shù)據(jù)資源管理模型管理模型管理是通過(guò)可視化的操作界面,由用戶通過(guò)拖拽控件的方式去構(gòu)建專(zhuān)業(yè)的模型設(shè)計(jì)器。包括對(duì)所有的數(shù)據(jù)對(duì)象模型進(jìn)行創(chuàng)建、修改和設(shè)計(jì)等操作。數(shù)據(jù)查詢數(shù)據(jù)查詢功能提供數(shù)據(jù)資源管理中數(shù)據(jù)資源的各種服務(wù)狀態(tài)的查詢,如數(shù)據(jù)信息評(píng)價(jià)、訪問(wèn)量統(tǒng)計(jì)等信息,數(shù)據(jù)信息評(píng)價(jià)主要提供各應(yīng)用單位對(duì)已發(fā)布數(shù)據(jù)信息的評(píng)價(jià)信息查詢功能,訪問(wèn)量統(tǒng)計(jì)能夠根據(jù)各應(yīng)用單位對(duì)該數(shù)據(jù)信息的瀏覽數(shù)量進(jìn)行統(tǒng)計(jì)。過(guò)程信息查詢提供數(shù)據(jù)信息在數(shù)據(jù)資源管理的過(guò)程信息記錄。同步和遷移對(duì)數(shù)據(jù)資源可以通過(guò)同步和遷移操作來(lái)保證數(shù)據(jù)資源的一致性和安全性?,F(xiàn)字段對(duì)應(yīng)、代碼轉(zhuǎn)換、量綱轉(zhuǎn)換、數(shù)據(jù)合并、數(shù)據(jù)拆分等功能數(shù)據(jù)資源的同步即將數(shù)據(jù)源數(shù)據(jù)完成數(shù)據(jù)采集的目錄數(shù)據(jù)通過(guò)數(shù)據(jù)同步實(shí)現(xiàn)數(shù)據(jù)的一致性;數(shù)據(jù)資源的遷移是將數(shù)據(jù)進(jìn)行一次性的批量遷移,以確保數(shù)據(jù)的安全性。導(dǎo)入導(dǎo)出導(dǎo)入導(dǎo)出功能是通過(guò)制定統(tǒng)一的數(shù)據(jù)資源導(dǎo)入模板和數(shù)據(jù)資源
導(dǎo)出模板,完成從不同格式的文件導(dǎo)入數(shù)據(jù)到數(shù)據(jù)中心,以及數(shù)據(jù)到各種格式導(dǎo)出控制。計(jì)劃任務(wù)計(jì)劃任務(wù)通過(guò)數(shù)據(jù)庫(kù)的統(tǒng)一調(diào)用規(guī)則,通過(guò)界面操作的方式設(shè)置計(jì)劃并在指定的時(shí)間運(yùn)行,實(shí)現(xiàn)不同數(shù)據(jù)庫(kù)在同一批處理作業(yè)中的統(tǒng)一調(diào)用。4.7.目錄管理與服務(wù)目錄管理與服務(wù),以目錄方式實(shí)現(xiàn)資源共享,是智慧城市公共信息平臺(tái)實(shí)現(xiàn)信息資源共享的有效手段,使用目錄體系可以以更靈活的方式實(shí)現(xiàn)更多應(yīng)用單位、更多資源的接入與共享。共享信啟庫(kù)目錄內(nèi)容信島庫(kù)信息庫(kù)管理-百靈內(nèi)容管理信息宮信息庫(kù)管理-百靈內(nèi)容管理信息宮共享怕息月妙皿坦輸目錄內(nèi)容服務(wù)戸共享怕息月妙皿坦輸目錄內(nèi)容服務(wù)戸錄警里目錄與需商禺目錄管理與服務(wù)資源目錄服務(wù)資源目錄服務(wù)作為智慧城市公共信息平臺(tái)信息資源目錄體系的載體,采用一種落地的信息共享模式,是對(duì)交換共享模式的補(bǔ)充,在目錄式共享中,各應(yīng)用單位對(duì)各自共享的資源有完整的控制權(quán),可有效地解決交換模式中要求各應(yīng)用單位因擔(dān)心違反相關(guān)規(guī)定不愿意批量提供數(shù)據(jù)的問(wèn)題。通過(guò)構(gòu)建共享信息庫(kù),將各單位需要共享給其他業(yè)務(wù)應(yīng)用的數(shù)據(jù)進(jìn)行匯集并設(shè)置相應(yīng)的應(yīng)用權(quán)限,以保證數(shù)據(jù)的安全性。數(shù)據(jù)共享信息服務(wù)是對(duì)各業(yè)務(wù)應(yīng)用平臺(tái)和手機(jī)APP等應(yīng)用等第三方應(yīng)用系統(tǒng)提供訪問(wèn)系統(tǒng)內(nèi)數(shù)據(jù)的服務(wù)。目錄共享統(tǒng)計(jì)分析目錄共享統(tǒng)計(jì)分析是對(duì)資源目錄對(duì)外部各業(yè)務(wù)應(yīng)用平臺(tái)共享過(guò)程中的各資源目錄的利用次數(shù)、利用率、所涉及的業(yè)務(wù)等數(shù)據(jù)進(jìn)行多維度的統(tǒng)計(jì)分析并以圖表的形式呈現(xiàn)給相關(guān)人員。數(shù)據(jù)訂閱數(shù)據(jù)訂閱是供各業(yè)務(wù)應(yīng)用平臺(tái)訂閱數(shù)據(jù)資源所使用的功能模塊。各業(yè)務(wù)應(yīng)用平臺(tái)在使用共享目錄資源數(shù)據(jù)前,需要先通過(guò)數(shù)據(jù)訂閱模塊將所所需要的資源目錄進(jìn)行訂閱申請(qǐng),待申請(qǐng)審核通過(guò)授權(quán)后,方可在共享數(shù)據(jù)資源目錄中調(diào)用訂閱的數(shù)據(jù)目錄信息。數(shù)據(jù)訂閱功能主要以表訂閱和整合信息訂閱的方式為主,主要包括表訂閱查詢、表訂閱管理、表訂閱審批、表訂閱啟動(dòng)、整合訂閱查詢、整合訂閱管理、整合訂閱審批和整合訂閱啟動(dòng)。4.8.資源統(tǒng)一調(diào)度智能調(diào)度運(yùn)行資源控制優(yōu)先級(jí)管理評(píng)估調(diào)度策略管理調(diào)度全面監(jiān)控作業(yè)告警與錯(cuò)誤反饋任務(wù)調(diào)度配置凋度變更智能調(diào)度運(yùn)行資源控制優(yōu)先級(jí)管理評(píng)估調(diào)度策略管理調(diào)度全面監(jiān)控作業(yè)告警與錯(cuò)誤反饋任務(wù)調(diào)度配置凋度變更任務(wù)調(diào)度配置任務(wù)調(diào)度配置功能主要提供基于機(jī)構(gòu)、用戶、權(quán)限和服務(wù)等方面的綜合配置管理功能,其主要包括資源權(quán)限等級(jí)定義、系統(tǒng)參數(shù)管理、機(jī)構(gòu)環(huán)境管理、用戶角色管理、分類(lèi)方式管理、服務(wù)類(lèi)型查詢和權(quán)限管理等功能。在此,權(quán)限和用戶機(jī)構(gòu)管理均為托管方式,由平臺(tái)運(yùn)維系統(tǒng)中的用戶管理系統(tǒng)進(jìn)行統(tǒng)一權(quán)限認(rèn)證。智能調(diào)度運(yùn)行智能調(diào)度運(yùn)行功能是由系統(tǒng)根據(jù)任務(wù)調(diào)度配置所設(shè)置的調(diào)度任務(wù)在不需要人工干預(yù)的情況下,進(jìn)行智能調(diào)度。智能調(diào)度運(yùn)行功能提供可視化的調(diào)度運(yùn)行狀態(tài)的顯示供用戶進(jìn)行查看任務(wù)的執(zhí)行狀態(tài)及執(zhí)行的詳細(xì)信息。資源控制對(duì)應(yīng)用的信息,包括對(duì)應(yīng)服務(wù),資費(fèi)等進(jìn)行維護(hù)。系統(tǒng)定義每一種業(yè)務(wù)為一種系統(tǒng)支持的服務(wù),每種服務(wù)加上相應(yīng)不同的資費(fèi)策略在系統(tǒng)中定義為應(yīng)用,是用戶可以最終定購(gòu)的。應(yīng)用管理就是對(duì)應(yīng)的分類(lèi)、定義設(shè)置。定義服務(wù)類(lèi)別、服務(wù)子類(lèi)別。服務(wù)提供商發(fā)布應(yīng)用,給平臺(tái)審核;平臺(tái)對(duì)服務(wù)提供商的應(yīng)用進(jìn)行審核,審核通過(guò)的應(yīng)用才能夠被用戶訂購(gòu)使用。應(yīng)用審核包括對(duì)應(yīng)用的服務(wù)、價(jià)格進(jìn)行審核。優(yōu)先級(jí)管理評(píng)估對(duì)資源統(tǒng)一調(diào)度的任務(wù)通過(guò)調(diào)度評(píng)估管理模塊對(duì)任務(wù)的優(yōu)先級(jí)進(jìn)行評(píng)估。完成優(yōu)先級(jí)評(píng)估的任務(wù),在執(zhí)行過(guò)程中,遇到同時(shí)執(zhí)行且數(shù)據(jù)不支持同時(shí)使用的任務(wù),系統(tǒng)將根據(jù)優(yōu)先級(jí)標(biāo)簽按順序提供相應(yīng)的服務(wù)調(diào)度策略管理采用緩存技術(shù),具有良好的可靠性,當(dāng)系統(tǒng)斷電、數(shù)據(jù)源連接斷開(kāi)等情況發(fā)生后,系統(tǒng)具有響應(yīng)的保護(hù)措施,保證消息傳輸不丟失。系統(tǒng)具有故障自主監(jiān)測(cè)配置策略,當(dāng)數(shù)據(jù)轉(zhuǎn)換過(guò)程中出現(xiàn)故障時(shí),系統(tǒng)可以記錄運(yùn)行日志并可以自動(dòng)恢復(fù)。調(diào)度全面監(jiān)控系統(tǒng)提供圖形化監(jiān)控功能,實(shí)現(xiàn)對(duì)數(shù)據(jù)處理各流程的監(jiān)控管理,出現(xiàn)問(wèn)題時(shí)主動(dòng)報(bào)警,便于數(shù)據(jù)管理員及時(shí)處理。作業(yè)告警與錯(cuò)誤反饋資源統(tǒng)一調(diào)度模塊具備完整的作業(yè)告警監(jiān)控和錯(cuò)誤反饋能力。能夠?qū)⒂?jì)算框架的每個(gè)作業(yè)進(jìn)度、狀態(tài)、資源利用情況進(jìn)行監(jiān)控,并通過(guò)可視化圖形界面進(jìn)行展示。作業(yè)告警與錯(cuò)誤反饋模塊提供作業(yè)運(yùn)行狀態(tài)檢測(cè)的功能,通過(guò)周期性巡檢的方式,對(duì)各數(shù)據(jù)采集接口和數(shù)據(jù)服務(wù)的接口進(jìn)行檢測(cè),當(dāng)發(fā)現(xiàn)接口異常時(shí),自動(dòng)記錄日志便于維護(hù)人員進(jìn)行分析。同時(shí),對(duì)于數(shù)據(jù)服務(wù)的接口支持自保護(hù)的功能,當(dāng)接口檢測(cè)發(fā)現(xiàn)數(shù)據(jù)服務(wù)接口異常時(shí),通過(guò)自動(dòng)重啟該接口服務(wù)的方式,快速恢復(fù)數(shù)據(jù)服務(wù)運(yùn)行。調(diào)度變更調(diào)度變更功能是對(duì)資源統(tǒng)一調(diào)度的任務(wù)進(jìn)行維護(hù)、變更的功能模塊。當(dāng)資源統(tǒng)一調(diào)度任務(wù)在長(zhǎng)時(shí)間應(yīng)用的過(guò)程中,遇有突發(fā)情況需要進(jìn)行變更時(shí),通過(guò)調(diào)度變更即可完成資源統(tǒng)一調(diào)度任務(wù)的重新設(shè)置,進(jìn)行相應(yīng)的變更操作。4.9.數(shù)據(jù)質(zhì)量管理4.9.1.數(shù)據(jù)質(zhì)量控制數(shù)據(jù)質(zhì)量規(guī)則配置管理包括對(duì)采集到的數(shù)據(jù)進(jìn)行語(yǔ)法檢查、語(yǔ)義分析、格式轉(zhuǎn)換、持久化存儲(chǔ)等環(huán)節(jié),具體來(lái)說(shuō):語(yǔ)法檢查:根據(jù)數(shù)據(jù)接口規(guī)范的要求,系統(tǒng)對(duì)采集的數(shù)據(jù)進(jìn)行語(yǔ)法檢查。檢查的內(nèi)容主要包括:數(shù)據(jù)格式的正確性、數(shù)據(jù)的完整性、數(shù)據(jù)類(lèi)型的正確性、數(shù)據(jù)是否可空等。如果檢查不通過(guò),則在記錄本批次的數(shù)據(jù)異常信息,以便后續(xù)的分析。語(yǔ)義分析:系統(tǒng)對(duì)采集到的數(shù)據(jù)進(jìn)行語(yǔ)義解析和處理。格式轉(zhuǎn)換:將數(shù)據(jù)從元數(shù)據(jù)模型轉(zhuǎn)換為物理模型可接受的數(shù)據(jù),同時(shí)對(duì)數(shù)據(jù)進(jìn)行統(tǒng)一化處理,轉(zhuǎn)換單位、保留小數(shù)等。持久化存儲(chǔ):對(duì)轉(zhuǎn)換為物理模型的數(shù)據(jù)進(jìn)行數(shù)據(jù)庫(kù)存儲(chǔ)。數(shù)據(jù)質(zhì)量評(píng)估自動(dòng)化評(píng)估根據(jù)數(shù)據(jù)質(zhì)量監(jiān)測(cè)規(guī)則,通過(guò)數(shù)據(jù)質(zhì)量檢測(cè)引擎,對(duì)數(shù)據(jù)表中的增量數(shù)據(jù)進(jìn)行掃描,調(diào)用規(guī)則算法或擴(kuò)展程序進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè),并提供問(wèn)題數(shù)據(jù)庫(kù)的建立、數(shù)據(jù)質(zhì)量報(bào)告的生成、問(wèn)題數(shù)據(jù)的處理、以及對(duì)問(wèn)題數(shù)據(jù)的通報(bào)和反饋來(lái)保證數(shù)據(jù)的質(zhì)量和實(shí)效性等功能。評(píng)估報(bào)告對(duì)采集、交換的數(shù)據(jù)通過(guò)數(shù)據(jù)質(zhì)量控制與自動(dòng)化評(píng)估的過(guò)程中,以電子文件報(bào)告的形式形成評(píng)估報(bào)告供用戶查看。4.9.3.數(shù)據(jù)稽核管理系統(tǒng)采用ETL工具對(duì)數(shù)據(jù)進(jìn)行稽核處理,數(shù)據(jù)稽核管理以配置規(guī)則驅(qū)動(dòng)的方式提供強(qiáng)大的數(shù)據(jù)稽核能力,并且提供了簡(jiǎn)單易用的圖形界面管理器。數(shù)據(jù)稽核管理提供各種數(shù)據(jù)源,包括數(shù)據(jù)庫(kù)、文件、LDAP、WebServcie和RSS等數(shù)據(jù)源和數(shù)據(jù)類(lèi)型,并提供了一組Java接口,可以通過(guò)應(yīng)用控制數(shù)據(jù)稽核的執(zhí)行過(guò)程,并對(duì)執(zhí)行信息和結(jié)果信息進(jìn)行監(jiān)控。
4.10.運(yùn)行監(jiān)控管理運(yùn)行監(jiān)控提供平臺(tái)系統(tǒng)各種注冊(cè)服務(wù)的實(shí)時(shí)監(jiān)控,包括該服務(wù)的狀態(tài)、運(yùn)行時(shí)間,同時(shí)可以對(duì)平臺(tái)監(jiān)控的時(shí)間間隔,是否自動(dòng)啟動(dòng)等參數(shù)進(jìn)行設(shè)置和應(yīng)用。提供對(duì)運(yùn)行平臺(tái)性能(包括CPU、內(nèi)存等使用情況)的監(jiān)控和預(yù)警功能,同時(shí),對(duì)平臺(tái)服務(wù)的各種操作建立日志,并支持日志統(tǒng)計(jì)分析功能。主要監(jiān)控如下所描述:硬盤(pán)性能監(jiān)控:對(duì)集群機(jī)器的硬盤(pán)進(jìn)行監(jiān)控,如下圖所示,詳細(xì)的展示出磁盤(pán)IO的利用率,讀寫(xiě)速度,磁盤(pán)的等待時(shí)間。
二加?二加?.llh數(shù)據(jù)采集過(guò)程監(jiān)控針對(duì)每類(lèi)數(shù)據(jù)采集的過(guò)程組件運(yùn)行的實(shí)時(shí)日志信息可以從運(yùn)行監(jiān)控管理模塊中進(jìn)行查看,便于在數(shù)據(jù)采集過(guò)程組件運(yùn)行中斷時(shí)查找和追蹤原因。4.10.3.監(jiān)控告警4.10.3.監(jiān)控告警當(dāng)公共信息平臺(tái)運(yùn)行出現(xiàn)異常情況時(shí),平臺(tái)能夠通過(guò)監(jiān)控系統(tǒng),對(duì)服務(wù)器節(jié)點(diǎn)宕機(jī)等集群異常、安全異常等異常事件進(jìn)行預(yù)警、報(bào)警,并通過(guò)郵件、短信等報(bào)警手段進(jìn)行告警通知。提供預(yù)制的恢復(fù)規(guī)則和安全規(guī)則,對(duì)集群異常進(jìn)行自動(dòng)修復(fù)、自動(dòng)限制非安全行為的操作。公共信息平臺(tái)能夠通過(guò)對(duì)告警信息的分析,快速定位平臺(tái)內(nèi)部出現(xiàn)故障的節(jié)點(diǎn),對(duì)于因故障無(wú)法繼續(xù)提供服務(wù)器的節(jié)點(diǎn)進(jìn)行標(biāo)記,將平臺(tái)的作業(yè)任務(wù)自動(dòng)分配到其他的節(jié)點(diǎn)上運(yùn)行,同時(shí),公共信息平臺(tái)采用分布式體系結(jié)構(gòu)及無(wú)單點(diǎn)故障設(shè)計(jì),平臺(tái)內(nèi)任何節(jié)點(diǎn)的宕機(jī)都不會(huì)影響平臺(tái)的穩(wěn)定運(yùn)行和業(yè)務(wù)的正常使用。待故障節(jié)點(diǎn)恢復(fù)正常后,再將該節(jié)點(diǎn)納入平臺(tái)的資源中,將作業(yè)任務(wù)分配到恢復(fù)后的節(jié)點(diǎn)上運(yùn)行。日志管理運(yùn)行監(jiān)控日志管理,系統(tǒng)自動(dòng)記錄數(shù)據(jù)訪問(wèn)接口的日志,主要包括接口名稱、接口地址、訪問(wèn)者地址、訪問(wèn)時(shí)間、訪問(wèn)結(jié)果等參數(shù)。同時(shí),系統(tǒng)提供支持管理員對(duì)訪問(wèn)日志進(jìn)行查詢和導(dǎo)出。4.11.接口開(kāi)發(fā)與服務(wù)支持允許開(kāi)發(fā)者或應(yīng)用開(kāi)發(fā)商通過(guò)公共信息平臺(tái)提供的SDK,調(diào)用平臺(tái)提供的服務(wù)(基礎(chǔ)數(shù)據(jù))和自己的業(yè)務(wù)應(yīng)用進(jìn)行集成,或是開(kāi)發(fā)基于公共信息平臺(tái)的應(yīng)用系統(tǒng)。主要提供內(nèi)容包括二次開(kāi)發(fā)包、WebServices等開(kāi)發(fā)支持手段,以滿足不同的開(kāi)發(fā)用戶群需要。4.12.服務(wù)總線ESBESB集成技術(shù)架構(gòu)方案劃分為四個(gè)層面:渠道通迅接入、數(shù)據(jù)交換層、平臺(tái)服務(wù)調(diào)度層、服務(wù)適配層。系統(tǒng)的每個(gè)層次都可進(jìn)行橫向擴(kuò)展,實(shí)際應(yīng)用中系統(tǒng)處理能力可以線性增長(zhǎng)。對(duì)于渠道服務(wù)請(qǐng)求的接入,ESB提供標(biāo)準(zhǔn)的通迅協(xié)議(支持TCP/IP、HTTP、SNA、FTP、MQSeries、JMS等協(xié)議和中間件)和MBSD標(biāo)準(zhǔn)接口規(guī)范,同時(shí)還為請(qǐng)求系統(tǒng)提供服務(wù)請(qǐng)求的API,屏蔽通訊協(xié)議和報(bào)文格式的技術(shù)細(xì)節(jié),能夠提高請(qǐng)求系統(tǒng)的集成開(kāi)發(fā)效率、減少轉(zhuǎn)換適配環(huán)節(jié),同時(shí)還大大加強(qiáng)了總線系統(tǒng)對(duì)接入的控制和管理促進(jìn)了集成應(yīng)用的快速推廣和可靠運(yùn)行。平臺(tái)服務(wù)調(diào)度支持四種模式:(一)、MB通道,用于高時(shí)效性、高一致性、高吞吐能力的服務(wù);(二)、WEBME通道,用于時(shí)效性和一致性要求不高的服務(wù);(三)、服務(wù)代理通道,目標(biāo)架構(gòu)過(guò)渡過(guò)程中,與當(dāng)期集成目標(biāo)無(wú)關(guān),可以采取“穿透”的方式,減少實(shí)施工作量和實(shí)施成本。另外,復(fù)用價(jià)值較低的服務(wù)請(qǐng)求也適合采用“代理模式”;(四)低成本通道,對(duì)于實(shí)時(shí)性要求不高,且信息量大的服務(wù),可采取批量處理模式,降低集成實(shí)施成本及節(jié)省系統(tǒng)資源。所有適配器需要在對(duì)存量系統(tǒng)分析后集成開(kāi)發(fā),ESB集成方案中集成產(chǎn)品的相互訪問(wèn)統(tǒng)一使用MQ隊(duì)列方式。權(quán)限校驗(yàn)每個(gè)服務(wù)都應(yīng)有且僅有一個(gè)服務(wù)提供方提供服務(wù),如果出現(xiàn)同個(gè)服務(wù)有兩個(gè)或多個(gè)系統(tǒng)提供,那就需將服務(wù)分版本管理,采用不同的服務(wù)名;服務(wù)的權(quán)限校驗(yàn)是針對(duì)主動(dòng)發(fā)送類(lèi)服務(wù)而言的(如靜態(tài)數(shù)據(jù)服務(wù)),靜態(tài)類(lèi)數(shù)據(jù)服務(wù)提供方對(duì)外發(fā)送數(shù)據(jù)到了數(shù)據(jù)整合平臺(tái)需校驗(yàn)該系統(tǒng)是否有權(quán)限發(fā)起該服務(wù);校驗(yàn)通過(guò)則進(jìn)入路由服務(wù),檢驗(yàn)失敗則要返回給服務(wù)發(fā)起方一個(gè)反饋信息讓服務(wù)發(fā)起方知曉。服務(wù)治理提供服務(wù)標(biāo)準(zhǔn)定義、服務(wù)封裝、注冊(cè)與發(fā)布等功能,提供位置透明性的服務(wù)路由和定位服務(wù)ESB的服務(wù)接口規(guī)范應(yīng)該基于對(duì)業(yè)務(wù)流程的理解,經(jīng)過(guò)抽象、歸納形成,服務(wù)接口規(guī)范獨(dú)立與現(xiàn)有系統(tǒng)的具體實(shí)現(xiàn),接口規(guī)范具有較強(qiáng)的獨(dú)立性、穩(wěn)定性。從而真正消除請(qǐng)求系統(tǒng)與服務(wù)系統(tǒng)之間的關(guān)聯(lián)關(guān)系,實(shí)現(xiàn)服務(wù)的位置以及服務(wù)的具體實(shí)現(xiàn)與服務(wù)的訪問(wèn)過(guò)程無(wú)關(guān)。我們提供MBSD規(guī)范落地實(shí)施的工具:元數(shù)據(jù)管理,服務(wù)接口定義配置,導(dǎo)入導(dǎo)出工具(可以通過(guò)web頁(yè)面形式和導(dǎo)出文件形式對(duì)外公布),服務(wù)規(guī)范適配的開(kāi)發(fā)框架。我們提供MBSD規(guī)范落地實(shí)施的工具:元數(shù)據(jù)管理,服務(wù)接口定義配置,導(dǎo)入導(dǎo)出工具(可以通過(guò)web頁(yè)面形式和導(dǎo)出文件形式對(duì)外公布),服務(wù)規(guī)范適配的開(kāi)發(fā)框架。提供對(duì)出錯(cuò)服務(wù)的及時(shí)檢測(cè)和隔離功能ESB系統(tǒng)實(shí)時(shí)檢測(cè)服務(wù)系統(tǒng)的服務(wù)狀態(tài),當(dāng)服務(wù)出現(xiàn)異常時(shí),能夠及時(shí)發(fā)現(xiàn),通過(guò)監(jiān)控平臺(tái)發(fā)出報(bào)警,通過(guò)人工手段或預(yù)先設(shè)定的規(guī)則,對(duì)狀態(tài)異常的服務(wù)或服務(wù)系統(tǒng)進(jìn)行迅速隔離,避免因故障導(dǎo)致服務(wù)阻塞,保證請(qǐng)求系統(tǒng)對(duì)其他服務(wù)的正常訪問(wèn)。協(xié)議轉(zhuǎn)換不同的業(yè)務(wù)系統(tǒng)可能會(huì)使用不同的協(xié)議傳遞消息,ESB平臺(tái)提供不同的接口類(lèi)型以適應(yīng)不同的入口協(xié)議或者出口,協(xié)議的轉(zhuǎn)換在ESB平臺(tái)的內(nèi)部封裝完成,不需要在接入系統(tǒng)做相關(guān)修改。該平臺(tái)支持的協(xié)議包括WEBSERVICE和JMS。支持外部系統(tǒng)通過(guò)TCP/IP、HTTP、SNA、FTP、MQSeries、JMS等協(xié)議和中間件與ESB平臺(tái)通訊。一般情況下,請(qǐng)求系統(tǒng)使用ESB系統(tǒng)提供的API,按照ESB系統(tǒng)的技術(shù)標(biāo)準(zhǔn)和服務(wù)規(guī)范進(jìn)行服務(wù)訪問(wèn),從而避免不必要的協(xié)議轉(zhuǎn)換開(kāi)銷(xiāo)。但是對(duì)于請(qǐng)求系統(tǒng)無(wú)法
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 制造業(yè)車(chē)間安全生產(chǎn)操作規(guī)程手冊(cè)
- 千兆光纜施工方案(3篇)
- 水上拱橋施工方案(3篇)
- 企業(yè)數(shù)據(jù)隱私保護(hù)制度實(shí)施方案
- 2026年物流自動(dòng)化倉(cāng)儲(chǔ)創(chuàng)新報(bào)告與智能調(diào)度分析報(bào)告
- 滾杠運(yùn)輸施工方案(3篇)
- 應(yīng)急預(yù)案快遞公司(3篇)
- 剛性填埋場(chǎng)施工方案(3篇)
- 應(yīng)急預(yù)案云平臺(tái)(3篇)
- 展臺(tái)應(yīng)急預(yù)案范文(3篇)
- 2026廣東廣州開(kāi)發(fā)區(qū)統(tǒng)計(jì)局(廣州市黃埔區(qū)統(tǒng)計(jì)局)招聘市商業(yè)調(diào)查隊(duì)隊(duì)員1人考試備考試題及答案解析
- 餐飲服務(wù)儀容儀表及禮貌培訓(xùn)
- 惠州市惠陽(yáng)區(qū)(2025年)社工崗位考試題目及答案
- 2026年遼寧現(xiàn)代服務(wù)職業(yè)技術(shù)學(xué)院?jiǎn)握新殬I(yè)技能筆試參考題庫(kù)帶答案解析
- (2025年)病理學(xué)試題及答案
- 貴州省貴陽(yáng)市普通中學(xué)2024-2025學(xué)年高二上學(xué)期語(yǔ)文期末試卷(含答案)
- 廣西醫(yī)療機(jī)構(gòu)病歷書(shū)寫(xiě)規(guī)范與治理規(guī)定(第三版)
- 雨課堂在線學(xué)堂《項(xiàng)目管理概論》作業(yè)單元考核答案
- GB/T 96.2-2002大墊圈C級(jí)
- 第九章-第一節(jié)-美洲概述
- GB/T 13004-2016鋼質(zhì)無(wú)縫氣瓶定期檢驗(yàn)與評(píng)定
評(píng)論
0/150
提交評(píng)論