工程編號(hào)：RJ20150020設(shè)計(jì)方案氣象數(shù)據(jù)一體化信息效勞平臺(tái)設(shè)計(jì)方案2016年1月南京助事達(dá)軟件科技目錄TOC\o"1-4"\h\z\u1概述31.1背景與預(yù)期31.2建設(shè)內(nèi)容42設(shè)計(jì)方案52.1系統(tǒng)架構(gòu)52.1.1.平臺(tái)總體架構(gòu)圖52.1.2.數(shù)據(jù)流概覽62.2分布式解析引擎62.2.1.分布式解析引擎概述62.2.2.分布式解析設(shè)計(jì)架構(gòu)72.3氣象分布式數(shù)據(jù)庫(kù)設(shè)計(jì)122.3.1.氣象一體化平臺(tái)分布式數(shù)據(jù)庫(kù)設(shè)計(jì)概述122.3.2.分布式數(shù)據(jù)庫(kù)設(shè)計(jì)架構(gòu)152.4氣象資料云效勞引擎172.4.1.應(yīng)用授權(quán)機(jī)制172.4.2.授權(quán)認(rèn)證機(jī)制172.4.3.效勞請(qǐng)求根底參數(shù)體系建立172.5效勞版本管理體系建立182.5.1.版本管理設(shè)計(jì)182.5.2.建立效勞A(yíng)PI幫助文檔181概述背景與預(yù)期針對(duì)以往根底數(shù)據(jù)庫(kù)建設(shè)分散、標(biāo)準(zhǔn)不統(tǒng)一、效勞能力差等問(wèn)題，按照“系統(tǒng)集成，數(shù)據(jù)集中，資源集約，功能完善，突出特色”的思路，經(jīng)過(guò)兩年半的努力，依托江蘇預(yù)報(bào)業(yè)務(wù)一體化平臺(tái)工程建設(shè)，初步建成全省統(tǒng)一的根底數(shù)據(jù)環(huán)境，有效提高了信息資源的利用率和數(shù)據(jù)效勞能力，為本省率先實(shí)現(xiàn)氣象現(xiàn)代化提供了有力支撐。信息中心在全省氣象信息業(yè)務(wù)建設(shè)的根底上，先后出臺(tái)幾十項(xiàng)標(biāo)準(zhǔn)或標(biāo)準(zhǔn)，為一體化體系提供標(biāo)準(zhǔn)支撐，完善了我省氣象信息的標(biāo)準(zhǔn)標(biāo)準(zhǔn)體系；優(yōu)化數(shù)據(jù)傳輸流程，時(shí)效性可靠性提升顯著，省內(nèi)區(qū)域自動(dòng)站可實(shí)現(xiàn)60秒內(nèi)、雷達(dá)數(shù)據(jù)8分鐘之內(nèi)、省際共享上海市區(qū)域自動(dòng)站100秒內(nèi)到達(dá)預(yù)報(bào)員桌面；通過(guò)“軟CAST”同步機(jī)制，省市間數(shù)據(jù)實(shí)現(xiàn)了秒級(jí)流轉(zhuǎn)；完成了自動(dòng)站、土壤水份、精細(xì)化等50多類(lèi)數(shù)據(jù)的解析入庫(kù)，數(shù)據(jù)解析的種類(lèi)和覆蓋范圍在不斷擴(kuò)充，確保了數(shù)據(jù)的完整性、一致性。架設(shè)全省云平臺(tái)實(shí)現(xiàn)硬件資源的統(tǒng)一管理與分配，到達(dá)資源集約化、應(yīng)用多樣化的目標(biāo)。為進(jìn)一步提高和增強(qiáng)氣象數(shù)據(jù)效勞能力，科學(xué)準(zhǔn)確的做好數(shù)據(jù)效勞工作，結(jié)合前期預(yù)報(bào)業(yè)務(wù)一體化平臺(tái)使用和市縣推廣應(yīng)用情況，在氣象數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)應(yīng)用方面，提出諸多改良措施和方案，旨在不斷的提高氣象數(shù)據(jù)效勞能力和質(zhì)量。建設(shè)內(nèi)容根據(jù)江蘇氣象現(xiàn)代化開(kāi)展的需求，在現(xiàn)有工作根底上，進(jìn)一步完善全省根底資源配置和管理，開(kāi)展智能化、個(gè)性化的根底數(shù)據(jù)環(huán)境信息效勞平臺(tái)的設(shè)計(jì)和開(kāi)發(fā)，繼續(xù)優(yōu)化各類(lèi)根底資料的收集處理流程，做好統(tǒng)一數(shù)據(jù)環(huán)境在市縣的推廣應(yīng)用，著手開(kāi)展適合本省的實(shí)時(shí)質(zhì)量控制方法研究和質(zhì)控系統(tǒng)的設(shè)計(jì)和開(kāi)發(fā)工作，提高數(shù)據(jù)效勞質(zhì)量。通過(guò)建立團(tuán)隊(duì)協(xié)作機(jī)制，聯(lián)合進(jìn)行數(shù)據(jù)處理和信息技術(shù)應(yīng)用開(kāi)發(fā)，建立數(shù)據(jù)標(biāo)準(zhǔn)；完成實(shí)時(shí)/歷史數(shù)據(jù)庫(kù)設(shè)計(jì)、解碼和入庫(kù)。2設(shè)計(jì)方案系統(tǒng)架構(gòu)平臺(tái)總體架構(gòu)圖圖表SEQ圖表\*ARABIC1平臺(tái)總體架構(gòu)圖數(shù)據(jù)流概覽圖表SEQ圖表\*ARABIC2數(shù)據(jù)流概覽分布式解析引擎分布式解析引擎概述氣象資料的來(lái)源有多種，包括上百種類(lèi)型的氣象資料報(bào)文、各個(gè)業(yè)務(wù)系統(tǒng)產(chǎn)出的氣象效勞產(chǎn)品、來(lái)自于CIMISS的數(shù)據(jù)資料等等。由于資料種類(lèi)繁多、場(chǎng)地分散、解析入庫(kù)方式及質(zhì)量參差不齊等等各種問(wèn)題的存在，同樣為了滿(mǎn)足集中管理、統(tǒng)一標(biāo)準(zhǔn)的業(yè)務(wù)目標(biāo)需求，我們最終使用了氣象數(shù)據(jù)分布式解析引擎來(lái)實(shí)現(xiàn)其各種功能。分布式解析設(shè)計(jì)架構(gòu)圖表SEQ圖表\*ARABIC3分布式解析設(shè)計(jì)架構(gòu)分布式解析云的核心主要由四個(gè)局部組成：解析云效勞主要通過(guò)實(shí)時(shí)發(fā)布遠(yuǎn)程對(duì)象的方式為各個(gè)功能域提供分進(jìn)程間信息共享平臺(tái)。共享的遠(yuǎn)程對(duì)象主要包括：報(bào)文資源文件夾監(jiān)控對(duì)象、分布式解析器運(yùn)行時(shí)對(duì)象、效勞全局控制對(duì)象、智能化解析配置對(duì)象、全局報(bào)文解析組件適配對(duì)象等。實(shí)質(zhì)：遠(yuǎn)程對(duì)象以信道作為發(fā)布渠道，來(lái)進(jìn)行客戶(hù)端和效勞器之間的通信。信道包括客戶(hù)端的信道局部和效勞器的信道局部。發(fā)布的內(nèi)容以消息作為載體，消息包含遠(yuǎn)程對(duì)象的信息、被調(diào)用方法的名稱(chēng)以及所有的參數(shù)。圖表SEQ圖表\*ARABIC4分布式客戶(hù)端與效勞間通信原理報(bào)文資源文件夾監(jiān)控對(duì)象：每種資源文件都存儲(chǔ)在一個(gè)或多個(gè)文件夾中，當(dāng)有新的文件參加時(shí)解析云自動(dòng)將待解析的文件參加到解析資源池〔即任務(wù)隊(duì)列〕。當(dāng)分布式解析器中有存在空閑的解析器時(shí)，此解析器那么會(huì)自動(dòng)向效勞申請(qǐng)一個(gè)解析任務(wù)。之后，當(dāng)一個(gè)任務(wù)被解析器處理完畢后，其就會(huì)從任務(wù)隊(duì)列中自動(dòng)刪除，同時(shí)將相對(duì)應(yīng)的原始數(shù)據(jù)文件自動(dòng)移動(dòng)到已處理文件目錄下面。分布式解析器運(yùn)行時(shí)對(duì)象：每個(gè)報(bào)文解析器分別部署在一個(gè)或多個(gè)效勞器上，那么各個(gè)解析器運(yùn)行狀態(tài)的管理就十分的重要。為了滿(mǎn)足全局監(jiān)控，定向管理的目標(biāo)，云解析平臺(tái)將分布式解析器運(yùn)行時(shí)對(duì)象作為各功能域內(nèi)部可見(jiàn)的全局對(duì)象進(jìn)行發(fā)布。即各個(gè)解析器運(yùn)行后自動(dòng)向云效勞發(fā)送注冊(cè)請(qǐng)求，云效勞接受請(qǐng)求后那么將此解析器參加到解析器隊(duì)列中用于后期的監(jiān)控及管理。效勞全局控制對(duì)象：主要負(fù)責(zé)效勞的啟動(dòng)、暫停、重啟以及重新加載配置文件等工作。智能化解析配置對(duì)象：此對(duì)象主要為分布式解析引擎提供解析知識(shí)庫(kù)，為了實(shí)現(xiàn)解析組件的可插拔我們將智能解析配置對(duì)象也作為全局對(duì)象進(jìn)行發(fā)布?？梢詮脑平馕龉芾砥髦袑?duì)其內(nèi)容進(jìn)行更改，更改后云效勞自動(dòng)通知各個(gè)解析器接下來(lái)的解析工作使用新的解析知識(shí)庫(kù)進(jìn)行報(bào)文識(shí)別及智能解析。全局報(bào)文解析組件適配對(duì)象：為了使報(bào)文的識(shí)別實(shí)現(xiàn)動(dòng)態(tài)化擴(kuò)展，我們將解析適配器對(duì)象進(jìn)行全局發(fā)布，當(dāng)云解析管理器對(duì)解析適配器信息進(jìn)行更改后云解析效勞將自動(dòng)應(yīng)用新的解析適配方案。所有的分布式解析器都使用云解析效勞提供的統(tǒng)一解析適配器進(jìn)行解析適配工作，所以當(dāng)云效勞的適配器方案改變后各個(gè)解析器自動(dòng)使用新的方案進(jìn)行適配工作。云解析管理器云解析管理器是云解析效勞的一個(gè)客戶(hù)端，主要用于輔助云解析效勞工作，為云解析效勞提供可視化操作界面。如云解析效勞提供的各個(gè)實(shí)時(shí)對(duì)象的管理及運(yùn)行時(shí)參數(shù)的維護(hù)管理等工作都在云解析器中進(jìn)行操作。如報(bào)文解析組件適配信息配置、智能化解析知識(shí)庫(kù)配置、分布式客戶(hù)端監(jiān)控、資源池監(jiān)控、解析組件配置、數(shù)據(jù)源配置、運(yùn)行日志管理等。分布式解析引擎分布式解析引擎是云解析效勞的運(yùn)算核心，所有類(lèi)型的數(shù)據(jù)都通過(guò)此引擎進(jìn)行解析運(yùn)算。報(bào)文解析引擎由三大支撐組件〔數(shù)據(jù)類(lèi)型識(shí)別組件、智能化解析組件和解析組件適配器〕和解析組件池組成。數(shù)據(jù)類(lèi)型識(shí)別組件：數(shù)據(jù)類(lèi)型識(shí)別組件主要對(duì)當(dāng)前申請(qǐng)到的解析資源進(jìn)行自動(dòng)識(shí)別，主要通過(guò)數(shù)據(jù)文件名、數(shù)據(jù)段特殊標(biāo)記以及其他特性化配置方式進(jìn)行識(shí)別。數(shù)據(jù)類(lèi)型被識(shí)別后向解析引擎反應(yīng)此文件的解析適配標(biāo)識(shí)。解析組件適配器：解析組件適配器主要將數(shù)據(jù)類(lèi)型識(shí)別組件反應(yīng)的解析適配標(biāo)識(shí)進(jìn)行適配，并從解析組件工廠(chǎng)中構(gòu)造一個(gè)適合此適配標(biāo)記的解析組件智能化解析組件：智能化解析組件主要將智能解析知識(shí)庫(kù)中的信息翻譯成解析器能夠識(shí)別的信息結(jié)構(gòu)，并將此信息結(jié)構(gòu)提供應(yīng)解析組件進(jìn)行報(bào)文解析。解析組件池：由一系列報(bào)文解析組件組成，如重要天氣報(bào)解析組件、A文件解析組件、高空資料解析組件、自動(dòng)站解析組件等等。每個(gè)解析組件都遵從解析引擎的報(bào)文解析流程，最終完成報(bào)文的解析。報(bào)文解析流程如下：圖表SEQ圖表\*ARABIC5報(bào)文解析流程分布式解析器分布式報(bào)文解析器主要有如下幾個(gè)特性：1.分布式:即此解析器可以在多臺(tái)效勞器上同時(shí)運(yùn)行，同樣也可以在一臺(tái)效勞器上運(yùn)行多個(gè)實(shí)例。2.可擴(kuò)展性:解析器中搭載的是解析組件引擎，而解析組件隊(duì)列可在遠(yuǎn)程效勞中直接獲取，所以當(dāng)云解析效勞更新組件配置或參加新的解析組件時(shí)各個(gè)解析器同時(shí)受益。3.并行計(jì)算:每個(gè)解析器的都在獨(dú)立的進(jìn)程中進(jìn)行運(yùn)算，所以當(dāng)多個(gè)解析器同時(shí)對(duì)解析任務(wù)池中的任務(wù)進(jìn)行解析時(shí)大大縮短了解析的時(shí)間縮短，提高解析效率。4.可管理性:每個(gè)解析組件運(yùn)行后首先會(huì)注冊(cè)到解析云效勞，同時(shí)解析云效勞會(huì)將此信息反應(yīng)給解析效勞管理器，管理器收到信息后將此解析組件參加到本地的可視化解析組件管理列表中，對(duì)其進(jìn)行實(shí)施監(jiān)控。當(dāng)一個(gè)解析器出錯(cuò)或強(qiáng)行退出時(shí)，解析云自動(dòng)注銷(xiāo)其消息訂閱事件，并通知解析云效勞管理器，管理器從管理列表中將此解析器移除，或提醒管理員此解析器已下線(xiàn)。氣象分布式數(shù)據(jù)庫(kù)設(shè)計(jì)氣象一體化平臺(tái)分布式數(shù)據(jù)庫(kù)設(shè)計(jì)概述從目前江蘇省氣象信息的數(shù)據(jù)結(jié)構(gòu)及分布情況分析，我們的數(shù)據(jù)屬于異構(gòu)數(shù)據(jù)庫(kù)。即現(xiàn)有的數(shù)據(jù)使用了多個(gè)DBMS，如SQLServer，Oracle等。由于各種氣象資料較為繁雜，存儲(chǔ)的數(shù)據(jù)結(jié)構(gòu)也不盡相同。所以我們建立的分布式數(shù)據(jù)庫(kù)管理架構(gòu)不但要解決分布式存儲(chǔ)的問(wèn)題還需要解決異構(gòu)數(shù)據(jù)庫(kù)的問(wèn)題。本架構(gòu)設(shè)計(jì)的核心原理是通過(guò)分布式數(shù)據(jù)效勞全局共享數(shù)據(jù)節(jié)點(diǎn)索引對(duì)象。并使用分布式數(shù)據(jù)庫(kù)管理引擎來(lái)對(duì)各個(gè)數(shù)據(jù)節(jié)點(diǎn)進(jìn)行高效的存取操作。數(shù)據(jù)索引需要建立在一個(gè)全局共同遵守的標(biāo)準(zhǔn)之上，這個(gè)標(biāo)準(zhǔn)中規(guī)定了在不同數(shù)據(jù)分片場(chǎng)景下各個(gè)數(shù)據(jù)節(jié)點(diǎn)應(yīng)共同包含或通過(guò)邏輯映射的方式包含相應(yīng)的屬性。如在水平分片場(chǎng)景下，各個(gè)數(shù)據(jù)節(jié)點(diǎn)應(yīng)共同擁有日期屬性，日期屬性可分為〔年、月、旬、候、時(shí)間〕等多個(gè)分類(lèi)方式。如同屬于年分類(lèi)的場(chǎng)景下，那么需要共同擁有年屬性。如在垂直分片場(chǎng)景下，各個(gè)數(shù)據(jù)節(jié)點(diǎn)應(yīng)共同擁有要素類(lèi)型屬性。分布式存儲(chǔ)的核心問(wèn)題是對(duì)數(shù)據(jù)分片和數(shù)據(jù)分配方式，分片的方式分為水平分片、垂直分片、導(dǎo)出分片和混合分片。水平分片：即按一定的條件把全局關(guān)系的所有元組劃分成假設(shè)干不相交的子集，每個(gè)子集為關(guān)系的一個(gè)片段。根據(jù)分析我們可以通過(guò)時(shí)間節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行水平分片。垂直分片：即把一個(gè)全局關(guān)系的屬性集分成假設(shè)干子集，并在這些子集上作投影運(yùn)算，每個(gè)投影稱(chēng)為垂直分片。如我們可以通過(guò)氣象要素進(jìn)行空間的垂直分片。導(dǎo)出分片：又稱(chēng)為導(dǎo)出水平分片，即水平分片的條件不是本關(guān)系屬性的條件，而是其他關(guān)系屬性的條件。我們一般在特殊的數(shù)據(jù)應(yīng)用場(chǎng)景中使用此分片方式。如對(duì)數(shù)據(jù)按站點(diǎn)所在的城市為條件進(jìn)行數(shù)據(jù)分片，因站點(diǎn)所在的城市這個(gè)屬性一般不在要素根本屬性中存在，而是在站點(diǎn)信息關(guān)系表中存在，那么此種分片那么稱(chēng)為導(dǎo)出分片?；旌戏制壕C合了以上三種分片方式進(jìn)行數(shù)據(jù)分片。數(shù)據(jù)分配方式分為：集中式、分割式、全復(fù)制式和混合式。根據(jù)氣象數(shù)據(jù)的特點(diǎn)我們建議采用分割式的數(shù)據(jù)分配方式，即所有數(shù)據(jù)只有一份，它被分割成假設(shè)干邏輯片段，每個(gè)邏輯片段被指派在一個(gè)特定的場(chǎng)地上。同時(shí)效勞器的磁盤(pán)陣列使用冗余磁盤(pán)陣列(RAID)的方式進(jìn)行管理，并建議使用RAID10〔即RAID0+1〕。虛擬化技術(shù)虛擬化是一種資源管理技術(shù)，是將計(jì)算機(jī)的各種實(shí)體資源，如效勞器、網(wǎng)絡(luò)、內(nèi)存及存儲(chǔ)等，予以抽象、轉(zhuǎn)換后呈現(xiàn)出來(lái)，打破實(shí)體結(jié)構(gòu)間的不可切割的障礙，使用戶(hù)可以比原本的組態(tài)更好的方式來(lái)應(yīng)用這些資源。這些資源的新虛擬部份是不受現(xiàn)有資源的架設(shè)方式，地域或物理組態(tài)所限制。一般所指的虛擬化資源包括計(jì)算能力和資料存儲(chǔ)。在實(shí)際的生產(chǎn)環(huán)境中，虛擬化技術(shù)主要用來(lái)解決高性能的物理硬件產(chǎn)能過(guò)剩和老的舊的硬件產(chǎn)能過(guò)低的重組重用，透明化底層物理硬件，從而最大化的利用物理硬件。因?yàn)槲覀冃枰獙?shù)據(jù)節(jié)點(diǎn)存儲(chǔ)在多個(gè)場(chǎng)地上，為了節(jié)約硬件產(chǎn)品，并充分利用硬件的計(jì)算資源以及存儲(chǔ)資源，我們可以將一臺(tái)工作站虛擬成多個(gè)存儲(chǔ)場(chǎng)地。分布式數(shù)據(jù)庫(kù)設(shè)計(jì)架構(gòu)圖表SEQ圖表\*ARABIC6分布式數(shù)據(jù)庫(kù)總體設(shè)計(jì)方案分布式數(shù)據(jù)庫(kù)的核心模塊分為：分布式數(shù)據(jù)庫(kù)通訊效勞(CM)、分布式數(shù)據(jù)庫(kù)管理器(DDBMS)、云存儲(chǔ)接口(CloudDataAPI)、DataClient、DataQueryStandardLib和DataSaveStandardLib。分布式數(shù)據(jù)庫(kù)通訊效勞:負(fù)責(zé)在分布式數(shù)據(jù)庫(kù)的各場(chǎng)地之間傳送全局對(duì)象、消息和數(shù)據(jù)，完成通信功能。圖表SEQ圖表\*ARABIC7分布式查詢(xún)核心原理圖核心的全局對(duì)象是分布式數(shù)據(jù)索引對(duì)象(DataIndexStruct)，每個(gè)分布式客戶(hù)端上線(xiàn)后將自動(dòng)注冊(cè)到分布式數(shù)據(jù)庫(kù)通訊效勞，通訊效勞自動(dòng)將其參加到DistributedClientStack中，同時(shí)根據(jù)客戶(hù)端報(bào)送的數(shù)據(jù)節(jié)點(diǎn)名稱(chēng)，效勞自動(dòng)為其初始化局部數(shù)據(jù)庫(kù)數(shù)據(jù)索引對(duì)象，并將關(guān)鍵索引存儲(chǔ)為HashTable的key-value模式。并為其訂閱全局?jǐn)?shù)據(jù)檢索和數(shù)據(jù)保存事件等，當(dāng)有數(shù)據(jù)檢索請(qǐng)求時(shí)，效勞通過(guò)并行化編程技術(shù)使所有分布式客戶(hù)端同時(shí)處理此事件，當(dāng)某個(gè)分布式客戶(hù)端處理發(fā)現(xiàn)本地索引中無(wú)相關(guān)key或不滿(mǎn)足其數(shù)據(jù)分片條件時(shí)那么直接退出響應(yīng)。如果相關(guān)條件都在其索引范圍內(nèi)，那么進(jìn)行本地化數(shù)據(jù)查詢(xún)操作，并將結(jié)果以DataSet的形式返回至事件源。所有并行流程執(zhí)行完成后事件源將DataSet集反應(yīng)給查詢(xún)者。分布式數(shù)據(jù)庫(kù)管理系統(tǒng)(DDBMS)：分布式數(shù)據(jù)庫(kù)管理系統(tǒng)主要用于氣象資料云效勞引擎應(yīng)用授權(quán)機(jī)制即每一個(gè)接入效勞的應(yīng)用都需要申請(qǐng)一個(gè)AppKey，此Key對(duì)應(yīng)著一套數(shù)據(jù)訪(fǎng)問(wèn)授權(quán)，同時(shí)記錄應(yīng)用名稱(chēng)、開(kāi)發(fā)者、軟件功能等信息。授權(quán)認(rèn)證機(jī)制即所有效勞請(qǐng)求都必須提交AppKey，請(qǐng)求的數(shù)據(jù)訪(fǎng)問(wèn)權(quán)限都必須在此AppKey的權(quán)限框架下。所有數(shù)據(jù)請(qǐng)求到達(dá)效勞器端后進(jìn)入統(tǒng)一的認(rèn)證通道，認(rèn)證通過(guò)后效勞通過(guò)相關(guān)的請(qǐng)求參數(shù)反應(yīng)相應(yīng)的數(shù)據(jù)，否那么提示應(yīng)用請(qǐng)求認(rèn)證失敗。效勞請(qǐng)求根底參數(shù)體系建立為標(biāo)準(zhǔn)化管理，每一個(gè)效勞請(qǐng)求應(yīng)能夠包含局部根底請(qǐng)求參數(shù)，如區(qū)域來(lái)源〔如地區(qū)標(biāo)記〕、資料類(lèi)型、返回值類(lèi)型〔JSON、XML、其他格式文件〕、等。效勞版本管理體系建立為保障效勞的可擴(kuò)展性以及效勞的兼容性，必須建立完善的版本管理體系。版本管理設(shè)計(jì)為保障后期效勞功能的升級(jí)不會(huì)影響前期的使用，每一個(gè)效勞的升級(jí)都對(duì)應(yīng)一個(gè)不同的版本號(hào)。升級(jí)后的效勞和升級(jí)前的