農(nóng)業(yè)大數(shù)據(jù)管理平臺(tái)項(xiàng)目建設(shè)方案農(nóng)業(yè)信息化解決方案2021年5月目錄TOC\o"1-3"\h\u27854一、項(xiàng)目背景 410598二、項(xiàng)目現(xiàn)狀 6840三、項(xiàng)目主要目標(biāo) 729009四、項(xiàng)目建設(shè)內(nèi)容 829722（一）農(nóng)業(yè)大數(shù)據(jù)基礎(chǔ)平臺(tái)增強(qiáng)擴(kuò)建 813511、大數(shù)據(jù)存儲(chǔ)平臺(tái)擴(kuò)容 8175562、增加對(duì)流數(shù)據(jù)的支持 8122573、增強(qiáng)對(duì)內(nèi)存計(jì)算的支持 9116034、大數(shù)據(jù)基礎(chǔ)平臺(tái)的部署實(shí)施 91565（二）農(nóng)業(yè)大數(shù)據(jù)元數(shù)據(jù)管理系統(tǒng)建設(shè) 968591、完善大數(shù)據(jù)業(yè)務(wù)術(shù)語(yǔ)的業(yè)務(wù)定義詞庫(kù) 921302、加強(qiáng)元數(shù)據(jù)的采集、存儲(chǔ)和集中管理 10253383、新增開(kāi)發(fā)數(shù)據(jù)集成交換子系統(tǒng) 1014200（三）農(nóng)業(yè)大數(shù)據(jù)專項(xiàng)數(shù)據(jù)庫(kù)建設(shè) 1125098（四）農(nóng)業(yè)專項(xiàng)大數(shù)據(jù)分析及應(yīng)用 13107221、增強(qiáng)大數(shù)據(jù)分析功能 13319112、大數(shù)據(jù)應(yīng)用集成。 14170563、大數(shù)據(jù)移動(dòng)應(yīng)用終端開(kāi)發(fā)。 14159514、大數(shù)據(jù)分析模型完善。 152339（五）大數(shù)據(jù)分析模型研究及應(yīng)用 15150871、農(nóng)業(yè)自然災(zāi)害大數(shù)據(jù)分析模型(包括災(zāi)害預(yù)測(cè)模型、災(zāi)害評(píng)估模型) 15191682、農(nóng)業(yè)生產(chǎn)領(lǐng)域大數(shù)據(jù)分析模型（包括：種植品種、結(jié)構(gòu)模型、產(chǎn)量和面積預(yù)測(cè)模型） 16221443、大數(shù)據(jù)環(huán)境下的數(shù)據(jù)安全研究 16161164、農(nóng)業(yè)產(chǎn)業(yè)扶貧大數(shù)據(jù)分析模型（產(chǎn)業(yè)結(jié)構(gòu)與脫貧模式關(guān)聯(lián)分析模型、產(chǎn)業(yè)扶貧市場(chǎng)風(fēng)險(xiǎn)和自然風(fēng)險(xiǎn)評(píng)估模型，產(chǎn)業(yè)扶貧與生態(tài)環(huán)境更新分析模型） 1727274五、項(xiàng)目總體架構(gòu) 1825636六、項(xiàng)目技術(shù)架構(gòu) 1916560七、系統(tǒng)非功能設(shè)計(jì) 1921424八、項(xiàng)目建設(shè)和管理 21

項(xiàng)目背景“十三五”以來(lái)，我國(guó)農(nóng)業(yè)信息化建設(shè)取得長(zhǎng)足發(fā)展，先后完成“金農(nóng)工程”一期網(wǎng)絡(luò)平臺(tái)建設(shè)和多個(gè)農(nóng)業(yè)應(yīng)用系統(tǒng)的建設(shè)，有力地推動(dòng)農(nóng)業(yè)產(chǎn)業(yè)現(xiàn)代化的發(fā)展。但是隨著業(yè)務(wù)系統(tǒng)不斷增加，應(yīng)用范圍不斷擴(kuò)大，應(yīng)用環(huán)境變得日益復(fù)雜，信息共享矛盾日益加重。特別是現(xiàn)有應(yīng)用系統(tǒng)(包括規(guī)劃中的系統(tǒng))之間，與國(guó)家農(nóng)業(yè)遙感數(shù)據(jù)、農(nóng)業(yè)氣象數(shù)據(jù)、植保與測(cè)土施肥數(shù)據(jù)、農(nóng)業(yè)經(jīng)濟(jì)地理數(shù)據(jù)、國(guó)際開(kāi)放的農(nóng)業(yè)數(shù)據(jù)庫(kù)、農(nóng)業(yè)本體庫(kù)、農(nóng)業(yè)知識(shí)庫(kù)共享以及大量智能服務(wù)系統(tǒng)之間實(shí)現(xiàn)共享、利用和互操作的要求越來(lái)越迫切。但是現(xiàn)有信息資源由于缺少統(tǒng)一資源表達(dá)與操作標(biāo)準(zhǔn)，信息異質(zhì)、異構(gòu)、分散、重復(fù)，傳統(tǒng)單一接口模式很難實(shí)現(xiàn)數(shù)據(jù)信息的共享，因此也很難發(fā)揮農(nóng)業(yè)信息資源的集成效用,“信息孤島”情況日趨嚴(yán)重。這種農(nóng)業(yè)信息化資源建設(shè)“碎片化”問(wèn)題嚴(yán)重制約了我國(guó)農(nóng)業(yè)信息化建設(shè)向縱深發(fā)展。按照《全國(guó)農(nóng)業(yè)農(nóng)村信息化發(fā)展“十三五”規(guī)劃》、《全國(guó)農(nóng)業(yè)農(nóng)村信息化發(fā)展規(guī)劃（2019—2025年）》、《農(nóng)業(yè)部關(guān)于加快推進(jìn)農(nóng)業(yè)信息化的意見(jiàn)》、《XXX政府系統(tǒng)電子政務(wù)“十三五”規(guī)劃》的要求的精神，以云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、現(xiàn)代通訊技術(shù)為依托，建立XXX農(nóng)業(yè)云數(shù)據(jù)管理平臺(tái)，實(shí)現(xiàn)全區(qū)農(nóng)業(yè)資源數(shù)據(jù)的集中采集、轉(zhuǎn)換、傳輸、交換、存儲(chǔ)。并在此基礎(chǔ)上建立統(tǒng)一應(yīng)用服務(wù)接口標(biāo)準(zhǔn)，為全區(qū)農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)管理應(yīng)用系統(tǒng)、農(nóng)業(yè)服務(wù)應(yīng)用系統(tǒng)、農(nóng)業(yè)電子政務(wù)應(yīng)用系統(tǒng)提供統(tǒng)一應(yīng)用支撐，同時(shí)為政府其它部門(mén)應(yīng)用系統(tǒng)、農(nóng)業(yè)行業(yè)應(yīng)用系統(tǒng)、個(gè)人應(yīng)用系統(tǒng)提供數(shù)據(jù)接口服務(wù)。基于云計(jì)算、大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)的農(nóng)業(yè)數(shù)據(jù)管理平臺(tái)的建設(shè)從根本上解決農(nóng)業(yè)信息建設(shè)中的“信息孤島”以及農(nóng)業(yè)信息“碎片化”問(wèn)題，使農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)管理和服務(wù)模式發(fā)生質(zhì)的轉(zhuǎn)變，為促進(jìn)現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)化、智慧化發(fā)展奠定基礎(chǔ)。從應(yīng)用條件上來(lái)看，XXX農(nóng)業(yè)信息化建設(shè)已具備建設(shè)數(shù)據(jù)統(tǒng)一存儲(chǔ)、管理、交換的農(nóng)業(yè)數(shù)據(jù)管理平臺(tái)技術(shù)的條件。具體包括：一是經(jīng)多年建設(shè)，目前農(nóng)業(yè)數(shù)據(jù)中心的硬件網(wǎng)絡(luò)環(huán)境和應(yīng)用系統(tǒng)已具備一定的運(yùn)維能力。二是組織編制了《XXX農(nóng)業(yè)信息化工程基礎(chǔ)數(shù)據(jù)集標(biāo)準(zhǔn)》。三是建立了完整的農(nóng)情信息采集體系和農(nóng)業(yè)信息采集監(jiān)測(cè)系統(tǒng)并已投入使用。四是農(nóng)業(yè)協(xié)同辦公系統(tǒng)已投入使用，并在農(nóng)業(yè)廳本級(jí)機(jī)關(guān)、直屬機(jī)構(gòu)以及區(qū)、市、縣三級(jí)農(nóng)業(yè)管理部門(mén)中全面鋪開(kāi)。五是自治區(qū)農(nóng)業(yè)示范基地的物聯(lián)網(wǎng)應(yīng)用取得成功，正在組全區(qū)推廣使用。六是完成了地籍信息空間地理信息系統(tǒng)開(kāi)發(fā)，正組織進(jìn)行數(shù)據(jù)采集工作。七是已完成多功能應(yīng)用會(huì)議大廳和視頻會(huì)議系統(tǒng)的升級(jí)擴(kuò)建工程。八是XXX農(nóng)業(yè)云和大數(shù)據(jù)管理項(xiàng)目已立項(xiàng)，預(yù)計(jì)2022年完成一期工程的建設(shè)。

項(xiàng)目現(xiàn)狀1、2014以來(lái)，初步完成XXX農(nóng)業(yè)云數(shù)據(jù)中心建設(shè)，率先建立全國(guó)第一個(gè)省級(jí)農(nóng)業(yè)混合云平臺(tái)，百分之九十應(yīng)用遷移到云平臺(tái)上運(yùn)行；開(kāi)發(fā)覆蓋全區(qū)的農(nóng)業(yè)協(xié)同辦公平臺(tái)、農(nóng)情監(jiān)測(cè)及災(zāi)害預(yù)警云平臺(tái)、大宗農(nóng)產(chǎn)品地籍地理信息系統(tǒng)、業(yè)物聯(lián)網(wǎng)監(jiān)測(cè)管理示范基地、農(nóng)產(chǎn)品價(jià)格監(jiān)測(cè)預(yù)警平臺(tái)、農(nóng)業(yè)產(chǎn)業(yè)扶貧管理系統(tǒng)等一批農(nóng)業(yè)信息化應(yīng)用及示范項(xiàng)目并先后投入使用；率先完成農(nóng)業(yè)信息化工程標(biāo)準(zhǔn)體系建設(shè)和相關(guān)標(biāo)準(zhǔn)的編制。2、XXX農(nóng)業(yè)信息化工程數(shù)據(jù)集標(biāo)準(zhǔn)已被XXX質(zhì)量技術(shù)監(jiān)督局批準(zhǔn)為XXX地方標(biāo)準(zhǔn)，預(yù)計(jì)2017年8月正式發(fā)布。3、2015年建設(shè)全國(guó)第一個(gè)省級(jí)農(nóng)業(yè)大數(shù)據(jù)平臺(tái)，存儲(chǔ)和計(jì)算節(jié)點(diǎn)10個(gè)。平臺(tái)采用Hadoop生態(tài)系統(tǒng)相關(guān)技術(shù)，包括：Hdfs、Hbase、Hive、Sqoop、Kafka、Flume、impala。初步建立了集數(shù)據(jù)采集、傳輸、存儲(chǔ)、計(jì)算、分析、預(yù)警、預(yù)測(cè)、共享機(jī)制,建立了10個(gè)專項(xiàng)數(shù)據(jù)庫(kù)，收錄了超過(guò)300個(gè)數(shù)據(jù)集5000項(xiàng)指標(biāo)，范圍涉及農(nóng)業(yè)政務(wù)、農(nóng)業(yè)資源、農(nóng)業(yè)生產(chǎn)、涉農(nóng)資金項(xiàng)目、農(nóng)業(yè)氣象、農(nóng)業(yè)環(huán)保、農(nóng)產(chǎn)品市場(chǎng)流通和貿(mào)易、農(nóng)業(yè)生產(chǎn)資料、農(nóng)業(yè)科技服務(wù)、農(nóng)業(yè)產(chǎn)業(yè)扶貧、農(nóng)業(yè)產(chǎn)業(yè)規(guī)劃等領(lǐng)域，數(shù)據(jù)采集集量已超過(guò)20億條，清下加工正式入庫(kù)超過(guò)3億條，格式包括結(jié)構(gòu)化、半結(jié)構(gòu)化（如：地理空間數(shù)據(jù)、傳感器數(shù)據(jù)）和非結(jié)構(gòu)化數(shù)據(jù)（電子文檔、圖片、音視頻）在內(nèi)的數(shù)據(jù)存儲(chǔ)量已達(dá)到200+TB；在查詢分析應(yīng)用方面，初步建立了數(shù)據(jù)查詢可視化應(yīng)用，開(kāi)發(fā)并完成了農(nóng)情監(jiān)測(cè)、農(nóng)產(chǎn)品價(jià)格監(jiān)測(cè)預(yù)警模型及農(nóng)業(yè)生產(chǎn)、農(nóng)產(chǎn)品市場(chǎng)流通貿(mào)易相關(guān)的幾十個(gè)專題分析、預(yù)測(cè)應(yīng)用模型,特別是甘蔗、熱帶水果等專項(xiàng)大數(shù)據(jù)分析應(yīng)用已初見(jiàn)成效。目前大數(shù)據(jù)平臺(tái)已初步應(yīng)用到農(nóng)情、農(nóng)業(yè)生產(chǎn)、農(nóng)業(yè)氣象、災(zāi)害預(yù)測(cè)和評(píng)估、智慧農(nóng)業(yè)、農(nóng)產(chǎn)品質(zhì)量安全、農(nóng)產(chǎn)品電子商務(wù)、農(nóng)業(yè)生自然資源和態(tài)環(huán)境監(jiān)測(cè)、農(nóng)業(yè)科技服務(wù)、農(nóng)業(yè)產(chǎn)業(yè)扶貧、政府決策支持等領(lǐng)域。項(xiàng)目主要目標(biāo)進(jìn)一步明確農(nóng)業(yè)數(shù)據(jù)共享的邊界和使用方式，完善現(xiàn)有元數(shù)據(jù)標(biāo)準(zhǔn)，完成覆蓋XXX農(nóng)業(yè)全領(lǐng)域數(shù)據(jù)采集、共享元數(shù)據(jù)管理系統(tǒng)建設(shè)，為農(nóng)業(yè)大數(shù)據(jù)采集、共享提供基礎(chǔ)支撐。 縱向上建立覆蓋全區(qū)各級(jí)農(nóng)業(yè)主管部門(mén)、農(nóng)業(yè)企業(yè)的數(shù)據(jù)采集和交換平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)采集和發(fā)布的上下貫通；橫向上接入自治區(qū)電子政務(wù)數(shù)據(jù)交換平臺(tái)，實(shí)現(xiàn)跨部門(mén)的數(shù)據(jù)交換和共享。進(jìn)一步完善和增強(qiáng)專業(yè)數(shù)據(jù)庫(kù)建設(shè)，在現(xiàn)有專業(yè)數(shù)據(jù)庫(kù)基礎(chǔ)之上，完善和完成農(nóng)業(yè)植保、農(nóng)業(yè)土肥、農(nóng)業(yè)環(huán)保、農(nóng)業(yè)生產(chǎn)資料、農(nóng)業(yè)自然災(zāi)害、農(nóng)業(yè)氣象、大宗農(nóng)產(chǎn)品地籍信息、農(nóng)業(yè)農(nóng)村經(jīng)濟(jì)、農(nóng)產(chǎn)品質(zhì)量安全、農(nóng)業(yè)產(chǎn)業(yè)扶貧、涉農(nóng)資金項(xiàng)目、農(nóng)業(yè)科技服務(wù)和教育培訓(xùn)等專項(xiàng)數(shù)據(jù)庫(kù)建設(shè)并收錄相關(guān)歷史數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)化管理和查詢。 增強(qiáng)大數(shù)據(jù)分析建設(shè)，拓展大數(shù)據(jù)應(yīng)用領(lǐng)域，積極開(kāi)展大數(shù)據(jù)應(yīng)用創(chuàng)新，為農(nóng)業(yè)生產(chǎn)經(jīng)營(yíng)管理、監(jiān)管、農(nóng)業(yè)政策制定、農(nóng)業(yè)產(chǎn)業(yè)規(guī)劃提供數(shù)據(jù)支撐。通過(guò)和大學(xué)、科研院所、企業(yè)合作，建立“產(chǎn)、學(xué)、研”一體化的科研和轉(zhuǎn)換體系，積極開(kāi)展農(nóng)業(yè)大數(shù)據(jù)基礎(chǔ)理論和應(yīng)用創(chuàng)新研究，開(kāi)展政府和社會(huì)資本合作（PPP模式）的制度初步設(shè)計(jì)探索和研究，形成一批高水平的科研成果，為XXX農(nóng)業(yè)產(chǎn)業(yè)現(xiàn)代化建設(shè)提供決策支持。項(xiàng)目建設(shè)內(nèi)容農(nóng)業(yè)大數(shù)據(jù)基礎(chǔ)平臺(tái)增強(qiáng)擴(kuò)建大數(shù)據(jù)存儲(chǔ)平臺(tái)擴(kuò)容在現(xiàn)有10個(gè)節(jié)點(diǎn)基礎(chǔ)之上新增10個(gè)節(jié)點(diǎn)，新增節(jié)點(diǎn)包括：1個(gè)數(shù)據(jù)采集節(jié)點(diǎn)、3個(gè)存儲(chǔ)計(jì)算節(jié)點(diǎn)（Hadoop、Spark），5個(gè)實(shí)時(shí)分析節(jié)點(diǎn)(Druid),1個(gè)應(yīng)用服務(wù)器節(jié)點(diǎn)(與原來(lái)1個(gè)節(jié)點(diǎn)組織成集群）。增加對(duì)流數(shù)據(jù)的支持通過(guò)引入新的流式大數(shù)據(jù)處理框架SparkStreaming,使原有的大數(shù)據(jù)平臺(tái)能夠?qū)崟r(shí)處理大數(shù)據(jù)流，對(duì)動(dòng)態(tài)產(chǎn)生的數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算并及時(shí)反饋結(jié)果，并可實(shí)時(shí)分享和提供各類數(shù)據(jù)，不僅使得處理的數(shù)據(jù)量大為增加,也使得數(shù)據(jù)更多地以半結(jié)構(gòu)化和非結(jié)構(gòu)化的形態(tài)呈現(xiàn)。流式大數(shù)據(jù)處理框架可用于處理以下各類數(shù)據(jù)：網(wǎng)絡(luò)監(jiān)控?cái)?shù)據(jù)、農(nóng)業(yè)傳感器數(shù)據(jù)、氣象監(jiān)控?cái)?shù)據(jù)等。對(duì)流數(shù)據(jù)的處理主要包括三個(gè)階段：數(shù)據(jù)采集階段、數(shù)據(jù)計(jì)算階段、數(shù)據(jù)展示階段。在數(shù)據(jù)采集階段，需保證可以完整的收集到所有流形數(shù)據(jù)，為實(shí)時(shí)應(yīng)用提供實(shí)時(shí)數(shù)據(jù)，響應(yīng)時(shí)間上要保證實(shí)時(shí)性、低延遲在1秒左右；在數(shù)據(jù)計(jì)算階段，需在流數(shù)據(jù)不斷變化的運(yùn)動(dòng)過(guò)程中實(shí)時(shí)地進(jìn)行分析，捕捉到可能對(duì)用戶有用的信息；在數(shù)據(jù)展示階段，使用HBase等以分布式文件系統(tǒng)（HDFS）為基礎(chǔ)的NoSQL數(shù)據(jù)庫(kù)提供數(shù)據(jù)實(shí)時(shí)查詢服務(wù)，由這些系統(tǒng)進(jìn)行持久化操作。增強(qiáng)對(duì)內(nèi)存計(jì)算的支持增強(qiáng)內(nèi)存分布數(shù)據(jù)集支持，提供交互式查詢，優(yōu)化迭代工作負(fù)載,提高數(shù)據(jù)的計(jì)算效率從而提升業(yè)務(wù)處理效率,以滿足開(kāi)發(fā)大型的、低延遲的數(shù)據(jù)分析應(yīng)用的需要。通過(guò)快速的分析使大規(guī)模數(shù)據(jù)產(chǎn)生價(jià)值，同時(shí)內(nèi)存計(jì)算也為機(jī)器學(xué)習(xí)提供了必要的運(yùn)算基礎(chǔ)。引入通用并行計(jì)算框架Spark，增強(qiáng)內(nèi)存計(jì)算，實(shí)現(xiàn)對(duì)大數(shù)據(jù)集的秒級(jí)延遲，并與原有hadoop實(shí)現(xiàn)無(wú)縫結(jié)合。要求不僅在性能方面進(jìn)行提升，還為批處理（SparkCore），交互式（SparkSQL），流式（SparkStreaming），機(jī)器學(xué)習(xí)（MLlib），圖計(jì)算（GraphX）等提供一個(gè)統(tǒng)一的數(shù)據(jù)處理平臺(tái)。此外，將上游的HiveETL流程遷移至Spark，充分運(yùn)用Spark的功效完成對(duì)數(shù)據(jù)的ETL生產(chǎn)，用于上層應(yīng)用的快速訪問(wèn)。大數(shù)據(jù)基礎(chǔ)平臺(tái)的部署實(shí)施包括平臺(tái)升級(jí)、擴(kuò)容、部署和維云工作。維運(yùn)工作按照服務(wù)承諾年限執(zhí)行。農(nóng)業(yè)大數(shù)據(jù)元數(shù)據(jù)管理系統(tǒng)建設(shè) 完善大數(shù)據(jù)業(yè)務(wù)術(shù)語(yǔ)的業(yè)務(wù)定義詞庫(kù)創(chuàng)建一個(gè)體現(xiàn)關(guān)鍵大數(shù)據(jù)業(yè)務(wù)術(shù)語(yǔ)的業(yè)務(wù)定義詞庫(kù)（本體），該業(yè)務(wù)定義詞庫(kù)不僅僅包含結(jié)構(gòu)化數(shù)據(jù)，還可以將半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)納入其中。加強(qiáng)元數(shù)據(jù)的采集、存儲(chǔ)和集中管理根據(jù)XXX農(nóng)業(yè)信息化及大數(shù)據(jù)平臺(tái)前期基礎(chǔ)數(shù)據(jù)建設(shè)具體情況，繼續(xù)梳理農(nóng)業(yè)各部門(mén)及相關(guān)部門(mén)的管理和業(yè)務(wù)數(shù)據(jù)，形成統(tǒng)一的農(nóng)業(yè)數(shù)據(jù)采集元數(shù)據(jù)標(biāo)準(zhǔn)，創(chuàng)建一個(gè)體現(xiàn)關(guān)鍵大數(shù)據(jù)業(yè)務(wù)術(shù)語(yǔ)的元數(shù)據(jù)庫(kù)，該元數(shù)據(jù)庫(kù)不僅包含結(jié)構(gòu)化數(shù)據(jù)，還可以將半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)納入其中。元數(shù)據(jù)在局部產(chǎn)生和獲取，最終采集的元數(shù)據(jù)將通過(guò)手工集中錄入到大數(shù)據(jù)管理平臺(tái)進(jìn)行統(tǒng)一存儲(chǔ)，使得元數(shù)據(jù)在整個(gè)農(nóng)業(yè)行業(yè)層面可被感知和搜索，極大地方便了獲取和查找元數(shù)據(jù)。局部元數(shù)據(jù)的修改完成后將被廣播給其他人。此外，對(duì)元數(shù)據(jù)進(jìn)行分類（基于主題領(lǐng)域的層次結(jié)構(gòu)），方便用戶對(duì)元數(shù)據(jù)的檢索和共享。新增開(kāi)發(fā)數(shù)據(jù)集成交換子系統(tǒng)縱向上建立覆蓋全區(qū)各級(jí)農(nóng)業(yè)主管部門(mén)、農(nóng)業(yè)企業(yè)的數(shù)據(jù)采集和交換平臺(tái)，實(shí)現(xiàn)數(shù)據(jù)采集和發(fā)布的上下貫通；橫向上接入自治區(qū)電子政務(wù)數(shù)據(jù)交換平臺(tái)，實(shí)現(xiàn)跨部門(mén)的數(shù)據(jù)交換和共享。主要功能包括：1)數(shù)據(jù)交換和共享目錄發(fā)布管理：與元數(shù)據(jù)管理結(jié)合實(shí)現(xiàn)數(shù)據(jù)交換和共享發(fā)布和目錄服務(wù)管理。2)數(shù)據(jù)交換和共享服務(wù)注冊(cè)管理：實(shí)現(xiàn)數(shù)據(jù)交換和共享服務(wù)的注冊(cè)功能，使數(shù)據(jù)交換和共享服務(wù)透明化，減小數(shù)據(jù)交換和共享的復(fù)雜度，提高數(shù)據(jù)交換和共享服務(wù)效率。3)數(shù)據(jù)交換和共享元數(shù)據(jù)上傳管理：與元數(shù)據(jù)管理結(jié)合實(shí)現(xiàn)元數(shù)據(jù)上傳功能，并自動(dòng)產(chǎn)生元數(shù)據(jù)更新請(qǐng)求，經(jīng)過(guò)審核后更新相應(yīng)元數(shù)據(jù)。4)支持異構(gòu)數(shù)據(jù)交換和共享：支持各種結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)(如：文檔、圖片、音視頻)、空間地理數(shù)據(jù)、流數(shù)據(jù)（如：網(wǎng)絡(luò)監(jiān)控?cái)?shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、衛(wèi)星遙感監(jiān)控?cái)?shù)據(jù)）的交換和共享。支持各種關(guān)系數(shù)據(jù)庫(kù)、文檔數(shù)據(jù)庫(kù)、文件系統(tǒng)、NoSQL數(shù)據(jù)源，并根據(jù)要求自動(dòng)轉(zhuǎn)換。5)與自治區(qū)電子政務(wù)數(shù)據(jù)交換平臺(tái)對(duì)接：實(shí)現(xiàn)與自治區(qū)電子政務(wù)數(shù)據(jù)交換平臺(tái)的對(duì)接，實(shí)現(xiàn)農(nóng)業(yè)數(shù)據(jù)與自治區(qū)政府及其它職能部門(mén)的數(shù)據(jù)交換和共享。農(nóng)業(yè)大數(shù)據(jù)專項(xiàng)數(shù)據(jù)庫(kù)建設(shè)建立統(tǒng)一的農(nóng)業(yè)數(shù)據(jù)資源子系統(tǒng)，將前期的專項(xiàng)數(shù)據(jù)庫(kù)子系統(tǒng)善并納入其中，這些轉(zhuǎn)項(xiàng)數(shù)據(jù)包括：農(nóng)業(yè)植保數(shù)據(jù)庫(kù)、農(nóng)業(yè)土肥數(shù)據(jù)庫(kù)、農(nóng)業(yè)環(huán)保數(shù)據(jù)庫(kù)、農(nóng)業(yè)生產(chǎn)資料數(shù)據(jù)庫(kù)、農(nóng)業(yè)自然災(zāi)害數(shù)據(jù)庫(kù)(增強(qiáng)）、農(nóng)業(yè)氣象數(shù)據(jù)庫(kù)、大宗農(nóng)產(chǎn)品地籍信息(增強(qiáng)）、農(nóng)產(chǎn)品市場(chǎng)及貿(mào)易數(shù)據(jù)庫(kù)(增強(qiáng)）、農(nóng)業(yè)農(nóng)村經(jīng)濟(jì)數(shù)據(jù)庫(kù)、農(nóng)產(chǎn)品質(zhì)量安全數(shù)據(jù)庫(kù)、農(nóng)業(yè)產(chǎn)業(yè)扶貧數(shù)據(jù)庫(kù)、涉農(nóng)資金項(xiàng)目數(shù)據(jù)庫(kù)、農(nóng)業(yè)科技服務(wù)和教育培訓(xùn)數(shù)據(jù)庫(kù)(增強(qiáng)）。主要功能包括：(1）數(shù)據(jù)集管理：實(shí)現(xiàn)數(shù)據(jù)集元數(shù)據(jù)管理、包括名稱、分類、時(shí)間范圍、來(lái)源、作者、索引關(guān)鍵字、結(jié)構(gòu)、版本、訪問(wèn)權(quán)限等基本信息管理。(2）數(shù)據(jù)存儲(chǔ)管理：包括表結(jié)構(gòu)、存儲(chǔ)格式、存儲(chǔ)位置、容量、權(quán)限控制等信息的管理。(3）數(shù)據(jù)采集管理：包括數(shù)據(jù)的ETL采集、交換系統(tǒng)采集、人工填報(bào)、數(shù)據(jù)上傳等管理等功能。支持各種數(shù)據(jù)源及各種格式的數(shù)據(jù)，如：結(jié)構(gòu)化數(shù)據(jù)、地理空間數(shù)據(jù)、各種半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)（文檔、電子表格、多媒體數(shù)據(jù)等）。支持大數(shù)據(jù)MapReduce批量運(yùn)算和實(shí)時(shí)運(yùn)行結(jié)果轉(zhuǎn)儲(chǔ)功能。(4）數(shù)據(jù)質(zhì)量管理：支持?jǐn)?shù)據(jù)質(zhì)量自動(dòng)邏輯審核和人工審核，支持問(wèn)題的數(shù)據(jù)的自動(dòng)定位、通知和報(bào)告生成功能。(5）數(shù)據(jù)發(fā)布和數(shù)據(jù)共享管理：實(shí)現(xiàn)數(shù)據(jù)的發(fā)布功能。提供數(shù)據(jù)發(fā)布接口，可以將數(shù)據(jù)發(fā)布到門(mén)戶網(wǎng)站，其它業(yè)務(wù)系統(tǒng)也可以通過(guò)接口查詢和檢索到需要的數(shù)據(jù)，支持?jǐn)?shù)據(jù)的訂閱和推送功能。支持?jǐn)?shù)據(jù)的下載功能，下載格式包括：csv格式化文本、電子表格、pdf等。(6）數(shù)據(jù)全文檢索：支持?jǐn)?shù)據(jù)全文檢索功能。(7）數(shù)據(jù)可視化功能：支持利用GIS地圖、表格、圖表實(shí)現(xiàn)數(shù)據(jù)集的可視化展示，支持各種圖表格式的切換展示功能。(8）農(nóng)產(chǎn)品單品種大數(shù)據(jù)建設(shè)：依托XXX優(yōu)勢(shì)特色產(chǎn)業(yè)，開(kāi)展單品種全產(chǎn)業(yè)鏈大數(shù)據(jù)建設(shè)，建立完善的數(shù)據(jù)采集、數(shù)據(jù)分析和數(shù)據(jù)服務(wù)機(jī)制，增強(qiáng)生產(chǎn)經(jīng)營(yíng)的科學(xué)決策能力。在原有大數(shù)據(jù)采集平臺(tái)已完成主糧食、經(jīng)濟(jì)作物農(nóng)產(chǎn)品生產(chǎn)數(shù)據(jù)、市場(chǎng)流通數(shù)據(jù)采集基礎(chǔ)之上，挑選蔗糖、香蕉、芒果農(nóng)產(chǎn)品單品種進(jìn)行試點(diǎn)，完成單品種全產(chǎn)業(yè)鏈大數(shù)據(jù)的采集、傳輸、清洗、存儲(chǔ)、共享、分析應(yīng)用的建設(shè)。農(nóng)業(yè)專項(xiàng)大數(shù)據(jù)分析及應(yīng)用增強(qiáng)大數(shù)據(jù)分析功能1)引入Elasticsearch全文搜索引擎，加強(qiáng)數(shù)據(jù)檢索功能：基于原有Hadoop架構(gòu)，提供分布式多用戶能力的大數(shù)據(jù)全文搜索引擎，可在短時(shí)間內(nèi)實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化海量數(shù)據(jù)的存儲(chǔ)、索引建立、檢索、統(tǒng)計(jì)、過(guò)濾等功能，達(dá)到實(shí)時(shí)、穩(wěn)定、可靠、快速，支持通過(guò)HTTP使用JSON進(jìn)行數(shù)據(jù)索引。2)引入并開(kāi)發(fā)OLAP引擎，支持對(duì)大數(shù)據(jù)的OLAP分析：為了解決大數(shù)據(jù)系統(tǒng)中TB級(jí)別數(shù)據(jù)的數(shù)據(jù)分析需求,引入用于支持大數(shù)據(jù)生態(tài)圈數(shù)據(jù)分析業(yè)務(wù)的OLAP引擎，與原有Hadoop無(wú)縫結(jié)合。利用MOLAPcube（立方體）技術(shù)，提供Hadoop之上的SQL查詢接口及多維分析（OLAP）能力以支持超大規(guī)模數(shù)據(jù)，實(shí)現(xiàn)在亞秒內(nèi)查詢巨大的Hive表。3)引入Druid分布式系統(tǒng)，實(shí)現(xiàn)大數(shù)據(jù)實(shí)時(shí)統(tǒng)計(jì)分析查詢：農(nóng)業(yè)行中存成大量的實(shí)時(shí)數(shù)據(jù)，如農(nóng)業(yè)傳感器數(shù)據(jù)、氣象數(shù)據(jù)、遙感數(shù)據(jù)，隨著大數(shù)據(jù)平臺(tái)建設(shè)的不斷推進(jìn)，Hadoop平臺(tái)中實(shí)時(shí)數(shù)據(jù)以幾何級(jí)數(shù)的速度增長(zhǎng)，如果實(shí)時(shí)地利用這些數(shù)據(jù)指導(dǎo)農(nóng)業(yè)生產(chǎn)、防災(zāi)減災(zāi)是一個(gè)巨大的挑戰(zhàn)。引入Druid就是為了解決在使用Hadoop進(jìn)行查詢時(shí)所遇見(jiàn)的高時(shí)延問(wèn)題來(lái)滿足交互性服務(wù)的需求的。尤其是當(dāng)你對(duì)data進(jìn)行匯總之后并在你匯總之后的數(shù)據(jù)上面進(jìn)行查詢時(shí)效果更好。將你匯總之后的數(shù)據(jù)注入Druid，隨著你的數(shù)據(jù)量在不斷增長(zhǎng)，你仍然可以對(duì)Druid的查詢能力非常有信心。當(dāng)前的Druid安裝實(shí)例已經(jīng)可以很好的處理以2TB每小時(shí)實(shí)時(shí)遞增的數(shù)據(jù)量?？梢栽趽碛衕adoop的同時(shí)創(chuàng)建一個(gè)Druid系統(tǒng)。Druid提供了以一種互動(dòng)切片、切塊方式來(lái)訪問(wèn)數(shù)據(jù)的能力，它在查詢的靈活性和存儲(chǔ)格式直接尋找平衡從而來(lái)提供更好的查詢速度。4)增強(qiáng)自助分析報(bào)告系統(tǒng)：在原有報(bào)告分析子系統(tǒng)基礎(chǔ)之上，開(kāi)發(fā)實(shí)分析報(bào)告在線編寫(xiě)、發(fā)布和分享功能。支持Scala(使用ApacheSpark)、Python(ApacheSpark)、SparkSQL、Hive、Markdown、Shell等各種語(yǔ)言，實(shí)現(xiàn)圖文混排，在文字報(bào)告中實(shí)時(shí)嵌入各種動(dòng)態(tài)分析圖表。5)實(shí)現(xiàn)“一張屏”數(shù)據(jù)分析和動(dòng)態(tài)監(jiān)控功能：基于地理信息技術(shù)(GIS)，通過(guò)“一張屏”監(jiān)控系統(tǒng)隨時(shí)調(diào)閱所需數(shù)據(jù)，并將各系統(tǒng)的數(shù)據(jù)、圖表以及音視頻等進(jìn)行疊加和展示，實(shí)現(xiàn)對(duì)農(nóng)情、災(zāi)情、農(nóng)產(chǎn)品價(jià)格、精準(zhǔn)扶貧等內(nèi)容的實(shí)時(shí)監(jiān)控。大數(shù)據(jù)應(yīng)用集成。實(shí)現(xiàn)單品種大數(shù)據(jù)與協(xié)同辦公系統(tǒng)、公文交換系統(tǒng)、農(nóng)情管理系統(tǒng)、災(zāi)情填報(bào)系統(tǒng)、有害生物防控管理系統(tǒng)、價(jià)格采集管理系統(tǒng)、農(nóng)產(chǎn)品質(zhì)量安全系統(tǒng)、大宗農(nóng)作物地籍管理信息系統(tǒng)、手機(jī)種田系統(tǒng)的對(duì)接。大數(shù)據(jù)移動(dòng)應(yīng)用終端開(kāi)發(fā)。為了更好地滿足社會(huì)公眾隨時(shí)隨地對(duì)農(nóng)業(yè)數(shù)據(jù)查詢的需求，結(jié)合全文搜索引擎，可通過(guò)平板電腦、手機(jī)等移動(dòng)終端實(shí)現(xiàn)遠(yuǎn)程移動(dòng)智能查詢，并及時(shí)向公眾推送農(nóng)業(yè)相關(guān)數(shù)據(jù)信息、農(nóng)業(yè)專題分析報(bào)告，推進(jìn)農(nóng)業(yè)資源信息的共享。大數(shù)據(jù)分析模型完善。實(shí)現(xiàn)趨勢(shì)分析、地區(qū)分析、種類結(jié)構(gòu)分析等，并可進(jìn)行地區(qū)對(duì)比、年度對(duì)比、種類對(duì)比，支持折線圖、柱狀圖、餅圖、地圖、氣泡圖等圖形化展現(xiàn)。此外，對(duì)數(shù)據(jù)進(jìn)行聚類分析、關(guān)聯(lián)分析、預(yù)測(cè)分析，挖掘數(shù)據(jù)價(jià)值，實(shí)現(xiàn)農(nóng)業(yè)的預(yù)警預(yù)測(cè)，并生成分析報(bào)告。主要模型包括：香蕉、柑橘、荔枝、龍眼、芒果等XXX主要農(nóng)產(chǎn)品單品種分析、農(nóng)產(chǎn)品價(jià)格走勢(shì)分析及短期預(yù)測(cè)等。大數(shù)據(jù)分析模型研究及應(yīng)用1、農(nóng)業(yè)自然災(zāi)害大數(shù)據(jù)分析模型(包括災(zāi)害預(yù)測(cè)模型、災(zāi)害評(píng)估模型)農(nóng)業(yè)氣象災(zāi)害的預(yù)測(cè)預(yù)報(bào)有助于農(nóng)業(yè)生產(chǎn)部門(mén)及時(shí)采取減災(zāi)避災(zāi)措施，減輕災(zāi)害對(duì)農(nóng)業(yè)生產(chǎn)造成的損失。通過(guò)對(duì)數(shù)理統(tǒng)計(jì)預(yù)測(cè)預(yù)報(bào)方法和作物災(zāi)害機(jī)理性預(yù)測(cè)預(yù)報(bào)方法的研究進(jìn)行災(zāi)害的預(yù)測(cè)預(yù)報(bào)。1）在制定各級(jí)各類災(zāi)害指標(biāo)的基礎(chǔ)上，應(yīng)用數(shù)理統(tǒng)計(jì)、大數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)相關(guān)領(lǐng)域的模型和方法，通過(guò)建立相應(yīng)的氣象災(zāi)害預(yù)報(bào)模型來(lái)預(yù)測(cè)預(yù)報(bào)農(nóng)業(yè)氣象災(zāi)害；2）根據(jù)農(nóng)作物災(zāi)害形成條件，結(jié)合農(nóng)業(yè)氣象監(jiān)測(cè)信息和天氣預(yù)報(bào)信息和作物不同生育期的生長(zhǎng)特點(diǎn)和災(zāi)害發(fā)生規(guī)律，進(jìn)行作物自然災(zāi)害預(yù)測(cè)預(yù)報(bào)。3)建立災(zāi)害與農(nóng)作物之間的關(guān)聯(lián)模型，完成災(zāi)害的評(píng)估，初步判斷當(dāng)期的農(nóng)作物產(chǎn)量走勢(shì)。2、農(nóng)業(yè)生產(chǎn)領(lǐng)域大數(shù)據(jù)分析模型（包括：種植品種、結(jié)構(gòu)模型、產(chǎn)量和面積預(yù)測(cè)模型）農(nóng)業(yè)是國(guó)民經(jīng)濟(jì)的基礎(chǔ)，種植業(yè)是農(nóng)業(yè)的重要組成部分。長(zhǎng)期以來(lái)，我區(qū)農(nóng)業(yè)生產(chǎn)在結(jié)構(gòu)上存在不合理的狀況。種植業(yè)內(nèi)部糧食比重過(guò)高，經(jīng)濟(jì)作物沒(méi)有得到應(yīng)有的發(fā)展。利用系統(tǒng)科學(xué)的方法，研究我區(qū)農(nóng)業(yè)的最優(yōu)種植結(jié)構(gòu)問(wèn)題，為農(nóng)業(yè)生產(chǎn)規(guī)劃提供依據(jù)。鑒于最優(yōu)種植結(jié)構(gòu)問(wèn)題的復(fù)雜性，很難由單一模型來(lái)解決。需建立一個(gè)最優(yōu)種植結(jié)構(gòu)模型組，主要包含以下模型：1）第一是全區(qū)最優(yōu)種植結(jié)構(gòu)模型，根據(jù)全國(guó)、區(qū)內(nèi)計(jì)劃期對(duì)各類農(nóng)產(chǎn)品的需要量及進(jìn)口的可能性，各類土地資源對(duì)營(yíng)養(yǎng)成份的需要量，以及主要農(nóng)作物的預(yù)測(cè)單產(chǎn)，確定農(nóng)作物的產(chǎn)量和播種面積；2）第二個(gè)是最優(yōu)布局模型，在第一個(gè)模型基礎(chǔ)上，根據(jù)各地的自然條件和社會(huì)條件，如畝產(chǎn)水平、適宜種植作物的耕地面積、對(duì)農(nóng)產(chǎn)品的需求量等，確定主要糧食作物和經(jīng)濟(jì)作物的最優(yōu)布局。做到合理布局，生產(chǎn)費(fèi)用和運(yùn)輸費(fèi)用達(dá)到最小，產(chǎn)量達(dá)到最大；3）第三個(gè)是各個(gè)地區(qū)的最優(yōu)種植結(jié)構(gòu)模型。根據(jù)全區(qū)的最優(yōu)布局要求，具體考慮各地的自然條件和社會(huì)條件，確定每個(gè)地區(qū)的最優(yōu)種植結(jié)構(gòu)。3、大數(shù)據(jù)環(huán)境下的數(shù)據(jù)安全研究大數(shù)據(jù)管理平臺(tái)在實(shí)現(xiàn)各系統(tǒng)的數(shù)據(jù)共享和交換、促進(jìn)政府內(nèi)部的信息交流和工作協(xié)同的同時(shí)，可以將政府各信息子系統(tǒng)的數(shù)據(jù)進(jìn)行整合，進(jìn)而可以作為將來(lái)大數(shù)據(jù)應(yīng)用的數(shù)據(jù)中心。但是數(shù)據(jù)共享平臺(tái)在帶來(lái)大量裨益的同時(shí)，會(huì)帶來(lái)一系列的安全問(wèn)題：數(shù)據(jù)的安全存儲(chǔ)面臨新的挑戰(zhàn)；如何制定行之有效且專業(yè)的安全管理方案，實(shí)現(xiàn)對(duì)共享數(shù)據(jù)的合理的訪問(wèn)授權(quán)；如何控制數(shù)據(jù)的安全共享范圍，防止數(shù)據(jù)被非法再授權(quán)；數(shù)據(jù)共享后系統(tǒng)更易遭到高級(jí)可持續(xù)性攻擊等。1）通過(guò)數(shù)據(jù)共享安全模型的建立，實(shí)現(xiàn)“一級(jí)所有、二級(jí)管理”的二級(jí)管理模式。所謂“一級(jí)所有、二級(jí)管理”模式是指共享數(shù)據(jù)的所2）有權(quán)歸屬于大數(shù)據(jù)管理平臺(tái)管理者，但是在管理上采取基于大數(shù)據(jù)管理平臺(tái)管理者授權(quán)的由了解共享數(shù)據(jù)的語(yǔ)義、安全范圍、保密范圍的專業(yè)管理者來(lái)進(jìn)行實(shí)際管理的二級(jí)管理結(jié)構(gòu)。3）此外，建立防止二次非法授權(quán)安全模型，共享數(shù)據(jù)被授權(quán)訪問(wèn)之后，需要對(duì)數(shù)據(jù)的安全做進(jìn)一步保證，防止二次授權(quán)給數(shù)據(jù)安全帶來(lái)的危害。4、農(nóng)業(yè)產(chǎn)業(yè)扶貧大數(shù)據(jù)分析模型（產(chǎn)業(yè)結(jié)構(gòu)與脫貧模式關(guān)聯(lián)分析模型、產(chǎn)業(yè)扶貧市場(chǎng)風(fēng)險(xiǎn)和自然風(fēng)險(xiǎn)評(píng)估模型，產(chǎn)業(yè)扶貧與生態(tài)環(huán)境更新分析模型）產(chǎn)業(yè)扶貧，不僅能幫助貧困地區(qū)實(shí)現(xiàn)穩(wěn)定脫貧，更能使其搭上致富快車(chē)奔小康。做好產(chǎn)業(yè)扶貧，必須緊扣“精準(zhǔn)”二字，找準(zhǔn)路子，因地制宜。將貧困人口大數(shù)據(jù)與農(nóng)產(chǎn)品大數(shù)據(jù)進(jìn)行產(chǎn)業(yè)對(duì)接，建立產(chǎn)業(yè)結(jié)構(gòu)與貧困信息關(guān)聯(lián)分析模型，設(shè)計(jì)出向貧困人口傾斜的農(nóng)產(chǎn)品生產(chǎn)供應(yīng)鏈，實(shí)現(xiàn)精準(zhǔn)扶貧。1）建立產(chǎn)業(yè)扶貧市場(chǎng)風(fēng)險(xiǎn)和自然風(fēng)險(xiǎn)評(píng)估模型，開(kāi)展產(chǎn)供銷(xiāo)一體化和市場(chǎng)供求分析，防災(zāi)減災(zāi)預(yù)警’,體現(xiàn)‘精準(zhǔn)扶貧’的‘精準(zhǔn)’二字，有效地降低生產(chǎn)風(fēng)險(xiǎn)和生產(chǎn)成本。2）建立產(chǎn)業(yè)扶貧與生態(tài)環(huán)境更新分析模型，研究扶貧產(chǎn)業(yè)發(fā)展與當(dāng)?shù)刭Y源環(huán)境承載力相匹配程度，落實(shí)貧困縣主體功能定位，統(tǒng)籌安排扶貧產(chǎn)業(yè)布局、能源資源結(jié)構(gòu)和生態(tài)環(huán)境建設(shè)。項(xiàng)目總體架構(gòu)1)本項(xiàng)目總體架構(gòu)必須保持與現(xiàn)有大數(shù)據(jù)平臺(tái)一致，在原有架構(gòu)上進(jìn)行升級(jí)擴(kuò)展。2)本項(xiàng)目總體架構(gòu)的升級(jí)擴(kuò)展不能影響原有系統(tǒng)的正常使用和用戶使用習(xí)慣。圖1XXX農(nóng)業(yè)大數(shù)據(jù)管理平臺(tái)總體架構(gòu)圖項(xiàng)目技術(shù)架構(gòu)1）采用分布式架構(gòu)，以Hadoop生態(tài)系統(tǒng)相關(guān)組件作