農(nóng)業(yè)大數(shù)據(jù)集成應(yīng)用平臺2016年6月1日

——建設(shè)思路

一、農(nóng)業(yè)大數(shù)據(jù)時代二、總體思路三、建設(shè)規(guī)劃四、建設(shè)任務(wù)五、建設(shè)前景大數(shù)據(jù)，是近幾年用來定義大信息量時代對于傳統(tǒng)行業(yè)匯聚的數(shù)據(jù)多樣性的一種描述，并不是簡單的數(shù)據(jù)匯總，而是通過現(xiàn)有計算機(jī)技術(shù)對海量數(shù)據(jù)進(jìn)行分析與挖掘，從而提供更強(qiáng)的決策數(shù)據(jù)依據(jù)、洞察行業(yè)本身存在的業(yè)務(wù)和流程優(yōu)化能力，來適應(yīng)快速、高增長率和多樣化的行業(yè)資產(chǎn)。

一、農(nóng)業(yè)大數(shù)據(jù)時代

一、農(nóng)業(yè)大數(shù)據(jù)時代季節(jié)性地域性多樣性數(shù)據(jù)及時周期性關(guān)聯(lián)性強(qiáng)大數(shù)據(jù)量現(xiàn)代農(nóng)業(yè)特點(diǎn)分類雜多數(shù)據(jù)無處不在數(shù)據(jù)無時不有大數(shù)據(jù)時代，隨著硬件設(shè)備發(fā)展，計算機(jī)計算能力的提高，互聯(lián)網(wǎng)的崛起，數(shù)據(jù)呈現(xiàn)瘋狂增長。根據(jù)不完全統(tǒng)計，現(xiàn)代中國農(nóng)業(yè)每年產(chǎn)生8000pb的數(shù)據(jù)存儲。

其中：農(nóng)業(yè)資源數(shù)據(jù)3500pb農(nóng)業(yè)生產(chǎn)數(shù)據(jù)2500pb

農(nóng)業(yè)市場數(shù)據(jù)1000pb農(nóng)業(yè)管理數(shù)據(jù)1000bp

一、農(nóng)業(yè)大數(shù)據(jù)時代生物數(shù)據(jù)環(huán)境數(shù)據(jù)農(nóng)業(yè)數(shù)據(jù)氣象數(shù)據(jù)

一、農(nóng)業(yè)大數(shù)據(jù)時代大數(shù)據(jù)時代，到底能給農(nóng)業(yè)帶來了什么？大數(shù)據(jù)時代，還需要大量人工統(tǒng)計？大數(shù)據(jù)農(nóng)業(yè)對傳統(tǒng)農(nóng)業(yè)的數(shù)據(jù)數(shù)據(jù)采集與分析體系產(chǎn)生了巨大的挑戰(zhàn)。從數(shù)據(jù)采集，標(biāo)準(zhǔn)制定，數(shù)據(jù)清洗，數(shù)據(jù)分析，數(shù)據(jù)挖掘，數(shù)據(jù)展示等多方面要做人工處理到智能化處理的過度。有了優(yōu)質(zhì)的數(shù)據(jù)依據(jù)，就可以從行業(yè)流程，行業(yè)知識，輔助決策中發(fā)現(xiàn)行業(yè)的更大潛力與價值。

一、農(nóng)業(yè)大數(shù)據(jù)時代

一、農(nóng)業(yè)大數(shù)據(jù)時代大量的數(shù)據(jù)如何使用？數(shù)據(jù)庫基礎(chǔ)數(shù)據(jù)庫業(yè)務(wù)數(shù)據(jù)庫查詢數(shù)據(jù)庫…….數(shù)據(jù)庫…….數(shù)據(jù)庫…….數(shù)據(jù)庫大數(shù)據(jù)農(nóng)業(yè)對傳統(tǒng)農(nóng)業(yè)的數(shù)據(jù)數(shù)據(jù)采集與分析體系產(chǎn)生了巨大的挑戰(zhàn)。從數(shù)據(jù)采集，標(biāo)準(zhǔn)制定，數(shù)據(jù)清洗，數(shù)據(jù)分析，數(shù)據(jù)挖掘，數(shù)據(jù)展示等多方面要做人工處理到智能化處理的過度。有了優(yōu)質(zhì)的數(shù)據(jù)依據(jù)，就可以從行業(yè)流程，行業(yè)知識，輔助決策中發(fā)現(xiàn)行業(yè)的更大潛力與價值。

一、農(nóng)業(yè)大數(shù)據(jù)時代

二、總體思路各種資源依靠人力管理，導(dǎo)致信息難以集中與統(tǒng)籌安排使用各類統(tǒng)計分析服務(wù)、應(yīng)用信息化程度不足，無法提供有利行業(yè)支撐統(tǒng)計分析信息化程度不高，無法為領(lǐng)導(dǎo)提供其它決策支撐缺乏多方面信息與資料的安全備份管理，易損壞，易丟失，易竊取有關(guān)管理部門業(yè)務(wù)人力成本居高不下問題5問題4問題3問題1問題2存在問題

二、總體思路信息資源管理系統(tǒng)數(shù)據(jù)管理融合服務(wù)信息庫分類數(shù)據(jù)集數(shù)據(jù)元關(guān)聯(lián)匯聚切分轉(zhuǎn)換視圖類視圖關(guān)聯(lián)服務(wù)類服務(wù)描述申請授權(quán)調(diào)度監(jiān)控匯聚錄入導(dǎo)入Web服務(wù)導(dǎo)出數(shù)據(jù)查詢下載推送訂閱數(shù)據(jù)集授權(quán)字段授權(quán)數(shù)據(jù)范圍授權(quán)敏感信息屏蔽統(tǒng)計分析數(shù)據(jù)統(tǒng)計服務(wù)統(tǒng)計第三方服務(wù)數(shù)據(jù)建模視圖建模服務(wù)管理數(shù)據(jù)融合數(shù)據(jù)錄入數(shù)據(jù)授權(quán)數(shù)據(jù)查詢統(tǒng)計分析

二、總體思路百分比分析空白值分析離散性分析曲線分析多表比對更新多表比對元數(shù)據(jù)比對更新元數(shù)據(jù)比對質(zhì)量分析比對更新更新日志更新通知過程庫過程視圖庫過程數(shù)據(jù)坐標(biāo)分析同比分析重復(fù)數(shù)據(jù)刪除重復(fù)數(shù)據(jù)比對數(shù)據(jù)核心

二、總體思路對表授權(quán)對字段授權(quán)對數(shù)據(jù)范圍授權(quán)敏感數(shù)據(jù)屏蔽規(guī)則機(jī)構(gòu)用戶用戶組公開共享私有安全核心

二、總體思路分布式存儲系統(tǒng)虛擬化數(shù)據(jù)中心信息資源庫數(shù)據(jù)并行處理（Hadoop)算法組件調(diào)度數(shù)據(jù)匯集計算任務(wù)調(diào)度并行算法設(shè)計智能決策數(shù)據(jù)挖掘云服務(wù)數(shù)據(jù)挖掘云平臺云管理系統(tǒng)監(jiān)控資源調(diào)度資源管理資源安全輸入輸出數(shù)據(jù)管理系統(tǒng)網(wǎng)絡(luò)行業(yè)生產(chǎn)分析預(yù)判大數(shù)據(jù)核心

三、總體規(guī)劃應(yīng)用系統(tǒng)綜合分析系統(tǒng)綜合管理系統(tǒng)目標(biāo)用戶：普通工作人員數(shù)據(jù)采集行業(yè)預(yù)警信息交互流程化辦公目標(biāo)用戶：綜合分析人員信息統(tǒng)計業(yè)務(wù)統(tǒng)計多維度分析決策支持目標(biāo)用戶：各級管理人員資源統(tǒng)一管理應(yīng)用統(tǒng)一管理安全統(tǒng)一管理流程統(tǒng)一管理

三、總體規(guī)劃信息資源庫企業(yè)應(yīng)用系統(tǒng)綜合管理系統(tǒng)綜合分析系統(tǒng)行業(yè)登記行業(yè)基礎(chǔ)數(shù)據(jù)管理行業(yè)在線業(yè)務(wù)行業(yè)預(yù)警原材料數(shù)據(jù)企業(yè)信息庫政策信息庫綜合分析庫管理信息庫安全數(shù)據(jù)庫基礎(chǔ)數(shù)據(jù)庫數(shù)據(jù)資源管理數(shù)據(jù)整合處理數(shù)據(jù)導(dǎo)出管理歷史數(shù)據(jù)管理數(shù)據(jù)備份恢復(fù)企業(yè)資料管理行業(yè)信息管理行業(yè)預(yù)警設(shè)定線上業(yè)務(wù)設(shè)定行業(yè)數(shù)據(jù)監(jiān)管公共數(shù)據(jù)接口管理系統(tǒng)用戶管理企業(yè)用戶管理企業(yè)應(yīng)用授權(quán)日志管理行業(yè)現(xiàn)狀分析行業(yè)歷史分析行業(yè)統(tǒng)計分析行業(yè)歷史評價銷售數(shù)據(jù)分析倉儲數(shù)據(jù)分析生產(chǎn)數(shù)據(jù)評估原材料使用評估

三、總體規(guī)劃17企業(yè)歷史信息資源的整合與利用行業(yè)歷史信息資源的整合與利用系統(tǒng)將為銷售、生產(chǎn)、倉儲等提供數(shù)據(jù)支撐為領(lǐng)導(dǎo)決策提供數(shù)據(jù)依據(jù)

綜合業(yè)務(wù)數(shù)據(jù)處理

企業(yè)歷史數(shù)據(jù)管理行業(yè)歷史數(shù)據(jù)管理數(shù)據(jù)分析與決策生產(chǎn)數(shù)據(jù)管理銷售倉儲生產(chǎn)18

四、建設(shè)任務(wù)管控體系業(yè)務(wù)框架：內(nèi)外部環(huán)境、職能部門業(yè)務(wù)目標(biāo)、管理對象、工作任務(wù)、組織結(jié)構(gòu)、管理體系、與外部門接口工作應(yīng)用框架：目標(biāo)應(yīng)用系統(tǒng)劃分、應(yīng)用功能模塊、內(nèi)外部接口信息框架：數(shù)據(jù)模型體系和數(shù)據(jù)質(zhì)量管理體系，包括企業(yè)生產(chǎn)數(shù)據(jù)、行業(yè)歷史信息數(shù)據(jù)、其它有效的數(shù)據(jù)技術(shù)框架：網(wǎng)絡(luò)/主機(jī)/存儲/系統(tǒng)軟件/中間件/應(yīng)用軟件技術(shù)架構(gòu)與公共要求/COTS軟件評估規(guī)劃、建設(shè)、應(yīng)用、維護(hù)、評估管理框架建設(shè)任務(wù)基于現(xiàn)狀，優(yōu)先滿足緊迫需求，建立目標(biāo)框架的3-5年規(guī)劃1.業(yè)務(wù)框架2.應(yīng)用框架4.技術(shù)框架3.數(shù)據(jù)框架

建設(shè)框架19

四、建設(shè)任務(wù)業(yè)務(wù)框架技術(shù)框架信息框架系統(tǒng)構(gòu)建模型NGOSS模型TMFeTOMTMFTAMTMFSIDTMFTNA/TSANGOSS生命周期應(yīng)用框架分析過程建設(shè)

方案現(xiàn)狀分析參考案例IT管控體系20

四、建設(shè)任務(wù)信息化統(tǒng)一服務(wù)平臺生產(chǎn)數(shù)據(jù)銷售數(shù)據(jù)倉儲數(shù)據(jù)原材料數(shù)據(jù)生產(chǎn)工藝數(shù)據(jù)···數(shù)據(jù)共享、清洗、整理a挖掘平臺內(nèi)部數(shù)據(jù)私有面向公眾開放數(shù)據(jù)適配器適配器適配器適配器xml企業(yè)級應(yīng)用xmlxmlxml數(shù)據(jù)服務(wù)現(xiàn)有數(shù)據(jù)企業(yè)歷史數(shù)據(jù)行業(yè)歷史數(shù)據(jù)業(yè)務(wù)入口統(tǒng)一標(biāo)準(zhǔn)規(guī)范流程體系統(tǒng)一的安全保障體系歷史數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范與安全保障體系運(yùn)維管理體系流程管理數(shù)據(jù)21

四、建設(shè)任務(wù)

通過IT信息化技術(shù)實(shí)現(xiàn)三層應(yīng)用架構(gòu)，實(shí)現(xiàn)安全性、可伸縮的解決方案通過服務(wù)器級應(yīng)用擴(kuò)展為不同的應(yīng)用提供了良好的性能及擴(kuò)展性

第一層：Web服務(wù)器，通過負(fù)載均衡等技術(shù)實(shí)現(xiàn)系統(tǒng)的性能和擴(kuò)展性

第二層：應(yīng)用服務(wù)器，通過分區(qū)技術(shù)和自定義組件來實(shí)現(xiàn)系統(tǒng)的高可用性和擴(kuò)展性

第三層：數(shù)據(jù)服務(wù)器，通過分區(qū)技術(shù)實(shí)現(xiàn)系統(tǒng)的高性能和擴(kuò)展性Web服務(wù)器應(yīng)用服務(wù)器數(shù)據(jù)庫服務(wù)器終端客戶端主機(jī)虛擬化產(chǎn)品平臺支持操作系統(tǒng)應(yīng)用級虛擬化WindowsServerVirtualizationX86WindowsThinstallVirtualOSX86Linux/Windows系統(tǒng)級虛擬化ESXX86Linux/Windows/Solarisx86XenX86Linux/Windows/Solarisx86XVMX86Linux/Windows/Solarisx86WindowsServerVirtualizationX86Windows,Linux,etcKVM(Linux)X86Linux硬件虛擬化NPARHPRISC/ItaniumHPUX/Linux/Windows①前端層–Web訪問層

②中間層–應(yīng)用服務(wù)③后端–數(shù)據(jù)庫靈活安全可伸縮終端層–使用層簡單

四、建設(shè)任務(wù)

行業(yè)應(yīng)用服務(wù)器數(shù)據(jù)中心企業(yè)銷售因特網(wǎng)數(shù)據(jù)發(fā)布中心生產(chǎn)倉儲........

四、建設(shè)任務(wù)

采用SOA體系架構(gòu)，通過構(gòu)建通用集成平臺，抽象封裝業(yè)務(wù)服務(wù)及數(shù)據(jù)應(yīng)用，實(shí)現(xiàn)數(shù)據(jù)、應(yīng)用、業(yè)務(wù)過程以及客戶端訪問的連接和調(diào)用元數(shù)據(jù)數(shù)據(jù)服務(wù)倉儲信息服務(wù)ODM元數(shù)據(jù)主數(shù)據(jù)應(yīng)用層私有數(shù)據(jù)元數(shù)據(jù)校驗(yàn)元數(shù)據(jù)管理元數(shù)據(jù)檢索信息服務(wù)ODM銷售元數(shù)據(jù)主數(shù)據(jù)應(yīng)用層私有數(shù)據(jù)信息服務(wù)ODM生產(chǎn)元數(shù)據(jù)主數(shù)據(jù)應(yīng)用層私有數(shù)據(jù)信息服務(wù)ODM元數(shù)據(jù)主數(shù)據(jù)應(yīng)用層私有數(shù)據(jù)其它數(shù)據(jù)共享服務(wù)數(shù)據(jù)管控平臺

五、建設(shè)前景

架構(gòu)：從分散到統(tǒng)一

各系統(tǒng)的技術(shù)架構(gòu)從以往的各專業(yè)分散搭建向統(tǒng)一構(gòu)架轉(zhuǎn)變。從整個系統(tǒng)角度統(tǒng)一考慮硬件（存儲、備份），數(shù)據(jù)采集（平臺、接口、總線），以及上層應(yīng)用呈現(xiàn)，才能滿足應(yīng)用本身的變動而不用耗費(fèi)大量人力物力。系統(tǒng)：從專業(yè)到綜合

系統(tǒng)建設(shè)從傳統(tǒng)的各專業(yè)建設(shè)向綜合的應(yīng)用服務(wù)系統(tǒng)建設(shè)轉(zhuǎn)變。將企業(yè)與行業(yè)的各項數(shù)據(jù)進(jìn)行整合；將信息管理、業(yè)務(wù)管理、統(tǒng)計分析、數(shù)據(jù)挖掘等管理職能整合；才能保障挖掘與分析的結(jié)果時效性。數(shù)據(jù)：從封閉到共享從以往各系統(tǒng)獨(dú)立采集處理數(shù)據(jù)向統(tǒng)一數(shù)據(jù)采集、處理轉(zhuǎn)變。建立統(tǒng)一的數(shù)