市場分析決策平臺(tái)建設(shè)方案

糧食行業(yè)是傳統(tǒng)行業(yè)，信息化建設(shè)相對(duì)其他行業(yè)較滯后，但滯后

就意味著巨大的潛力。國家糧食行業(yè)十三五規(guī)劃一個(gè)重要內(nèi)容就是糧

食行業(yè)信息化，在互聯(lián)網(wǎng)加糧食大背景下，國家加大了對(duì)糧食行業(yè)信

息化的投入，可以說糧食行業(yè)信息化迎來了春天。

作為主管行業(yè)動(dòng)態(tài)的權(quán)威機(jī)構(gòu)，擁有大量數(shù)據(jù)分析需求的國家糧

油信息中心，是如何看待和發(fā)展信息化建設(shè)的？

關(guān)于國家糧油信息中心

國家糧油信息中心是國家糧食局隸屬事業(yè)單位，主要職能是提供

糧油市場分析服務(wù)就是為國家發(fā)改委、財(cái)政部還有國家糧食局等機(jī)

構(gòu)，提供一些信息服務(wù)。第二個(gè)職能是國家農(nóng)信中心，它是糧食行業(yè)

新文化支撐單位。國家糧油信息中心一共有8個(gè)處室，其中行業(yè)信息

化處目前正在籌建中。

信息化建設(shè)經(jīng)驗(yàn)

信息化中心作為市場分析機(jī)構(gòu)向來以來想擁有自己的數(shù)據(jù)中心，

集中的管理數(shù)據(jù)，使得分析師與業(yè)務(wù)人員能夠在統(tǒng)一平臺(tái)下分享數(shù)

據(jù)。為此，信息中心也做了不懈的嘗試。此前購買過第三方的數(shù)據(jù)服

務(wù)，曾經(jīng)屢次獨(dú)立開辟但效果并不好。例如之前開辟糧油統(tǒng)計(jì)地理信

息系統(tǒng)，它的選型是NET^Extjs、Json>SuperMap>Flash圖形化插件。

整個(gè)的具體實(shí)施就是通過代碼碼出所有業(yè)務(wù)邏輯、顯示報(bào)示，然后利

用Excel進(jìn)行導(dǎo)入和導(dǎo)出。這其中很大的缺點(diǎn)就是，開辟周期長、擴(kuò)

展性差、應(yīng)對(duì)需求變更能力差、沒有徹底實(shí)現(xiàn)業(yè)務(wù)目標(biāo)。

多次嘗試下來，歸結(jié)如下7點(diǎn)信息化建設(shè)提議：

明確業(yè)務(wù)需求：強(qiáng)烈的業(yè)務(wù)需求，明晰的業(yè)務(wù)目標(biāo)，能否抓住核

心是一個(gè)項(xiàng)目成敗的關(guān)鍵。

“產(chǎn)品+定制+服務(wù)〃的建設(shè)思路：項(xiàng)目建設(shè)如果不借助比較成熟

的產(chǎn)品工具，從技術(shù)代碼進(jìn)行創(chuàng)新式的開辟，不經(jīng)過迭代以及檢驗(yàn)很

難規(guī)避風(fēng)險(xiǎn)，很難形成一個(gè)成熟的產(chǎn)品。經(jīng)過探索實(shí)踐以及對(duì)業(yè)務(wù)深

入的理解，技術(shù)的積累，整個(gè)行業(yè)的調(diào)查研究，信息中心總結(jié)出來一

套建設(shè)思路：產(chǎn)品是指由生命力的產(chǎn)品像FineReport以及FineBI；定

制就是結(jié)合自己的需求定制開辟；服務(wù)就是定制需求的后期，開辟團(tuán)

隊(duì)的定征服務(wù)。

謹(jǐn)慎投資，控制風(fēng)險(xiǎn)：項(xiàng)目要想可持續(xù)發(fā)展，必須控制風(fēng)險(xiǎn)，

注重成本收益，謹(jǐn)慎投資，任何一筆失敗的投資，都有可能影響信息

化建設(shè)技術(shù)的推進(jìn)。

謹(jǐn)慎技術(shù)選型：第三方工具應(yīng)對(duì)需求的變化要強(qiáng)，要簡單應(yīng)用。

在這里，信息中心與帆軟報(bào)表不期而遇。它最大的特點(diǎn)就是業(yè)務(wù)需求

變化強(qiáng)，功能簡單應(yīng)用，能夠應(yīng)對(duì)信息中心業(yè)務(wù)復(fù)雜，需求較快，技

術(shù)力量不足的現(xiàn)狀，能夠整合復(fù)雜多變的報(bào)表數(shù)據(jù)，能夠快速的實(shí)現(xiàn)

圖表多樣體現(xiàn)。

認(rèn)清技術(shù)力量的現(xiàn)狀

敏捷開辟、迭代開辟和重構(gòu)

技術(shù)+管理

關(guān)于大數(shù)據(jù)

數(shù)據(jù)是未來的核心。大數(shù)據(jù)的能力核心在于全，要有豐富的獲取

手段，要提高分析挖掘數(shù)據(jù)的能力，形成信息中心自己的數(shù)據(jù)方法論，

也就是說大數(shù)據(jù)能力就是技術(shù)+數(shù)據(jù)+統(tǒng)計(jì)分析和業(yè)務(wù)。

信息中心是國家糧食局直屬事業(yè)單位，是糧食行業(yè)信息化技術(shù)支

撐單位。有20多年糧油市場研究、分析的行業(yè)積累。糧食行業(yè)大數(shù)

據(jù)能力將是信息中心未來的核心競爭力。

業(yè)務(wù)布局

社會(huì)分工可以提高勞動(dòng)生產(chǎn)力，可以極大的增加社會(huì)物質(zhì)財(cái)富，

但同時(shí)也失夫了個(gè)性化和多樣性，而個(gè)性化和多樣性是創(chuàng)新的根源，

為了基層提高生產(chǎn)率以及創(chuàng)新，信息中心采用程序化、流程化采集整

理管理工作，然后業(yè)務(wù)員、分析人員集中精力進(jìn)行模型的建立和市場

的研究。

流程解釋：藍(lán)色部份是數(shù)據(jù)處理流程，通過FineReport進(jìn)行展示。

黃色部份是人工分析部份，構(gòu)建分析模型、深入分析市場，反復(fù)驗(yàn)證

構(gòu)成城市化模型，形成一個(gè)自動(dòng)的工作流，完后才干后續(xù)的采集和權(quán)

限訪問等工作。

數(shù)據(jù)分析決策平臺(tái)建設(shè)

數(shù)據(jù)分析決策平臺(tái)的建設(shè)分三步走。

第一步就是數(shù)據(jù)整合。對(duì)多源多類型的數(shù)據(jù)進(jìn)行整合，實(shí)現(xiàn)數(shù)據(jù)

共享。目前以帆軟報(bào)表為數(shù)據(jù)處理工具，以SQLServer為數(shù)據(jù)庫存儲(chǔ)

平臺(tái)，整合信息中心常用業(yè)務(wù)數(shù)據(jù)。常用的業(yè)務(wù)數(shù)據(jù)包括價(jià)格、進(jìn)出

口以及平衡表等。

僅僅依靠excel是無法實(shí)現(xiàn)大數(shù)據(jù)戰(zhàn)略的，數(shù)據(jù)報(bào)表不可取代。

但是傳統(tǒng)報(bào)表面臨的挑戰(zhàn)也越來越多，傳統(tǒng)報(bào)表主要有以下這幾點(diǎn),

數(shù)據(jù)太多，信息太少；難以多維度交互分析；難以挖掘潛在規(guī)則；難

以追溯歷史；數(shù)據(jù)形成孤島。選擇帆軟報(bào)表的原因是因?yàn)檫@工具應(yīng)對(duì)

需求的變化強(qiáng)，能夠快速的以execl形式導(dǎo)入導(dǎo)出，快速的構(gòu)建查詢，

快速形成excel整合，多樣數(shù)據(jù)化展現(xiàn)，并提供一套報(bào)表管理平臺(tái)。

譬如以下：

模板1：初步建立了一個(gè)市場查詢分析，包括價(jià)格、評(píng)估表、海

關(guān)進(jìn)出口。一旦模板建立，相關(guān)人員將數(shù)據(jù)通過填報(bào)功能填入，查詢

時(shí)報(bào)告自動(dòng)生成，并在權(quán)限范圍內(nèi)自由導(dǎo)出。

IB油場分析決索秘

■g.W：?C2WU>

笫二步就是數(shù)據(jù)的抓取、處理和分析并自動(dòng)化生成系列產(chǎn)品報(bào)

告，實(shí)現(xiàn)目標(biāo)是解放生產(chǎn)力。把業(yè)務(wù)人員從采集、整理、處理數(shù)據(jù)的

體力勞動(dòng)中解放出來，集中精力于市場深度分析研究、模型建立。本

質(zhì)上還是數(shù)據(jù)整合，不同地方是數(shù)據(jù)自動(dòng)采集，并依據(jù)構(gòu)建的模型。

技術(shù)選型：FineReport+FineBI+Python+Kettle(ETL+SQL

Server

實(shí)現(xiàn)網(wǎng)頁的迅速抓取，抓取網(wǎng)頁中的數(shù)據(jù)，然后通過Kettle清洗轉(zhuǎn)換,

得到我們的基礎(chǔ)數(shù)據(jù)，再通過FineReport和FineBI展現(xiàn)。數(shù)據(jù)庫的

存儲(chǔ)結(jié)構(gòu)通過網(wǎng)站的結(jié)構(gòu)來自動(dòng)抓取數(shù)據(jù)C

報(bào)告展示：這些宏觀數(shù)據(jù)全都自動(dòng)生成，通過靈便的查詢和分析，

實(shí)現(xiàn)數(shù)據(jù)直觀展示。更重要的是，由于業(yè)務(wù)人員特殊熱中于自己研究

分析，自己開辟分析模板將實(shí)用的模型沉淀下來，形成固定的一系列

的查詢模型，提交我們信息中心，分析市場，再次響應(yīng)市場和預(yù)警。

■前R折

a-VMM①??

第三步是數(shù)據(jù)挖掘，目標(biāo)是構(gòu)建糧食行業(yè)模型和行業(yè)計(jì)量模型實(shí)

現(xiàn)科學(xué)決策。

基于信息中心20多年的糧食市場分析評(píng)估，行業(yè)積累，依托一

期、二期整合的數(shù)據(jù)和大數(shù)據(jù)，接下來將構(gòu)建大數(shù)據(jù)能力，提供標(biāo)準(zhǔn)

化的服務(wù)能力。但糧油的分析模型、行業(yè)積累模型，是一種因素模型、

經(jīng)驗(yàn)?zāi)Ｐ?，一定程度上依賴于分析師?duì)市場的看法，這個(gè)模型分析結(jié)

果需要分析師經(jīng)驗(yàn)和直覺來判斷，技術(shù)上要到位，所以這里通過帆軟

報(bào)