1、物聯(lián)網(wǎng)大數(shù)據(jù)分析實驗室建設方案、工程背景“十三五期間，隨著我國現(xiàn)代信息技術的蓬勃開展，信息化建設模 式發(fā)生根 本性轉(zhuǎn)變 , 一場以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動應用等技術為核心的“新 IT 浪潮風起云涌，信息化應用進入一個“新常態(tài) 。章魚大數(shù)據(jù)為積極應對“互聯(lián)網(wǎng) +和大數(shù)據(jù)時代的機遇和挑戰(zhàn)，適應經(jīng)濟社會開展 與改革要求，開發(fā)建設物聯(lián)網(wǎng)大 數(shù)據(jù)平臺。物聯(lián)網(wǎng)大數(shù)據(jù)平臺打造集數(shù)據(jù)采集、數(shù)據(jù)處理、監(jiān)測管理、預測預警、 應急指 揮、可視化平臺于一體的大數(shù)據(jù)平臺，以信息化提升數(shù)據(jù)化管理與 效勞能力，及時 準確掌握社會經(jīng)濟開展情況，做到“用數(shù)據(jù)說話、用數(shù)據(jù) 管理、用數(shù)據(jù)決策、用數(shù) 據(jù)創(chuàng)新，牢牢把握社會經(jīng)濟開展

2、主動權和話語權。二、物聯(lián)網(wǎng)行業(yè)現(xiàn)狀數(shù)字傳感器的大量應用及移動設備的大面積普及，才會導致全球數(shù)字 信息總量 的極速增長。根據(jù)工信部的統(tǒng)計結果，中國物聯(lián)網(wǎng)產(chǎn)業(yè)規(guī)模在 2021 年已經(jīng)超過 2300 億元，雖然和期望的“萬億規(guī)模產(chǎn)業(yè)還有一定距離，但 已經(jīng)不可小視。其中傳感 器設備市場規(guī)模超過 900 億元， RFID 產(chǎn)業(yè)規(guī)模 190 億元， M2M 終端數(shù)量也已超過 2100 萬個。另一個方面，我國的物聯(lián)網(wǎng)企業(yè) 也呈現(xiàn)出聚集效應，例如北京中關村已 有物聯(lián)網(wǎng)相關企業(yè) 600 余家，無錫國家示范區(qū)有 608 家，重慶、西安等城市也有 近 300 家。從區(qū)域開展來看， 形成了環(huán)渤海、長三角、珠三角等核心

3、區(qū)以及中西部地區(qū)的特色產(chǎn)業(yè)集群在 2021 年以前，可能沒有哪家企業(yè)說自己是物聯(lián)網(wǎng)企業(yè)。 一夜之間產(chǎn) 生的 上千家物聯(lián)網(wǎng)企業(yè)，他們的核心能力、產(chǎn)品或效勞價值定位、目標客 戶和盈利模式 都是如何呢？首先來看這些物聯(lián)網(wǎng)企業(yè)從哪里來。現(xiàn)在的物 聯(lián)網(wǎng)企業(yè)主要分為三類， 第一類是以前的公用企業(yè)轉(zhuǎn)型，最典型的是電信 運營商，他們有自己的根底設施， 有客戶資源，因此自然轉(zhuǎn)型到物聯(lián)網(wǎng)行 業(yè)。除了電信運營商，一些交通根底設施運 營商、甚至是氣象設施運營商， 也都轉(zhuǎn)型為物聯(lián)網(wǎng)企業(yè)。第二類是傳統(tǒng) IT 企業(yè)，例 如華為、神州數(shù)碼，以 及眾多上市公司等。這一類公司也是在傳統(tǒng)的優(yōu)勢積累根底 上開拓物聯(lián)網(wǎng) 新業(yè)務。第三類

4、是一些制造企業(yè)，包括傳感設備制造企業(yè)，網(wǎng)絡核心 設備 制造企業(yè)，還包括如家電等一批傳統(tǒng)制造企業(yè)。 這一類企業(yè)不能說沒有大 企業(yè)， 但是絕大多數(shù)都是中小型企業(yè)。這些企業(yè)的核心能力主要表達在三 個方面，第一是 傳感器和智能儀表，第二是嵌入式系統(tǒng)和智能裝備，第三 是軟件與集成效勞。再來看我國物聯(lián)網(wǎng)應用的領域。 通過對多個部委和地區(qū)的物聯(lián)網(wǎng)專項 進行匯總， 下列圖列出了目前提到最多，也是應用最成熟的八個領域。但是 換個角度再看，不管 是工業(yè)控制、供給鏈管理、精準農(nóng)業(yè)，還是建筑自動 化、遠程抄表、 ETC 其實都并 不是新的技術領域，而是在物聯(lián)網(wǎng)這個大概 念下重新包裝后再次引起了人們的興趣。 總的來說，

5、物聯(lián)網(wǎng)應用傳感器改 善了信息獲取的實時性和準確性，同時智能終端改 變了人們利用和使用信 息的習慣。目前存在的主要問題包括應用過于碎片化，缺少 滿足用戶需求 的創(chuàng)新型產(chǎn)品 / 效勞，行業(yè)間缺乏信息共享和應用協(xié)同渠道， 以及安 全和隱 私保護重視不夠。、建設目標章魚大數(shù)據(jù)物聯(lián)網(wǎng)大數(shù)據(jù)平臺是順應目前信息化技術水平開展、效勞 政府職能改革的架構平臺。它的主要目標是強化經(jīng)濟運行監(jiān)測分析，實現(xiàn) 企業(yè)信用社會化監(jiān) 督，建立標準化共建共享投資工程管理體系，推進政務 數(shù)據(jù)共享和業(yè)務協(xié)同，為決 策提供及時、準確、可靠的信息依據(jù)，提高政 務工作的前瞻性和針對性，加大宏觀 調(diào)控力度，促進經(jīng)濟持續(xù)健康開展。1 、制定統(tǒng)

6、一信息資源管理標準， 拓寬數(shù)據(jù)獲取渠道， 整合業(yè)務信息系 統(tǒng)數(shù)據(jù)、企業(yè)單位數(shù)據(jù)和互聯(lián)網(wǎng)抓取數(shù)據(jù)，構建會聚式一體化數(shù)據(jù)庫，為 平臺打下堅實 穩(wěn)固的數(shù)據(jù)根底。2、梳理各相關系統(tǒng)數(shù)據(jù)資源的關聯(lián)性，編制數(shù)據(jù)資源目錄，建立信息 資源交換管理標準體系，在業(yè)務可行性的根底上，實現(xiàn)數(shù)據(jù)信息共享，推 進信息公開，預見經(jīng)濟發(fā) 展?jié)摻⒖绮块T跨領域經(jīng)濟形勢分析制度。3、在大數(shù)據(jù)分析監(jiān)測根底上， 為政府把握經(jīng)濟開展趨勢、在問題、輔助經(jīng)濟決策提供根底支撐四、建設原那么物聯(lián)網(wǎng)大數(shù)據(jù)平臺以物聯(lián)網(wǎng)數(shù)據(jù)資源為重點，以大數(shù)據(jù)應用為核心， 堅持“統(tǒng) 籌規(guī)劃、分步實施，整合資源、協(xié)同共享，突出重點、注重實效， 深化應用、創(chuàng)新 驅(qū)動的

7、原那么，全面提升信息化建設水平，促進全省經(jīng)濟持續(xù)健康開展1、統(tǒng)籌規(guī)劃、 分步實施。 結合我省經(jīng)濟開展與改革領域?qū)嶋H需求， 明 確總體目標和階段性任務，科學規(guī)劃建設工程。先期完成大數(shù)據(jù)平臺的 整體架構建 設，后期分步完成業(yè)務系統(tǒng)的整合及相互間數(shù)據(jù)共享問題。2、整合資源、協(xié)同共享。 對信息資源統(tǒng)一梳理，建立經(jīng)濟開展與 改革 信息標準資源庫和數(shù)據(jù)標準，逐步消滅“信息孤島 ，加快推進數(shù)據(jù)資 源整合，建 設共享共用的大數(shù)據(jù)中心，實現(xiàn)業(yè)務協(xié)同。3、突出重點、注重實效。 以用戶為中心，以需求為導向，以效勞 為目 的，突出重點，注重實效，加強平臺可用性和易用性。4、深化應用、創(chuàng)新驅(qū)動。 深入了解用戶需求，密切

8、跟蹤信息技術 開展 趨勢，不斷深化應用、拓展新技術在應用中的廣度和深度，促進跨界 融合，豐富管 理和效勞手段。五、建設方案為了保證工程的順利進行和建設目標的可行性，章魚大數(shù)據(jù)采取如下 幾種建設 方案。1、數(shù)據(jù)采集方案。我們統(tǒng)一信息資源標準標準， 建立多維度數(shù)據(jù)庫， 拓寬數(shù)據(jù)來源，通過不同的方式會聚數(shù)據(jù)，增強分析力度，提高監(jiān)測預警的準確性和 時效性。1、預留接口，支持其它系統(tǒng)各種數(shù)據(jù)的上傳導入處理。 將現(xiàn)存有關經(jīng)濟運行業(yè)務系統(tǒng)中的歷史數(shù)據(jù)和時效數(shù)據(jù)，通過上傳數(shù)據(jù)文件至 效勞器、分析提取有效數(shù)據(jù)導入效勞器數(shù)據(jù)庫等方式采集起來，在本 平臺上復用2、支持外接數(shù)據(jù)的上傳導入處理。 可以將企業(yè)單位或定點監(jiān)

9、測機 構的數(shù) 據(jù)通過同樣的方式采集起來，在本平臺上復用。3、支持非結構化數(shù)據(jù)，即搜索引擎數(shù)據(jù)、社交媒體數(shù)據(jù)、地理空間數(shù)據(jù)和音視頻數(shù)據(jù)等等。2、數(shù)據(jù)分析方案。物聯(lián)網(wǎng)大數(shù)據(jù)之大并不是難點所在，其真正難以對付的挑戰(zhàn)來自 于數(shù)據(jù)類 型多樣、要求及時響應和數(shù)據(jù)的不確定性，而我們所面臨的 也正是如此。我們采用批量數(shù)據(jù)處理系統(tǒng)，借助于深度學習、知識計算和可視 化等大數(shù) 據(jù)分析技術，通過對數(shù)據(jù)的批量處理挖掘其中的價值來支持 決策和發(fā)現(xiàn)新的洞 察。3、業(yè)務整合方案。在對社會開展相關業(yè)務子系統(tǒng)充分調(diào)研根底上，結合工程需求， 可對其進 行整合或嵌入處理本方案整合公共信用信息效勞平臺、投 資工程信息管理平 臺等 。1

10、、整合處理。 將原有數(shù)據(jù)通過上傳或?qū)敕绞竭M行采集， 原有功能模塊整合到本平臺中， 合二為一， 完美的將數(shù)據(jù)會聚起來。 缺點是 耗時較長。2、嵌入處理。以單點登錄的方式將原有系統(tǒng)鏈接嵌入到本平臺中，作為子系統(tǒng)單獨存在。缺點在于數(shù)據(jù)共享難以實現(xiàn)六、建設內(nèi)容1、宏觀經(jīng)濟監(jiān)測預測及可視化平臺政府信息化的最終目標是提高政府的決策水平， 其中經(jīng)濟決策是 核心內(nèi)容。 為了提高宏觀調(diào)控決策水平，我們必須從依靠傳統(tǒng)統(tǒng)計數(shù) 據(jù)向依靠物聯(lián)網(wǎng)非統(tǒng) 計數(shù)據(jù)轉(zhuǎn)變，從監(jiān)測預測宏觀經(jīng)濟總量向監(jiān)測預 測宏觀經(jīng)濟先行指標轉(zhuǎn)變，從 中長期監(jiān)測預測向?qū)崟r監(jiān)測預測轉(zhuǎn)變。宏觀經(jīng)濟監(jiān)測預測及可視化平臺圍繞網(wǎng)絡搜索、社交媒體、電子 商務、

11、終 端定位和業(yè)務交易等五個方面全面整合互聯(lián)網(wǎng)相關數(shù)據(jù)資源， 建設以“容量大、 形式多、分類細、響應快為目標的宏觀經(jīng)濟監(jiān)測 預測數(shù)據(jù)庫，構建基于互聯(lián) 網(wǎng)數(shù)據(jù)的宏觀經(jīng)濟非統(tǒng)計指標監(jiān)測預測應 用平臺。圍繞重點產(chǎn)業(yè)活潑度、區(qū)域經(jīng)濟關聯(lián)度、宏觀經(jīng)濟走向社會預期、 社會消 費熱點、大宗商品供求及價格走勢、 全國就業(yè)形勢、 外貿(mào)訂單 變化趨勢等方面， 構建物聯(lián)網(wǎng)大數(shù)據(jù)宏觀經(jīng)濟先行指標和現(xiàn)時預測指 標庫，研究能客觀、準確反 映我省宏觀經(jīng)濟運行狀況的指標體系，編制“山東指數(shù)。在健全完善監(jiān)測預警數(shù)據(jù)庫的根底上，充分運用大數(shù)據(jù)技術和理 念，加強 數(shù)據(jù)挖掘力度，強化定量分析，建立宏觀經(jīng)濟分析系列模型， 切實提高預測分

12、 析的前瞻性、準確性和可靠性。積極拓寬信息發(fā)布渠道，建立可視化平臺，如采用 Unity3D 引擎， 三維界面高度仿真，所見即所得。平臺針對多源易構的海量數(shù)據(jù)，通 過數(shù)據(jù)處理、存儲管理、可視化交互分析等技術，實現(xiàn)圖形化數(shù)據(jù)查 詢、可視化關聯(lián)分析、證 據(jù)鏈和情報線索開掘等功能。利用預測信號 燈系統(tǒng)，形象地刻畫出宏觀經(jīng)濟總 體運行狀況，分析經(jīng)濟波動原因， 及時了解各地區(qū)經(jīng)濟開展的不平衡性，準確 判斷和測定經(jīng)濟景氣循環(huán) 運行狀態(tài)，提高宏觀經(jīng)濟決策水平。2、建立食品平安風險監(jiān)測大數(shù)據(jù)分析平臺食品平安風險監(jiān)測大數(shù)據(jù)平臺的根底是感知、 收集、分析和共享覆 蓋食品 生產(chǎn)全過程的相關數(shù)據(jù)。國家應制定相關法規(guī)，強

13、制推行在農(nóng)、 林、牧、副、漁 及食品生產(chǎn)企業(yè)和相關主體建立覆蓋食品生產(chǎn)全過程的 食品平安風險監(jiān)測網(wǎng)點， 進行動態(tài)數(shù)據(jù)的標示與感知， 設立食品平安風 險監(jiān)測省級及地方大數(shù)據(jù)分平臺， 負責動態(tài)收集、 分析本省及地方的食 品平安監(jiān)測數(shù)據(jù)， 對本省及地方的食品安 全狀況做出評估， 對監(jiān)測發(fā)現(xiàn) 的可能存在的食品平安隱患及時發(fā)布預警， 并將 數(shù)據(jù)及時匯總到食品安 全風險監(jiān)測管理部門。3 、物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺是各個平臺中的根底性和綜合性平臺， 是 解決 “信息孤島 、實現(xiàn)數(shù)據(jù)互連互通的根底設施，有利于提高各類信 息資源整合 共享，以及信息資源的綜合利用。建設物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺的

14、首要目標就是要創(chuàng)造一個信息交 換、信息 共享的方式和環(huán)境，按照統(tǒng)一標準和標準，建立信息資源整合 機制，標準數(shù)據(jù)采 集口徑、采集方式，標準數(shù)據(jù)的效勞方式， 建立統(tǒng)一 的資源信息整合與交換機制。我們按照統(tǒng)一、集約、高效的數(shù)據(jù)開發(fā)利用理念，通過研究建立多 級交換管理體系， 形成政務信息資源物理分散、 邏輯集中的信息共享模 式，通過以應 用為抓手，進一步打通數(shù)據(jù)流，滿足政府部門多方位、多 層次的數(shù)據(jù)需求，為跨 地域、跨部門、跨平臺不同應用系統(tǒng)、 不同數(shù)據(jù) 庫之間的互連互通提供包含提取、 轉(zhuǎn)換、傳輸和加密等操作的數(shù)據(jù)交換 效勞。通過分布式部署和集中式管理架構， 有效解決各節(jié)點間數(shù)據(jù)的及 時、高效上傳下達

15、，在平安、快捷、方便的進行信息 交換的同時精準的 保證數(shù)據(jù)的一致性和準確性。章魚大數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)共享交換平臺的全局目標是建立一個可擴 展、可集 成、有統(tǒng)一數(shù)據(jù)模型、可交換和平安可靠的分布式系統(tǒng)，對各 類物聯(lián)網(wǎng)資源進行 組織和管理。解決物聯(lián)網(wǎng)信息資源的發(fā)現(xiàn)與定位問 題，解決物聯(lián)網(wǎng)信息資源規(guī)劃 與整理問題。 支持物聯(lián)網(wǎng)信息集成整合應 用、各業(yè)務部門辦公應用和政府職能 決策應用。面向政務協(xié)作、宏觀決策、市場監(jiān)管和社會管理效勞。七、技術支持與平臺性能1、系統(tǒng)架構 建立基于分布式的物聯(lián)網(wǎng)大數(shù)據(jù)集群管理系統(tǒng)，提供物聯(lián)網(wǎng)大數(shù)據(jù) 集群管理 系統(tǒng)，功能包含 Hadoop 、 Hive 、 HBase 、Sqoo

16、p 、Flume 、 Spark 等節(jié)點部 屬及管理，提供實時監(jiān)控集群的 CPU 內(nèi)存、硬盤等使用率及 相關信息，可以對 管理節(jié)點、計算節(jié)點進行啟動、停止等操作管理。系統(tǒng)架構圖如下：2、 Hadoop 集群生態(tài)系統(tǒng)技術架構3、Hadoop 核心主要功能設計4、HDFSA紹-文件讀流程Client 向 NameNod 發(fā)起文件讀取的請求。NameNod 返回文件存儲的 DataNode 的信息。Client 讀取文件信息。5、HDFSA紹-文件寫流程Client 向 NameNod 發(fā)起文件寫入的請求。NameNod 根據(jù)文件大小和文件塊配置情況，返回給 Client 它所管 理局部 DataN

17、ode 的信息。Client 將文件劃分為多個 Block ，根據(jù) DataNode 的地址信息，按 順序?qū)懭氲矫恳粋€ DataNode 塊中。6、MapReduce 映射、化簡編程模型輸入數(shù)據(jù) ->Map 分解任務 -> 執(zhí)行并返回結果 ->Reduce 匯總結果 -> 輸 出結果7、HBas 分布式數(shù)據(jù)存儲系統(tǒng)Client : 使用 HBaseRPC 機制與 HMaster 和 HRegionServer 進行通 信Zookeeper : 協(xié)同效勞管理， HMaster 通過 Zookeepe 可以隨時感知 各個 HRegionServer 的健康狀況HMaster

18、:? 管理用戶對表的增刪改查操作HRegionServer : HBase 中最核心的模塊，主要負責響應用戶 I/O 請求，向 HDFS 文件系統(tǒng)中讀寫數(shù)據(jù)HRegion:Hbase 中分布式存儲的最小單元，可以理解成一個 Table HStore : HBase 存儲的核心。由 MemStore 和 StoreFile 組成。HLog ：每次用戶操作寫入 Memstore 的同時，也會寫一份數(shù)據(jù)到 HLog 文2、平臺性能及優(yōu)勢1、先進性、開放性?；?Hadoop/Spark 主流大數(shù)據(jù)結構的應用技術和開放式的體系框 架，結構化設計，靈活可拆分，具有靈活的可擴充接口，易于修改調(diào) 整、二次 開發(fā)和擴充，最大限度降低因上游技術升級帶來的系統(tǒng)實施 風險，保證投資的有 效性和延續(xù)性。2、可擴展性。由于采用了平臺化構建思想，章魚大數(shù)據(jù)整個系統(tǒng)可做到與底層 多種硬件 環(huán)境、操作系統(tǒng)、數(shù)據(jù)接口的自由適配，保證系統(tǒng)在軟件、 硬件環(huán)境方面的靈 活配置以及未來的拓展應用。采用基于開放的模塊化設計，可根據(jù)需要進行靈活動態(tài)的模塊擴 充，并保 證原系統(tǒng)環(huán)境不受影響。系統(tǒng)提供開放的標準接口，可