基于微服務架構(gòu)的大數(shù)據(jù)應用開發(fā)創(chuàng)新實踐獲獎科研報告摘要：解決企業(yè)面臨的海量數(shù)據(jù)組合查詢搜索問題，積極開展基于大數(shù)據(jù)技術(shù)和面向微服務架構(gòu)的應用架構(gòu)研究。以開源軟件體系為依托，采用分層架構(gòu)設計的方法，將大數(shù)據(jù)技術(shù)平臺劃分為數(shù)據(jù)采集層、數(shù)據(jù)計算層、數(shù)據(jù)服務層、數(shù)據(jù)應用層這幾個層次。在各個層次上，研究和探索使用主流的大數(shù)據(jù)技術(shù)產(chǎn)品滿足對應層次的需要。在應用架構(gòu)上，創(chuàng)新性使用微服務架構(gòu)來替代以往的單體應用開發(fā)模式，基于業(yè)內(nèi)主流的SpringCloud技術(shù)體系，實現(xiàn)了應用架構(gòu)的全面微服務化。通過新的應用架構(gòu)，不僅通過用戶實時統(tǒng)計分析的應用開發(fā)來驗證了微服務相關的服務注冊中心、服務配置中心、服務發(fā)現(xiàn)、網(wǎng)關路由、服務高可用、服務負載均衡、服務快速API化等相關技術(shù)方案，而且為基于大數(shù)據(jù)與微服務的技術(shù)融合提供了一條可工程化的路徑。

關鍵詞：大數(shù)據(jù);微服務;架構(gòu)設計;應用創(chuàng)新

引言

目前行業(yè)大數(shù)據(jù)已經(jīng)廣泛應用于配電網(wǎng)和電力設備在線監(jiān)測中，如運行狀態(tài)診斷、用戶行為特征分析、狀態(tài)評估、基于復雜相關關系識別的設備故障診斷和預測技術(shù)、基于大數(shù)據(jù)和信息融合的輸變電設備關鍵性能動態(tài)評估及預測等。雖然已經(jīng)產(chǎn)生了海量數(shù)據(jù)，但大多數(shù)僅僅實現(xiàn)了數(shù)據(jù)存儲、查詢、統(tǒng)計等最基本層次的功能，尚未深入挖掘出隱藏在海量數(shù)據(jù)背后潛在的價值。若需要發(fā)現(xiàn)大數(shù)據(jù)中蘊含的更深層次的規(guī)律，保證系統(tǒng)運行的經(jīng)濟性、安全性和可靠性，需要通過數(shù)據(jù)挖掘技術(shù)來完成決策任務。

1概述

雙模IT概念由Gartner提出，雙模IT是指兩種不同的IT工作模式。一種模式專注于可預測性，其目標是可靠、可用和低成本，適用于需求明確的工作。比如ERP實施項目，在需求分析階段就必須將用戶的需求明確下來。另一種模式是探索性的工作，需求在開始階段并不明確。比如用大數(shù)據(jù)分析設備缺陷原因或者利用機器學習來預測設備劣化趨勢，在項目開始階段，用戶只知道項目的目標，對于具體的需求并不明確，需要和IT部門一起來探索。對于核電企業(yè)這種以資產(chǎn)運營為核心的企業(yè)，必須通過將雙模IT實施，才能在數(shù)字化浪潮中打贏數(shù)字化轉(zhuǎn)型這場硬仗工具，在合理時間內(nèi)達到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更準確的資訊。大數(shù)據(jù)有數(shù)據(jù)量大、數(shù)據(jù)種類多、要求實時性強、數(shù)據(jù)所蘊藏的價值大等特點，簡稱為4V，即Volume、Velocity、Variety、Veracity。大數(shù)據(jù)的數(shù)據(jù)來源可能是多種來源，這些來源包括搭載感測設備的移動設備、高空感測科技（遙感）、軟件記錄、相機、麥克風、無線射頻辨識（RFID）和無線感測網(wǎng)絡。我們通常聲稱的大數(shù)據(jù)應用是指利用先進的大數(shù)據(jù)管理和處理技術(shù)，針對實際業(yè)務所面臨的日益膨脹的海量數(shù)據(jù)存儲問題以及在此之上的海量數(shù)據(jù)處理問題而設計相應的解決方案并應用微服務架構(gòu)是相對于傳統(tǒng)的整體式架構(gòu)（MonolithicArchitecture）而言的。

2平臺建設目標及內(nèi)容

大數(shù)據(jù)綜合服務平臺致力于為政府管理人員、科技工作者和社會大眾提供數(shù)據(jù)信息科技服務，平臺通過建立統(tǒng)一的標準規(guī)范，集聚科技資源，整合現(xiàn)有多源異構(gòu)信息系統(tǒng)，提取處理并分析科技數(shù)據(jù)，形成集數(shù)據(jù)抽取、歸集、整合、存儲、處理、分析和服務為一體的全過程大數(shù)據(jù)綜合服務平臺。平臺基于先進的微服務技術(shù)架構(gòu)建設，通過提供自動化部署及智能服務能力，建設“一個總門戶、兩個處理中心、五個子平臺及多個信息系統(tǒng)”的統(tǒng)一科技大數(shù)據(jù)綜合服務平臺。平臺包含一個綜合服務總門戶、微服務調(diào)度處理中心和大數(shù)據(jù)分析處理中心兩個處理中心、科技信息系統(tǒng)子平臺、科技資源子平臺、輔助決策子平臺、共享服務子平臺和基礎支撐子平臺五個子平臺。綜合服務總門戶是平臺的統(tǒng)一入口?？傞T戶發(fā)布最新的通知和動態(tài)，提供業(yè)務系統(tǒng)申報受理指南文件等，統(tǒng)一各業(yè)務子系統(tǒng)的登錄認證入口，分類展示科技資源數(shù)據(jù)，提供決策支持、數(shù)據(jù)統(tǒng)計的分析結(jié)果和報告，并對外提供統(tǒng)一共享服務。微服務調(diào)度中心是平臺的樞紐，為平臺提供基礎技術(shù)框架。平臺通過微服務技術(shù)架構(gòu)完成服務組件的提供與消費、統(tǒng)一的服務發(fā)現(xiàn)和注冊、系統(tǒng)級消息通信、系統(tǒng)數(shù)據(jù)緩存、高可用服務集群整合、統(tǒng)一安全和運維體系保障等，微服務調(diào)度中心還與大數(shù)據(jù)分析處理中心協(xié)調(diào)進行數(shù)據(jù)共享交換的調(diào)度處理。大數(shù)據(jù)分析處理中心通過建立數(shù)據(jù)共享交換系統(tǒng)完成各平臺系統(tǒng)的數(shù)據(jù)對接互訪與共享交換，并對歸集到的數(shù)據(jù)進行存儲，利用統(tǒng)一的基礎數(shù)據(jù)及第三方認證系統(tǒng)對數(shù)據(jù)進行認證清洗，建立大數(shù)據(jù)處理模型并采用相應數(shù)據(jù)處理算法對數(shù)據(jù)進行處理分析，以此形成對數(shù)據(jù)的抽取、整理、清洗、存儲、分析和服務共享的全過程大數(shù)據(jù)綜合處理?？萍夹畔⑾到y(tǒng)子平臺是平臺信息化的重要支撐?，F(xiàn)有已建成投入運行的信息系統(tǒng)，在建及將來要建的系統(tǒng)都歸置到該子平臺。整合貫通這些多源異構(gòu)系統(tǒng)，要按實際情況區(qū)分對待，對已有異構(gòu)系統(tǒng)需進行規(guī)范化改造，通過對接統(tǒng)一用戶中心等通用模塊完成統(tǒng)一的登錄認證，并逐步按照標準進一步規(guī)范貫通，對在建未建系統(tǒng)則要求在統(tǒng)一用戶中心及標準規(guī)范下才能繼續(xù)建設。另外子平臺利用總門戶和微服務調(diào)度中心對外提供統(tǒng)一的信息系統(tǒng)入口、登錄登出和統(tǒng)一認證功能，通過集中化管理，達到系統(tǒng)間及平臺間共享數(shù)據(jù)資源的目的?？萍假Y源子平臺重點在于整合現(xiàn)有科技資源數(shù)據(jù)，包含現(xiàn)有的和歷史的電子化數(shù)據(jù)，采用關系型數(shù)據(jù)庫、各類文檔、圖片、視頻等多種存儲媒介對多源數(shù)據(jù)資源進行存儲處理?？萍假Y源子平臺集中整合科技計劃項目、科技獎勵推薦、高新技術(shù)企業(yè)、重點實驗室、基礎條件平臺、工程技術(shù)中心、創(chuàng)業(yè)孵化平臺等科技資源和數(shù)據(jù)，通過對管理過程中的過程數(shù)據(jù)和歷史數(shù)據(jù)電子化，歸集形成科技資源數(shù)據(jù)倉庫。子平臺中可以單獨建設科技數(shù)據(jù)管理系統(tǒng)，對科技業(yè)務進行分類化數(shù)據(jù)管理，初期采集結(jié)果數(shù)據(jù)，后續(xù)再采集過程數(shù)據(jù)。輔助決策子平臺是大數(shù)據(jù)分析處理中心的延伸，該子平臺利用大數(shù)據(jù)模型及分析算法對歸集的科技數(shù)據(jù)進行分析挖掘，為政府決策者和管理人員提供輔助決策支撐。視情況生成科技創(chuàng)新指數(shù)、地區(qū)科技競爭力等分析報告。按需生成科技數(shù)據(jù)統(tǒng)計及統(tǒng)計結(jié)果輸出等。共享服務子平臺與總門戶協(xié)同對外提供服務，是平臺與第三方平臺交換數(shù)據(jù)的中介，也是平臺為科技人員和社會公眾提供服務的橋梁。該子平臺包括：與“信用山西”等第三方政府部門的數(shù)據(jù)共享;與科技部的數(shù)據(jù)信息互聯(lián)互通;市縣一體的科技領域管理與服務;對科研單位、專業(yè)機構(gòu)、科技人員和評審專家等進行的科研信用評估評價;與實體政務大廳結(jié)合的通過線上線下平臺對外統(tǒng)一服務。

結(jié)語

為解決實際遇到的海量數(shù)據(jù)組合查詢搜索問題，積極開展基于大數(shù)據(jù)技術(shù)和面向微服務架構(gòu)的應用架構(gòu)研究。按照分層架構(gòu)對大數(shù)據(jù)技術(shù)平臺進行設計，將平臺劃分為數(shù)據(jù)采集層、