新能源發(fā)電工程工業(yè)大數據平臺及智慧化應用系統可行性研究報告（2023）2022.11目錄7230_WPSOffice_Level1一、項目背景及必要性 314641_WPSOffice_Level21.1項目背景 36816_WPSOffice_Level21.2項目必要性 514641_WPSOffice_Level1二、相關企業(yè)實踐現狀及發(fā)展趨勢 725502_WPSOffice_Level22.1國內外相關領域的業(yè)務現狀 720148_WPSOffice_Level22.2領先實踐的成功案例 76816_WPSOffice_Level1三、需求分析 820850_WPSOffice_Level23.1現有業(yè)務及信息系統分析 831400_WPSOffice_Level23.2目標需求 1025502_WPSOffice_Level1四、建設目標和內容 1312907_WPSOffice_Level24.1建設原則和策略 1323010_WPSOffice_Level24.2建設目標 1531853_WPSOffice_Level24.3建設內容 1820148_WPSOffice_Level1五、技術方案和技術路線 3731336_WPSOffice_Level25.1工業(yè)大數據平臺 3732339_WPSOffice_Level25.2智慧化應用平臺 4420850_WPSOffice_Level1六、項目實施 4911500_WPSOffice_Level26.1項目組織及分工 495695_WPSOffice_Level26.2項目總體計劃 5031400_WPSOffice_Level1七、效益和風險分析 5120060_WPSOffice_Level27.1效益分析 513956_WPSOffice_Level27.2風險評估 5212907_WPSOffice_Level1八、項目經費估算 5323010_WPSOffice_Level1九、結論 54一、項目背景及必要性1.1項目背景緊跟國家“碳中和”戰(zhàn)略目標，促進能源行業(yè)轉型發(fā)現，新能源光伏電站蓬勃發(fā)展，出現爆發(fā)式增長。截至截止2020年底，全國光伏電站裝機容量2.53億千瓦，同比增長率24.1%，占全國發(fā)電容量裝機比11.52%。實現棄光電量和棄光率“雙降”。新能源發(fā)電企業(yè)完成集控中心項目建設后，匯聚了生產運行、安全管理與經營等各類數據，實現了生產數據、管理數據與營運數據的采集。徹底解決了“信息孤島”現象。通過線上業(yè)務流的建立，規(guī)范公司生產管理流程，實現管理的標準化。工業(yè)大數據平臺正是建立在集控中心大數據的匯聚的基礎上，通過數據挖掘、數據分析等實現智慧化應用，為企業(yè)最終實現“智慧運維”提供數據支撐平臺。實現新能源發(fā)電企業(yè)向新型智慧化企業(yè)發(fā)展的必要手段。通過智慧企業(yè)建設實踐，將有助于提升企業(yè)生產經營水平，完善管理體制機制，優(yōu)化經濟運行，增強企業(yè)經營的感知、洞察、管控能力，實現風險識別自動化、決策管理智能化。通過加強對外部環(huán)境、行業(yè)發(fā)展及企業(yè)自身的狀態(tài)感知，運用物聯網、大數據、云計算等現代IT技術，通過體系、流程、人、技術等企業(yè)要素的有效變革和優(yōu)化，提高對流域開發(fā)、電站建設、生產運行、電力交易和企業(yè)管理的洞察力，提升企業(yè)智慧，增強企業(yè)應對外部風險能力，實現健康可持續(xù)發(fā)展。目前工業(yè)大數據中心是各行業(yè)發(fā)展前進的驅動引擎，是實現企業(yè)智慧化應用的基礎平臺，是企業(yè)智慧化應用數據源的承載體，工業(yè)大數據是推動大數據在企業(yè)生產管理、安全監(jiān)督、經營管理、電力市場營銷等各生產環(huán)節(jié)產業(yè)鏈量的轉型工具。通過大數據智慧化的分析計算，實現新的業(yè)務管理模式，對提高集團的集約化、規(guī)范化、智能化管控水平具有重要意義。新能源發(fā)電企業(yè)大數據平臺是建立在企業(yè)區(qū)域集控化的基礎之上，并利用已建成的集控中心實現數據的匯聚和傳遞，各區(qū)域側集控中心是大數據平臺的若干節(jié)。并可實現“云邊”協作，集團側大數據平臺為“云”，集控側數據視為“邊”。XX青海新能源公司以光伏和風電為主導，總裝機容量2021年底將突破1150MW，光伏裝機容量750MW，光伏場站包含格爾木光伏運維中心、共和光伏運維中心、基地、德令哈光伏電站、冷湖平價光伏場站四個區(qū)域。風電裝機容量400MW，分布在茫崖風電場、大柴旦風電場、都蘭風電場、剛察風電場、切吉風電場五個區(qū)域。XX青海新能源公司工業(yè)大數據平臺與應用包含兩部分建設內容，一是建立分公司企業(yè)電力生產運營管理的大數據平臺，二是建立基于大數據平臺的智慧化應用。1.2項目必要性工業(yè)平臺大數據是適應目前電力信息化技術水平發(fā)展、服務集團智慧化應用業(yè)務的架構平臺。主要目標是把電力生產營運基礎數據轉換成各業(yè)務系統所需要的數據格式，并通過數據服務平臺向各應用系統提供數據源支撐，為公司的安全生產、經營管理、決策分析、項目建設提供可靠的數據支持；規(guī)范化數據共享體系，實現數據共享和業(yè)務協同，為決策系統提供及時、準確、可靠的信息依據，提高企業(yè)工作的前瞻性和針對性，加大宏觀調控力度，實現新能源發(fā)電企業(yè)精細化管控為目標。大數據的智慧化應用就是智慧企業(yè)業(yè)務應用。包括企業(yè)智慧檢修、智慧調度、設備智能診斷、三維虛擬電站、安全管控、智能安防、指標分析與健康評價、經濟運行、狀態(tài)檢修、防汛決策指揮、新型生產管理系統、VR仿真培訓等應用。主要存在的問題分析如下：新能源企業(yè)數據標準化不一致青海新能源公司及下屬單位數據結構化不一致。（如關系型數據庫數據、應用系統數據、生產實時數據）、半結構化數據（如日志、郵件等）、非結構化數據（如文本、圖片、視頻、音頻、網絡數據流等）等不同類型、不同時效的數據以及其他外部數據，無法實現統一清洗和存儲管理。實現業(yè)務系統、電力設備、生產運營等相關數據及部分外部采集數據集中存儲和管理，挖掘數據中價值，提供數據增值服務困難。建立新能源企業(yè)數據標準化的目標迫在眉睫。實現數據共享和數據交換存在困難匯聚集電力生產現場各應用系統的數據集成和整合，規(guī)劃各系統來源不一致、種類異同的各類數據實現統一規(guī)則下的存儲，實現各系統數據融合與交叉使用，多維度開展數據共享和數據交換功能，無法破除各系統信息孤島效應，只有開展新能源大數據平臺的建立，實時數據價值應用和數據交換。使智慧化大數據的應用成為可能。實現新能源發(fā)電企業(yè)數據價值共享和交換存在困難。已建立各系統繁多且孤立，日常運維困難新能源電站已建成的系統有計算機監(jiān)控系統、AGC/AVC、SVG控制、光功率預測、視頻監(jiān)控、消防系統等，各系統采用不同的廠家建設，各系統相對獨立，功能單一，沒有完全實現數據融合和系統交叉共享使用，運維人員需進行多系統確認，影響監(jiān)盤效率。無法實現系統融合。建立新能源發(fā)電企業(yè)數據各系統實現數據融合困難。基于大數據實現智慧化應用難度大生產控制系統實時測點多，生產過程中生產大量的歷史數據，包含光伏組件、組串故障、匯流箱和逆變器的運行狀態(tài)數據，利用大數據分析功能，實時設備隱性故障和低能效分析，優(yōu)化光伏電站運行指標。如組件低效分析、損耗分析、組件熱斑破損遮擋、積塵、衰減異常、電流電壓異常等，通過大數據的離散量分析、趨勢變化分析、歷史分析等，查找故障和原因，優(yōu)化光伏電站經濟運行，提升發(fā)電效應。二、相關企業(yè)實踐現狀及發(fā)展趨勢2.1國內外相關領域的業(yè)務現狀大數據中心是各行業(yè)發(fā)展前進的驅動引擎，是實現企業(yè)智慧化應用的基礎平臺，是企業(yè)智慧化應用數據源的承載體，工業(yè)大數據是推動大數據在企業(yè)生產管理、安全監(jiān)督、經營管理、電力市場營銷等各生產環(huán)節(jié)產業(yè)鏈量的轉型工具。通過大數據智慧化的分析計算，實現新的業(yè)務管理模式，提高集團的集約化、規(guī)范化、智能化管控水平具有重要意義。目前國內外相關新能源發(fā)電企業(yè)已全面開展大數據中心研究工作，并已建成發(fā)電企業(yè)大數據中心，如XX集團公司綜合大數據應用項目，國電大渡河大數據公司等項目，大數據平臺是智慧發(fā)電企業(yè)建設、新能源電站智慧化應用的基礎平臺。2.2領先實踐的成功案例目前國內國電大渡河大數據公司已全面完成大數據中心平臺的建立，打破業(yè)務系統分類建設，條塊分割，數據孤島的現象，通過整體規(guī)劃、系統整合、數據集中、技術統一、集成運行、集中運維的策略，構筑企業(yè)級智能業(yè)務應用平臺。并推出基于大數據應用的大量成功案例。國電大渡河大數據平臺以數據為基礎，建設是以設備智能巡檢、故障精準排查、系統協同聯動為目標，以自動控制為基礎，以數據管理為核心，整合運行管理歷史數據和人工經驗，引導管理系統自主管理、自我演進，謀求設備控制更加自主、生產管理更加智能、風險決策更加科學的柔性電力生產組織形態(tài)與新型管理模式。智慧水電建設從“物理電廠”的生產過程、物理對象、業(yè)務流程、環(huán)境條件的數字化處理開始，進行水電生產管理各個環(huán)節(jié)的業(yè)務量化，再通過生產數據中心與高速數據傳輸網絡完成多源海量數據的集成集中，并在此基礎上構建以“態(tài)勢感知、多維分析、趨勢預測、風險預警、遠程控制”等為主要特征的統一平臺，實現集“數據、監(jiān)測、運檢、調度、算法”于一體的新型“云端電廠”，最終實現“無人值守和智能協同”。三、需求分析根據電力行業(yè)發(fā)展的狀況和趨勢，新能源電站迅猛發(fā)展的勢頭，信息行業(yè)的新技術在各行業(yè)的應用。智慧光伏必將成為趨勢。智慧光伏軟件產品是實現電力行業(yè)新能源精細化管理要求，達到“集中監(jiān)控、無人值班、少人值守”的目標要求，光伏電站智慧化應用是發(fā)展的必然趨勢，夯實企業(yè)安全基礎、保障安全生產穩(wěn)定運行、實現精細化管理的必要手段。更是提高發(fā)電企業(yè)運行維護水平、降低人資成本、改善勞動條件、提高經濟效益的有效途徑。光伏電場站面積大、設備眾多、已建成的系統功能有限，精細化管理困難，新信息化技術應用不足，管理手段有限，邊界安全管控和場站防山火預警能力有待提高等。通過建設智慧光伏一體化平臺，能有效解決目前電站運營和管理的問題。3.1現有業(yè)務及信息系統分析3.1.1業(yè)務現狀、信息系統現狀青海公司新能源電站已建成投產，已經建成生產控制各類系統包含，已建成光伏電站SCADA系統，用于光伏發(fā)電過程控制控制；升壓站監(jiān)控系統（NCS），用于升壓站設備控制；功率控制系統(AGC/AVC)，光功率預測，集控中心系統等。3.1.2問題分析新能源生產過程大量數據，未實現數據價值應用青海新能源公司及下屬單位數據結構化不一致。（如關系型數據庫數據、應用系統數據、生產實時數據）、半結構化數據（如日志、郵件等）、非結構化數據（如文本、圖片、視頻、音頻、網絡數據流等）等不同類型、不同時效的數據以及其他外部數據，無法實現統一清洗和存儲管理。實現業(yè)務系統、電力設備、生產運營等相關數據及部分外部采集數據集中存儲和管理，挖掘數據中價值，提供數據增值服務困難。實現數據共享和數據交換存在困難匯聚集電力生產現場各應用系統的數據集成和整合，規(guī)劃各系統來源不一致、種類異同的各類數據實現統一規(guī)則下的存儲，實現各系統數據融合與交叉使用，多維度開展數據共享和數據交換功能，無法破除各系統信息孤島效應，只有開展新能源大數據平臺的建立，實時數據價值應用和數據交換。使智慧化大數據的應用成為可能?；诖髷祿崿F智慧化應用難度大生產控制系統實時測點多，生產過程中生產大量的歷史數據，包含光伏組件、組串故障、匯流箱和逆變器的運行狀態(tài)數據，利用大數據分析功能，實時設備隱性故障和低能效分析，優(yōu)化光伏電站運行指標。如組件低效分析、損耗分析、組件熱斑破損遮擋、積塵、衰減異常、電流電壓異常等，通過大數據的離散量分析、趨勢變化分析、歷史分析等，查找故障和原因，優(yōu)化光伏電站經濟運行，提升發(fā)電效應。3.2目標需求大數據中心是行業(yè)發(fā)展前進的驅動引擎，是實現企業(yè)智慧化應用的基礎平臺，是企業(yè)智慧化應用數據源的承載體，工業(yè)大數據是推動大數據在企業(yè)生產管理、安全監(jiān)督、經營管理、電力市場營銷等各生產環(huán)節(jié)產業(yè)鏈量的轉型工具。通過大數據智慧化的分析計算，實現新的業(yè)務管理模式，對提高集團的集約化、規(guī)范化、智能化管控水平具有重要意義。本項目采用“大數據、云計算、物聯網、移動互聯”技術理念，提供一體化平臺監(jiān)控、智能設備診斷、劣化趨勢分析功能；并通過建立動態(tài)電子導航地圖，實現全方位、精準化人員、安防和設備定位；通過防山火監(jiān)視系統，有效監(jiān)測光伏場站消防隱患；通過智能設備監(jiān)測手段，開展大數據分析，提供設備可靠性指標，實現預警預測與故障診斷，提升發(fā)電效益；通過建立符合電站實際少人值守的生產管理系統，減少繁雜日常管理工作，提高工作效率；有效分析現場實際應用，可研發(fā)移動終端APP應用，實時管控電站安全生產狀況等。3.2.1工業(yè)大數據平臺工業(yè)大數據平臺的最終目標是智慧化的應用，為智慧電廠提供業(yè)務應用數據源支撐，智慧電站系統功能設計采用一體化平臺設計思路，集成全部業(yè)務應用功能，平臺界面采用純B/S，基于.net或J2EE架構，滿足當前主流的瀏覽器版本要求。也可采用C/S結構，將需要處理的業(yè)務合理地分配到客戶端和服務器端。降低通信成本，提高系統安全性。青海新能源公司工業(yè)大數據平臺實現全區(qū)域電站現場各系統的數據采集功能，實現數據統一規(guī)劃采集、清洗、儲存、接口等全部功能，后期具備易擴展接入功能，平臺采用一次性數據模型設計，規(guī)范數據類型。青海新能源公司工業(yè)大數據平臺支持節(jié)點彈性擴展以便于后續(xù)規(guī)模擴張和性能升級，多節(jié)點間支持數據的冗余；體系架構采用高性能集群分布式架構的大數據處理系統，數據處理性能隨節(jié)點數量的增加而線性增加，支持多節(jié)點的自動負載均衡及故障轉移；系統采用先進的大數據存儲技術，采集存儲各業(yè)務板塊的全部數據，系統支持數據重發(fā)，對于波形等數據，在網絡堵塞的情況下，能夠利用空閑時間進行傳輸，有效提高數據傳輸的可靠性。3.2.2全局數據采集通過集控中心已建設平臺實施數據采集功能，集控中心基于工業(yè)以太網、工業(yè)總線等工業(yè)通信協議，以太網、光纖等通用協議，3G/4G、NB-IOT等無線協議將工業(yè)現場設備接入到集控平臺，實現全局數據采集。采集的數據包括水電、風電、光伏電站等SCADA系統、機組在線監(jiān)測、水情測報、功率預測、升壓站NC、環(huán)境監(jiān)測、電能量、環(huán)境監(jiān)測、兩票系統、生產管理及其他系統。3.2.3標準化數據處理標準化的數據處理是指數據采集標準化、接口通訊協議標準、數據格式標準化和數據共享交換標準化。通訊接口協議應支持主流通訊規(guī)約，如：TCP/IP、OPC/DDE、Modbus、Profibus、RTU、ICE101/102/104；數據格式依照電力企業(yè)生產和管理的特性，分析和定義數據的標準格式，實行數據標準化；數據共享交換標準化是指提供給業(yè)務應用或其他方式的標準格式，數據共享和數據交換標準化。3.2.4數據共享與支持工業(yè)大數據平臺實行全部業(yè)務應用的數據共享和數據源支撐功能，支撐標準的數據庫存儲如Oracle、MSSQLSERVER、DB2UDB、Informix、Sybase等數據庫，實行全景應用的業(yè)務的數據源支撐。達到一套大數據平臺提供全部服務的效果。3.2.5業(yè)務擴展與數據遷移應用業(yè)務擴展包括數據庫的擴展與業(yè)務應用的擴展，數據庫的擴展將依靠已配置的數據結構形式，采用增加硬件設備或虛擬方式進行擴展，不改變原有的結構，僅需要進行進行配置增加和硬件增加方式，業(yè)務的擴展包括后期應業(yè)務變更和增加，持續(xù)支持業(yè)務依靠的數據源，實時業(yè)務開展功能，不改變數據平臺的結構方式，無需進行數據重新整合方式進行。歷史數據包括結構化數據和非結構化數據，針對不同類型的數據將采用不同的數據遷移策略。3.2.6微服務應用能力提供涵蓋服務注冊、發(fā)現、通信、調用的管理機制和運行環(huán)境，支撐基于微型服務單元集成的“松耦合”應用開發(fā)和部署。支持開發(fā)APP應用業(yè)務間相互促進、雙向迭代的生態(tài)體系。3.2.7智慧化業(yè)務應用建立工業(yè)大數據平臺目的是為了實現智慧電廠應用，智慧電廠的業(yè)務包含全部生產、安全、經營、管理等全部環(huán)節(jié)。目前主流發(fā)電企業(yè)的智慧化應用業(yè)務包括設備智能診斷、三維虛擬電站、安全管控、智能安防、指標分析與健康評價、經濟運行、狀態(tài)檢修、新型生產管理系統、VR仿真培訓等應用。四、建設目標和內容4.1建設原則和策略4.1.1技術先進性前瞻性原則實施計劃必須保持一定的前瞻性，必須能夠為未來的企業(yè)級信息化的建立提供長期的指導。因此，在考慮的內容上，要以國內外的參考領先實踐為目標，而不以僅滿足近期需求為目標。4.1.2統一規(guī)劃循序漸進原則實施計劃必須循序漸進，具有可操作性。在企業(yè)級信息化的構建過程中，外部數據的使用，以及互聯網信息技術的應用，在國內尚處于初級階段，目標不可能一蹴而就。實施計劃將考慮集團總部的現實條件和內外部限制因素，分步驟地推進企業(yè)級信息架構的全面落實。4.1.3業(yè)務驅動與其他應用互動原則企業(yè)級信息化雖然包含很多方面，從組織及管控、政策及流程、方法、報告、項目實施到運營維護，但是各方面之間是互相依賴的整體。實施中應以整合的視角充分考慮各模塊的互動關系，在此基礎上安排各自的先后次序。4.1.4安全與風險控制原則企業(yè)級信息化的實施計劃和實施過程都比較復雜，牽涉到較多跨部門的配合。因此在設計過程中我們應充分考慮項目實施的前提條件與應具備的能力，合理分工，保證各部分在實施過程中，風險可控。4.1.5標準性原則智慧化應用采用統一標準平臺，采用標準、成熟、開放的數據模型及網絡協議進行數據訪問、存儲、計算及傳輸，便于第三方能夠基于數據應用的基礎上進行軟件開發(fā)，提高各系統之間的信息共享和協同互動能力，采用標準接口和標準開發(fā)一體化模式。4.1.6開放性原則系統設計遵循開放原則進行設計，采用彈性擴展的面向SOA、Web服務結構，通過數據總線、消息總線技術提供信息交換接入，為其他系統接入及第三方服務提供公共的協議和接口標準，系統在整體上需具備接口代碼開放、功能配置開放、接口開放、數據庫開放、接口服務開放用以提高系統的擴展和維護，為各類應用提供豐富、高質量和多維度的數據資源接口。4.1.8安全性原則嚴格按照國能安全【2015】36號文件附件4：發(fā)電廠監(jiān)控系統安全防護方案“安全分區(qū)、網絡專用、橫向隔離、縱向認證、綜合防護”的基本原則要求，對系統內各應用系統進行安全區(qū)劃分、部署網絡邊界安全防護設備及入侵檢測、主機及網絡設備加固、惡意代碼防范等綜合防護設備系統具有高度的可靠性和安全性。系統具有完善的授權和數據備份機制，能夠提供完善的公司鑒權、訪問控制、安全日志管理、操作員權限管理的多種安全手段，并提供多種安全檢查手段，保證公司能夠正常使用系統中的共享資源，提供應有的信息服務；采用有效的安全保密技術。4.1.9可擴展性原則系統具備良好的擴展性，一是對系統功能的擴展，滿足用戶對系統功能的最新需求；二是系統架構設計通過硬件資源（如CPU、內存、網絡、存儲等）的橫向擴展和縱向擴展，隨著業(yè)務增長可以進行動態(tài)擴展。4.2建設目標青海新能源工業(yè)平臺大數據是適應目前電力信息化技術水平發(fā)展、服務集團智慧化應用業(yè)務的架構平臺。主要目標是把電力生產營運基礎數據轉換成各業(yè)務系統所需要的數據格式，并通過數據服務平臺向各應用系統提供數據源支撐，為公司的安全生產、經營管理、決策分析、項目建設提供可靠的數據支持；規(guī)范化數據共享體系，實現數據共享和業(yè)務協同，為決策系統提供及時、準確、可靠的信息依據，提高企業(yè)工作的前瞻性和針對性，加大宏觀調控力度，實現新能源發(fā)電企業(yè)精細化管控為目標基于工業(yè)平臺大數據的企業(yè)智慧化應用就是智慧企業(yè)業(yè)務應用。包括企業(yè)智慧檢修、智慧調度、設備智能診斷、三維虛擬電站、安全管控、智能安防、指標分析與健康評價、經濟運行、狀態(tài)檢修、防汛決策指揮、新型生產管理系統、VR仿真培訓等應用。4.2.1工業(yè)大數據平臺總體目標大數據信息資源平臺是順應目前電力信息化技術水平發(fā)展、服務集團公司職能部門的架構平臺。它的主要目標是把基礎數據轉換成各業(yè)務系統所需要的數據格式，然后通過數據服務平臺向各應用系統提供數據，為公司的經營管理、決策分析、系統建設提供可靠的數據支持；建立規(guī)范化數據共享體系，推進電力企業(yè)數據共享和業(yè)務協同，為決策提供及時、準確、可靠的信息依據，提高企業(yè)工作的前瞻性和針對性，加大宏觀調控力度，促進企業(yè)持續(xù)健康發(fā)展。建立基于分布式文件系統的大數據基礎平臺平臺具有高可用性和擴展性的關系數據庫、列式存儲數據庫、文件系統、內存數據庫等多種存儲系統，以支撐各類業(yè)務結構化數據、半結構化數據、非結構化數據、海量實時數據的存儲和訪問，以高可靠、高效率、可伸縮的方式處理海量數據。建立數據采集體系標準采集和匯集團及下屬單位結構化數據（如關系型數據庫數據、應用系統數據、生產實時數據）、半結構化數據（如日志、郵件等）、非結構化數據（如文本、圖片、視頻、音頻、網絡數據流等）等不同類型、不同時效的數據以及其他外部數據，并進行統一清洗和存儲管理。實現業(yè)務系統、電力設備、生產運營等相關數據及部分外部采集數據集中存儲和管理，并從數據中挖掘價值，提供數據增值服務。實現數據的共享和交換匯聚集電力生產現場各應用系統的數據集成和整合，規(guī)劃各系統來源不一致、種類異同的各類數據實現統一規(guī)則下的存儲，實現各系統數據融合與交叉使用，多維度開展數據共享和數據交換功能，破除各系統信息孤島效應，實時數據價值應用和數據交換。使智慧化大數據的應用成為可能。建立數據管控體系，實現數據標準化制定數據標準，統一數據規(guī)范；完善數據安全管理、元數據管理、數據質量管理，支持企業(yè)數據管控。建立應用需求接口統一框架，作為智慧電廠應用為主題建設的基礎；實現相關的應用功能。建設大數據挖掘算法庫建設大數據挖掘算法庫，實現常用的軌跡分析、機器學習等數據挖掘算法，同時實現內存數據庫實時處理，為應用提供各類常用應用接口。大數據分析計算與決策采用數據挖掘、數理統計等相關技術，構建大數據分析框架，提取數據中隱含的、未知的、極具潛在應用價值的信息和規(guī)律，開展業(yè)務驅動的大數據算法分析，為支持業(yè)務驅動提供計算與決策的數據源。4.2.2基于大數據平臺智慧化應用目標工業(yè)大數據平臺的最終目標是智慧化的應用，為智慧電廠提供業(yè)務應用數據源支撐，智慧電站系統功能設計采用一體化平臺設計思路，集成全部業(yè)務應用功能，平臺界面采用純B/S，基于.net或J2EE架構，滿足當前主流的瀏覽器版本要求。也可采用C/S結構，將需要處理的業(yè)務合理地分配到客戶端和服務器端。降低通信成本，提高系統安全性。工業(yè)大數據平臺以逐步建設完善的原則，按照總體規(guī)劃、分步實施的建設原則，項目分三階段實施：第一階段：數據平臺的初步建立（2022年）開展工業(yè)大數據平臺初步策劃和規(guī)劃工作，制定建立數據庫標準，實現實時庫、關系庫、元數據等各類數據的基礎數據標準。對現有數據源進行調查清理。包括數據庫規(guī)模、類型、存儲方式、數據清洗、接口通信等各種標準的建立。第二階段：實現生產數據平臺功能（2022年）初步實現都對集控中心的生產數據實現存儲功能，對集控中的實時數據、歷史數據進行整理和儲存，驗證數據中心的初步功能和應用。并開展數據治理工作。開展基于大數據平臺的智慧化應用部署。驗證大數據平臺應用效果。第三階段：全面建成青海新能源公司大數據平臺（2023年）全面實現青海新能源公司各系統的大數據平臺功能，接入生產實時系統和生產管理系統全部數據，全面接入人資、財務、工程、黨務、綜合管理等全系統的數據，實現數據全部融合，實現與集團、電網等數據的流的全面暢通。開發(fā)基于大數據平臺其他應用，全面部署統一的應用業(yè)務，實現應用業(yè)務流程整合。4.3建設內容工業(yè)大數據平臺正是建立在集控中心大數據的匯聚的基礎上，通過數據挖掘、數據分析等實現智慧化應用，為企業(yè)最終實現“智慧運維”提供數據支撐平臺。實現新能源發(fā)電企業(yè)向新型智慧化企業(yè)發(fā)展的必要手段。通過智慧企業(yè)建設實踐，將有助于提升企業(yè)生產經營水平，完善管理體制機制，優(yōu)化經濟運行，增強企業(yè)經營的感知、洞察、管控能力，實現風險識別自動化、決策管理智能化。通過加強對外部環(huán)境、行業(yè)發(fā)展及企業(yè)自身的狀態(tài)感知，運用物聯網、大數據、云計算等現代IT技術，通過體系、流程、人、技術等企業(yè)要素的有效變革和優(yōu)化，提高對流域開發(fā)、電站建設、生產運行、電力交易和企業(yè)管理的洞察力，提升企業(yè)智慧，增強企業(yè)應對外部風險能力，實現健康可持續(xù)發(fā)展?；谇嗪Ｐ履茉创髷祿脚_，建立電廠數據倉庫，開展大數據分析，建立生產和運行優(yōu)化系統；利用三維可視化技術，實現設備可視化診斷分析和動態(tài)壽命管理；通過智能感知技術，實現互聯網+的安全管理系統；結合離在線多維度診斷技術，點巡檢數據，實現健康指標分析和劣化趨勢分析，開展可預知狀態(tài)檢修技改；增強巡檢工作的高效性、安全性和可靠性，從而提升光伏電站整體運維效率，降低運維成本；通過在線指標統計和分析，為企業(yè)管理者提供輔助決策。4.3.1工業(yè)大數據平臺建設工業(yè)大數據信息平臺是整個系統的基礎平臺，主要完成對各類多元異構數據以及現有運營管理系統等不同平臺數據源的抽取、轉換和加載，按照統一的數據標準存儲，并通過數據倉庫、數據集市、數據挖掘和分析為應用層面提供統一的標準數據接口；同時為滿足應用層面共性的基礎需求，通過搭建各種共享服務平臺為應用層面服務，提供集團總部系統管理、數據管理、運行管理等基本功能。大數據信息資源平臺由數據采集區(qū)、數據倉庫區(qū)、原始數據區(qū)、實時分析區(qū)、數據分析區(qū)、數據訪問區(qū)等功能構成。為實現與企業(yè)電力行業(yè)的數據獲取和共享，以及信息查詢、信息共享、信息交互等功能，大數據信息資源平臺的建設將依托集團級信息管理系統及其他業(yè)務系統，結合網絡化運營管理和分析決策需要，對集團總部擁有的設備、生產、經營管理、綜合管理等數據進行分析、挖掘，實現對分專業(yè)數據資源的一體化整合，滿足不同系統間信息資源共享，信息交互分析的需求。數據采集工業(yè)大數據平臺本質是利用信息技術對智能設備、應用系統、運營環(huán)境、人員組織、管理環(huán)節(jié)等要素信息進行實時采集與匯聚。通過構建一套能夠兼容、轉換多種協議的技術產品體系，實現企業(yè)電力數據互聯互通互操作。數據采集系統通過接口服務器與生產系統、ERP系統、人力資源管理系統、電力營銷系統、財務共享、工程項目管理系統等業(yè)務系統進行通信，同時與外部單位接口，接收外部系統的數據文件，并通過數據采集系統將數據加載至數據倉庫中或直接將實時業(yè)務解析后提供數據分析、應用系統使用。數據采集系統是源系統和工業(yè)大數據平臺之間，減少了下游數據訪問利用對源系統產生的影響，系統間具有松散的耦合關系。數據采集是大數據平臺成功的關鍵，工業(yè)大數據平臺實時或離線從源系統中接收數據，獲取的源數據首先到達大數據平臺的接口數據層進行預處理，然后經過加載、清洗、轉換等環(huán)節(jié)到達整合數據層，形成大數據平臺的核心數據。實時數據采集生產運營過程中，除了實時日志數據，還有風電機組、火電機組、光伏機組等生產設備的大量生產實時監(jiān)測數據，將這些實時數據采集到大數據信息資源平臺，進行實時加工處理分析，提供對系統、運營設備的在線實時監(jiān)測。實時數據采集平臺滿足集團總部目前以及未來業(yè)務發(fā)展，達到百萬級別實時數據點的實時采集能力。批量數據采集ERP系統、人力資源、電力營銷、財務共享、采購管理系統等將源系統數據生成為接口文件，并將接口文件存放在對應的接口服務器，數據采集程序將從接口服務批量、輪詢讀取源系統文件，加載到大數據信息資源平臺，數據采集頻率支持設定，支持小批量數據加載和批量數據加載。非結構化數據的采集將采用Ftp接口，數據采集程序將視頻文件和圖紙等文件讀取到非結構化存儲陣列中，對非結構化數據進行結構化信息管理。數據接口數據接口規(guī)范制定時需要考慮：數據內容：確定需要的數據表，以及表中的每個數據項，包括數據項的長度、類型等。數據格式：指文件格式，如文本文件、字段變長分隔符分隔。編碼格式：ASCII碼、EBCDIC碼等。命名規(guī)范：文件命名、目錄命名等。數據周期：數據傳輸的頻率，如每日、每周、每月、不定期。通信傳輸機制：包括數據傳輸的通信協議、傳輸工具軟件或中間件。大數據信息資源平臺系統建設中，考慮到源業(yè)務系統的分布、數據抽取的效率，以及對現有業(yè)務系統性能及安全的影響，在大批量的數據處理時，數據接口建議采用文本文件方式（其它具體接口規(guī)范在項目實施時確定）：文本文件/行記錄格式/ASCII編碼/定長或符號分割記錄格式。數據抽取數據抽取指從源業(yè)務系統按照數據接口的規(guī)范要求，抽取系統需要的各種數據，形成符合標準接口的數據文件。數據抽取除本系統手工錄入的數據外，由各源系統完成。數據抽取對各業(yè)務系統的依賴性強，應該根據各業(yè)務系統實際情況制定相應的抽取策略，在項目實施時考慮，包括抽取方式、抽取時間、抽取周期等內容。數據傳輸各源系統將符合標準接口的數據文件，傳輸到接口服務器指定的數據存儲目錄并生成數據校驗文件后，接口服務器負責將該數據文件傳輸指ETL服務器。傳輸方式分為實時性傳輸和定時傳輸，傳輸工具可以采用消息隊列傳輸工具。定時傳輸在網絡空閑時間進行數據傳輸，傳輸時，對數據進行壓縮和加密。數據傳輸能夠生成數據傳輸的日志，可以通過察看日志了解當天數據的傳輸情況，根據傳輸情況，做出相應的處理。接口服務器之間的數據傳輸通過傳輸控制軟件進行，其功能包括斷點續(xù)傳、大文件的自動拆分和合并傳輸、壓縮解壓縮、傳輸狀態(tài)的監(jiān)控、傳輸的加密解密等等。既有數據遷移和錄入歷史數據包括結構化數據和非結構化數據，針對不同類型的數據將采用不同的數據遷移策略，其中結構化數據的遷移將是非常浩大的工程。針對結構化數據，考慮到源系統的歷史數據的存儲周期比較長，且經過多次源系統的升級改造，為此數據的結構差異以及數據質量不盡相同，歷史數據的遷移將根據源系統的歷史升級周期分階段導入，針對不同階段的歷史數據編寫不同的數據轉換規(guī)則和加載程序，歷史數據的核對將是一個耗時耗力的過程，將有行業(yè)咨詢顧問和模型設計顧問參與其中。在數據的導入過程中將啟動嚴格的數據質量管控程序，在發(fā)生嚴重的數據質量問題的情況下，將與業(yè)主進行溝通，從而確定其處理策略。對于結構化數據的遷移方案，將在倉庫項目實施階段根據不同歷史階段的數據特點，協商制定具體的歷史數據遷移方案。針對非結構化數據，利用非結構化數據采集程序采集，通過FTP方式獲取數據到非結構化存儲陣列，在獲取過程中，啟動非結構化數據結構化信息的再造程序，結構化信息將與新生成的數據結構完全相同，并發(fā)布到非結構化數據內容管理系統中，考慮到非結構化數據的歷史數據的復雜性，將采用人工并發(fā)錄入的方式進行，錄入過程中啟動雙路一致性稽核程序，避免手工操作帶來的數據質量問題。在非結構化數據數據存儲需求實現過程中或非結構化完成初驗后，投標方將組織人員將既有數據大批量錄入工作。數據存儲工業(yè)數據不僅包括工業(yè)設備和生產的實時數據，還包括各種過程記錄、日志、告警、圖片、視頻等多種異構數據。工業(yè)大數據存儲套件，不僅能夠提供實時數據存儲(傳感器、信號的實時數據)、文件存儲(歷史文件、日志文件、檢測結果)，還包括各種數據庫(操作記錄)和對象存儲(圖像和視頻)，既能夠提供存儲橫向擴展的能力，又保證了高性能的讀寫。數據構架工業(yè)大數據平臺數據架構的設計思路如下：建立業(yè)務主題領域的數據集中管理的數據模型；建立統一數據視圖；梳理并建立大數據平臺系統的主數據標準；建立數據管控辦法，對數據的加載、質量及應用提供制度保障?？傮w設計原則靈活性滿足靈活的報表數據來源，模型具備自適應性，即一旦審計/統計等報表格式的變更并不會引起模型的變更，同時模型也能夠靈活滿足前端的可變需求；構建必要的業(yè)務模型以形成對業(yè)務概念的完整描述，例如對于生產設備運維部分的模型形成必要的業(yè)務模型以更好的支撐對業(yè)務需求的描述；考慮前瞻性和擴展性，能夠比較好滿足大數據平臺后續(xù)項目的擴展需求，后續(xù)的模型的擴展不應當是推翻當前的模型，或者不應該出現后續(xù)模型和當前模型互相孤立的情況，這就要求模型具備相當的成熟度，邏輯抽象度高、適應性強。整合性和一致性需要將格式、結構各異的數據整合到大數據平臺，對于同類型數據以統一的格式展現。數據倉庫的模型設計要遵循數據建模方法論，合理分層，科學劃分數據模型主題域。數據建模原則數據倉庫模型設計遵循“自頂向下、逐步求精”的設計原則。主題模型對業(yè)務的范圍和使用，從高度上進行抽象概括，也就是劃分主題域，反映業(yè)務分析主題所需的某一方面信息。劃分主題域，是根據業(yè)務的應用和需要來劃分的，是用來達到數據與業(yè)務緊耦合的目的。概念模型概念模型是基于主題模型的細化，在概念模型中需要定義出每個主題域下面的一個或者多個主實體，以及主實體之間或者各主題域的實體之間存在的業(yè)務邏輯關系，并且定義出關鍵的實體屬性。邏輯模型對概念模型中的主題進行細化，定義實體與實體之間的關系，和實體的屬性。即定義具體表的作用，表與表的約束，表的字段，形成ER圖。這些實體的設計都是基于業(yè)務規(guī)則，可以說，這一階段主要面對的是業(yè)務。也就是“業(yè)務驅動建?！?。在數據架構設計時考慮到基于業(yè)務源系統的整合與數據集成，會把“數據驅動建?！钡姆椒ㄈ谌脒M來。通過業(yè)務驅動與數據驅動兩個角度融合運用建立數據倉庫模型。物理模型依照邏輯模型，在數據庫中進行建表、索引等。數據倉庫，為了滿足高性能的需求，可以增加冗余、隱藏表之間的約束等反第三范式操作。數據建模數據模型是數據倉庫的靈魂，在數據倉庫的設計和開發(fā)中，數據模型是整個項目的基礎和核心。邏輯數據模型是用來統一業(yè)務概念，利用圖形方式，通過數據和關系反映業(yè)務的一個過程，邏輯數據模型是進行數據管理、分析和交流的重要手段，也是IT和業(yè)務人員溝通的橋梁。模型設計需要對建模方法、建模準則、設計方法等提供一致的方法，遵循以下原則：1）建立統一的、共享的基礎數據平臺的數據模型，為各個業(yè)務部門的不同業(yè)務需求提供一致的、規(guī)范的數據；2）數據模型是靈活、易擴展的、動態(tài)的模型能夠經得住時間的考驗，當業(yè)務改變時（如改變組織結構和產品交易），能夠將對數據模型的影響減至最小甚至完全不受影響；3）數據模型應該是中性的，能夠滿足各種不同的分析邏輯的要求而設計的，因此它不同于通常所看到的為了支持某個特定的、預先定義的處理過程而設計的模型；4）數據模型涉及范圍廣闊，是多功能的和集成的；采用第三范式式來建模，相比于其它建模方式，3NF具有更好的模型擴展性，能夠清晰表述實體與實體間的關系，能夠最大限度減少數據冗余等優(yōu)點。數據治理企業(yè)數據管控也即通常意義上的企業(yè)數據治理。數據管控中需要統籌管理并協調人員、流程以及技術等要素，使得企業(yè)能將數據作為企業(yè)的重要資產從而更為有效地利用。數據治理是指從使用零散數據變?yōu)槭褂媒y一主數據、從具有很少或沒有組織和流程治理到企業(yè)范圍內的綜合數據治理、從嘗試處理主數據混亂狀況到主數據井井有條的一個過程。數據治理其實是一種體系，是一個關注于信息系統執(zhí)行層面的體系，這一體系的目的是整合IT與業(yè)務部門的知識和意見，通過一個類似于監(jiān)督委員會或項目小組的虛擬組織對企業(yè)的信息化建設進行全方位的監(jiān)管，這一組織的基礎是企業(yè)高層的授權和業(yè)務部門與IT部門的建設性合作。從范圍來講，數據治理涵蓋了從前端事務處理系統、后端業(yè)務數據庫到終端的數據分析，從源頭到終端再回到源頭形成一個閉環(huán)負反饋系統（控制理論中趨穩(wěn)的系統）。從目的來講，數據治理就是要對數據的獲取、處理、使用進行監(jiān)管（監(jiān)管就是我們在執(zhí)行層面對信息系統的負反饋），而監(jiān)管的職能主要通過以下五個方面的執(zhí)行力來保證——發(fā)現、監(jiān)督、控制、溝通、整合。數據質量數據質量管理是指對數據從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發(fā)的各類數據質量問題，進行識別、度量、監(jiān)控、預警等管理活動，并通過改善和提高組織的管理水平使得數據質量獲得進一步提高。數據質量可通過以下評估維度來進行量化管理：完整性：度量哪些數據丟失了或者哪些數據不可用。規(guī)范性：度量哪些數據未按統一格式存儲。一致性：度量哪些數據的值在信息含義上是沖突的。準確性：度量哪些數據和信息是不正確的，或者數據是超期的。唯一性：度量哪些數據是重復數據或者數據的哪些屬性是重復的。關聯性：度量哪些關聯的數據缺失或者未建立索引。影響數據質量的因素主要來源于四方面：信息因素、技術因素、流程因素和管理因素。信息因素：產生這部分數據質量問題的原因主要有，元數據描述及理解錯誤、數據度量的各種性質得不到保證和變化拼讀不恰當等。技術因素：主要是指由于具體數據處理的各種技術環(huán)節(jié)的異常造成的數據質量問題。數據質量問題的產生環(huán)節(jié)主要包括數據創(chuàng)建、數據獲取、數據傳輸、數據裝載、數據使用、數據維護等方面的內容。流程因素：是指由于系統作業(yè)流程和人工操作流程設置不當造成的數據質量問題，主要來源于系統數據的創(chuàng)建流程、傳遞流程、裝載流程、使用流程、維護流程和稽核流程等環(huán)節(jié)。管理因素：是指由于人員素質及管理機制方面的原因造成的數據質量問題，如人員培訓、人員管理、培訓或者懲罰措施不當導致的管理缺失或者管理缺陷。改善數據質量的流程方面，我們套用六西格瑪的DMAIC流程工具，DMAIC是指定義Define、策略Measure、分析Analyze、改進Improve、控制Control五個階段的過程改進方法。在數據質量改進過程則提出以下過程：數據分析、問題分析、根源查找、問題解決、質量監(jiān)控，通過數據質量管理工具則可以實現上述的方法論。數據質量管理將通過可視化的質量管理界面，實現對全生命周期內的數據質量監(jiān)控和管理。如下圖所示，可以將數據質量管理系統的整體功能從管理流程上劃分為數據質量檢查需求、檢查與告警規(guī)則配置、檢查規(guī)則執(zhí)行、質量問題與告警信息處理、數據質量評估、數據質量改進6個重要組成部分。數據安全數據安全包含網絡安全、認證、授權、加密等范圍，在大數據平臺尤其是Hadoop生態(tài)系統，安全的機制比較不齊全，在此建議采用如下所示的安全防御策略：安全防御架構從最外圍到內部，以此的安全關注方面包括：（1）外圍以網絡防火墻以及網路加密協定作為第一道防線，將非授權的網路連線隔絶。（2）認證層采用Kerberos作為連線認證協議，確保用戶端的連線都是認證的連線，杜絕偽裝連接攻擊。（3）授權可采用LDAP，ACL配合RANGER或是SENTRY等Hadoop提供的授權機制，做到數據層訪問授權以及應用程序使用權授權。（4）操作系統層則依賴于操作系統本身的安全機制及ACL。（5）數據保護層可視數據機密層級設置加密機制或是在數據處理過程進行脫敏處理。數據接口大數據平臺應根據調研確定主要設備及其運行狀態(tài)指標，確定需要接入的系統和數據，并提出業(yè)務整合需求。大數據系統數據需求分靜態(tài)、動態(tài)兩個方面。系統需要接入的設備靜態(tài)信息，主要指設備臺賬信息；設備動態(tài)信息，主要指系統設備實時運行產生的數據信息。因此需結合各專業(yè)實際現場調研，結合調查各個專業(yè)系統的統計上報，分析整理各系統專業(yè)設備的資產臺賬信息，設備狀態(tài)信息，按專業(yè)梳理數據需求。接口基本原則接口原則需遵循：（1）接口設計應遵循接口隔離原則。（2）數據交換的準確性原則。（3）數據交換的安全性原則。（4）良好的擴展性原則。4.3.2數據智慧化應用功能大數據信息資源平臺門戶旨在集成各類系統，通過配置單點登錄功能，將數據門戶系統定位為各類系統的訪問入口，提供統一的身份認證功能，在門戶首頁中展示各類數據，為用戶打造一個公共信息門戶。平臺提供統一的用戶與權限管理，確保用戶對信息的受控訪問，門戶要提供友好的圖形化界面，方便業(yè)務用戶直接使用。平臺要具有數據驅動的工藝流程圖顯示、可視化數據展現等功能，提供常用的工藝流程圖庫，支持自定義工藝流程圖開發(fā)。提供展現界面的設計和開發(fā)，所有數據（結構化、半結構化和非結構化）可以由業(yè)務人員通過簡單的操作組合來進行可視化。各診斷分析功能模塊的分析結果能以圖、表等形式在門戶上展現，為用戶提供方便、友好的界面。提供多種平臺(手機、平板、電腦、大屏）集中展示功能，滿足不同用戶對展現的需求。平臺應提供公共消息服務，能夠實現對用戶進行定義的消息推送，形式支持不限于微信、短信、郵件等。數據門戶是用戶查看數據的統一入口，在此平臺中將聚合資源目錄信息、數據質量報告信息、各應用系統及運行情況、外網數據服務監(jiān)控情況、用戶及其權限信息等。全景數據可視化應用青海公司新能源大數據一體化平臺是各類系統的數據融合，是大數據智慧化應用的數據源基礎，基于已建成的數據源庫，研發(fā)大數據的應用才是真正目標，大數據平臺應用功能可根據用戶業(yè)務需求進行不斷開發(fā)。一期計劃完成數據可視化展示、全局指標分析、一體化平臺和智能報表功能部署研發(fā)。融合全部新能源場站各類生產、經營、安全和管理指標，多維度展示全局數據，利用駕駛倉模式交換展示模式，利用圖表、動畫和虛擬場站技術，定制化展示全景數據。生產數據全局分析利用大數據平臺全局數據，全面分析評價新能源各項生產指標，可開展安全生產各類指數數據評比，查找生產指標差距，提升新能源電站精細化管理水平。安全管控一體化利用大數據平臺全局融合各項安全管控的數據，部署全公司級的安全管控一體化平臺，融合現場兩票、日常運維、外委作業(yè)、重大危險源、應急指揮等功能，實現多數據應用。生產管理一體化利用大數據平臺全局生產管理數據，部署全公司級全數據的生產管理一體化平臺，的安全管控一體化平臺，融合現場兩票、日常運維、外委作業(yè)、重大危險源、應急指揮等功能，實現多數據應用。綜合管理一體化利用大數據平臺全局融合的管理數據，部署全公司級綜合管理一體化平臺，實現全部應用業(yè)務集成，逐步實現多業(yè)務系統的登錄界面，實現統一平臺登錄應用。智能報表一體化采用大數據平臺各項存儲數據，分類各數據元作為報表數據要素，實現自由定制各類報表，真正做到報表的智慧化應用，不拘于報表格式，按需求生成。XX青海新能源工業(yè)大數據平臺及應用系統序號功能模塊主要實現功能1新能源大數據平臺建立青海公司新能源大數據一體化平臺，實現電力生產營運基礎數據轉換成各業(yè)務系統所需要的數據格式，并通過數據服務平臺向各應用系統提供數據源支撐，為公司的安全生產、經營管理、決策分析、項目建設提供可靠的數據支持；規(guī)范化數據共享體系，實現數據共享和業(yè)務協同，為決策系統提供及時、準確、可靠的數據依據。是實現智慧企業(yè)的驅動引擎，是企業(yè)智慧化應用的基礎平臺，是企業(yè)智慧化應用數據源的承載體。最終實現統一平臺全部業(yè)務功能。逐步消除已建立各子系統，采用統一門戶統一部署統一數據的新能源智慧企業(yè)一體化平臺。應用系統是新能源大數據一體化平臺具體應用，是大數據的具體應用。包含企業(yè)生產管理、安全監(jiān)督、經營管理、電力市場營銷等各生產環(huán)節(jié)。通過大數據智慧化的分析計算，實現新的業(yè)務管理模式，對提高公司集約化、規(guī)范化、智能化管控水平具有重要意義。1.1數據源光伏/風電/水電生產過程實數據和歷史數據；輔助生產管理系統數據；生產管理系統數據；包含如：風電光伏SCADA系統、AGC/AVC、功率預測、消防系統、廠家制造數據、日常運維和兩票、點巡檢等各類生產相關數據；同時包含OA、人資、財務類、工程等各系統數據，公司已有信息系統的全局數據；1.2數據接口建立統一標準的數據接口功能，實現公司已有信息系統的全局數據有效接入，支持現有各系統數據采集功能。1.3數據架構標準滿足全局數據來源及擴展性，按照集團公司新能源數據編碼標準格式，建立青海公司新能源數據庫標準，實現實時數據、業(yè)務系統數據，非結構化等，外部數據等標準數據庫建立。采用數據倉庫標準化設計模型，實現數據建模。1.4數據質量管理數據質量管理包含數據去清洗、治理、補錄、轉換、校準等眾多環(huán)節(jié)，保證接入新能源大數據平臺的數據符合業(yè)務應用的標準和要求。解決在全生命周期中發(fā)現問題。全過程解決數據從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發(fā)的各類數據質量問題。1.5數據共享標準建立規(guī)范化數據共享體系，從數據共享的角度為數據制定統一的業(yè)務解釋和標準，實現數據共享和業(yè)務協同，多維度開展數據共享和數據交換功能，破除各系統信息孤島效應，實時數據價值應用和數據交換。使智慧化大數據的應用成為可能。大數據平臺實行全部業(yè)務應用的數據共享和數據源支撐功能。1.7數據安全管控數據安全包含網絡安全、認證、授權、加密等范圍，利用網絡防火墻以及網路加密協定；確保用戶端的連線都是認證的連線；提供的授權機制訪問授權以及應用程序使用權授權；依賴于操作系統本身的安全機制及ACL；利用加密等方式保證數據不被非法截獲，并提供用戶身份認證、授權等功能。1.8數據平臺擴展為保證大數據一體化平臺全生命周期應用，實現數據庫的擴展與業(yè)務應用的擴展，數據庫的擴展僅依靠已配置的數據結構形式，采用增加硬件設備或虛擬方式進行擴展，不改變原有的結構，持續(xù)支持業(yè)務依靠的數據源，實時業(yè)務開展功能，不改變數據平臺的結構方式，無需進行數據重新整合方式進行。歷史數據包括結構化數據和非結構化數據，針對不同類型的數據將采用不同的數據遷移策略。1.9應用業(yè)務支持建立新能源大數據平臺目的是為了實現智慧化應用，應用業(yè)務包含全部生產、安全、經營、管理等全部環(huán)節(jié)。具體應用業(yè)務包括設備智能診斷、三維虛擬電站、安全管控、智能安防、虛擬巡檢系統、指標分析與健康評價、經濟運行、狀態(tài)檢修、防汛決策指揮、新型生產管理系統、VR仿真培訓等應用。同時提供微服務架構應用業(yè)務，提供涵蓋服務注冊、發(fā)現、通信、調用的管理機制和運行環(huán)境，支撐基于微型服務單元集成的應用開發(fā)和部署。支持開發(fā)APP應用業(yè)務間相互促進、雙向迭代的生態(tài)體系。2大數據平臺應用功能青海公司新能源大數據一體化平臺是各類系統的數據融合，是大數據智慧化應用的數據源基礎，基于已建成的數據源庫，研發(fā)大數據的應用才是真正目標，大數據平臺應用功能可根據用戶業(yè)務需求進行不斷開發(fā)。一期計劃完成數據可視化展示、全局指標分析、一體化平臺和智能報表功能部署研發(fā)。2.1全景數據駕駛艙展示融合全部新能源場站各類生產、經營、安全和管理指標，多維度展示全局數據，利用駕駛倉模式交換展示模式，利用圖表、動畫和虛擬場站技術，定制化展示全景數據。2.2生產指標全局分析利用大數據平臺全局數據，全面分析評價新能源各項生產指標，可開展安全生產各類指數數據評比，查找生產指標差距，提升新能源電站精細化管理水平。2.3安全管控一體化平臺利用大數據平臺全局融合各項安全管控的數據，部署全公司級的安全管控一體化平臺，融合現場兩票、日常運維、外委作業(yè)、重大危險源、應急指揮等功能，實現多數據應用。2.4生產管理一體化平臺利用大數據平臺全局生產管理數據，部署全公司級全數據的生產管理一體化平臺，的安全管控一體化平臺，融合現場兩票、日常運維、外委作業(yè)、重大危險源、應急指揮等功能，實現多數據應用。2.5綜合管理一體化平臺利用大數據平臺全局融合的管理數據，部署全公司級綜合管理一體化平臺，實現全部應用業(yè)務集成，逐步實現多業(yè)務系統的登錄界面，實現統一平臺登錄應用。2.6智慧化報表采用大數據平臺各項存儲數據，分類各數據元作為報表數據要素，實現自由定制各類報表，真正做到報表的智慧化應用，不拘于報表格式，按需求生成。實施范圍（1）建立公司級各應用系統數據集合平臺，開展各類數據庫標準規(guī)范化治理，初步建立新能源發(fā)電企業(yè)全景數據平臺，開發(fā)大數據應用平臺。（2）選用20MW光伏、10MW風電開展生產系統試點工作，接入新能源各生產系統數據，（3）完成全景數據駕駛倉的部署工作，展示全公司接入大數據平臺各類數據。五、技術方案和技術路線5.1工業(yè)大數據平臺5.1.1技術路線青海新能源大數據中心采用全景數據管控平臺，一體化平臺設計思路。集成青海新能源公司各系統全部數據?；趯Ρ卷椖拷ㄔO中所要解決的關鍵問題的分析，本項目在架構設計技術路線上既要充分體現靈活性，又必須把握住整體性，既要滿足集團的現有的業(yè)務需求又要能夠支撐未來復雜多變的新增業(yè)務需求，既要采用成熟可靠的技術平臺又要充分結合相關的科研的成果。采用以工業(yè)PaaS為核心的平臺使能技術對于企業(yè)來說，云計算確實從資源獲取的速度、對業(yè)務靈活性的支撐、彈性的擴展能力以及資源的使用效率等各方面帶來了非常明顯的受益，極大的加快了企業(yè)客戶的業(yè)務上線速度，并極大的降低了企業(yè)在IT上面的投入。PaaS能將現有各種業(yè)務能力進行整合，具體可以歸類為應用服務器、業(yè)務能力接入、業(yè)務引擎、業(yè)務開放平臺，向下根據業(yè)務能力需要測算基礎服務能力，通過IaaS提供的API調用硬件資源，向上提供業(yè)務調度中心服務，實時監(jiān)控平臺的各種資源，并將這些資源通過API開放給SaaS用戶。采用分布式大數據技術為應對集團總部的海量數據，及提升系統的處理效率、縮短運算時間及應用響應時間、提升用戶體驗，項目建議可以采用大數據技術框架。大數據是指無法在可承受的時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產。大數據技術具有分布式及并行化等關鍵技術特征。大數據系統是由多個分布的節(jié)點組合而成的集群通過網絡連接提供服務及能力，以群體合力的方式提供服務及動力。由于具備分布式特征，大數據系統從機制上便于進行集群橫向擴展，規(guī)?？梢詣討B(tài)伸縮，滿足應用和用戶規(guī)模增長的需要。在分布式的基礎上，集群各節(jié)點均可以提供服務能力以并行處理的模式提供能力，具備高性能高可用的特征。分布式文件存儲系統提供無限存儲能力，很好適應業(yè)務數據的快速增長，而且支持存儲多種非結構化格式數據，并提供高冗余的存儲能力，提高數據安全及訪問能力。分布式并行處理系統將不同地點的或具有不同功能的或擁有不同數據的多臺計算機用通信網絡連接起來，在控制系統的統一管理控制下，協調地完成信息處理任務的計算機系統。本系統采用分布式并行處理系統提高數據處理效能、提升客戶感知。采用基于大規(guī)模并行處理（MPP）架構的數據倉庫技術數據倉庫采用主流的支持大規(guī)模并行處理（MPP）架構的成熟產品，采用并行的方法提升海量數據的處理能力和系統的可靠性。大規(guī)模并行處理架構將海量數據處理所帶來的CPU、內存、IO等壓力分散到多個節(jié)點上，避免因共享某類計算資源而造成的單一的性能瓶頸,并且可以通過增加節(jié)點線性的提升系統的整體處理能力?；贛PP架構的數據倉庫由多個數據庫分區(qū)構成，每個數據庫分區(qū)可運行在不同的節(jié)點上，每個數據庫分區(qū)擁有獨立的資源，SQL任務在所有分區(qū)上并行處理，分區(qū)數據庫對用戶和應用而言是透明的。數據倉庫提供水平（ScaleOut）和垂直（ScaleUp）兩種擴展方式。實現平滑的系統容量擴展。對于數據分區(qū)不發(fā)生變化的情況，通過在單個服務器內增加CPU、內存、存儲或者通過增加服務器節(jié)點的方法，實現容量擴展。對于數據分區(qū)變化的情況，支持在線的數據重新分布，在不停止生產系統并保持系統的并行處理性能的情況下，實現容量擴充。采用微服務技術的應用開發(fā)模式在應用開發(fā)模式上，平臺應提供下面三種能力：系統應提供多語言與工具支持：Java,Ruby和PHP等多種語言編譯環(huán)境。微服務架構：提供涵蓋服務注冊、發(fā)現、通信、調用的管理機制和運行環(huán)境，支撐基于微型服務單元集成的“松耦合”應用開發(fā)和部署。微服務架構是一項在云中部署應用和服務的新技術。微服務可以在“自己的程序”中運行，并通過“輕量級設備與HTTP型API進行溝通”。關鍵在于該服務可以在自己的程序中運行。通過這一點我們就可以將服務公開與微服務架構（在現有系統中分布一個API）區(qū)分開來。在服務公開中，許多服務都可以被內部獨立進程所限制。如果其中任何一個服務需要增加某種功能，那么就必須縮小進程范圍。在微服務架構中，只需要在特定的某種服務中增加所需功能，而不影響整體進程。微服務的基本思想在于考慮圍繞著業(yè)務領域組件來創(chuàng)建應用，這些應用可獨立地進行開發(fā)、管理和加速。在分散的組件中使用微服務云架構和平臺，使部署、管理和服務功能交付變得更加簡單。圖形化編程：通過圖形化編程工具，簡化開發(fā)流程，支持用戶采拖拽方式進行應用創(chuàng)建、測試、擴展等。5.1.2技術方案總體架構青海新能源公司大數據平臺是面向數字化、網絡化、智能化需求，構建基于海量數據采集、匯聚、分析的服務體系，支撐資源泛在連接、彈性供給、高效配置的云平臺，其總體包括邊緣、平臺、應用三大核心層級。構建更精準、實時、高效的數據采集體系，建設包括存儲、集成、訪問、分析、管理功能的使能平臺，實現國家電投技術、經驗、知識模型化、軟件化、復用化，以微應用的的形式構建企業(yè)各類創(chuàng)新應用，最終形成資源富集、多方參與、合作共贏、協同演進的電力行業(yè)生態(tài)。邊緣層：通過大范圍、深層次的數據采集，以及異構數據的協議轉換與邊緣處理，構建大數據信息資源平臺的數據基礎。通過各類通信手段接入國家電投各電廠不同設備、應用系統和產品，采集海量數據；依托協議轉換技術實現多源異構數據的歸一化和邊緣集成；利用邊緣端計算能力實現底層數據的匯聚處理，并實現數據向集團大數據信息資源平臺的集成。IaaS層：目前國家電投集團已建立了集團級的IaaS云平臺環(huán)境，本項目所涉及的IaaS層基礎環(huán)境主要依賴于集團公司現有環(huán)境，通過集團公司IaaS環(huán)境提供應用的自動化部署服務，云監(jiān)控服務。平臺層：平臺能將現有各種業(yè)務能力進行整合。一是整合應用服務器、業(yè)務能力接入、業(yè)務引擎、業(yè)務開放平臺，向下根據業(yè)務能力需要測算基礎服務能力，通過IaaS提供的API調用硬件資源，向上提供業(yè)務調度中心服務，實時監(jiān)控平臺的各種資源.。二是提供基礎設施、中間件、數據服務、云服務器等資源，開發(fā)人員只需要開發(fā)業(yè)務代碼并提交到平臺代碼庫，做一些必要的配置，系統會自動構建、部署，實現應用的敏捷開發(fā)、快速迭代。三是疊加大數據處理、數據分析、微服務等創(chuàng)新功能，構建可擴展的開放式云操作系統。提供數據管理能力，將數據科學與電力設備機理結合，構建電力數據分析能力，實現數據價值挖掘。通過技術、知識、經驗等資源固化為可移植、可復用的微服務組件庫，供集團內外部開發(fā)者調用，并構建應用開發(fā)環(huán)境，借助微服務組件和應用開發(fā)工具，幫助集團公司各級企業(yè)快速構建定制化的應用場景。應用層：通過應用商店提供企業(yè)管理類、數據分析類、多元拓展類、基礎平臺類等SaaS云服務。支撐國家電投的多元應用，實現集團作為“服務、和諧、共贏、創(chuàng)新”為特征的生態(tài)圈的入口。數據架構根據對青海新能源公司業(yè)務需求的分析，大數據信息資源平臺數據架構包括數據采集區(qū)、數據倉庫區(qū)、原始數據區(qū)、實時分析區(qū)、數據分析區(qū)、數據訪問區(qū)等大數據基礎數據平臺各個系統功能區(qū)，能實現并完全滿足集團總部的需求。數據采集區(qū)是大數據信息資源平臺的關鍵部分，大數據基礎數據平臺通過實時或離線方式接收源系統數據，獲取過來的數據首先到達大數據信息資源平臺的數據采集區(qū)進行預處理，采集數據類型包括結構化數據、半結構化數據和非結構化數據。數據倉庫區(qū)是大數據平臺的核心，為集團總部的關系型數據提供業(yè)務邏輯復雜的計算服務和存儲，數據倉庫是基于MPP體系架構的。在數據倉庫區(qū)建立企業(yè)級的數據模型，以范式化加工后的數據模型供統計分析類應用使用，包括基礎數據、業(yè)務數據和指標數據。原始數據區(qū)主要功能是提供集團總部企業(yè)全量的、歷史的、多元異構的數據存儲，以及業(yè)務邏輯相對簡單的數據加工處理服務，原始數據區(qū)是基于Hadoop生態(tài)構建，數據類型包括設備監(jiān)測數據、圖紙、視頻、日志、業(yè)務交易數據等企業(yè)的所有數據。實時分析區(qū)是面向集團總部的實時/準實時業(yè)務需求，提供結構化數據或非結構化數據的實時加工處理分析，支撐公司對設備的在線實時監(jiān)測、電力實時負荷監(jiān)測等應用。實時分析區(qū)的分析結果也可以作為數據倉庫區(qū)和原始數據區(qū)的數據源。數據分析區(qū)主要功能包括為用戶提供一整套面向數據分析的統計和分析算法，以及提供大規(guī)模數據處理的快速通用的計算引擎。在此基礎上，數據分析區(qū)還應支持基于算法的各類分析模型開發(fā)、測試、存儲能力，以及計算結果的可視化、可定制化和交互性功能，為用戶提供完整的分析解決方案。數據訪問區(qū)提供滿足各級用戶、各業(yè)務部門不同權限用戶訪問需求，同時提供數據接口，實現集團總部面向外網的數據發(fā)布，提供主管部門，外部協作單位獲取數據的需要，并面向公眾提供部分數據開放共享服務。5.2智慧化應用平臺建立以大集中方式建設的一體化平臺化系統，需滿足分公司多級多組織的管理架構，并按照系統化、標準化、流程化管理理念進行設計，實現集中部署、集中運行、集中維護，在功能、性能及標準化管理等方面滿足未來公司新能源發(fā)展需求。以新能源企業(yè)智慧化應用為總體導向，按照總體規(guī)劃、分步實施的建設原則。開發(fā)智慧光伏管理平臺，助力光伏場站優(yōu)化運行、降低成本、提升效率、確保人和設備的安全可控，指導生產運營，實現光伏電站日常工作和流程的規(guī)范化、標準化、數字化管理。通過全方位后期的智能安防、智慧監(jiān)控、智能運營，實現“無人值班、少人值守、遠程集控運行、就地智能檢維、實時告警督辦”的智能運行管理模式。5.2.1技術路線平臺架構系統應用框架建筑在層次模型之上，系統采用先進的SOA架構思想,系統通過SOA技術提供了標準的數據訪問和控制接口，為外部業(yè)務系統及業(yè)務部門的數據共享和訪問提供了簡便、易用的接口。分層架構將更利于系統的水平擴展和分布式架構，可快速基于系統之上進行業(yè)務需求的持續(xù)集成及二次開發(fā)，以最少的代價部署上線新的業(yè)務模塊和功能，快速適應需求變化、提高功能、業(yè)務的復用度。系統采用組件化、模板庫編程思路，同類業(yè)務可基于模型庫快速構建，減少重復代碼編寫過程。進一步提高開發(fā)效率、縮短開發(fā)周期、減少運維成本。系統包括基礎設備層、數據通訊層、服務層、業(yè)務應用層和展示層。各層描述如下：基礎設備層：基礎設備層指現場采集智能設備采集數據數據通訊層：數據通訊層主要實現基礎數據的采集工作，數據來源主要包括風電場、升壓站及其相關應用系統?；A保障層：以公司現有的網絡資源、硬件資源、數據資源及其它信息系統為基礎，最大適度地利用、整合現有資源，在此基礎上實現快速構建，數據傳輸過程采用電力認證的加密與解密裝置和隔離裝置實現數據安全與穩(wěn)定的傳輸。數據層：數據層建立事業(yè)部統一的實時數據、歷史數據和關系型數據的大數據中心，包括了數據通訊層采集的各類生產實時數據以及經過分析、挖掘和統計后形成的決策、分析管理類數據。該類數據可基于標準、簡易的接口提供給其它業(yè)務部門和業(yè)務系統。服務層：通過統一的服務接口，為外部信息系統提供標準的服務。業(yè)務層：業(yè)務層系統根據分布在不同的安全區(qū)域，對訪問權限有嚴格控制，展示層：采用統一平臺為用戶提供統一的訪問入口，提供給各類用戶的直觀展示網絡架構整個系統按照使用專線網絡方式設計，使用專線通道，按照最新的發(fā)改委14號令《電力監(jiān)控系統安全防護規(guī)定》和《電力監(jiān)控系統安全防護總體方案》（國能安全【2015】36號)的要求，實現區(qū)域監(jiān)控功能，達到少人值守的要求。系統設計總體原則為“安全分區(qū)、網絡專用、橫向隔離、縱向認證”。安全防護主要針對網絡通信和基于網絡的子站側數據采集、監(jiān)控系統，重點強化邊界防護，提高內部安全防護能力，系統本身及重要數據的安全。智慧化應用平臺建立在管理大區(qū)，與生產數據的交換計劃在集控中心數據平臺實現。各分區(qū)已按要求部署安全設備，本次不增加信息安全設備。5.2.2技術方案集中部署、集中運行系統的所有應用和數據在XX湖北能源開發(fā)公司集中部署，未來各場站只需要在部署相應的設備并進行數據初始化和個性化設置即可接入使用相關功能。規(guī)范流程、統一標準建立規(guī)范流程和統一標準，以業(yè)務流程驅動，在規(guī)范的流程和統一的標準中實現XX湖北能源開發(fā)公司的業(yè)務貫通，信息共享，加強組織內業(yè)務流程管理與知識管理。統一管理原則系統應按多級多組織架構，強化XX湖北能源公司統一歸口管理職能，各基層單位之間數據要安全隔離，單位內部信息充分共享，在一個統一的平臺上，以上級公司為統一歸口管理單位，將工作過程中的計劃、執(zhí)行、檢查和處置的