1、基于大數(shù)據(jù)技術(shù)的用電信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)，上報(bào)單位：國家電網(wǎng)安徽省電力公司，2017年5月，概要，一、項(xiàng)目背景：安徽省電力公司用電信息采集系統(tǒng)經(jīng)過五年建設(shè)，實(shí)現(xiàn)了“全采集”、“全覆蓋”、“全成本控制”的功能。目前，它連接了2700多萬個智能電能表和40多萬個終端數(shù)據(jù)，如96點(diǎn)負(fù)載(三相電壓、三相電流、有功功率、無功功率等)。)，收集了日凍結(jié)電能指示、需求和電壓合格率。采集系統(tǒng)每天需要處理5億多條記錄，新增數(shù)據(jù)量達(dá)到70-90G，庫存數(shù)據(jù)超過100T。采集系統(tǒng)業(yè)務(wù)不僅支持本地自動抄表核算、實(shí)時成本控制、有序用電、在線計(jì)量監(jiān)控、用電特性分析、采集管理、線損計(jì)算等業(yè)務(wù)，還支持運(yùn)行檢查部、安全質(zhì)量

2、部、運(yùn)行監(jiān)督中心、發(fā)展政策部等系統(tǒng)的正常運(yùn)行。采集系統(tǒng)的構(gòu)建與應(yīng)用。項(xiàng)目背景：IEO用電信息采集系統(tǒng)應(yīng)用中存在的問題，如查詢速度慢、統(tǒng)計(jì)時間長、數(shù)據(jù)質(zhì)量差、數(shù)據(jù)維度少、缺乏智能、不支持實(shí)時分析等。項(xiàng)目背景，1。項(xiàng)目背景，1。項(xiàng)目背景，大綱，2。業(yè)務(wù)規(guī)劃，簡要分析和描述項(xiàng)目的主要技術(shù)創(chuàng)新3?？缃缢季S：打破固有模式，通過業(yè)務(wù)整合提升數(shù)據(jù)價值；2.商業(yè)思維：定量思維，數(shù)據(jù)替代經(jīng)驗(yàn)，所有數(shù)據(jù)都有價值；4.實(shí)驗(yàn)思維：通過實(shí)驗(yàn)選擇最佳方案，通過快速迭代不斷優(yōu)化；5.合作思維：通過合作共同推動電力業(yè)務(wù)的發(fā)展和創(chuàng)新；1.技術(shù)思維：高效的數(shù)據(jù)處理、高效的數(shù)據(jù)服務(wù)和性能的線性擴(kuò)展。3.支持海量數(shù)據(jù)的快速存儲、高效

3、計(jì)算和有效收集；2.實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)的實(shí)時監(jiān)控和智能分析；4.具有智能分析功能，如數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)；5.與企業(yè)深度融合，提高工作效率，協(xié)助決策；1.以“高內(nèi)聚、松耦合”的方式獲取所需數(shù)據(jù)；2.商業(yè)規(guī)劃；2.商業(yè)計(jì)劃。為了保證電力系統(tǒng)的安全可靠運(yùn)行，信息技術(shù)需要在標(biāo)準(zhǔn)原則的基礎(chǔ)上制定其未來的信息技術(shù)架構(gòu)，其技術(shù)架構(gòu)的設(shè)計(jì)也需要考慮完善的指導(dǎo)原則。開放，大數(shù)據(jù)平臺的設(shè)計(jì)應(yīng)該選擇開放技術(shù)，這不能局限于某個廠商的特定產(chǎn)品，需要滿足系統(tǒng)間靈活的信息交互需求。可維護(hù)性、可擴(kuò)展性、充分考慮可擴(kuò)展性、堅(jiān)持“強(qiáng)內(nèi)聚、低耦合”以滿足大規(guī)模業(yè)務(wù)和開發(fā)技術(shù)的需求。大數(shù)據(jù)平臺為營銷部門或省級公司提供了基本的支持平臺，是一

4、個通用的面向服務(wù)的平臺。各部門基于大數(shù)據(jù)平臺開發(fā)和運(yùn)行各種典型的大數(shù)據(jù)業(yè)務(wù)應(yīng)用。大數(shù)據(jù)平臺的設(shè)計(jì)應(yīng)該在產(chǎn)品和技術(shù)上先進(jìn)成熟，產(chǎn)品和技術(shù)的選擇能夠滿足未來業(yè)務(wù)需求和技術(shù)發(fā)展變化的需要。同時，盡可能關(guān)注產(chǎn)品和技術(shù)的成熟度，增強(qiáng)信息基礎(chǔ)設(shè)施的整體穩(wěn)定性。平臺設(shè)計(jì)、業(yè)務(wù)應(yīng)用分析、氣象要素?cái)?shù)據(jù)、狀態(tài)監(jiān)測數(shù)據(jù)、地理信息數(shù)據(jù)、節(jié)假日數(shù)據(jù)、PMS數(shù)據(jù)、人口經(jīng)濟(jì)數(shù)據(jù)、MDS數(shù)據(jù)、營銷數(shù)據(jù)、用電信息采集數(shù)據(jù)、95598數(shù)據(jù)、計(jì)算、存儲等。公共數(shù)據(jù)池，深入貫徹“IT服務(wù)”理念和本地化理念，以大數(shù)據(jù)開源軟件框架為核心，以傳統(tǒng)數(shù)據(jù)處理組件為補(bǔ)充，形成優(yōu)勢互補(bǔ)的混合架構(gòu)。電力營銷測量大數(shù)據(jù)平臺從數(shù)據(jù)采集、數(shù)據(jù)集成、數(shù)據(jù)存

5、儲、實(shí)時計(jì)算、海量數(shù)據(jù)處理和分析等方面為營銷業(yè)務(wù)應(yīng)用提供必要的組件支持、集群監(jiān)控和配置、安全保護(hù)和管理、停電事件分析、配電網(wǎng)運(yùn)行分析、客戶用電行為分析、客戶價值挖掘、驗(yàn)證效率和現(xiàn)場運(yùn)行行為、竊電行為分析、計(jì)量裝置在線監(jiān)測和智能診斷。平臺設(shè)計(jì)、傳統(tǒng)解決方案和大數(shù)據(jù)平臺解決方案主要面向結(jié)構(gòu)化數(shù)據(jù)處理，不適用于處理非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)。海量數(shù)據(jù)處理成本高，硬件要求高，如依賴大規(guī)模并行處理系統(tǒng)(MPP)，存在單點(diǎn)風(fēng)險(xiǎn)，線性擴(kuò)展能力有限。MPP節(jié)點(diǎn)的上限通常為100，處理的數(shù)據(jù)量是有限的。當(dāng)數(shù)據(jù)量較大時，響應(yīng)時間明顯延長。固定的數(shù)據(jù)結(jié)構(gòu)和模型數(shù)據(jù)處理易于保持一致性，適用于具有復(fù)雜事務(wù)的業(yè)務(wù)系統(tǒng)。它可以

6、混合和處理任何格式的數(shù)據(jù)。基于工業(yè)標(biāo)準(zhǔn)X86平臺和低成本的開源Linux系統(tǒng)，降低了成本，充分利用了原有的分布式容錯能力，不存在單點(diǎn)隱患。線性膨脹能力極高。一般來說，它可以在1000處理一個很大的數(shù)字(TB到1E)。通過橫向擴(kuò)展，二級響應(yīng)靈活的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)模型不能保證數(shù)據(jù)處理的一致性，需要獨(dú)立開發(fā)驗(yàn)證程序，適用于追求分析效率的分析系統(tǒng)。相比之下，大數(shù)據(jù)不能替代關(guān)系數(shù)據(jù)庫管理系統(tǒng)，最好的解決方案是相互補(bǔ)充！第三，平臺設(shè)計(jì)，第三，平臺設(shè)計(jì)，簡要分析和描述項(xiàng)目的主要技術(shù)創(chuàng)新。2.配電網(wǎng)設(shè)計(jì)中斷電事件的實(shí)時分析和推送；1.流量處理子系統(tǒng)由水槽、卡夫卡、風(fēng)暴和再貼現(xiàn)組成；3.異常設(shè)計(jì)載荷數(shù)據(jù)的實(shí)時驗(yàn)證

7、和修復(fù)；4.設(shè)計(jì)日凍結(jié)抄表數(shù)據(jù)的實(shí)時校驗(yàn)和修復(fù)以及抄表故障的實(shí)時刷新；5.實(shí)時計(jì)算、維修和完成設(shè)計(jì)日用電量；3.平臺設(shè)計(jì)，項(xiàng)目主要技術(shù)的簡要分析和描述2.該設(shè)計(jì)滿足了查詢和統(tǒng)計(jì)應(yīng)用的海量數(shù)據(jù)存儲需求。1.該系統(tǒng)由分布式列數(shù)據(jù)庫、全文檢索、分布式數(shù)據(jù)倉庫、交互式查詢和其他軟件組成。3.設(shè)計(jì)的關(guān)鍵是標(biāo)準(zhǔn)實(shí)時計(jì)算和每小時刷新。4.根據(jù)業(yè)務(wù)需求，快速統(tǒng)計(jì)和收集所有維度的設(shè)計(jì)數(shù)據(jù)。支持高效的查詢和分析；5.在線測量監(jiān)控和智能診斷軟件后臺計(jì)算、分析和重構(gòu)；3.平臺設(shè)計(jì)；2.離線海量數(shù)據(jù)基于IBM可視化建模工具SPSS實(shí)現(xiàn)模型學(xué)習(xí)和驗(yàn)證；1.該系統(tǒng)由SPSS、SPARK、模型庫、數(shù)據(jù)提取和預(yù)處理軟件組成；3

8、.在線機(jī)器學(xué)習(xí)基于SPARK，通過引用SPSS分析模型實(shí)現(xiàn)分析。4.根據(jù)業(yè)務(wù)建立分析模型庫，滿足各專業(yè)部門的工作需求；5.自動迭代和優(yōu)化設(shè)計(jì)模型，以滿足不斷變化的業(yè)務(wù)需求；3.設(shè)計(jì)平臺；2.通過IBM可視化建模工具(SPSS)的展示功能，滿足簡單的應(yīng)用需求；1.結(jié)合業(yè)務(wù)需求，開發(fā)基于百度圖形組件的網(wǎng)絡(luò)展示；3.合并業(yè)務(wù)。通過熱圖、散點(diǎn)圖、地理信息系統(tǒng)和地圖反映業(yè)務(wù)特征；3.平臺設(shè)計(jì)；2.基于FTP實(shí)現(xiàn)不同地區(qū)業(yè)務(wù)的實(shí)時交互應(yīng)用需求；1.基于網(wǎng)絡(luò)服務(wù)實(shí)現(xiàn)同區(qū)域?qū)崟r互動業(yè)務(wù)；3.結(jié)合數(shù)據(jù)交互，實(shí)現(xiàn)迭代模型分析和自學(xué)習(xí)功能設(shè)計(jì)；4.與業(yè)務(wù)深度集成，并將分析結(jié)果嵌入到業(yè)務(wù)流程中。系統(tǒng)設(shè)計(jì)、系統(tǒng)設(shè)計(jì)、概

9、要、功能設(shè)計(jì)、功能設(shè)計(jì)，基于用電信息采集系統(tǒng)的實(shí)時負(fù)荷、停電事件和通信流程，95598計(jì)劃停電信息，生產(chǎn)線路故障停電和ONU停電事件的實(shí)時控制，實(shí)現(xiàn)配電網(wǎng)停電事件的監(jiān)控和分析；并將負(fù)荷數(shù)據(jù)和停電事件實(shí)時推送到省配網(wǎng)的SCADA、運(yùn)行檢測部、95598、安全質(zhì)量部和海量數(shù)據(jù)平臺；目前，該功能已經(jīng)應(yīng)用到生產(chǎn)環(huán)境中，實(shí)現(xiàn)了安徽省電力公司每天5億多條記錄的實(shí)時分析和診斷。4。功能設(shè)計(jì)、4。功能設(shè)計(jì)，基于用電信息采集系統(tǒng)的日凍結(jié)拷貝值實(shí)現(xiàn)實(shí)時驗(yàn)證和修復(fù)；通過英帕拉實(shí)現(xiàn)負(fù)荷、電量和關(guān)鍵指標(biāo)的快速統(tǒng)計(jì)；基于大數(shù)據(jù)技術(shù)的改造，在線監(jiān)測異常分析(包括計(jì)量、用電和終端異常)的時間從8小時以上減少到1小時以下；分析

10、結(jié)果直接用于省級公司和供電公司監(jiān)測指標(biāo)和指導(dǎo)現(xiàn)場運(yùn)行維護(hù)，滿足市場自動抄表結(jié)算的需求。該功能目前已經(jīng)在生產(chǎn)環(huán)境中得到應(yīng)用。功能設(shè)計(jì)在與安徽公司電力信息采集系統(tǒng)相連的運(yùn)行智能電能表中，大部分屬于四、五類電能表，約占安徽公司運(yùn)行電能表的98%。三類電能表約占安徽公司運(yùn)營電能表的1.5%，一類和二類電能表僅占安徽省運(yùn)營電能表的一小部分。由于四、五類電能表不采用現(xiàn)場檢驗(yàn)，四、五類電能表的運(yùn)行環(huán)境與一、二類電能表有很大不同，因此不能采用相同的分析方法和技術(shù)手段。因此，DL/T448電能計(jì)量裝置技術(shù)管理規(guī)定已不能適應(yīng)新形勢的發(fā)展需要。4.系統(tǒng)設(shè)計(jì)，概要，5。項(xiàng)目成果：安徽公司新一代采集系統(tǒng)“存儲與計(jì)算”基

11、于大數(shù)據(jù)平臺，已購買31臺PC服務(wù)器，操作系統(tǒng)安裝和網(wǎng)絡(luò)調(diào)試已完成，大數(shù)據(jù)程序安裝、各組件部署和系統(tǒng)聯(lián)合調(diào)試正在準(zhǔn)備中。其中，存儲由分布式數(shù)據(jù)庫(HBASE)和分布式數(shù)據(jù)倉庫(HIVE)組成基于大數(shù)據(jù)架構(gòu)的新計(jì)劃已于4月中旬部署并投入運(yùn)行。新架構(gòu)充分利用了原有的硬件設(shè)備，只擴(kuò)展了部分服務(wù)器的硬盤和內(nèi)存，通過高吞吐量的消息處理和流處理技術(shù)，實(shí)現(xiàn)了從原來的90分鐘到現(xiàn)在的20分鐘的2700萬天凍結(jié)抄表數(shù)據(jù)的采集。在低壓用戶全載波通信模式下，全省2700萬電能表可在5-7天內(nèi)完成時鐘讀數(shù)和計(jì)時工作。由于新的體系結(jié)構(gòu)采用分布式消息系統(tǒng)，并使用磁盤數(shù)據(jù)結(jié)構(gòu)來提供消息持久性，它充分保證了預(yù)先收集的數(shù)據(jù)的完

12、整性。五、項(xiàng)目效果：實(shí)現(xiàn)了六類應(yīng)用：一是配電網(wǎng)停電事件的實(shí)時監(jiān)控和綜合分析；二是實(shí)時驗(yàn)證、修復(fù)和完成負(fù)荷數(shù)據(jù)；三是每日凍結(jié)抄表數(shù)據(jù)的實(shí)時驗(yàn)證和異常數(shù)據(jù)標(biāo)記；第四，實(shí)時計(jì)算、維修和完成日用電量。目前，每小時都實(shí)現(xiàn)了電力和線損的在線統(tǒng)計(jì)；第五，實(shí)時刷新抄表失敗細(xì)節(jié)，并根據(jù)單元、用戶類型、站區(qū)和終端維度實(shí)時查詢采集成功率，支持采集系統(tǒng)的現(xiàn)場高效運(yùn)行和維護(hù)；第六，負(fù)荷、電量指示、事件數(shù)據(jù)等數(shù)據(jù)的有效實(shí)時發(fā)布，有效支持營銷抄表數(shù)據(jù)的實(shí)時發(fā)布，以及配網(wǎng)搶修和運(yùn)行監(jiān)控對調(diào)度和運(yùn)行檢查的需求。五、項(xiàng)目有效性：基于大數(shù)據(jù)平臺的分布式存儲和并行計(jì)算架構(gòu)，實(shí)現(xiàn)用電信息采集系統(tǒng)的日凍結(jié)副本表示值、負(fù)荷、通信報(bào)文等海量

13、數(shù)據(jù)的快速存儲；各種指標(biāo)、各種維度的負(fù)荷特性、日/月用電量和關(guān)鍵指標(biāo)的準(zhǔn)實(shí)時計(jì)算通過小時實(shí)現(xiàn)，滿足指標(biāo)在線監(jiān)測的要求；在線計(jì)量監(jiān)控(包括計(jì)量、用電和終端異常)的異常分析時間從8小時以上減少到45分鐘左右。分析結(jié)果直接用于省級公司和供電公司監(jiān)測指標(biāo)和指導(dǎo)現(xiàn)場運(yùn)行維護(hù)。項(xiàng)目成果：7大類29個智能診斷分析模型，電壓電流異常、電壓異相、電壓超限、電壓不平衡、大功率電能表B相異常、功率損耗流量異常、功耗異常、電能表開蓋、計(jì)量門開關(guān)、恒磁場干擾、負(fù)荷異常、電量異常診斷、電能指示值不均勻、電能表負(fù)荷持續(xù)超下限飛脫、倒換、停機(jī)、 ，緊急維修服務(wù)，緊急維修工作單監(jiān)控，緊急維修資源監(jiān)控，投訴工作單分析，節(jié)電任務(wù)監(jiān)

14、控，異常接線，異常反向功率，異常相序，反向功率流，異常時鐘，異常終端時鐘，異常電能表時鐘，異常功率差，問題(。 無法從通信質(zhì)量、終端軟件和運(yùn)行條件等方面分析異常原因，有效支持現(xiàn)場高效運(yùn)行和維護(hù)。問題(3):計(jì)算速度慢，傳統(tǒng)的基于關(guān)系數(shù)據(jù)庫的計(jì)算方法在涉及GB級數(shù)據(jù)操作時需要大量的I/O操作，數(shù)據(jù)處理效率低，時效性不能滿足業(yè)務(wù)應(yīng)用。問題(4):智力水平不夠。異常的聚合和關(guān)聯(lián)分析不能有效、全面地分析異常產(chǎn)生的原因，支持計(jì)量業(yè)務(wù)的持續(xù)發(fā)展。問題(2):分析規(guī)則需要改進(jìn)。由于光伏用戶的接入和計(jì)量服務(wù)的發(fā)展，有必要分析現(xiàn)場電能表的新問題，優(yōu)化和完善現(xiàn)有方案，支持電能表的狀態(tài)檢測。項(xiàng)目有效性、營銷業(yè)務(wù)數(shù)據(jù)

15、庫、大數(shù)據(jù)收集平臺、營銷檔案數(shù)據(jù)、營銷流程業(yè)務(wù)數(shù)據(jù)、營銷統(tǒng)計(jì)數(shù)據(jù)、新模型、改進(jìn)模型、原始模型、電力損耗、c，光伏用戶上網(wǎng)電量異常：在光伏用戶中，根據(jù)互聯(lián)網(wǎng)上自發(fā)自用剩余的情況，監(jiān)控用戶的用電量和發(fā)電量，準(zhǔn)確定位用戶是否存在欺詐性補(bǔ)償。在原有7個模型的基礎(chǔ)上，在原有診斷模型上增加了終端異常工況和終端軟件異常兩個診斷模型，并增加了兩個事件，即高供電電表接線錯誤和光伏用戶上網(wǎng)電量異常，改進(jìn)了電能表開蓋、過流、負(fù)荷超限等事件的判斷方法。項(xiàng)目成果和階段性成果。應(yīng)用分布式技術(shù)和機(jī)器學(xué)習(xí)技術(shù)來提高測量異常分析、數(shù)據(jù)集成、數(shù)據(jù)導(dǎo)入工具Sqoop、分布式消息隊(duì)列Kafka、數(shù)據(jù)存儲、分布式數(shù)據(jù)倉庫Hive、列存儲HBase、分布式文件系統(tǒng)HDFS、甲骨文、數(shù)據(jù)交互、數(shù)據(jù)計(jì)算流處理風(fēng)暴、Spark、Impala、批處理計(jì)算MapReduce、存儲過程、JAVA計(jì)算服務(wù)、數(shù)據(jù)分析、SPSS、MATLAB、自定義算法、圖表組