基于深度學(xué)習(xí)的

用電及計量設(shè)備異常分析國網(wǎng)冀北電力有限公司計量中心2016年6月5日1目錄2大數(shù)據(jù)的發(fā)展什么是機器學(xué)習(xí)我們要做什么這有什么作用

信息化建設(shè)1

服務(wù)質(zhì)量

2電力用戶對服務(wù)的要求不斷提高電網(wǎng)各專業(yè)對采集數(shù)據(jù)的需求不斷增加電力營銷人員迫切需要依靠采集數(shù)據(jù)為用戶提供精準(zhǔn)服務(wù)采集系統(tǒng)建設(shè)應(yīng)用高歌猛進(jìn)3近900萬用戶35項數(shù)據(jù)44類異常遠(yuǎn)程控制日交互數(shù)據(jù)規(guī)模7GB以上電力信息化智能化水平不斷提升4

電力行業(yè)的信息時代正處于關(guān)鍵轉(zhuǎn)折點，隨智能變電站系統(tǒng)、現(xiàn)場移動檢修系統(tǒng)、測控一體化系統(tǒng)、GIS系統(tǒng)、智能表計等建設(shè)，以往數(shù)據(jù)類型較為單一、增長較為緩慢的情況將發(fā)生轉(zhuǎn)變，逐漸步入到由復(fù)雜及異構(gòu)數(shù)據(jù)源廣泛存在和驅(qū)動的時代。5互聯(lián)網(wǎng)+智慧能源帶來巨大沖擊《關(guān)于進(jìn)一步深化電力體制改革的若干意見》及其6個配套文件《關(guān)于推進(jìn)“互聯(lián)網(wǎng)+”智慧能源發(fā)展的指導(dǎo)意見》《關(guān)于推進(jìn)電能替代的指導(dǎo)意見》發(fā)展能源互聯(lián)網(wǎng)的智能終端高級量測系統(tǒng)及其配套設(shè)備建設(shè)基于互聯(lián)網(wǎng)的信息化服務(wù)平臺普及智能化用能監(jiān)測和診斷技術(shù)加快推進(jìn)能源消費智能化豐富智能終端高級量測系統(tǒng)的實施功能

大數(shù)據(jù)應(yīng)用是以進(jìn)一步支撐業(yè)務(wù)發(fā)展與創(chuàng)新為目標(biāo)，利用大數(shù)據(jù)存儲、大數(shù)據(jù)整合、大數(shù)據(jù)計算、大數(shù)據(jù)應(yīng)用四類核心技術(shù)，驅(qū)動業(yè)務(wù)應(yīng)用和技術(shù)平臺的升級與改造，擴展對業(yè)務(wù)數(shù)據(jù)采集的容納能力，填補在非結(jié)構(gòu)化數(shù)據(jù)分析與利用、海量數(shù)據(jù)挖掘等領(lǐng)域的空白，提升信息資源價值挖掘的整體水平，促進(jìn)業(yè)務(wù)管理向著更精細(xì)、更協(xié)同、更敏捷、更高效的方向發(fā)展。電力大數(shù)據(jù)電力大數(shù)據(jù)特征數(shù)據(jù)量(Volume)多樣性(Variety)速度(Velocity)價值(Value)TBPB以上結(jié)構(gòu)化、非結(jié)構(gòu)化、歷史/準(zhǔn)實時、GIS信息持續(xù)實時產(chǎn)生數(shù)據(jù)，要求即時處理業(yè)務(wù)趨勢預(yù)測和數(shù)據(jù)價值挖掘6目錄7大數(shù)據(jù)的發(fā)展什么是機器學(xué)習(xí)我們要做什么這有什么作用

機器學(xué)習(xí)是數(shù)據(jù)價值挖掘的關(guān)鍵技術(shù)，大數(shù)據(jù)的分布式計算與存儲可有效的提升機器學(xué)習(xí)處理數(shù)據(jù)的性能。機器學(xué)習(xí)是用數(shù)據(jù)或以往的經(jīng)驗自動改進(jìn)算法模型，數(shù)據(jù)越多越有利于提升模型的精確性。什么是機器學(xué)習(xí)？柯潔年內(nèi)將戰(zhàn)“阿爾法狗”

深度學(xué)習(xí)主要工作原理是“深度學(xué)習(xí)”，“深度學(xué)習(xí)”是指多層的人工神經(jīng)網(wǎng)絡(luò)和訓(xùn)練它的方法。一層神經(jīng)網(wǎng)絡(luò)會把大量矩陣數(shù)字作為輸入，通過非線性激活方法取權(quán)重，再產(chǎn)生另一個數(shù)據(jù)集合作為輸出。這就像生物神經(jīng)大腦的工作機理一樣，通過合適的矩陣數(shù)量，多層組織鏈接一起，形成神經(jīng)網(wǎng)絡(luò)“大腦”進(jìn)行精準(zhǔn)復(fù)雜的處理，就像人們識別物體標(biāo)注圖片一樣。2016.3.16“阿爾法狗”對戰(zhàn)李世石（4:1）8深度學(xué)習(xí)聚類模糊邏輯決策樹關(guān)聯(lián)概率分布監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)回歸支持向量機機器學(xué)習(xí)中的“訓(xùn)練”與“預(yù)測”過程可以對應(yīng)到人類的“歸納”和“推測”過程。機器學(xué)習(xí)不是基于編程形成的結(jié)果，因此它的處理過程不是因果的邏輯，而是通過歸納思想得出的相關(guān)性結(jié)論，以此來預(yù)測未來。機器學(xué)習(xí)與人類思考的對比模型機器學(xué)習(xí)與人類學(xué)習(xí)？9機器學(xué)習(xí)的分類機器學(xué)習(xí)的類型機器學(xué)習(xí)監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)有標(biāo)簽，使用結(jié)構(gòu)化的數(shù)據(jù)進(jìn)行預(yù)測輸入數(shù)據(jù)無標(biāo)簽，目的是在數(shù)據(jù)中發(fā)現(xiàn)結(jié)構(gòu)利用少量標(biāo)注樣本和大量未標(biāo)注樣本10機器學(xué)習(xí)經(jīng)典算法十大經(jīng)典算法C4.5NativeBayesKNNCARTAdaBoostPageRankEMAprioriSVMK-Means11模型訓(xùn)練的過程基于“數(shù)據(jù)驅(qū)動”的大數(shù)據(jù)研究范式特征融合整體關(guān)聯(lián)局部特征關(guān)聯(lián)局部特征提取大數(shù)據(jù)研究范式——將大規(guī)模高維數(shù)據(jù)導(dǎo)入的計算機集群中，借助數(shù)據(jù)之間的關(guān)聯(lián)特征，基于“數(shù)據(jù)驅(qū)動”策略，挖掘傳統(tǒng)分析范式無法發(fā)現(xiàn)的新模式、新知識甚至新規(guī)律。模型集成學(xué)習(xí)知識獲取模型評估模型訓(xùn)練特征關(guān)聯(lián)驗證特征提取源數(shù)據(jù)自下而上的數(shù)據(jù)驅(qū)動12金融服務(wù)欺詐檢測風(fēng)險管理全方位客戶分析交通運輸天氣和交通狀況對物流和燃油消耗量的影響健康與生命科學(xué)流行病早期預(yù)警ICU患者監(jiān)控遠(yuǎn)程健康監(jiān)控電信CDR處理客戶流失預(yù)測套餐推廣優(yōu)化設(shè)備監(jiān)控IT針對多個業(yè)務(wù)系統(tǒng)進(jìn)行的日志關(guān)聯(lián)故障/預(yù)警分析網(wǎng)絡(luò)安全零售市場細(xì)分客戶情緒分析精準(zhǔn)實時營銷政府管理實時全方位監(jiān)管態(tài)勢感知其他行業(yè)應(yīng)用13目錄14大數(shù)據(jù)的發(fā)展什么是機器學(xué)習(xí)我們要做什么這有什么作用標(biāo)簽化管理全觸點用戶數(shù)據(jù)、設(shè)備數(shù)據(jù)、運行數(shù)據(jù)，構(gòu)建企業(yè)全維度標(biāo)簽體系憑借智能化價值分布、權(quán)重分配、時間衰減等算法支持，立體化展現(xiàn)360°用戶（設(shè)備）畫像，充分挖掘數(shù)據(jù)資產(chǎn)價值。分析用戶行為習(xí)慣、設(shè)備狀態(tài)、資產(chǎn)全壽命信息，便捷快速圈定目標(biāo)群，全方位分析群體特征。支撐多渠道數(shù)據(jù)導(dǎo)入、多維度用戶洞察及多角度客戶服務(wù)，促進(jìn)公司構(gòu)建新的業(yè)務(wù)模式、營銷模式和服務(wù)模式優(yōu)化和轉(zhuǎn)型升級。企業(yè)級數(shù)據(jù)標(biāo)簽體系微觀畫像宏觀畫像數(shù)據(jù)輸出管理數(shù)據(jù)資產(chǎn)標(biāo)簽化15

數(shù)據(jù)資產(chǎn)標(biāo)簽化的核心任務(wù)在于尋找一個有效解決對數(shù)據(jù)資產(chǎn)進(jìn)行管理的實踐方法，既幫助企業(yè)合理評估、規(guī)范和治理企業(yè)數(shù)據(jù)資產(chǎn)，又可以挖掘和發(fā)揮數(shù)據(jù)資產(chǎn)價值并促進(jìn)持續(xù)增值，并符合大數(shù)據(jù)的跨行業(yè)合作趨勢。數(shù)據(jù)資產(chǎn)規(guī)范及治理能力數(shù)據(jù)資產(chǎn)運營、開放、應(yīng)用能力資產(chǎn)質(zhì)量更加可靠創(chuàng)新合作更加便捷運營手段更加豐富數(shù)據(jù)資產(chǎn)應(yīng)用有效處置租賃、報損、轉(zhuǎn)換…全面評估資產(chǎn)分布、活性、配置合理性、使用策略…使能創(chuàng)新交易、數(shù)據(jù)開放…數(shù)據(jù)資產(chǎn)運營協(xié)同工作數(shù)據(jù)資產(chǎn)數(shù)據(jù)規(guī)范

管控體系

元模型數(shù)據(jù)

情景規(guī)則

人員組織數(shù)據(jù)處理

全局洞察

采集加工

快速可視化

運維管控第三方應(yīng)用加載標(biāo)準(zhǔn)化數(shù)據(jù)接口、平滑遷移、快速定制…快速開發(fā)部署效率、質(zhì)量…形式豐富易用數(shù)據(jù)產(chǎn)品、報表…有機融合數(shù)據(jù)資產(chǎn)標(biāo)簽化16

數(shù)據(jù)標(biāo)簽化是數(shù)據(jù)資產(chǎn)形成的一種手段，通過數(shù)據(jù)資產(chǎn)標(biāo)簽化可以有效對數(shù)據(jù)進(jìn)行對象的360°全景畫像，通過不斷進(jìn)行迭代優(yōu)化，最終形成準(zhǔn)確的標(biāo)簽庫，通過數(shù)據(jù)分析挖掘，開展基于不同行業(yè)、不同場景的精準(zhǔn)營銷和運營活動?？傮w架構(gòu)17

以數(shù)據(jù)存儲和數(shù)據(jù)采集為基礎(chǔ)，以標(biāo)簽庫建設(shè)和360°全景分析為切入點，以業(yè)務(wù)場景分析應(yīng)用和數(shù)據(jù)資產(chǎn)形成為核心，形成具有電力特色的電力大數(shù)據(jù)平臺。18

基于數(shù)據(jù)資產(chǎn)標(biāo)簽化方法論構(gòu)建標(biāo)簽體系，通過數(shù)據(jù)資產(chǎn)標(biāo)簽管理工具，用戶可以自定義需要的數(shù)據(jù)標(biāo)簽，并完成標(biāo)簽的生產(chǎn)全過程。具體方法與流程如下實現(xiàn)流程用戶用電信息分類與提取技術(shù)：梳理用戶用電信息采集系統(tǒng)數(shù)據(jù)情況，分析數(shù)據(jù)類型、數(shù)據(jù)粒度、數(shù)據(jù)頻度、交互時效性、交互數(shù)據(jù)量等特征，結(jié)合業(yè)務(wù)應(yīng)用特點，開展基于客戶檔案、設(shè)備檔案、設(shè)備運行數(shù)據(jù)等對象的分類方法研究。生成標(biāo)簽：結(jié)合客戶檔案信息、設(shè)備信息、用電信息及設(shè)備工況信息等，提出用戶異常分析的標(biāo)簽體系方法論，制定數(shù)據(jù)分類規(guī)則，按分類規(guī)則生成相應(yīng)的標(biāo)簽內(nèi)容，形成基礎(chǔ)標(biāo)簽庫。算法模型建立：整合用戶用電數(shù)據(jù)、設(shè)備運行狀態(tài)結(jié)果等信息，通過機器學(xué)習(xí)的自適應(yīng)和自學(xué)習(xí)的能力，對數(shù)據(jù)進(jìn)行特征提取和特征關(guān)聯(lián)性分析，從而構(gòu)建用戶用電異常及設(shè)備運行狀態(tài)分析模型。數(shù)據(jù)過濾及篩選：分析評估客戶檔案、設(shè)備檔案、設(shè)備運行數(shù)據(jù)的質(zhì)量，并進(jìn)行數(shù)據(jù)稽查、數(shù)據(jù)清理、數(shù)據(jù)轉(zhuǎn)換等處理；核查字段值及內(nèi)容是否一致、對明顯錯誤值、缺失值、異常值、可疑數(shù)據(jù)進(jìn)行“清理”,使“臟”數(shù)據(jù)變?yōu)椤案蓛簟睌?shù)據(jù)?；跇?biāo)簽的用戶畫像：基于標(biāo)簽化數(shù)據(jù)提出計量裝置健康度的多維度評價方法，構(gòu)建計量設(shè)備的360°全景畫像，通過挖掘模型分析設(shè)備的運行規(guī)律，分析實現(xiàn)對運行設(shè)備異常預(yù)警，為智能化運維工作提供分析結(jié)果數(shù)據(jù)。實現(xiàn)流程1234519標(biāo)簽體系

標(biāo)簽提取展現(xiàn)通過對實體數(shù)據(jù)進(jìn)行分析處理，利用數(shù)據(jù)標(biāo)簽實現(xiàn)對實體特征的提取，基于大數(shù)據(jù)平臺可視化工具完成實體畫像繪制；基于分類、時間維度實現(xiàn)群體畫像繪制、實體畫像演變等方面的應(yīng)用標(biāo)簽關(guān)聯(lián)分析根據(jù)具體業(yè)務(wù)應(yīng)用場景，基于已知領(lǐng)域構(gòu)建的多維關(guān)聯(lián)分析模型，開展同類對象標(biāo)簽、不同類對象標(biāo)簽的關(guān)聯(lián)分析，實現(xiàn)各類因子關(guān)聯(lián)度評價，利用分析結(jié)果支撐具體的業(yè)務(wù)應(yīng)用標(biāo)簽大數(shù)據(jù)應(yīng)用基于不斷擴展完善的標(biāo)簽庫，利用大數(shù)據(jù)平臺豐富的自學(xué)習(xí)算法，探索未知領(lǐng)域的標(biāo)簽關(guān)聯(lián)關(guān)系，進(jìn)而豐富應(yīng)用分析模型，拓展認(rèn)知領(lǐng)域20

數(shù)據(jù)資產(chǎn)標(biāo)簽化實現(xiàn)了數(shù)據(jù)典型特征提取，減少了數(shù)據(jù)規(guī)模，有利于提高數(shù)據(jù)價值密度，降低了當(dāng)前數(shù)據(jù)應(yīng)用過程中存在的專業(yè)門檻，有利于跨專業(yè)分析應(yīng)用，更符合數(shù)學(xué)模型變量特征，有助于提升數(shù)據(jù)價值挖掘效率。疑似竊電、設(shè)備故障、錯接線、配變需擴容、現(xiàn)場維護(hù)、電池失效、回路異常、用電異常等8類108個異常關(guān)聯(lián)分析模型。異常關(guān)聯(lián)分析電量異常診斷、電壓電流異常診斷、異常用電診斷、負(fù)荷異常診斷、時鐘異常診斷、接線異常診斷、費控異常診斷共計7類29個智能診斷分析模型。單一異常分析異常分析21

其中n為同時發(fā)生的主題數(shù)量；為第i個主題的權(quán)值；為第j個主題和第k個主題的關(guān)聯(lián)度。時，判為持續(xù)關(guān)注，連續(xù)k天未回復(fù)則按照異常處理（k區(qū)間為3～60）；時，判為異常，以曲線數(shù)據(jù)等輔助判定，對確認(rèn)的異常進(jìn)行處理；時，判為確診，對異常進(jìn)行處理。關(guān)聯(lián)分析算法：結(jié)果判定區(qū)間：算法模型22因素分類具體因素外觀故障外觀損壞計量性能誤差超差潛動不起動停走組合誤差超差時段轉(zhuǎn)換錯誤閏年轉(zhuǎn)換錯誤存儲單元表底自動清零存儲電量丟失電量數(shù)據(jù)突變顯示單元顯示單元故障處理單元計量芯片損壞控制單元繼電器損壞儀用互感器損壞電容損壞通信單元……時鐘單元……電源單元……軟件故障電費扣減異常死機時鐘錯誤因素分類具體因素說明用戶因素過負(fù)荷用戶負(fù)荷過大造成電能表燒毀竊電用戶篡改接線；放置強磁鐵；非法改造電能表;其他原因竊電客戶用電變更用戶拆遷等客戶申校申校過程中電能表拆回后未再安裝丟失在用戶處電能表丟失外部因素檢定過程中損毀電能表在檢定過程中損毀過負(fù)荷設(shè)計造成的電能表燒毀參數(shù)設(shè)置不正確參數(shù)設(shè)置不正確配送損毀搬運過程中造成電能表摔壞丟失電能表丟失安裝過程中損毀安裝過程中損毀接線錯誤現(xiàn)場施工人員接線錯誤政策異動因素功能性淘汰對表計功能不滿足現(xiàn)行用電計量需求而進(jìn)行的表計更換政府政策變動為滿足政府政策的調(diào)整而對表計進(jìn)行更換運行環(huán)境不可抗力因素雷擊、地震、洪水、火災(zāi)等自然災(zāi)害是從計量資產(chǎn)在8個環(huán)節(jié)的環(huán)境因素進(jìn)行歸納，屬于不可改進(jìn)。用電環(huán)境運行電壓、環(huán)境溫濕度、氣壓、諧波、外磁場等達(dá)不到電表規(guī)定的使用要求；

非質(zhì)量因素質(zhì)量因素結(jié)果總結(jié)23全景畫像24

基于標(biāo)簽化數(shù)據(jù)提出計量裝置健康度的多維度評價方法，實現(xiàn)計量裝置運行工況的動態(tài)分析和運行狀態(tài)的準(zhǔn)確評價，構(gòu)建計量設(shè)備的360°全景畫像，通過挖掘模型分析設(shè)備的運行規(guī)律，通過對設(shè)備狀態(tài)分析實現(xiàn)對運行設(shè)備異常預(yù)警，為智能化運維工作提供分析結(jié)果數(shù)據(jù)。建立機器學(xué)習(xí)模型25構(gòu)建基礎(chǔ)知識庫根據(jù)公司用電及計量設(shè)備異常分析范圍，參考國網(wǎng)計量裝置在線監(jiān)測智能診斷分析模型，構(gòu)建基于機器學(xué)習(xí)模型研究的基礎(chǔ)知識庫；搭建模擬環(huán)境為機器學(xué)習(xí)模型提供易于處理的業(yè)務(wù)數(shù)據(jù)，并按照算法訓(xùn)練所需頻度，完成數(shù)據(jù)的持續(xù)加載；與數(shù)據(jù)清洗過程、數(shù)據(jù)標(biāo)簽化過程實現(xiàn)迭代；算法模型迭代更新通過對外部輸入信息的處理，實現(xiàn)有效知識的獲取和經(jīng)驗總結(jié)，實現(xiàn)模型的持續(xù)自我完善，進(jìn)而提高異常分析的準(zhǔn)確性和分析模型的差異化。輸入變量模糊邏輯標(biāo)簽分類多