1引言目前，在能源管理系統(tǒng)中需要采集、傳輸的數據量很大，由于當前采集設備、通訊管理機及其他網絡方面原因，導致在數據采集、傳輸過程中難免會出現(xiàn)漏采、誤采、誤傳等現(xiàn)象，從而會產生一些空數據（缺失數據）、明顯的壞數據，而數據的真實性直接影響其分析的可靠性，因此應引起足夠的重視。2產生能耗數據異常原因通訊管理機通訊中斷由于人為或是環(huán)境原因，導致某段時間某管理機與后臺無法通訊，導致后臺該前置所有數據無變化。統(tǒng)計服務假死/退出，導致缺失統(tǒng)計數據通訊管理機通訊正常，某些設備中斷體現(xiàn)在某些設備某時間段無變化，設備通訊恢復后，能耗突增。某些設備中斷之前，通訊管理機中斷在后管理機通訊中斷，斷點文件在切片時間處理時有缺陷，缺失斷點文件，導致數據庫無斷點數據，后臺數據缺失。(前置已解決)平臺SERVER假死，導致采樣缺失。通訊管理機和后臺配置規(guī)約配置錯誤，選用沒有支持斷點的UDP轉發(fā)規(guī)約，導致沒有斷點文件，后臺缺失數據(配置文檔有說明，后面可默認全部都是TCP)管理機故障或人為原因未啟動管理機管理機未啟動（或采集器看門狗失效）或人為原因沒有啟動管理機，導致數據無法上傳，數據丟失。網絡故障通訊管理機附近有強電磁場干擾，會導致數據受干擾，傳輸不穩(wěn)定。表現(xiàn)為數據突變。能源計量表計更換/損壞當能耗總量達到電表量程，電表讀數跳回0，造成的累計量突變；儀表損壞造成累計量波動；3數據異常修復當前現(xiàn)狀及解決方案3.1數據異常修復當前現(xiàn)狀能源管理系統(tǒng)屬于時變系統(tǒng)，因此可根據采樣值隨時間遞增的屬性，對異常數據進行識別，并通過相關算法進行數據修改，更新統(tǒng)計數據。數據異常修復過程就是檢測數據剔除其中的壞數據（負值、極大值、極小值、突變值）及檢測是否數據缺失，并利用歷史數據，并依據修補算法進行補全。當前公司對于異常的處理主要包括斷點程序、數據修補工具。目前的斷點續(xù)傳功能只是實現(xiàn)對問題原因1的處理。數據修復工具只是針對平臺采樣數據齊全時，方能修復，對應于問題2。其他問題可歸結于兩種：缺失采樣數據；采樣數據異常。目前對于缺失采樣，我司完全沒有處理；對于采樣數據異常，后臺接收前置數據時做了初步過濾，但效果不明顯，而現(xiàn)場這兩類問題很突出，急需處理。3.2解決方案3.2.1方案1對于統(tǒng)計而言，平臺采樣數據如果是齊全而且是有效數據，則所有的數據均可重新恢復，因此，如果能補齊/修補好采樣數據，則通過斷點服務程序可處理完缺失/異常數據。如下圖所示，修補服務先建立設備10分鐘基準能耗庫，然后創(chuàng)建設備數據狀態(tài)巡檢線程、采樣數據修補線程、設備能耗基準庫補充。設備數據狀態(tài)巡檢線程的主要任務是巡檢設備每天10分鐘每個能耗點數據狀態(tài)是否都寫入（由能耗統(tǒng)計服務寫入狀態(tài)）。當查到有設備某時間中斷沒有記錄，查設備中斷時間內采樣數據有效位，并插入設備數據有效狀態(tài)表。（保證10分鐘144個點的狀態(tài)都有，如缺失采樣，默認狀態(tài)是無效）采樣數據修復線程是通過獲取能耗增量疊加到相鄰通訊正常的采樣值上獲取到下一次的采樣值，并將記錄插入到斷點原始表，由斷點程序完成相關區(qū)域的統(tǒng)計入庫。設備能耗基準庫線程功能主要是為了確保數據修復時有可靠的數據來源，數據庫中所有點數據都是在通訊正常時存入，只做10分鐘設備的能耗，其他的不需做（因所有區(qū)域都是由設備進行累計。其他補充說明基準能耗庫切分4個時間類型，春夏秋冬，兩個功能類型工作日與非工作日，每個時間類型保留設備7天10分鐘有效數據（周一到周日），基準庫可定時更新（比如一周更新一次，通過讀取配置文件）。區(qū)域和其他設備、區(qū)域顆粒不需做基準，所有設備、區(qū)域都是以設備10分鐘做為基礎。基準數據獲取前提是系統(tǒng)穩(wěn)定一段時間后（不小于7天，以設備狀態(tài)通訊正常時的能耗數據作為基準）設備數據狀態(tài)在設備數據狀態(tài)表中存有所有設備每天的10分鐘有效數據過程，以有數據從無效到有效時觸發(fā)數據修補。修復算法說明基準中保留有每一個設備一個星期通訊正常的10分鐘能耗。算法1（同類型同時間段）根據修復時間所屬季節(jié)、是周幾從基準庫中獲取同一時間類型能耗（最簡單方式）。比如修復時間為2016-5-1215:00:00，屬于夏季周四，則直接從基準庫中獲取該設備夏季周四15點的能耗。如果基準庫沒有存在則取相鄰時刻能耗，再沒有則取昨日同時刻能耗，否則暫不處理。算法2（均值）根據修復時間所屬季節(jié)、是工作日還是非工作日從基準庫中獲取同一功能類型能耗，并取其均值。如上面的做法，如是工作日取工作日對應時間均值，如是非工作日，去非工作日對應時間均值。如修復時間為2016-5-1215:00:00，屬于夏季周四工作日時間，則直接從基準庫中獲取該設備夏季周一至周五15點的能耗。如果基準庫沒有存在則取相鄰時刻能耗，再沒有則取昨日同時刻能耗，否則暫不處理。算法3（均值增量法）3.2.2方案2與方案1區(qū)別在于直接用算法獲取設備能耗數據（算法可配置），并同步更新與小時、天、月設備與區(qū)域的能耗。其他說明如方案1的描述。3.2.3方案比較方案1其實修復的是采樣值，然后通過斷點程序進行能耗數據修復，可確保數據完整性（配電/計費等數據保持一致），但斷點程序處理效率是存在的風險點。方案2修復的是能耗值，和采樣、斷點程序脫離，但會導致和配電、計費數據不一致。存在的風險點所有的數據修復都是以設備通訊正常基礎上進行的，但通訊正常并不意味著數據沒有異常，如果在異常的數據上進行修復，就會導致這個時間段的修復都是錯誤的?，F(xiàn)場出現(xiàn)數據突變的幾率很小，如果確實出現(xiàn)了，也不會很多，可讓用戶通過異常數據修復工具，單個區(qū)域修改（林東東）。3.2.4個人建議