大數(shù)據(jù)應用生命周期

2

大數(shù)據(jù)生態(tài)湖泊

數(shù)據(jù)運維數(shù)據(jù)之源

*1基于大數(shù)據(jù)的應用體系

應

用大數(shù)據(jù)檢索大數(shù)據(jù)關聯(lián)大數(shù)據(jù)分析大數(shù)據(jù)預測

互聯(lián)網(wǎng)數(shù)據(jù)

社會數(shù)據(jù)

數(shù)據(jù)生產(chǎn)區(qū)（原始數(shù)據(jù)）

結構化數(shù)據(jù)文本文件多媒體數(shù)據(jù)描述類數(shù)據(jù)

機構內(nèi)部數(shù)據(jù)

電力大數(shù)據(jù)概述

金售電

(2)發(fā)電用輸電

以

中國華能集團公司＜217)國務院關于印發(fā)電力體制改革

畫方案的通知【國發(fā)[2002]5號】中國電力建設集團有限公司

3國電fll

中國大唐集團公司(376)POWVKNIRA(200)

中國華電集團公司(345)中國能源建設集團有限公司

...?.-./中國南方電網(wǎng)中國國家電網(wǎng)(309)

。(2)

中國國電集團公司(299)(18)

g國務院關于印發(fā)電力體制改革

中國電力投資集團公司(408方案的通知【國發(fā)[2015]9號】

特性一：不可存儲能源特性二：壟斷性特性三：關注社會效益特性四：新機遇挑戰(zhàn)

電力是不可存儲的能源,電力的大型基建特性注作為基礎存在的電力供伴隨著國家電網(wǎng)總經(jīng)理

一旦生產(chǎn)則必須耗用，定了電力行業(yè)的壟斷性，應是國計民生的大事，劉振亞離職，以及國務

這就注定了電力生產(chǎn)、國家電網(wǎng)和南方電網(wǎng)公即便作為企業(yè)，也是將院2015九弓?文的頒布,

使用、銷售的獨特性。司是目前國內(nèi)企業(yè)體量社會效益看重于經(jīng)濟效新的變化與機遇開始出

最大的存在。益的存在。

電力大數(shù)據(jù)電力相關企業(yè)信息化分析

國家電網(wǎng)信息化建設路徑國家電網(wǎng)信息化建設套路

2006-2010

一體化企業(yè)級信息集成平臺

八大業(yè)務應用

六個信息化保障體系

2011-2015

建立覆蓋面更廣，集成度更深，智

能化更高,安全性更強，可視化更

優(yōu)的新型IT架構，納入了電力應用

的全過程，在數(shù)據(jù)集采甚礎上加強

數(shù)據(jù)分析和輔助決策的功能

2016-2020

一平臺一系統(tǒng)國網(wǎng)拆分背景，去SOA〈SAP、業(yè)務部門提報相關管理部門

多場景微應用Oracle、Accenture）化需求，對可行性研究報告一進行初審

過去大系統(tǒng)建設的反思和調(diào)整,強，國網(wǎng)直屬型單位/單位所聞倍息化科室

調(diào)自身UAP平臺的應用。/國網(wǎng)緊密型單位,國家電網(wǎng)經(jīng)濟研究院

,甲方代寫，國家電網(wǎng)信通部門

/電科院信息安全部門

電力大數(shù)據(jù)一整體框架

廿配電

o發(fā)電令售電

/電網(wǎng)改革的決策支撐；,實現(xiàn)對最末端消費的數(shù)據(jù)采集分析；

/能源結構的調(diào)整改善；,對關聯(lián)上下游產(chǎn)業(yè)提供戰(zhàn)略性指導；

/基于多維視角的決策分析；/改造提升經(jīng)濟效益目標的營銷管理；

/提供日常建設、運維的監(jiān)管;/配合國家產(chǎn)業(yè)調(diào)整目標，協(xié)助供給側改

造的實現(xiàn)

電力大數(shù)據(jù)一細節(jié)關注內(nèi)容

,用電客戶市場細分模型

售電業(yè)務全面開放后，對售電、購電的內(nèi)容都將/高價值工業(yè)用電客戶分析模型

今后工作的產(chǎn)生天翻地覆的變化，迫切地需要大數(shù)據(jù)支持今/居民用電忠誠度分析

后業(yè)務的方向與決策支撐，可以預見基于電信客

重中之重,耗能電器用戶畫像

戶忠誠度、銀行客戶營銷、電商策略支撐方面的/節(jié)能智能家電推薦

大數(shù)據(jù)應用將會得到大規(guī)模應用.

/用電高峰時段區(qū)域分析

/變電站選址分析模型

配電業(yè)務在今后相會一分為二，特高壓高壓配電/變電站建設輿情監(jiān)控

分割后的繼續(xù)由傳統(tǒng)電網(wǎng)公司負擊，高低壓配電建設則可/變電站檢修項目風險監(jiān)控

新領域能由新誕生.的售電公司負資，老樹新花將會為配/變電站分時段負載分析及關聯(lián)分析

電建設工作帶來新的活力。/配電設備傳感巡檢數(shù)據(jù)分析及故障率

分析

輸電線路規(guī)劃分析模型

輸電業(yè)務將會繼續(xù)由電網(wǎng)公司負責，但是日前的輸電線路環(huán)境影響及自然災害評估

傳統(tǒng)領域用電發(fā)電端同時開放以后，輸電關聯(lián)的業(yè)務將全輸電負載分析管理

的新突破不可避免地帶來影響，電網(wǎng)將會放卜自身”老大.輸電線路建設資源預測模型

的地位，輸電將會變更其經(jīng)濟效益和社會效益的

權重，更多地”遷就”社會實際需要。輸電建設承運商/承建商等級評估

/單體發(fā)電質(zhì)量分布分析

國家開放了個人發(fā)電銷轉(zhuǎn)業(yè)務以后，出現(xiàn)了圍觀/單體發(fā)電輸配成本核算

急需支撐的冷場的情況.如何讓發(fā)電銷售說服大眾和電網(wǎng)公/單體發(fā)電定價決策依據(jù)分析

司，成為國家一個新的創(chuàng)業(yè)增長點，再沒有比大/臨時性用電高峰單體發(fā)電支持體系

先鋒領域數(shù)據(jù)更具說服力的科學依據(jù)了。

電力大數(shù)據(jù)一宏觀關注內(nèi)容

克強指數(shù)與GDP作為現(xiàn)代工業(yè)真正的神經(jīng)，社會正常運轉(zhuǎn)的基本資源，國家一直十分關注電力與工農(nóng)業(yè)、

2?1。年.如H柴上《經(jīng)擊學人》攤出陽f評蟲1，舊城巾發(fā)展的關系，不管是將高壓的論證審批，還是國家電網(wǎng)的拆分，以及水電站建設等各

的腐X:聆紛濟指

GDPiftKHiAffitttt人方面應用，大數(shù)據(jù)將會為宏觀決策提供科學的數(shù)據(jù)支撐和高效的分析模型。

“：工業(yè)用電H新M.nftttiAUAmKmitWKvin

款新增的結品

/水電站選址論證/核電站運轉(zhuǎn)情況分析

/火電站環(huán)境污染分析/電站持續(xù)型環(huán)境影響評估

/風力發(fā)電質(zhì)量與氣象分析/重大災害電站應急指揮平臺

/遠程輸電時段地域成本論證/統(tǒng)一電價及電力營銷行為分

/用電調(diào)度能效評估析

/輸電建設資源預測系統(tǒng)/電力巡檢模型分析

/變電站覆盅區(qū)域負荷分析/大型活動臨時配電調(diào)度管理

/值點工業(yè)園區(qū)用電支推調(diào)度/變電站故障及處理平臺

平臺/智能巡檢機器人數(shù)據(jù)管理

/用電量與壇保關聯(lián)性分析/錯峰用目定價指導分析

“克第指的":外指啦《SK；DP走處I汴波次/電量GDP關聯(lián)分析/異常災害電力負載應急管理

-克餐指數(shù)"V經(jīng)濟無外a度相關。

/用電區(qū)域分布引導管理/電價輿情分析

電力大數(shù)據(jù)

—城市耗電量分析

通過收集不同氣候、不同時段期間以及其他關聯(lián)

的用電量情況，助力"智慧城市”應用的同時，

有效預測用電需求，協(xié)助電力相美單位應對用電

高峰期的電力調(diào)度和資源確保能力。

電力大數(shù)據(jù)

—雅碧江流域水電開發(fā)有限公司大數(shù)據(jù)案例分享（成果展示）

基于3*12的大屏展示以下內(nèi)容：電站發(fā)電生產(chǎn)數(shù)據(jù)、水文氣象觀測數(shù)據(jù)、日常KPI指標、視頻監(jiān)控數(shù)據(jù)

10

電力大數(shù)據(jù)

—四川電力物資公司典型建設

物流設備集成

庫位規(guī)劃集成

倉庫物流規(guī)劃

輔助決策

現(xiàn)場收發(fā)貨

入庫管理資金支付深化

合同招標管理出庫管理財務結算

需求預測管理庫內(nèi)管理

調(diào)度大廳建設財物一?體化

平衡利庫管理傳感信息集成

在途信息集成視頻傳輸集成

監(jiān)控信息集成

GPS信息集成

倉庫財務部門

采購部門

物資調(diào)度

中心

迎酶

11

電力大數(shù)據(jù)

物費需求Hi測應用模型

—物資需求模型應用應用模叟：

y=/[°'/'（肛‘）+°：/：（x/）]

電力，資料類量務

?2009年，31網(wǎng)公司總部■立了主數(shù)網(wǎng)標s.?￡AS,

?.下發(fā)到四JI公司執(zhí)行的物資主數(shù)據(jù)座有，?l

16個大類,125個中類,765個小類，萬能■近定理模型參數(shù);一

60670條物|幡碼.2013年，下發(fā)到四川公萬髭■近盅建星由前葬

司執(zhí)行的褶窗主數(shù)累席有25個大類.321個大的?等*KotenogEs?出；Ad;/）:物資需求發(fā)君”礎模型.如通過機II學習

中為597mML1407734HW4M.的.Mk>A9a:ll￡/<n…刎'方法內(nèi)施的預潮fl盟.

為?汪任?數(shù)學猊9的QU〃?.，）：年度物責it求計劃，即11物,在，時刻的需

?以四川公司為例.電力?貴需求大妁有14求挽計；

萬多腫物資，井且仍處在一不斷增加的狀

態(tài)中.不同抑類的物資的短個時間般內(nèi)的需總存中的<?）.使s,：M/年被納入統(tǒng)計的項目類型的投資■;

求爆不同的，不同附類的物資的需求13好也?W"/<'（?--???：項目類型的效■;

K中，方裸■大于0的無I1小.

是不同的.￡:第，年第，個項目類0的投資■.

”:加如;

亂，：：權■變■.且a+a；=i.

?電力公司指覆主收事系統(tǒng)中的14萬多神嘴!小員G14O4OO9I片制小0?他1米

費中，有些物費的需求分布很?幅■松事歷

史的需求敗搪而尋找出一腳"定的數(shù)學函敗MH/1A實際做FUMtft年度計劃依

關系.如下的標：2012013459S345670

20120290750736490

■示：201203106484866912000

:二r'"力nj20120416X991262so0

20120558374477720

iiiiiiiiiimiiniiii

201206181940663210

12

行業(yè)大數(shù)據(jù)應用面對的挑戰(zhàn)

硬件無法跟進

數(shù)據(jù)規(guī)模的

指數(shù)級漕長

專業(yè)人才匱乏

13

CONTENT大數(shù)據(jù)應用生態(tài)

2大數(shù)據(jù)平臺

A

=大數(shù)據(jù)政務經(jīng)濟財稅■K生旅游

成型政法環(huán)保工業(yè)商用

E大敬照■)M-,

P主題應用大數(shù)據(jù)大數(shù)據(jù)大數(shù)據(jù)大數(shù)據(jù)大數(shù)據(jù)大數(shù)據(jù)大數(shù)都

L

大數(shù)據(jù)門戶展示核動數(shù)據(jù)可視化應用可視化大屏

根因

大數(shù)據(jù)大數(shù)據(jù)關系

預測

鑄喉

分忻

A知識認知分折

可視化大價顯示控制模板分折

系統(tǒng)

-敏捷BIF系統(tǒng)

平臺平臺系統(tǒng)

O

)>大數(shù)據(jù)治理平臺大數(shù)據(jù)存儲大數(shù)據(jù)智

O能運維平

O數(shù)據(jù)共享開放與服務臺

數(shù)據(jù)臺賬

S儲運

冶

Q煉

s數(shù)據(jù)H錄智能

部潛

系統(tǒng)

e數(shù)據(jù)審計數(shù)

然

a元

治

數(shù)數(shù)據(jù)安全大數(shù)據(jù)基礎架構

理

據(jù)

數(shù)據(jù)質(zhì)髭并行批處理其他

流Hadoop

管Spark

理

程流計算

數(shù)據(jù)標準

資

HDFS滁

監(jiān)

控

系

統(tǒng)

撿礦大數(shù)據(jù)交換匯

洗礦集平臺

然靠T原始0”原始Q流媒體互聯(lián)網(wǎng)'分布式

選礦數(shù)據(jù)煙囪HRDB、-FILEb收據(jù)>'數(shù)據(jù)RDB

15

構造大數(shù)據(jù)的數(shù)據(jù)之源

大數(shù)據(jù)交換匯集平臺

16

大數(shù)據(jù)交換匯集平臺核心價值

§

開發(fā)環(huán)境

集成設計數(shù)據(jù)聯(lián)合

用宜觀且以角色為基礎的圖ETL

獲得虛擬訪問多種數(shù)據(jù)庫結

形用戶界面，管理數(shù)據(jù)處理,用可視化端到端的事件抽取、轉(zhuǎn)換、加載，通過開箱即

設計器，建立和編輯數(shù)構、企業(yè)應用、主機遺留舊

提供摭拽功能，源系統(tǒng)訪問用的基于SQL的數(shù)據(jù)轉(zhuǎn)換功能支

I和可自空皮的元數(shù)據(jù)樹據(jù)管理流程文件、文本、XML.消息隊

力ELT.荻7更疝的靈活性,—--------

ffl

遷移與同步

互聯(lián)互通

管理與監(jiān)控可以在多種數(shù)據(jù)庫、企業(yè)應用、

相較「?其它解決方案.WYDC原蹤作業(yè)狀態(tài)和性能報告主機遺留舊文件、文本、XML、

數(shù)據(jù)管理能夠?qū)崟r或批或地在以及趨勢信息的各項指標消息隊列以及其它源之間，進

更多的平臺上鏈接更多數(shù)據(jù)源行數(shù)據(jù)如遷移和同步.，

ETL概述

更多類型的數(shù)據(jù)來源

§tilK支持各種數(shù)據(jù)源，包括DB2、Oracle.Mysql等各種主流數(shù)據(jù)庫，以及結構化文件系

數(shù)據(jù)庫數(shù)據(jù)倉庫其它數(shù)據(jù)

統(tǒng)、Excel.Xml、LDAP、SOAP/WebServcie、CSV文件和RSS等各種數(shù)據(jù)源.

更廣泛的連接方式

數(shù)據(jù)旅連接支持集群，和數(shù)據(jù)庫分區(qū)訪問。數(shù)據(jù)陳連接的方式支持JDBC、ODBC和

JNDI方式，提供了數(shù)據(jù)連接池功能，能夠大大提高數(shù)據(jù)庫的訪問效率。

⑥更人性化的控制方式

提供了圖形化界面的操作方式，開發(fā)人員只需拖動相應的組件到控制臺即可.

?更強大的性能和處理速度

采用并行處理的方式實現(xiàn)數(shù)據(jù)的高效處理，支持10G以內(nèi)的大數(shù)據(jù)量的數(shù)據(jù)采集，

并在網(wǎng)絡斷開后至新執(zhí)行任務時，支持斷點續(xù)傳功能。

18

ETL核心架構

ETL月艮務器統(tǒng)一管理平臺

認證授權

監(jiān)

控

元數(shù)據(jù)I處理流程I任務調(diào)度I性能管理I交換管理管

理

轉(zhuǎn)換引擎任務引擎接

口

I

ETL資源庫

數(shù)據(jù)

資源庫

豐富的ETL構件庫

，頻QJRfiita

一&

?Fte???OXSD^iZE從—*文件名.J*vaScripti5364h3

-2*<tQSBURUISW3X口waeqWAJtn口tl^f：

o研U怯US亶。星百可用埠加MC婀，r?a-<a*可例a

山：!加亶位序列(MW)

a38■由收件/BM否存在J窗匕aA列折分力多為

.血Jtt?^?ras^eni才M??i列訴分為多行