大型集團(tuán)企業(yè)數(shù)據(jù)分析及可視化建設(shè)方案

1.數(shù)據(jù)分析及可視化建設(shè)目標(biāo)....................................................1

2.數(shù)據(jù)分析及可視化架構(gòu)設(shè)計....................................................1

2.1.數(shù)據(jù)展現(xiàn)..................................................................2

2.2.數(shù)據(jù)分析..................................................................3

2.3.基礎(chǔ)配置..................................................................6

3.數(shù)據(jù)分析及可視化方案設(shè)計....................................................7

3.1.用戶訪問..................................................................7

3.2.數(shù)據(jù)可視化................................................................8

3.3.數(shù)據(jù)分析處理.............................................................11

3.4.部署建議.................................................................12

1.數(shù)據(jù)分析及可視化建設(shè)目標(biāo)

為財務(wù)、物資、燃料等業(yè)務(wù)提供統(tǒng)一的數(shù)據(jù)分析、數(shù)據(jù)挖掘及數(shù)

據(jù)可視化平臺。

2.數(shù)據(jù)分析及可視化架構(gòu)設(shè)計

數(shù)據(jù)分析及可視化能力由數(shù)據(jù)展現(xiàn)、數(shù)據(jù)分析及基礎(chǔ)配置組成。

即席查詢報表大數(shù)據(jù)展現(xiàn)

數(shù)

據(jù)

分

析

及聯(lián)機(jī)分析數(shù)據(jù)挖掘

可

視

化

用戶權(quán)限

任務(wù)管理數(shù)據(jù)連接

管理

2.1.數(shù)據(jù)展現(xiàn)

大數(shù)據(jù)時代的到來，大大提升了對海量、動態(tài)、非結(jié)構(gòu)化的數(shù)據(jù)

處理要求、以及實時、靈活、動態(tài)的決策支持需求，傳統(tǒng)BI開發(fā)工具

短板凸顯，輕量級數(shù)據(jù)可視化工具逐漸顯示其優(yōu)點

傳統(tǒng)BI報表開發(fā)與數(shù)據(jù)可視化在應(yīng)用對象、應(yīng)用過程、用戶界

面、供應(yīng)廠商等方面都有較顯著的區(qū)別。但最關(guān)鍵的區(qū)別在于，數(shù)據(jù)

可視化可提供實時數(shù)據(jù)探索，互動，可實時分析新的數(shù)據(jù)規(guī)律與結(jié)論,

且具備簡易的智能化操作，不局限于IT專業(yè)人員的使用，這些優(yōu)點

是傳統(tǒng)BI不具備的。

數(shù)據(jù)可視化工具能夠以一種簡便易用的方式將復(fù)雜的數(shù)據(jù)呈現(xiàn)

出來，用戶更容易理解這些數(shù)據(jù)，也就更容易做出決策。Tableau.

Qlik、Microsoft.SAS、IBM等IT廠商紛紛加入數(shù)據(jù)可視化的陣營，

在降低數(shù)據(jù)分析門檻的同時，為分析結(jié)果提供更炫的展現(xiàn)方式。

傳統(tǒng)BI報表開發(fā)數(shù)據(jù)可視化

關(guān)鍵應(yīng)用對象IT人員業(yè)務(wù)人員

?監(jiān)測分析

?數(shù)據(jù)分析

?報告開發(fā)

?數(shù)據(jù)探索

關(guān)鍵應(yīng)用點-預(yù)設(shè)報告

?數(shù)據(jù)檢驗

-專設(shè)報告

自助互動

-儀表板?BI

驅(qū)動渠道自上而下需求驅(qū)動自下而上用戶探索

用戶界面報告/KPI儀表板可視化產(chǎn)品

小而精，成長快速的公司，例如Tableau,

工具廠商SARIBM,Microsoft等

QlikView等

數(shù)據(jù)展現(xiàn)形式:

名稱功能描述

通過報表，具實現(xiàn)預(yù)定義報表的自動

實現(xiàn)預(yù)定義和用戶

報表生成和分發(fā)，并能夠靈活的實現(xiàn)用戶自

自定義報表功能。

定義報表的功能。

通常即席查詢的功能會涉及準(zhǔn)實時的

業(yè)務(wù)信息，可以由ODS區(qū)提供此類應(yīng)

即席查進(jìn)行準(zhǔn)實時的業(yè)務(wù)

用，通過即席查詢工具，不需要非常專

詢查詢。

業(yè)的SQL知識即可完成業(yè)務(wù)信息的即

席查看。

滿足互聯(lián)網(wǎng)爆發(fā)的大數(shù)據(jù)需求，必須快

大數(shù)據(jù)展現(xiàn)大數(shù)據(jù)挖掘結(jié)速的收集、篩選、分析、歸納、展現(xiàn)決

展現(xiàn)果策者所需要的信息，并根據(jù)新增的數(shù)據(jù)

進(jìn)行實時更新

2.2.數(shù)據(jù)分析

數(shù)據(jù)分析及可視化-數(shù)據(jù)分析正在向預(yù)測及洞察分析轉(zhuǎn)變

經(jīng)過多年的發(fā)展，數(shù)據(jù)分析已經(jīng)發(fā)展為完整的基于戰(zhàn)略地圖的

企業(yè)戰(zhàn)略業(yè)績評價，并向大數(shù)據(jù)分析轉(zhuǎn)變

觀察業(yè)績助業(yè)績財務(wù)業(yè)績企業(yè)戰(zhàn)略業(yè)績兩介一<

］評價/評價本題二■平衡計分卡->戰(zhàn)略地典

評價

數(shù)據(jù)分析正在向預(yù)測及洞察分析轉(zhuǎn)變

數(shù)據(jù)分析為管理的不同階段提供決策支撐信息

業(yè)務(wù)管理過程中要做到事前引導(dǎo)、事中監(jiān)控、事后評價，不同的

階段目標(biāo)需要不同的決策支撐信息。

狀態(tài)展示

事前引導(dǎo)事中監(jiān)控

當(dāng)前業(yè)務(wù)的基本狀

態(tài)是怎樣？

問題定位目標(biāo)設(shè)定

主要問題是什么？當(dāng)前情況下最優(yōu)的

出現(xiàn)的范圍和頻率產(chǎn)出目標(biāo)是什么？

怎樣？I~異動識SU_I

在執(zhí)行過程中是否

有的？

原因分析丸價

未達(dá)成目標(biāo)的成行的績效如

深層原因是什何?是否達(dá)到

么?了預(yù)期目標(biāo)?

事后評價

通過發(fā)展數(shù)據(jù)分析能力獲得更具價值的決策支持信息

分析技術(shù)是將數(shù)據(jù)轉(zhuǎn)化為決策支撐信息的重要手段，要從數(shù)據(jù)

中獲取更有價值的分析，則需要進(jìn)一步發(fā)展統(tǒng)計分析和數(shù)據(jù)挖掘技術(shù)。

信息價值

目標(biāo)設(shè)定

數(shù)據(jù)挖掘

預(yù)測分析

預(yù)從數(shù)據(jù)中提取隱含

測尋找合理度量事物在其中的、事先未

性相似性的統(tǒng)計量知、又是潛在有用

,趨勢預(yù)測-回歸分析的信息和知識

分相關(guān)分析I

-時間序列分析了-神經(jīng)網(wǎng)絡(luò)

析研究數(shù)據(jù)間依存關(guān)

系及影響程度-決策樹

相關(guān)分析分類分析-遺傳算法

原因分析-典里相關(guān)分，，實現(xiàn)特征近似對

象的聚合/綜合評價

\-聚類分析結(jié)構(gòu)簡化

—判另盼析》進(jìn)行多因素綜

使用較少的變量

，一執(zhí)行評價等附

i/tVTj@Ec/T反映原來多數(shù)變

描對總體分布形態(tài)、或?qū)傮w量所包含的信息-層次分析法/

述-DEA)X

異動識別分布的參數(shù)進(jìn)仃推斷-至成分分析.

'二季數(shù)檢臉-非叁校彝/\、-因子分析/

性

分描述統(tǒng)計技術(shù)數(shù)據(jù)預(yù)處由'

析問題定位直觀地反映數(shù)據(jù)的提高分析數(shù)據(jù)質(zhì)量

集中、偏度、峰度-數(shù)據(jù)變換

統(tǒng)計量-圖表，人.-缺失值填充，

狀態(tài)展示

分析復(fù)雜程度

數(shù)據(jù)分析的能力包括：

名稱功能描述

利用OLAP分析工具，配合設(shè)計良好的OLAP

利用OLAP分析手段數(shù)據(jù)模型，可以完成業(yè)務(wù)人員對業(yè)務(wù)的分析

聯(lián)機(jī)分析實現(xiàn)多維度的交叉需求。聯(lián)機(jī)分析的手段包括各種圖形和表格

分析。的表現(xiàn)，以及在其上進(jìn)行的多維度的交叉分

析，幫助用戶快速定位和解決問題。

用戶獲取有用信息的能力體現(xiàn)了數(shù)據(jù)倉庫

利用人工智能、數(shù)據(jù)系統(tǒng)的價值，通過數(shù)據(jù)挖掘，企業(yè)原是數(shù)據(jù)

庫、機(jī)器語言和統(tǒng)計中的有用信息將被探測出來，可使用自動化

數(shù)據(jù)挖掘分析知識等技術(shù)分或半自動化的工具進(jìn)行分析。數(shù)據(jù)挖掘應(yīng)用

析數(shù)數(shù)據(jù)之間的關(guān)根據(jù)專題的不同可采用自頂向下或自底向

聯(lián)關(guān)系上的方法，分別適應(yīng)假設(shè)驗證和知識發(fā)現(xiàn)型

的應(yīng)用。

2.3.基礎(chǔ)配置

名稱功能描述

對數(shù)據(jù)獲取、數(shù)據(jù)處

任務(wù)管理理、分析等任務(wù)進(jìn)行包括任務(wù)創(chuàng)建等全過程管控

統(tǒng)一管理

用戶及權(quán)實現(xiàn)用戶、權(quán)限統(tǒng)一

能夠靈活滿足不同業(yè)務(wù)需求

限管理管理

提供對不同數(shù)據(jù)源

數(shù)據(jù)連接包括實時、非實時數(shù)據(jù)連接

的鏈接能力

3.數(shù)據(jù)分析及可視化方案設(shè)計

數(shù)據(jù)分析及可視化方案由用戶訪問、數(shù)據(jù)展現(xiàn)、數(shù)據(jù)分析處理、

數(shù)據(jù)連接構(gòu)成。

人資

系統(tǒng)

財務(wù)

系統(tǒng)

燃料

系統(tǒng)

A

數(shù)據(jù)倉庫數(shù)據(jù)集市文件

3.1.用戶訪問

■支持Web、桌面、移動BI,滿足業(yè)務(wù)人員從任何時間、地點訪問

并開展BI分析

■桌面端包含所有分析及可視化特性，連接數(shù)據(jù)支持：Microsoft

ExcelsAccess、Text、Textfiles、CSV、Odata

■移動端支持download-freeAjaxclientsIEbrowserplug-inApple

iPadandiPhone、Androiddevices

3.2.數(shù)據(jù)可視化

數(shù)據(jù)可視化具備核心特性：

?無代碼支持，通過拖放設(shè)計

■直觀可視、方便使用

■即席定義維度、事實表、措施、條件措施、層級

■幫助發(fā)現(xiàn)問題，不僅僅構(gòu)建一個特定報表

■能夠快速部署、使用及廢棄視圖

■支持高級時間系列分析回放

■能夠與地圖整合

數(shù)據(jù)展現(xiàn)格式

OLAP分析出來的數(shù)據(jù)也是展現(xiàn)數(shù)據(jù)，展現(xiàn)數(shù)據(jù)是經(jīng)過多維數(shù)據(jù)

進(jìn)行分析后的數(shù)據(jù)，在確定展現(xiàn)數(shù)據(jù)的時候要確定是通過立方體展現(xiàn)

的數(shù)據(jù)還是通過二維表的星型結(jié)構(gòu)進(jìn)行展現(xiàn)的數(shù)據(jù)，二維表展現(xiàn)的數(shù)

據(jù)不像立方體的數(shù)據(jù)展現(xiàn)的那么復(fù)雜，兩種展現(xiàn)數(shù)據(jù)都有自己特色。

數(shù)據(jù)經(jīng)過OLAP分析后，產(chǎn)生出很多數(shù)據(jù)，為了展現(xiàn)的時候更加

清晰明確，所以為報表定義了很多格式，定義報表格式很多，可以通

過柱狀圖，餅型圖等方式來展現(xiàn)報表。

在這一步，應(yīng)該形成展現(xiàn)格式文件。針對需求分析中的每一個需

求，確定需求的戰(zhàn)線方式。如果同一需求要求有多種展現(xiàn)方式，則記

錄需要的所有展現(xiàn)方式。

■儀表盤

對決策層和職能管理層用戶制定不同的儀表盤，支撐個性化業(yè)

務(wù)需求。

-跨應(yīng)用的鉆探導(dǎo)航支撐，支撐財務(wù)到業(yè)務(wù)，匯總到明細(xì)的分析

方法

-隨時可以獲取的幫助和指標(biāo)定義

-預(yù)警與郵件

-突出顯示

■即席查詢

即席查詢是指用戶使用特定客戶端連接到數(shù)據(jù)集市，針對關(guān)心

的指標(biāo)進(jìn)行查詢，然后根據(jù)查詢出的結(jié)果，隨時調(diào)整查詢內(nèi)容的查詢

方法。使用即席查詢，用戶可以按照隨時變化的查詢要求，及時查詢

出在不同約束條件下，自己所關(guān)心的特定指標(biāo)。實現(xiàn)了在維度和指標(biāo)

方面更為靈活、更為開放的自由組合查詢。

■預(yù)定義報表

預(yù)定義報表主要指的是數(shù)據(jù)中心系統(tǒng)中所使用到的固定報表。

預(yù)定義報表子系統(tǒng)從數(shù)據(jù)集市取得所需數(shù)據(jù)，對取得的源數(shù)據(jù)進(jìn)行處

理，生成報表的各項指標(biāo)，并集成到財務(wù)共享協(xié)同平臺當(dāng)中，用戶可

以從Web頁面直接調(diào)用，查看報表。

固定報表主要是以固定表格的形式滿足相應(yīng)業(yè)務(wù)用戶對于信息

的使用需求。固定報表所反映的往往是企業(yè)或部門相關(guān)人員關(guān)心的常

用指標(biāo)，它是一種例行報表，如年報、月報、日報等。統(tǒng)計型報表主

要指XX的各級部門要求的標(biāo)準(zhǔn)報表和本地化需求的靜態(tài)報表。統(tǒng)計

型報表根據(jù)業(yè)務(wù)需要，可以基于靜態(tài)的統(tǒng)計型數(shù)據(jù)與多維立方體，事

先定制報表顯示的數(shù)據(jù)、定制報表的產(chǎn)生時間和頻率、定制報表的發(fā)

布方式、發(fā)布目標(biāo)等。

■圖形

圖形也是報表的一種展現(xiàn)方式，為了滿足相應(yīng)的業(yè)務(wù)用戶對于

信息的要求而產(chǎn)生的另一種數(shù)據(jù)展現(xiàn)形式，圖形可以反映各種指標(biāo)動

態(tài)變化情況，可以很直觀的反映出多種數(shù)據(jù)指標(biāo)，它可以直觀的反映

出一段時間參數(shù)變化趨勢等。

■圖表

圖表是上面兩種展現(xiàn)方式的結(jié)合，它結(jié)合了報表和圖形的展現(xiàn)

方式，為了滿足相應(yīng)的業(yè)務(wù)用戶對于不同信息的要求，而對報表產(chǎn)生

的展現(xiàn)形式，它一般都是圖形結(jié)合報表的形式來顯示出能滿足業(yè)務(wù)需

要的數(shù)據(jù)形式，更加直觀的顯示出數(shù)據(jù)的狀態(tài)形式，使用戶更了解數(shù)

據(jù)變化趨勢和變化狀態(tài)。

展現(xiàn)方法

■打印報表

報表通過展現(xiàn)方式展現(xiàn)出數(shù)據(jù)后，用戶可以對報表進(jìn)行打印，產(chǎn)

生出實物的數(shù)據(jù)形式C

■電子報表

報表通過展現(xiàn)方式展現(xiàn)出數(shù)據(jù)后，用戶可以對報表進(jìn)行另存為，

產(chǎn)生出電子的報表，例如:excel報表、xml報表等。

■WEB發(fā)布

報表通過展現(xiàn)方式展現(xiàn)出數(shù)據(jù)后，可以以web的形式對報表進(jìn)

行發(fā)布，產(chǎn)生利用月戶查詢的數(shù)據(jù)形式，用戶也可以自己動手去進(jìn)行

報表設(shè)計，在報表發(fā)布環(huán)節(jié)相當(dāng)靈活而且發(fā)生的不確定問題也很多,

所以在發(fā)布的時候一定要根據(jù)業(yè)務(wù)的實際情況，產(chǎn)生報表。

3.3.數(shù)據(jù)分析處理

聯(lián)機(jī)分析(OLAP)

OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多角度對信息

進(jìn)行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解的一類

軟件技術(shù)。OLAP的目標(biāo)是滿足決策支持或者滿足在多維環(huán)境下特定

的查詢和報表需求，它的技術(shù)核心是“維'這個概念。

“維”是人們觀察客觀世界的角度，是一種高層次的類型劃分。

“維”一般包含著層次關(guān)系，這種層次關(guān)系有時會相當(dāng)復(fù)雜。通過把

一個實體的多項重要的屬性定義為多個維(dimension),使用戶能對不

同維上的數(shù)據(jù)進(jìn)行比較。因此OLAP也可以說是多維數(shù)據(jù)分析工具的

隹公

耒Qo

鉆取是改變維的層次，變換分析的粒度。它包括向上鉆取(roll

up)和向下鉆取(dr川down)。rollup是在某一維上將低層次的細(xì)節(jié)

數(shù)據(jù)概括到高層次的匯總數(shù)據(jù),或者減少維數(shù)而drilldown則相反，

它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維。

切片和切塊是在一部分維上選定值后，關(guān)心度量數(shù)據(jù)在剩余維

上的分布。如果剩余的維只有兩個，則是切片；如果有三個，則是切

塊。

旋轉(zhuǎn)是變換維的方向，即在表格中重新安排維的放置(例如行列

互換)。

數(shù)據(jù)挖掘

數(shù)據(jù)挖掘(DataMining)是從大量的、不完全的、有噪聲的、模糊

的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛

在有用的信息和知識的過程。

3.4.部署建議

采用二級部署策略，近期構(gòu)建集團(tuán)總部數(shù)據(jù)分析挖掘平臺，支撐

管理決策及運(yùn)營分析，中期依業(yè)務(wù)需求可構(gòu)建大數(shù)據(jù)分析能力及二級

公司數(shù)據(jù)分析挖掘平臺。

國

■支撐國電集電

集

團(tuán)本部業(yè)務(wù)