1、 數(shù)據(jù)可視化技術解讀IT與領導和業(yè)務的溝通神器目 錄 TOC o 1-3 h z u HYPERLINK l _Toc535522055 1.數(shù)據(jù)可視化是什么 PAGEREF _Toc535522055 h 3 HYPERLINK l _Toc535522056 1.1.大數(shù)據(jù)可視化的基本概念 PAGEREF _Toc535522056 h 3 HYPERLINK l _Toc535522057 2.功能與形式 PAGEREF _Toc535522057 h 4 HYPERLINK l _Toc535522058 3.快速的解讀 PAGEREF _Toc535522058 h 4 HYPERL

2、INK l _Toc535522059 4.數(shù)據(jù)可視化產(chǎn)生生產(chǎn)力 PAGEREF _Toc535522059 h 4 HYPERLINK l _Toc535522060 4.1.選擇合適的圖表類型 PAGEREF _Toc535522060 h 6 HYPERLINK l _Toc535522061 4.2.易用的、多維度的交互分析 PAGEREF _Toc535522061 h 7 HYPERLINK l _Toc535522062 4.3.預警功能 PAGEREF _Toc535522062 h 8 HYPERLINK l _Toc535522063 5.大數(shù)據(jù)可視化的實施 PAGEREF

3、 _Toc535522063 h 8 HYPERLINK l _Toc535522064 5.1.需求分析 PAGEREF _Toc535522064 h 9 HYPERLINK l _Toc535522065 5.2.建設數(shù)據(jù)倉庫/數(shù)據(jù)集市的模型 PAGEREF _Toc535522065 h 10 HYPERLINK l _Toc535522066 5.3.數(shù)據(jù)抽取、清洗、轉換、加載(ETL) PAGEREF _Toc535522066 h 10 HYPERLINK l _Toc535522067 5.4.建立可視化場景 PAGEREF _Toc535522067 h 11 HYPERLI

4、NK l _Toc535522068 6.大數(shù)據(jù)可視化的挑戰(zhàn)分析 PAGEREF _Toc535522068 h 11數(shù)據(jù)可視化是什么廣義上，可視化無處不在。網(wǎng)站是數(shù)據(jù)可視化, 背后是數(shù)據(jù)庫密密麻麻的數(shù)據(jù)表, 到了瀏覽器就是淺顯易懂的頁面；淘寶是商品的可視化, 上面有價格、發(fā)貨地種種過濾器；微信是實時數(shù)據(jù)的可視化, 圍起了你的社交網(wǎng)絡, 讓你一眼看到最新的消息流。狹義上的數(shù)據(jù)可視化, 更多是純圖形去代表數(shù)據(jù), 也有很多分類。大數(shù)據(jù)可視化的基本概念數(shù)據(jù)空間。由n維屬性、m個元素共同組成的數(shù)據(jù)集構成的多維信息空間。數(shù)據(jù)開發(fā)。利用一定的工具及算法對數(shù)據(jù)進行定量推演及計算。數(shù)據(jù)分析。對多維數(shù)據(jù)進行切片

5、、塊、旋轉等動作剖析數(shù)據(jù)，從而可以多角度多側面的觀察數(shù)據(jù)。數(shù)據(jù)可視化。將大型數(shù)據(jù)集中的數(shù)據(jù)通過圖形圖像方式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息。輿論有時候會制造一些新的名詞：大數(shù)據(jù)、 o2o、云計算, 也包括數(shù)據(jù)可視化, 但看起來日新月異的變化背后, 是我們的認識穩(wěn)定而緩慢的變化, 真正改變?nèi)^的創(chuàng)新其實不多。小學的教科書里就有折線圖, 后來有了excel可以在電腦里畫, 這幾年你打開某某大數(shù)據(jù)產(chǎn)品, 長得還是差不多, 只是點一下會有交互存在。功能與形式有時, 數(shù)據(jù)可視化給人的感受是 真厲害！然后, 然后就沒有然后了也有人說, 你就一美工, 有啥用呢？雖然我們工作也經(jīng)常做show為主

6、的可視化, 但長期而言, 可視化最好是一種有用的東西?？焖俚慕庾x不同的感官獲取的速度和效率是不一樣的, 面對一張密密麻麻的數(shù)據(jù)表, 你可能很難判斷最大的數(shù)字在哪里, 但你給加個顏色就一目了然：哪里最大, 哪里最小, 趨勢怎樣。如果我們把數(shù)據(jù)信號轉化成感覺, 你看上面的表格的時候, 你先認知了表格的數(shù)字, 再轉化成數(shù)字信號, 遠不如看顏色一目了然。這點很像GPU和CPU的關系, GPU處理圖形超快, 但處理邏輯多的任務就歇菜了, CPU可以處理復雜的任務, 但復雜的畫圖就累癱了, 存在意味著合理, 合理意味著該用啥就用啥。數(shù)據(jù)可視化產(chǎn)生生產(chǎn)力數(shù)據(jù)可視化之所以會大受歡迎，其原因不僅在于能帶給用戶良

7、好的的視覺效果，更因為它能夠產(chǎn)生生產(chǎn)力，形成數(shù)據(jù)驅(qū)動閉環(huán)，主要包含以下幾個階段：技術人員運用技術手段將需求分析、基礎數(shù)據(jù)整合、數(shù)據(jù)計算等操作結合到一起進行數(shù)據(jù)可視化，實時監(jiān)控數(shù)據(jù)的變化情況。用戶能夠使用這些可視化圖表，進行分析、對比等操作，定位業(yè)務問題。之后再結合業(yè)務變動提出新的需求。技術人員將用戶訪問數(shù)據(jù)與新的業(yè)務需求結合，重新進行數(shù)據(jù)整合、分析、計算，循環(huán)往復下去。如下圖所示：圖1. 數(shù)據(jù)驅(qū)動閉環(huán)實現(xiàn)用數(shù)據(jù)可視化的方式不斷驅(qū)動業(yè)務的提升，產(chǎn)生生產(chǎn)力、創(chuàng)造收益。如何使數(shù)據(jù)可視化產(chǎn)生生產(chǎn)力滿足這一目的的前提在于：創(chuàng)造出都能讀懂、易于操作、能夠提前預警的圖表。關鍵因素有以下幾點：選擇合適的圖表類

8、型選擇圖表的時候，許多人認為基本圖表太過簡單，不夠高端大氣，因而更傾向選擇復雜的圖表類型。實際上越簡單的圖表越容易理解，對用戶的友好程度越高。只要能夠高效清楚地傳達業(yè)務含義，就應該優(yōu)先選擇。要想讓受眾讀懂圖表所表達的業(yè)務含義，就要選擇合適的圖表類型。在選擇時，首先需要清楚的知道不同圖表的優(yōu)劣以及它們適合的應用場景；除此之外盡量選擇一些簡單的、易于理解的圖表類型。但這不意味著不能選擇復雜的圖表類型，有的圖表雖然看起來比較復雜，但是卻能很好的反映一些業(yè)務場景，再輔助一些文字說明等其他手段，降低用戶的使用難度，也未嘗不可。選擇圖表時，以業(yè)務為基礎。只要能夠清晰地表達業(yè)務數(shù)據(jù)背后含義，不讓用戶產(chǎn)生歧義

9、，都值得考慮。易用的、多維度的交互分析隨著數(shù)據(jù)類型的多樣化，數(shù)據(jù)間的關聯(lián)關系也越來越復雜。僅僅展示單維度的數(shù)據(jù)，是無法讓用戶輕易發(fā)現(xiàn)數(shù)據(jù)之間的聯(lián)系、挖掘出更多業(yè)務價值的。同樣，若是交互方式過于復雜，也只會增加用戶的使用難度而已，不利于業(yè)務長期發(fā)展。因此易操作的、多維度的交互分析對于數(shù)據(jù)可視化來說必不可少。多維度的分析方式有很多種，以下是常見的幾種：鉆?。簩R總數(shù)據(jù)拆分到更細節(jié)的數(shù)據(jù)；在維的不同層次間的變化，從上層降到下一層。上卷：鉆取的逆操作，即從細粒度數(shù)據(jù)向高層的聚合。切片：選擇維中特定的值進行分析。切塊：選擇維中特定區(qū)間的數(shù)據(jù)或者某批特定值進行分析。篩選：通過不同的維度或者類別過濾出用戶想

10、要的數(shù)據(jù)。聯(lián)動：若干個相關聯(lián)的圖表，一個圖表發(fā)生變化，其他的也會跟著發(fā)生變化。有選擇的將不同交互方式進行結合，能夠發(fā)揮出更強大的作用。再輔助高效靈活的追加合并、拖曳式操作進行數(shù)據(jù)的挖掘分析，就可以幫助用戶快速定位問題，釋放勞動力，提升效率，不再需要程序員花費大量精力在日志文件中尋找問題的原因。同時通過各類數(shù)據(jù)的橫向、縱向?qū)Ρ?，業(yè)務人員能夠從中挖掘出更多的業(yè)務需求，創(chuàng)造更大的商業(yè)價值。預警功能數(shù)據(jù)可視化除了能夠幫助定位已有的問題，更大的價值是能夠及時預警。一旦數(shù)據(jù)出現(xiàn)異?；蛘呤翘崆邦A定義的一些條件被滿足時，警報就會被觸發(fā)，提前預警。通過設置報警方式、報警策略、報警等級等等，根據(jù)緊急程度用不同的方

11、式通知特定的人群。這樣在問題發(fā)生之前，就能預先做好防護措施；或者在問題發(fā)生的時候，能夠及時通知負責人，盡快解決問題。這樣不僅能縮短反饋周期（發(fā)現(xiàn)問題找到責任人定位問題解決問題），也能降低對用戶的影響，提升用戶對產(chǎn)品的信任度，很好的降低業(yè)務損失。大數(shù)據(jù)可視化的實施大數(shù)據(jù)可視化的實施是一系列數(shù)據(jù)的轉換過程，如下圖所示：我們有原始數(shù)據(jù)，通過對原始數(shù)據(jù)進行標準化、結構化的處理，把它們整理成數(shù)據(jù)表。將這些數(shù)值轉換成視覺結構(包括形狀、位置、尺寸、值、方向、色彩、紋理等)，通過視覺的方式把它表現(xiàn)出來。例如將高中低的風險轉換成紅黃藍等色彩，數(shù)值轉換成大小。將視覺結構進行組合，把它轉換成圖形傳遞給用戶，用戶通

12、過人機交互的方式進行反向轉換，去更好地了解數(shù)據(jù)背后有什么問題和規(guī)律。從技術上來說，大數(shù)據(jù)可視化的實施步驟主要有四項：需求分析，建設數(shù)據(jù)倉庫/數(shù)據(jù)集市模型，數(shù)據(jù)抽取、清洗、轉換、加載(ETL)，建立可視化分析場景。需求分析需求分析是大數(shù)據(jù)可視化項目開展的前提，要描述項目背景與目的、業(yè)務目標、業(yè)務范圍、業(yè)務需求和功能需求等內(nèi)容，明確實施單位對可視化的期望和需求。包括需要分析的主題、各主題可能查看的角度、需要發(fā)泄企業(yè)各方面的規(guī)律、用戶的需求等內(nèi)容。建設數(shù)據(jù)倉庫/數(shù)據(jù)集市的模型數(shù)據(jù)倉庫的模型是在需求分析的基礎上建立起來的。數(shù)據(jù)倉庫建模除了數(shù)據(jù)庫的ER建模和關系建模，還包括專門針對數(shù)據(jù)倉庫的維度建模技術

13、。維度建模的關鍵在于明確下面四個問題：哪些維度對主題分析有用?如何使用現(xiàn)有數(shù)據(jù)生成維表?用什么指標來度量主題?如何使用現(xiàn)有數(shù)據(jù)生成事實表?數(shù)據(jù)抽取、清洗、轉換、加載(ETL)數(shù)據(jù)抽取是指將數(shù)據(jù)倉庫需要的數(shù)據(jù)從各個業(yè)務系統(tǒng)中抽離出來，因為每個業(yè)務系統(tǒng)的數(shù)據(jù)質(zhì)量不同，所以要對每個數(shù)據(jù)源建立不同的抽取程序，每個數(shù)據(jù)抽取流程都需要使用接口將元數(shù)據(jù)傳送到清洗和轉換階段。數(shù)據(jù)清洗的目的是保證抽取的原數(shù)據(jù)的質(zhì)量符合數(shù)據(jù)倉庫的要求并保持數(shù)據(jù)的一致性。數(shù)據(jù)轉換是整個ETL過程的核心部分，主要是對原數(shù)據(jù)進行計算和放大。數(shù)據(jù)加載是按照數(shù)據(jù)倉庫模型中各個實體之間的關系將數(shù)據(jù)加載到目標表中。建立可視化場景建立可視化場景是對數(shù)據(jù)倉庫中的數(shù)據(jù)進行分析處理的成果，用戶能夠借此從多個角度查看企業(yè)的運營狀況，按照不同的主題和方式探查企業(yè)業(yè)務內(nèi)容的核心數(shù)據(jù)，從而作出更精準的預測和判斷。大數(shù)據(jù)可視化的挑戰(zhàn)分析大數(shù)據(jù)可視化面臨的挑戰(zhàn)主要指可視化分