第8章大數(shù)據(jù)可視化技術(shù)

數(shù)據(jù)可視化應(yīng)用010203可視化原則、重要性、發(fā)展歷程可視化分析工具、編程工具醫(yī)學(xué)、金融、電信等行業(yè)主要內(nèi)容

數(shù)據(jù)可視化工具

數(shù)據(jù)可視化概述可視化概述

數(shù)據(jù)可視化是指將枯燥無(wú)趣的數(shù)據(jù)通過(guò)圖表形式表示出來(lái)，使之變得生動(dòng)、有趣。數(shù)據(jù)可視化不僅有助于簡(jiǎn)化人們的分析過(guò)程，也在很大程度上提高了分析數(shù)據(jù)的效率，發(fā)現(xiàn)數(shù)據(jù)中隱含的價(jià)值，從而實(shí)現(xiàn)簡(jiǎn)潔高效地傳達(dá)信息。

數(shù)據(jù)可視化是一門綜合藝術(shù)、計(jì)算機(jī)、統(tǒng)計(jì)、心理學(xué)的學(xué)科，利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)將大型集中的數(shù)據(jù)以圖表形式表示，并進(jìn)行交互處理的理論、方法和技術(shù)。根據(jù)數(shù)據(jù)的特性，以直觀、生動(dòng)、易理解的方式將數(shù)據(jù)呈現(xiàn)出來(lái)。010102030405理解數(shù)據(jù)明確目的注重比較建立指標(biāo)簡(jiǎn)單法則數(shù)據(jù)源可靠、實(shí)用、完整、真實(shí)且可更新。數(shù)據(jù)可展現(xiàn)的價(jià)值。結(jié)合業(yè)務(wù)背景建立數(shù)據(jù)對(duì)比指標(biāo)，進(jìn)行深層次的思考。數(shù)據(jù)的使用者，起到的作用，達(dá)到的效果及呈現(xiàn)的結(jié)果。比較不僅在于量的呈現(xiàn)，更能夠看到問(wèn)題所在。通常同比使用較多。用戶第一，專注簡(jiǎn)單的設(shè)計(jì)方法，使之前無(wú)法觸及的內(nèi)容易于解讀，并賦有意義和指導(dǎo)性。數(shù)據(jù)可視化原則藝術(shù)性符合審美規(guī)則，引起讀者興趣，提升體驗(yàn)。06有助于理解數(shù)據(jù)的深層含義，有效參與數(shù)據(jù)分析過(guò)程，提升分析效率，改善分析效果。獲取數(shù)據(jù)更多的有用信息，提出更好的解決方案，提高生產(chǎn)力，是信息價(jià)值最大化。使讀者快速消化和吸收數(shù)據(jù)內(nèi)容，提高理解數(shù)據(jù)的效率，增強(qiáng)讀者興趣。獲取數(shù)據(jù)間聯(lián)系與區(qū)別有效利用數(shù)據(jù)增強(qiáng)數(shù)據(jù)的吸引力數(shù)據(jù)可視化重要性???大數(shù)據(jù)時(shí)代全新發(fā)展階段20世紀(jì)50年代，隨著計(jì)算機(jī)出現(xiàn)及計(jì)算機(jī)圖形學(xué)發(fā)展，可在計(jì)算機(jī)上繪制圖形。海量大規(guī)模、高維度、非結(jié)構(gòu)化數(shù)據(jù)層出不窮，人類開(kāi)始有意識(shí)地收集數(shù)據(jù)，用圖形描繪量化信息。高分高清大屏幕拼接可視化技術(shù)出現(xiàn)，并應(yīng)用于地理信息系統(tǒng)、數(shù)據(jù)挖掘分析、商務(wù)智能工具等，使用者可更加方便地進(jìn)行數(shù)據(jù)的理解和空間知識(shí)的呈現(xiàn)。數(shù)據(jù)可視化發(fā)展歷程起源不斷變革用戶可以直接進(jìn)行點(diǎn)擊或者拖拽等進(jìn)行數(shù)據(jù)可視化。用戶調(diào)用其中的可視化工具包，進(jìn)行簡(jiǎn)單的代碼編寫(xiě)，以實(shí)現(xiàn)數(shù)據(jù)可視化。數(shù)據(jù)可視化工具02可視化分析工具可視化編程工具協(xié)作能力分析能力數(shù)據(jù)處理多種數(shù)據(jù)源實(shí)時(shí)簡(jiǎn)單快速開(kāi)發(fā)、易于操作，并能對(duì)數(shù)據(jù)信息實(shí)時(shí)更新?？山尤敫鞣N系統(tǒng)和數(shù)據(jù)文件，包括文本文件、數(shù)據(jù)庫(kù)及其他外部文件。高效、便捷地幫用戶處理含有噪聲、不完整，甚至不一致的數(shù)據(jù)。實(shí)現(xiàn)對(duì)圖表的支持及擴(kuò)展，并能進(jìn)行數(shù)據(jù)的鉆取、交互和高級(jí)分析等。可視化工具特征可實(shí)現(xiàn)共享數(shù)據(jù)、協(xié)同完成數(shù)據(jù)分析。可視化分析工具M(jìn)icrosoftExcelGoogleSpreadsheetsTableauQlikViewPowerBI是MicrosoftExcel的云版本，用戶可跨越不同設(shè)備訪問(wèn)自己的數(shù)據(jù)，與他人分享表格、實(shí)時(shí)協(xié)作。具有管理、計(jì)算和自動(dòng)處理數(shù)據(jù)、制作表格、繪制圖表以及金融管理等多方面能力。是交互式商業(yè)智能工具之一，它提供了許多交互式工具，能將數(shù)據(jù)運(yùn)算與美觀的圖形圖表完美結(jié)合。具有完整集成的ETL工具向?qū)?qū)動(dòng)的應(yīng)用開(kāi)發(fā)環(huán)境、強(qiáng)大AQL分析引擎以及高度直覺(jué)化、使用簡(jiǎn)單的用戶界面。是微軟為Office組件提供的一套商業(yè)智能增強(qiáng)版業(yè)務(wù)分析工具，可使用戶具備自助分析所有有用數(shù)據(jù)的能力。MicrosoftExcel可視化

例如：如下圖所示，用MicrosoftExcel繪制10個(gè)班的成績(jī)柱狀圖和折線圖，用戶不必分析工作表中多個(gè)數(shù)據(jù)列就可以很清楚的看到各個(gè)班級(jí)成績(jī)的分布情況，非常方便地了解班級(jí)學(xué)生對(duì)知識(shí)的掌握情況?？梢暬幊坦ぞ逺語(yǔ)言JavaScript、HTML、SVG和CSSProcessingFlash和ActionScriptPython是一套完整的數(shù)據(jù)處理、計(jì)算和制圖軟件系統(tǒng)。圖形功能很強(qiáng)大，在基礎(chǔ)分發(fā)包上通過(guò)第三方插件庫(kù)和加載配置資源項(xiàng)實(shí)現(xiàn)擴(kuò)展?？芍苯釉跒g覽器中運(yùn)行可視化展現(xiàn)的程序。一些工具包和函數(shù)庫(kù)還可以幫助用戶快速創(chuàng)建交互式和靜態(tài)的可視化圖形。是Java語(yǔ)言的延伸，支持許多現(xiàn)有的Java語(yǔ)言架構(gòu)，在語(yǔ)法方面作了簡(jiǎn)化，是一個(gè)輕量級(jí)的編程環(huán)境。Flash可以直接用來(lái)設(shè)計(jì)圖形，在ActionScript的幫助下，可以更好地控制交互行為。擁有高級(jí)數(shù)據(jù)結(jié)構(gòu)，語(yǔ)法簡(jiǎn)潔清晰、干凈易讀，支持偽編譯，可以將源程序轉(zhuǎn)換為字節(jié)碼來(lái)優(yōu)化程序和提高運(yùn)行速度。R語(yǔ)言可視化（1）Ggplot2是R語(yǔ)言中最常用的一款功能強(qiáng)大的圖形可視化工具包，是一種統(tǒng)計(jì)學(xué)可視化框架。它提供一個(gè)全面的、基于語(yǔ)法的、連貫一致的繪圖系統(tǒng)。例如：一班成績(jī)分別為：87，78，85，99，76，88，100，94，89，52；二班成績(jī)分別為：68，78，89，76，96，96，70，74，90，51。下圖是繪制這兩個(gè)班成績(jī)的箱線圖。R語(yǔ)言可視化（2）

箱線圖以一種直觀簡(jiǎn)潔的方式描述一組或多組連續(xù)型數(shù)據(jù)的分布情況。它利用數(shù)據(jù)集的五個(gè)統(tǒng)計(jì)量：最小值、第一四分位數(shù)(Q1)、中位數(shù)(Q2)、第三四分位數(shù)(Q3)與最大值，來(lái)反映數(shù)據(jù)的離散程度、離群值和分布差異等。所謂四分位數(shù)，是將全部數(shù)據(jù)分成相等的四部分,其中每部分包括25%的數(shù)據(jù),處在各分位點(diǎn)的數(shù)值就是四分位數(shù)。

在上圖中，矩形框上下邊界分別表示Q3和Q1對(duì)應(yīng)的成績(jī)（一班為94和78，二班為90和70）；矩形框中的黑線表示處于中位數(shù)的成績(jī)（一班是88，二班是78）；矩形框上方的線段表示最高成績(jī)（一班為100，二班為96），矩形框下方的線段表示除過(guò)離群值之后的最低成績(jī)（一班是76，二班是51）。左側(cè)箱線圖底部的小圓圈代表離群值，對(duì)應(yīng)于一班的最低成績(jī)（52分），而二班成績(jī)中不存在離群值。R語(yǔ)言可視化（3）

Aplpack包中faces函數(shù)繪制臉譜圖，臉譜圖可以用來(lái)分析多維度數(shù)據(jù)，將多個(gè)維度的數(shù)據(jù)用人臉部位的形狀或大小來(lái)表征。如有10個(gè)班的學(xué)生成績(jī)，分為優(yōu)秀、良好、中等和及格四個(gè)檔次。下圖通過(guò)圣誕老人的臉部特征反映各班成績(jī)的分布情況，比如：臉的高度、嘴的寬度、頭發(fā)長(zhǎng)度和鼻子寬度反映成績(jī)優(yōu)秀的學(xué)生數(shù)量；臉的寬度、微笑表情、頭發(fā)寬度和耳朵寬度反映成績(jī)良好的學(xué)生數(shù)量。

可以看出，6班和7班成績(jī)優(yōu)秀的學(xué)生較多，因?yàn)榕c其他臉譜相比，6號(hào)和7號(hào)臉譜明顯具有面部較長(zhǎng)，鼻子較大的特點(diǎn)。通過(guò)類似的比較，還可以發(fā)現(xiàn)1班、5班、8班和9班成績(jī)良好的學(xué)生相對(duì)較多。Python語(yǔ)言可視化（1）

Matplotlib是Python中比較常用的繪圖庫(kù)，可以快速地將計(jì)算結(jié)果以不同類型的圖形展示出來(lái)。Matplotlib模塊依賴于NumPy模塊和Tkinter模塊，它通過(guò)簡(jiǎn)單的幾行代碼就可以輕松繪制出線圖、直方圖、功率譜、條形圖、錯(cuò)誤圖、散點(diǎn)圖等可視化圖形。Python語(yǔ)言可視化（2）

Pandas是基于NumPy的數(shù)據(jù)分析模塊，提供大量標(biāo)準(zhǔn)數(shù)據(jù)模型和高效操作大型數(shù)據(jù)集所需要的工具，可以結(jié)合Matplotlib展現(xiàn)其繪圖能力，實(shí)現(xiàn)數(shù)據(jù)可視化。主要表現(xiàn)形式為醫(yī)學(xué)圖像數(shù)據(jù)的可視化。將二維醫(yī)學(xué)圖像數(shù)據(jù)重構(gòu)成物體的三維圖像的技術(shù)。從而更加精確地定位病變組織，制定更加合理的治療方案。醫(yī)學(xué)行業(yè)01數(shù)據(jù)可視化應(yīng)用（1）03使企業(yè)更快捷、更簡(jiǎn)單實(shí)時(shí)地掌控客戶的全方位信息，幫助企業(yè)加強(qiáng)對(duì)市場(chǎng)的監(jiān)督和管理，提升企業(yè)決策效率、實(shí)現(xiàn)精準(zhǔn)營(yíng)銷服務(wù)、增強(qiáng)風(fēng)控管理能力。金融行業(yè)02數(shù)據(jù)可視化應(yīng)用（2）對(duì)電信業(yè)務(wù)的規(guī)劃和實(shí)施有重要意義；可根據(jù)用戶消費(fèi)習(xí)慣和生活方式進(jìn)行客戶分群，對(duì)客戶進(jìn)行