大數(shù)據(jù)(Big

Data),或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時間內(nèi)

達到擷取、管理、處理并整理成為幫助企業(yè)經(jīng)營決策的資訊。

大數(shù)據(jù)需要特殊的技術(shù)來有效地處理大量的規(guī)定時間內(nèi)的數(shù)

據(jù)。適用于大數(shù)據(jù)的技術(shù)包括大規(guī)模并行處理(MPP)

數(shù)據(jù)庫、

數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平

臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。8.1

大數(shù)據(jù)的概念大數(shù)據(jù)是所涉及的資料量規(guī)模巨大，無法在規(guī)定時間內(nèi)通過常規(guī)軟件工具對其內(nèi)容進行擷取、管理和處理的數(shù)據(jù)集

合。大數(shù)據(jù)需要滿足“4V”特征，即數(shù)據(jù)量大(Volume)、

數(shù)

據(jù)

的種類多(Variety)

、數(shù)據(jù)的增長及處理速度快(Velocity)

、

數(shù)

據(jù)蘊藏價值大(Value),而能滿足這4個根本特征的才能稱為

大數(shù)據(jù)。數(shù)據(jù)量大(Volume)

指的是數(shù)據(jù)的采集、存儲和計算的量都非常大，大數(shù)據(jù)通常指10TB以上規(guī)模的數(shù)據(jù)量。造成數(shù)

據(jù)量增大的原因很多，例如，監(jiān)控和傳感設(shè)備的使用，使我

們感知到更多的事務(wù)，這些事務(wù)的數(shù)據(jù)將被部分或者完全存

儲；(移動)通信設(shè)備的使用，使得交流的數(shù)據(jù)量成倍增長；基于互聯(lián)網(wǎng)和社會化網(wǎng)絡(luò)的應(yīng)用的發(fā)展，數(shù)以億計的用戶每天都會產(chǎn)生大量的數(shù)據(jù)。數(shù)據(jù)種類多(Variety

)是指數(shù)據(jù)的種類和來源較多，例如多種傳感器、智能設(shè)備、社交網(wǎng)絡(luò)等，包括結(jié)構(gòu)化、半結(jié)構(gòu)

化和非結(jié)構(gòu)化，以及圖片、音頻、視頻、地理位置等多類型

的數(shù)據(jù)，實際上就是具有多個時段(歷史的、現(xiàn)在的)、多種

媒體、多個來源、異構(gòu)(結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化)的數(shù)

據(jù)。數(shù)據(jù)的增長及處理速度快(Velocity

)是指數(shù)據(jù)每分每秒都在爆炸性地增長，而對數(shù)據(jù)的處理速度要求也很高，數(shù)據(jù)

的快速動態(tài)的變化使得流式數(shù)據(jù)成為大數(shù)據(jù)的重要特征，對

大數(shù)據(jù)的處理要求具有較強的時效性，能夠?qū)崟r地查詢、分

析、推薦等。數(shù)據(jù)蘊藏價值大(Value)是指在海量的數(shù)據(jù)中，存在著巨大的被挖掘的商業(yè)價值，然而由于數(shù)據(jù)總量的不斷增加，數(shù)據(jù)的單位價值密度卻相對較低，如何通過強大的數(shù)據(jù)挖掘

算法，結(jié)合企業(yè)的業(yè)務(wù)邏輯來從海量數(shù)據(jù)中獲取有用的價值，

是大數(shù)據(jù)要解決的重要問題。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于

掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進行專

業(yè)化處理。除了上述的4個根本特征外，大數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)處理

技術(shù)最明顯的一個區(qū)別是，大數(shù)據(jù)要求在線處理。大數(shù)據(jù)的總體架構(gòu)包括三層：(1)數(shù)據(jù)存儲層。數(shù)據(jù)有很多種分類方法，有結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化，也有元數(shù)據(jù)、主數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)，還

可以分為GIS、視頻、文件、語音、業(yè)務(wù)交易類各種數(shù)據(jù)。(2)數(shù)據(jù)處理層。數(shù)據(jù)處理層解決的核心問題在于出現(xiàn)

分布式存儲后，存儲方式的改變所帶來的數(shù)據(jù)處理上的復(fù)雜

度，海量數(shù)據(jù)存儲則帶來了數(shù)據(jù)處理上的時效性要求。(3)數(shù)據(jù)分析層。數(shù)據(jù)分析層的重點是挖掘大數(shù)據(jù)的真

正價值所在，而價值的挖掘核心又在于數(shù)據(jù)分析和挖掘。數(shù)據(jù)分析只關(guān)注兩個內(nèi)容：一個是傳統(tǒng)數(shù)據(jù)倉庫下的數(shù)據(jù)建模，在該數(shù)據(jù)模型下需

要支持上面各種分析方法和分析策略；另一個是根據(jù)業(yè)務(wù)目標(biāo)和業(yè)務(wù)需求建立的KPI

指標(biāo)體系，

對應(yīng)指標(biāo)體系的分析模型和分析方法。解決了這兩個問題，

就基本解決了數(shù)據(jù)分析的問題。從技術(shù)上看，大數(shù)據(jù)與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機進行處

理，必須采用分布式計算架構(gòu)。它的特色在于對海量數(shù)據(jù)的

挖掘，但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫、

云存儲和/或虛擬化技術(shù)。物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機、平板電腦、PC以及遍布地球各個角落的各

種各樣的傳感器，無一不是數(shù)據(jù)來源或者承載的方式。大數(shù)據(jù)最核心的價值在于對海量數(shù)據(jù)的存儲和分析。相

比現(xiàn)有的其他技術(shù)，大數(shù)據(jù)具有廉價、迅速、優(yōu)化三大特點。8.1.1

大數(shù)據(jù)處理的六大工具1.HadoopHadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架，它是以一種可靠、高效、可伸縮的方式進行處理的。它主要有以下幾個優(yōu)點：(1)高可靠性。(2)高擴展性。(3)高效性。(4)容錯性。2.HPCC高性能計算與通信(HighPerformanceComputingandCommunications,HPCC)是1993年由美國科學(xué)、工程、技術(shù)聯(lián)邦協(xié)調(diào)理事會向國會提交的“重大挑戰(zhàn)項目：高性能計算

與通信”的報告，也就是被稱為HPCC

計劃的報告，即美國總統(tǒng)科學(xué)戰(zhàn)略項目，其目的是通過加強研究與開發(fā)解決一批

重要的科學(xué)與技術(shù)挑戰(zhàn)問題。該項目主要由五部分組成：(1)高性能計算機系統(tǒng)(HPCS),

內(nèi)容包括今后幾代計算機系統(tǒng)的研究、系統(tǒng)設(shè)計工具、先進的典型系統(tǒng)及原有系統(tǒng)

的評價等。(2)先進軟件技術(shù)與算法(ASTA),

內(nèi)容包括巨大挑戰(zhàn)問題的軟件支撐、新算法設(shè)計、軟件分支與工具、計算及高性

能計算研究中心等。(3)國家科研與教育網(wǎng)絡(luò)(NREN),

內(nèi)容包括中接站及10

億位級傳輸?shù)难芯颗c開發(fā)。(4)基本研究與人類資源(BRHR),

內(nèi)容包括基礎(chǔ)研究、培訓(xùn)和課程教材，通過長期的調(diào)查，在可升級的高性能計算

中來增加被調(diào)查人員的創(chuàng)新意識流；通過高性能的計算訓(xùn)練

和通信，增加人員之間的聯(lián)絡(luò)，以此來支持調(diào)查和研究活動。(5)信息基礎(chǔ)結(jié)構(gòu)技術(shù)和應(yīng)用(IITA),目的在于保證美

國在先進信息技術(shù)開發(fā)方面的領(lǐng)先地位。3.StormStorm是自由的開源軟件，是一個分布式的、容錯的實

時計算系統(tǒng)，用于處理Hadoop

的批量數(shù)據(jù)且非?？煽?。Storm

支持許多種編程語言，且易于配置及使用。Storm

由Twitter

開源而來，其他知名的應(yīng)用企業(yè)包括Groupon、

淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。4.Apache

Drill為了幫助企業(yè)用戶尋找更為有效以及加快Hadoop

數(shù)據(jù)查詢的方法，Apache

軟件基金會發(fā)起了一項名為Drill的開源

項目。Apache

Drill實現(xiàn)了Google's

Dremel。該項目將會創(chuàng)建出開源版本的谷歌Dremel

Hadoop工具

(谷歌使用該工具來為Hadoop

數(shù)據(jù)分析工具的互聯(lián)網(wǎng)應(yīng)用提

速)。而Drill

將有助于Hadoop

用戶更快地查詢海量數(shù)據(jù)集。Drill項目其實也是從谷歌的Dremel項目中獲得的靈感：該項目幫助谷歌實現(xiàn)海量數(shù)據(jù)集的分析處理，包括分析抓取

Web文檔、跟蹤安裝在Android

Market上的應(yīng)用程序數(shù)據(jù)、分析垃圾郵件、分析谷歌分布式構(gòu)建系統(tǒng)上的測試結(jié)果等等。通過開發(fā)Drill

Apache開源項目，組織機構(gòu)將有望建立

Drill所屬的API

接口和靈活強大的體系架構(gòu)，從而有助于支

持廣泛的數(shù)據(jù)源、數(shù)據(jù)格式和查詢語言。5.Rapid

MinerRapid

Miner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，其特點

包

括

：(1)拖拽建模，自帶1500多個函數(shù)，無須編程，簡單易

用；同時也支持各種常見語言代碼的編寫，以符合程序員個

人習(xí)慣和實現(xiàn)更多功能。(2)Rapid

Miner

Studio社區(qū)版和基礎(chǔ)版免費開源，能連

接開源數(shù)據(jù)庫，商業(yè)版能連接幾乎所有數(shù)據(jù)源，功能更強大。(3)豐富的擴展程序，如文本處理、網(wǎng)絡(luò)挖掘、Weka擴

展、R語言等。(4)數(shù)據(jù)提取、轉(zhuǎn)換和加載(ETL)

功能。(5)生成和導(dǎo)出數(shù)據(jù)、報告和可視化。(6)為技術(shù)性和非技術(shù)性用戶設(shè)計的交互式界面。(7)通過Web

Services應(yīng)用將分析流程整合到現(xiàn)有工作流

程中

。6.Pentaho

BIPentaho

BI平臺不同于傳統(tǒng)的BI產(chǎn)品，它是一個以流程

為中心的，面向解決方案(Solution)的框架。其目的在于將一系列企業(yè)級BI產(chǎn)品、開源軟件、API

等組件集成起來，方便商務(wù)智能應(yīng)用的開發(fā)。它的出現(xiàn)，使得一系列面向商務(wù)智

能的獨立產(chǎn)品(如Jfree

、Quartz

等等)能夠集成在一起，構(gòu)成

一項項復(fù)雜的、完整的商務(wù)智能解決方案。Pentaho

SDK共包含五個部分：

Pentaho平臺、Pentaho示例數(shù)據(jù)庫、可獨立運行的Pentaho

平臺、Pentaho

解決方案示

例和一個預(yù)先配制好的Pentaho

網(wǎng)絡(luò)服務(wù)器。其中Pentaho

平

臺是Pentaho

最主要的部分，囊括了Pentaho

平臺源代碼的主

體；Pentaho數(shù)據(jù)庫為Pentaho平臺的正常運行提供數(shù)據(jù)服務(wù)，包括配置信息、

Solution

相關(guān)的信息等，對于Pentaho

平臺來

說，它不是必需的，通過配置是可以用其他數(shù)據(jù)庫取代的；

可獨立運行的Pentaho

平臺是Pentaho

平臺的獨立運行模式的

示例，它演示了如何使Pentaho

平臺在沒有應(yīng)用服務(wù)器支持的情況下獨立運行；

Pentaho解決方案示例是一個Eclipse工

程，用來演示如何為Pentaho平臺開發(fā)相關(guān)的商業(yè)智能解決

方

案

。8.1.2

大數(shù)據(jù)在我國的未來之路1.大數(shù)據(jù)的基本特點大數(shù)據(jù)的基本特點如下：(1)數(shù)據(jù)體量巨大。從TB

級別，躍升到PB

級別。(2)數(shù)據(jù)類型繁多，如前文提到的網(wǎng)絡(luò)日志、視頻、圖

片、地理位置信息等等。(3)價值密度低。以視頻為例，連續(xù)不間斷監(jiān)控過程中，

可能有用的數(shù)據(jù)僅僅有一兩秒。(4)處理速度快，遵循1秒定律。這一點也和傳統(tǒng)的數(shù)據(jù)

挖掘技術(shù)有著本質(zhì)的不同。2.我國大數(shù)據(jù)的變革之路國務(wù)院發(fā)布的《促進大數(shù)據(jù)發(fā)展行動綱要》(以下簡稱“綱要”)將大數(shù)據(jù)發(fā)展確立為國家戰(zhàn)略。黨的十八屆五中全會明確提出，實施“互聯(lián)網(wǎng)+”行動計劃，發(fā)展分享經(jīng)濟，實施國家大數(shù)據(jù)戰(zhàn)略。大力發(fā)展工業(yè)大數(shù)據(jù)和新興產(chǎn)業(yè)大數(shù)據(jù)，

利用大數(shù)據(jù)推動信息化和工業(yè)化深度融合，從而推動制造業(yè)

網(wǎng)絡(luò)化和智能化，正成為工業(yè)領(lǐng)域的發(fā)展熱點。明確工業(yè)是

大數(shù)據(jù)的主體，工業(yè)大數(shù)據(jù)的價值正是在于它為產(chǎn)業(yè)鏈提供

了有價值的服務(wù)，提升了工業(yè)生產(chǎn)的附加值。工業(yè)大數(shù)據(jù)的

最終作用是為工業(yè)的發(fā)展、工業(yè)企業(yè)的轉(zhuǎn)型升級提供有價值

的服務(wù)

。8.2

云計算的基本概念云計算(Cloud

Computing)是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴

展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說

法。過去在圖中往往用云來表示電信網(wǎng)，后來也用來表示互

聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。狹義云計算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴展的方式獲得所需資源；廣義云計算指服務(wù)的交付和使用模式，指通過網(wǎng)絡(luò)以按

需、易擴展的方式獲得所需服務(wù)，這種服務(wù)可以是IT和軟件、

互聯(lián)網(wǎng)相關(guān)，也可是其他服務(wù)。它意味著計算能力也可作為

一種商品通過互聯(lián)網(wǎng)進行流通。可以概括地說：云計算是通

過網(wǎng)絡(luò)提供可伸縮的廉價的分布式計算能力。8.2.1

廣義的云計算和狹義的云計算狹義的云計算是指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過網(wǎng)絡(luò)以按需、易擴展的方式獲得所需的資源(硬件、平臺、

軟件)。提供資源的網(wǎng)絡(luò)被稱為“云”。“云”中的資源在使用者看來是可以無限擴展的，并且可以隨時獲取、按需使用、隨時擴展、按使用付費。這種特性經(jīng)常被稱為像水電一樣使

用IT基礎(chǔ)設(shè)施。廣義的云計算是指服務(wù)的交付和使用模式，

指通過網(wǎng)絡(luò)以按需、易擴展的方式獲得所需的服務(wù)。這種服

務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān)的，也可以是任意其他的服

務(wù)易拓云指出云計算是技術(shù)驅(qū)動的核心，是商業(yè)模式變革的基礎(chǔ)。云計算的IT架構(gòu)變革使得“互聯(lián)網(wǎng)+”、大數(shù)據(jù)戰(zhàn)略

蓬勃發(fā)展，龐大的計算能力使得深度學(xué)習(xí)、人工智能商業(yè)化

進程加速。云計算是板塊技術(shù)驅(qū)動的核心，其基礎(chǔ)設(shè)施建設(shè)

在未來3～5年內(nèi)將維持高景氣度；同時云計算所實現(xiàn)的應(yīng)用

線上化、數(shù)據(jù)資產(chǎn)化、服務(wù)生態(tài)化，也將成為商業(yè)模式變革

的基礎(chǔ)

。云計算的好處是：(1)安全。云計算提供了最可靠、最安全的數(shù)據(jù)存儲中

心，用戶不用再擔(dān)心數(shù)據(jù)丟失、病毒入侵等麻煩。(2)方便。它對用戶端的設(shè)備要求低，使用起來很方便。(3)數(shù)據(jù)共享。它可以輕松實現(xiàn)不同設(shè)備間的數(shù)據(jù)與應(yīng)

用共享。(4)無限可能。它為人們使用網(wǎng)絡(luò)提供了無限多的可能。8.2.2

云計算的工具與服務(wù)1.云計算的十大工具(1)Cloudability。工具類型為云成本分析。(2)S3

生命周期追蹤器、

EC2

預(yù)留探測器、RDS預(yù)留探

測器。工具類型為云優(yōu)化。(3)AtomSphere

。工具類型為云集成。(4)Enstratius。工具類型為云基礎(chǔ)設(shè)施管理。(5)InformaticaCloud2013春季版。工具類型為云數(shù)據(jù)

集

成

。(6)Cloud

Hub。工具類型為云集成服務(wù)。(7)Chef。工具類型為云配置管理。(8)Puppet。工具類型為云配置管理。(9)RightScaleCloudManagement。工具類型為云管理。(10)AgilityPlatform。工具類型為企業(yè)云管理。2.云計算的幾種服務(wù)1)IaaSIaaS(Infrastructure

as

a

Service):基礎(chǔ)設(shè)施即服務(wù)。消費

者通過Internet

可以從完善的計算機基礎(chǔ)設(shè)施中獲得服務(wù)。2)PaaSPaaS(PlatformasaService):平臺即服務(wù)。

PaaS

實際上

是指將軟件研發(fā)的平臺作為一種服務(wù)，以SaaS的模式提交給

用

戶

。3)SaaSSaaS(Softwareasa

Service):軟件即服務(wù)。它是一種通過Internet提供軟件的模式，用戶無須購買軟件，而是向提供商租用基于Web的軟件，來管理企業(yè)經(jīng)營活動。8.2.3

云計算的發(fā)展前景1.

云建站云建站是隨著云計算技術(shù)成熟而興起的一種新型整合式

技術(shù)平臺，面向有初級建站經(jīng)驗基礎(chǔ)的人員或美工，通常采

用知名的IaaS提供商服務(wù)作為基礎(chǔ)設(shè)施提供網(wǎng)絡(luò)設(shè)備；同時

提供云端開發(fā)平臺，開發(fā)者在平臺中編寫網(wǎng)站模板代碼，運

行在瀏覽器中的開發(fā)器提供代碼高亮、代碼智能感知、數(shù)據(jù)

接口等本地開發(fā)中也經(jīng)常用到的輔助開發(fā)功能。云建站平臺是集開發(fā)環(huán)境、分布式文件存取、服務(wù)器部署等于一體的云端Web開發(fā)平臺。平臺通過非常簡單易學(xué)的模板語言允許開發(fā)者對網(wǎng)站進行100%的前端樣式定制設(shè)計，

底層架構(gòu)和基礎(chǔ)設(shè)施提供防火墻、緩存、負載均衡、故障轉(zhuǎn)

移、CDN

文件I/O等來保障網(wǎng)站安全性、高性能和高可用性。開發(fā)者可以通過開發(fā)平臺對網(wǎng)站的所有頁面，模板源代碼，圖片添加、編輯和刪除等開發(fā)定制操作。開發(fā)平臺中提

供完善的代碼高亮支持，常用前端類庫等大大降低了開發(fā)者

對平臺和模板語言的學(xué)習(xí)成本。隨著語法智能提示、可拖拽

設(shè)計的控件庫、在線圖片處理等輔助開發(fā)工具的推出，Web

的快速開發(fā)得到實現(xiàn)，進一步降低了Web的開發(fā)成本。2.

云物聯(lián)“物聯(lián)網(wǎng)就是物物相連的互聯(lián)網(wǎng)”。這有兩層意思：第一，物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)

基礎(chǔ)上延伸和擴展的網(wǎng)絡(luò)；第二，其用戶端延伸和擴展到了任何物品與物品之間，

進行信息交換和通信。物聯(lián)網(wǎng)的兩種業(yè)務(wù)模式：(1)MAI(M2M

Application

Integration),內(nèi)部MaaS;(2)MaaS(M2MasaService),MMO,Multi-Tenants(多

租戶模型)。隨著物聯(lián)網(wǎng)業(yè)務(wù)量的增加，對數(shù)據(jù)存儲和計算量的需求將帶來對“云計算”能力的要求：(1)云計算：仍處在從計算中心到數(shù)據(jù)中心的物聯(lián)網(wǎng)初

級

階

段

，PoP即可滿足需求；(2)在物聯(lián)網(wǎng)高級階段，可能出現(xiàn)MVNO/MMO營運商

(國外已存在多年),需要虛擬化云計算技術(shù)、SOA

等技術(shù)的

結(jié)合實現(xiàn)互聯(lián)網(wǎng)的泛在服務(wù)：TaaS(every

Thing

as

a

Service)。3.

云安全云安全(CloudSecurity)是一個從“云計算”演變而來的新

名詞。云安全的策略構(gòu)想是：使用者越多，每個使用者就越

安全，因為如此龐大的用戶群足以覆蓋互聯(lián)網(wǎng)的每個角落，只要某個網(wǎng)站被掛或某個新木馬病毒出現(xiàn)，就會立刻被截獲。4.

云存儲云存儲是在云計算(Cloud

Computing)概念上延伸和發(fā)展

出來的一個新的概念，是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布

式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量的各種不同類型的存儲設(shè)

備通過應(yīng)用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲

和業(yè)務(wù)訪問功能的一個系統(tǒng)。當(dāng)云計算系統(tǒng)運算和處理的核

心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置大

量的存儲設(shè)備，那么云計算系統(tǒng)就轉(zhuǎn)變成為一個云存儲系統(tǒng)，

所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。

目前提供云存儲業(yè)務(wù)的國內(nèi)企業(yè)有聯(lián)想網(wǎng)盤和燕麥企業(yè)云盤

(OATOS企業(yè)網(wǎng)盤)。5.

云通信云通信(Cloud

Communication)是云計算技術(shù)在通信領(lǐng)域

的一種受到推廣應(yīng)用的解決方案。云通信技術(shù)主要是在對IaaS、PaaS、SaaS等云計算技術(shù)應(yīng)用層進行分析提取的基礎(chǔ)

上，將智能云、云存儲、云交互、云數(shù)據(jù)、彈性云計算、云

分享等云計算技術(shù)應(yīng)用到傳統(tǒng)的通信行業(yè)，實現(xiàn)對傳統(tǒng)通信

技術(shù)的革命性改造，讓通信技術(shù)進入云應(yīng)用及大數(shù)據(jù)管理時

代。6.

云游戲云游戲是以云計算為基礎(chǔ)的游戲方式，在云游戲的運行

模式下，所有游戲都在服務(wù)器端運行，并將渲染完畢后的游

戲畫面壓縮后通過網(wǎng)絡(luò)傳送給用戶。在客戶端，用戶的游戲

設(shè)備不需要任何高端處理器和顯卡，只需要基本的視頻解壓

能力就可以了。7.

云教育視頻云計算應(yīng)用于教育行業(yè)，流媒體平臺采用分布式架

構(gòu)部署，分為Web服務(wù)器、數(shù)據(jù)庫服務(wù)器、直播服務(wù)器和流服務(wù)器，如有必要，可在信息中心架設(shè)采集工作站，搭建網(wǎng)

絡(luò)電視或?qū)崨r直播應(yīng)用。在各學(xué)校已經(jīng)部署錄播系統(tǒng)或直播

系統(tǒng)的教室配置流媒體功能組件，這樣錄播實況可以實時傳

送到流媒體平臺管理中心的全局直播服務(wù)器上，與此同時錄

播的學(xué)校特色課件也可以上傳存儲到教育局信息中心的流存

儲服務(wù)器上，方便今后的檢索、點播、評估等各種應(yīng)用。8.

云會議云會議是基于云計算技術(shù)的一種高效、便捷、低成本的

會議形式。使用者只需要通過互聯(lián)網(wǎng)界面，進行簡單的操作，

便可快速、高效地與全球各地團隊及客戶同步分享語音、數(shù)

據(jù)文件及視頻，而會議中數(shù)據(jù)的傳輸、處理等復(fù)雜技術(shù)由云

會議服務(wù)商幫助使用者進行操作。8.3

大數(shù)據(jù)和云計算融合的必然趨勢8.3.1

大數(shù)據(jù)發(fā)展現(xiàn)狀大數(shù)據(jù)行業(yè)是以數(shù)據(jù)及數(shù)據(jù)所蘊含的信息價值為核心生

產(chǎn)要素，通過數(shù)據(jù)技術(shù)、數(shù)據(jù)產(chǎn)品、數(shù)據(jù)服務(wù)等形式，使數(shù)

據(jù)與信息價值在各行業(yè)經(jīng)濟活動中得到充分釋放的賦能型產(chǎn)

業(yè)。近年來，伴隨各國家和地區(qū)大數(shù)據(jù)產(chǎn)業(yè)政策鼓勵以及數(shù)

字經(jīng)濟的深入發(fā)展，全球范圍內(nèi)大數(shù)據(jù)市場呈快速發(fā)展態(tài)勢。大數(shù)據(jù)的特征體現(xiàn)在多個方面：在容量上，數(shù)據(jù)的大小決定了所考慮的數(shù)據(jù)的價值和潛在的信息；在種類上，體現(xiàn)

為數(shù)據(jù)類型的多樣性；在速度上，主要是指獲得數(shù)據(jù)的速度

高；在可變性上，體現(xiàn)為數(shù)據(jù)的變化導(dǎo)致質(zhì)量的廣泛變化；

在真實性上，體現(xiàn)為可獲得真實可靠的數(shù)據(jù)質(zhì)量；在復(fù)雜性

上，體現(xiàn)為數(shù)據(jù)量巨大、來源渠道多；在價值上，體現(xiàn)為合

理運用大數(shù)據(jù)，以低成本獲得高價值。1.行業(yè)概述(1)大數(shù)據(jù)硬件：主要包括支撐大數(shù)據(jù)軟件和大數(shù)據(jù)服

務(wù)運行的相關(guān)網(wǎng)絡(luò)、存儲和計算等IT硬件，大數(shù)據(jù)專屬硬件

包括超融合一體機、智能終端、高性能計算機、高性能服務(wù)

器、超大存儲設(shè)備等。(2)大數(shù)據(jù)軟件：主要包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)

存儲、數(shù)據(jù)分析挖掘、數(shù)據(jù)應(yīng)用、數(shù)據(jù)治理、數(shù)據(jù)交易和數(shù)

據(jù)安全等大數(shù)據(jù)生命周期業(yè)務(wù)流程中的相關(guān)工具、中間件、

平臺、應(yīng)用等軟件產(chǎn)品。(3)大數(shù)據(jù)服務(wù)：主要包括為金融、政府、電信、互聯(lián)網(wǎng)等行業(yè)客戶提供的基于其具體業(yè)務(wù)場景而開發(fā)的各類大數(shù)

據(jù)解決方案，涉及業(yè)務(wù)咨詢、設(shè)計開發(fā)、軟硬件產(chǎn)品部署、

系統(tǒng)運維等一系列服務(wù)；服務(wù)類型主要包括數(shù)據(jù)采集和預(yù)處

理服務(wù)、數(shù)據(jù)分析挖掘服務(wù)、數(shù)據(jù)治理服務(wù)、數(shù)據(jù)交易服務(wù)

等。2.全球現(xiàn)狀1)數(shù)據(jù)量據(jù)統(tǒng)計，2021年全球大數(shù)據(jù)儲量達到53.7ZB,同比增長22%。從區(qū)域分布來看，我國國內(nèi)的數(shù)據(jù)產(chǎn)生量約占全球數(shù)據(jù)

產(chǎn)生量的23%,美國的數(shù)據(jù)產(chǎn)生量占比約為21%,

EMEA(歐

洲、中東、非洲)的數(shù)據(jù)產(chǎn)生量占比約為30%,

APJxC(日本

和亞太)數(shù)據(jù)產(chǎn)生量占比約為18%。2)市場規(guī)模當(dāng)前，數(shù)據(jù)正在成為重組全球要素資源、重塑全球經(jīng)濟結(jié)構(gòu)、改變?nèi)蚋偁幐窬值年P(guān)鍵力量。隨著互聯(lián)網(wǎng)、移動互

聯(lián)網(wǎng)、物聯(lián)網(wǎng)、5G等信息通信技術(shù)及產(chǎn)業(yè)的不斷發(fā)展，全

球數(shù)據(jù)量呈爆發(fā)式增長態(tài)勢。受益于數(shù)據(jù)量及數(shù)據(jù)應(yīng)用的快

速增加，全球大數(shù)據(jù)市場規(guī)模快速增長。據(jù)資料顯示，2021

年全球大數(shù)據(jù)行業(yè)市場規(guī)模為649億美元，同比增長13.5%。3.中國現(xiàn)狀1)市場規(guī)模我國是數(shù)據(jù)資源大國，大力發(fā)展大數(shù)據(jù)技術(shù)，有利于將我國數(shù)據(jù)資源優(yōu)勢轉(zhuǎn)化為國家競爭優(yōu)勢，實現(xiàn)數(shù)據(jù)規(guī)模、質(zhì)

量和應(yīng)用水平的同步提升。2)企業(yè)情況隨著近年來我國大數(shù)據(jù)產(chǎn)業(yè)的快速發(fā)展，行業(yè)相關(guān)企業(yè)數(shù)量也隨之迅速增長。3)投融資情況隨著我國大數(shù)據(jù)產(chǎn)業(yè)的快速發(fā)展以及價值的逐漸顯現(xiàn)，

吸引了大批投資者的目光，行業(yè)投資市場十分火熱。4.發(fā)展背景1)政策近年來隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、5G等信息通信技術(shù)及產(chǎn)業(yè)的不斷發(fā)展，全球數(shù)據(jù)量呈爆發(fā)式增長態(tài)勢。

數(shù)據(jù)作為和土地、資本、勞動力、技術(shù)同等重要的生產(chǎn)要素，

在數(shù)字經(jīng)濟不斷深入發(fā)展的過程中，地位愈發(fā)凸顯。2)經(jīng)濟伴隨著新一輪科技革命和產(chǎn)業(yè)變革的持續(xù)推進，數(shù)字經(jīng)濟已成為當(dāng)前最具活力、最具創(chuàng)新力、輻射最廣泛的經(jīng)濟形

態(tài)，是國民經(jīng)濟的核心增長極之一。5.發(fā)展趨勢1)分析方法創(chuàng)新數(shù)據(jù)分析方法受算法、理論的限制和影響，隨著相關(guān)技術(shù)和領(lǐng)域的發(fā)展，數(shù)據(jù)分析方法也將面臨革命性的改變。2)數(shù)據(jù)共享程度提高數(shù)據(jù)收集是大數(shù)據(jù)技術(shù)應(yīng)用的基礎(chǔ)環(huán)節(jié)，隨著社會信息的爆發(fā)式增長，數(shù)據(jù)收集工作壓力劇增。3)大數(shù)據(jù)產(chǎn)業(yè)化應(yīng)用大數(shù)據(jù)與商業(yè)價值開發(fā)相掛鉤，其自身也表現(xiàn)出資源化發(fā)展的趨勢，即大數(shù)據(jù)已成為一種新的社會生產(chǎn)力。8.3.2

大數(shù)據(jù)形成條件與運作模式1.大數(shù)據(jù)形成的條件大數(shù)據(jù)需要龐大的數(shù)據(jù)積累，以及深度的數(shù)據(jù)挖掘和分

析。大數(shù)據(jù)的形成有兩個條件：一是豐富的數(shù)據(jù)源；二是強大的數(shù)據(jù)挖掘分析能力。從大數(shù)據(jù)中挖掘更多的價值，需要運用靈活的、多學(xué)科

的方法

。2.大數(shù)據(jù)運作模式云計算技術(shù)是目前解決大數(shù)據(jù)問題最重要且有效的手段。

云計算提供了基礎(chǔ)架構(gòu)平臺，大數(shù)據(jù)應(yīng)用在這個平臺上得以

運行。大數(shù)據(jù)是未來的行業(yè)發(fā)展趨勢，其發(fā)展已勢不可擋，而Hadoop作為更大規(guī)模分布式計算和存儲離線處理集群的

代表。廣大開發(fā)者應(yīng)抓住大數(shù)據(jù)機遇，選擇更適合的平臺技

術(shù)，借助最優(yōu)的解決方案，利用大數(shù)據(jù)開發(fā)出更智能、更個

性化的新一代應(yīng)用，最終實現(xiàn)應(yīng)用經(jīng)濟的轉(zhuǎn)型升級。8.3.3

大數(shù)據(jù)安全1.大數(shù)據(jù)遭遇“安全門”大數(shù)據(jù)像一枚硬幣，有其兩面性：一方面它將催生新型科技公司，吸納科技人才就業(yè)，并

為企業(yè)發(fā)展轉(zhuǎn)型提供新機遇；另一方面它為個人、企業(yè)甚至國家?guī)韨€人隱私危機，以及重構(gòu)信息安全、競爭力差距拉大、數(shù)據(jù)產(chǎn)權(quán)爭端等諸多

挑

戰(zhàn)

。2.大數(shù)據(jù)安全靠管理關(guān)于大數(shù)據(jù)的安全，坦率地講，任何一種安全，其關(guān)鍵

的保障因素還是管理手段，特別是對密鑰的管理，這將影響

整個加密過程。大數(shù)據(jù)的應(yīng)用訴求將促使商業(yè)模式變革，并

對技術(shù)架構(gòu)形成沖擊，營運模式也將產(chǎn)生變化。所以，為適應(yīng)大數(shù)據(jù)時代的到來，要盡快制定信息公開

法以加強網(wǎng)絡(luò)信息的保護，界定數(shù)據(jù)挖掘、利用的權(quán)限和范

圍，使得大數(shù)據(jù)的挖掘和利用依法推進。應(yīng)當(dāng)既鼓勵面向群

體、服務(wù)社會的數(shù)據(jù)挖掘，又要防止侵犯個體隱私；既提倡

數(shù)據(jù)共享，又要防止數(shù)據(jù)被濫用。8.3.4

大數(shù)據(jù)時代的機遇與挑戰(zhàn)1.大數(shù)據(jù)帶來大變革“大數(shù)據(jù)”正給很多不同的行業(yè)帶來深刻的變革，這些變革表現(xiàn)在創(chuàng)造透明度，通過一些可控的實驗發(fā)現(xiàn)新的需求，

對用戶進行細分，以及為客戶定制服務(wù)等。更重要的是，大

數(shù)據(jù)孕育了新的商業(yè)模式。數(shù)據(jù)會成為企業(yè)資產(chǎn)負債表上非

常重要的一項。大數(shù)據(jù)分析技術(shù)不僅是促進基礎(chǔ)科學(xué)發(fā)展的強大杠桿，

也是許多行業(yè)技術(shù)進步和企業(yè)發(fā)展的推動力。大數(shù)據(jù)的真正

意義并不在于大帶寬和大存儲，而在于對容量大且種類繁多

的數(shù)據(jù)進行分析并從中獲取信息和價值。2.大數(shù)據(jù)時代的國家戰(zhàn)略在大數(shù)據(jù)中心建設(shè)上，應(yīng)將大數(shù)據(jù)管理上升到國家戰(zhàn)略

層面，從國家戰(zhàn)略層面予以重視，因此特別要強調(diào)以下幾點：(1)政府要由責(zé)任部門牽頭進行專項研究，從國家層面

通盤考慮國家大數(shù)據(jù)發(fā)展的戰(zhàn)略。(2)大數(shù)據(jù)從數(shù)據(jù)生成、信息收集到數(shù)據(jù)的發(fā)布、分析

和應(yīng)用，涉及各個層面。(3)重視人才培養(yǎng)在大數(shù)據(jù)處理環(huán)節(jié)中的重要性，數(shù)據(jù)

人才是點燃大數(shù)據(jù)價值的關(guān)鍵。3.大數(shù)據(jù)時代的挑戰(zhàn)鑒于數(shù)據(jù)的復(fù)雜性，大數(shù)據(jù)處理面臨著一系列的挑戰(zhàn)：(1)在類似文本或視頻的非結(jié)構(gòu)化數(shù)據(jù)上，如何理解及

使用數(shù)據(jù)?(2)該如何在數(shù)據(jù)產(chǎn)生時捕獲最重要的部分，并實時地

將它交付給正確的人?(3)鑒于當(dāng)下的數(shù)據(jù)體積和計算能力，該如何儲存、分

析及理解這些數(shù)據(jù)?(4)人才匱乏。(5)其他一些固有的挑戰(zhàn)，如隱私、訪問安全以及部署。以下是Intel發(fā)布的大數(shù)據(jù)處理在中國的短板：(1)數(shù)據(jù)的海量性。(2)數(shù)據(jù)處理技術(shù)。(3)信息公開。(4)數(shù)據(jù)的真實性。(5)非結(jié)構(gòu)數(shù)據(jù)的不足。4.云計算在大數(shù)據(jù)中的作用大數(shù)據(jù)的爆發(fā)是產(chǎn)業(yè)和經(jīng)濟信息化發(fā)展中遇到的棘手問

題。由于數(shù)據(jù)流量和體量增長迅速，數(shù)據(jù)格式存在多源異構(gòu)

的特點，而我們對數(shù)據(jù)處理又要求準確、實時，以幫助我們

發(fā)掘出大數(shù)據(jù)中潛在的價值，促進經(jīng)濟發(fā)展和社會進步。物

聯(lián)網(wǎng)、互聯(lián)網(wǎng)、移動通信網(wǎng)絡(luò)技術(shù)在近些年來的迅猛發(fā)展，

致使數(shù)據(jù)產(chǎn)生和傳輸?shù)念l度和速度都大大加快，催生了大數(shù)

據(jù)問題，而數(shù)據(jù)的二次開發(fā)、深度循環(huán)利用則讓大數(shù)據(jù)問題

日益突出。大數(shù)據(jù)問題的解決，首先要從大數(shù)據(jù)的源頭開始梳理。既然大數(shù)據(jù)源于云計算等新興IT技術(shù)，就必然有新興IT技術(shù)的基因繼承下來。按需分配、彈性擴展、安全、開源、泛

在化等特點是云計算的基因，這些基因也需要體現(xiàn)在大數(shù)據(jù)

上?！霸啤钡睦砟睢⒃瓌t和手段，也是理解大數(shù)據(jù)、克服大數(shù)

據(jù)、應(yīng)用大數(shù)據(jù)的制勝法寶和核心關(guān)鍵。大數(shù)據(jù)在系統(tǒng)及網(wǎng)

絡(luò)結(jié)構(gòu)、資源調(diào)度管理、數(shù)據(jù)存儲、計算框架等領(lǐng)域都是源

自于云計算也依托于云計算的。云計算為大數(shù)據(jù)提供了堅實的基礎(chǔ)設(shè)施支撐及保障。5.云計算與大數(shù)據(jù)的融合發(fā)展從技術(shù)角度來說，云計算和大數(shù)據(jù)在很大程度上已經(jīng)形

成融合發(fā)展的態(tài)勢。當(dāng)前的很多云計算服務(wù)，由于其規(guī)模的

擴展，后臺都集成了大數(shù)據(jù)的存儲和處理。從產(chǎn)業(yè)角度來看，云計算及大數(shù)據(jù)都已上升為中國的國

家戰(zhàn)略，相關(guān)的技術(shù)和應(yīng)用已經(jīng)滲透到各個傳統(tǒng)行業(yè)及新興

產(chǎn)業(yè)，國家的政策、資金引導(dǎo)力度不斷加大。大數(shù)據(jù)上云其實有多種含義和選擇。由于大數(shù)據(jù)的特征，

企業(yè)要自己搭建大數(shù)據(jù)的存儲及處理平臺，其投入和挑戰(zhàn)都

是巨大的。6.云計算與大數(shù)據(jù)的應(yīng)用場景1)在互聯(lián)網(wǎng)金融證券業(yè)的應(yīng)用大數(shù)據(jù)帶來的變化，首先是風(fēng)險管理的理念和工具的調(diào)整。風(fēng)險定價和客戶評價理念將會以真實、高效、自動、準

確為基礎(chǔ)，形成客戶的精準畫像?；跀?shù)據(jù)挖掘的客戶識別

和分類將成為風(fēng)險管理的主要手段，動態(tài)、實時的監(jiān)測而非

事后的回顧式評價將成為風(fēng)險管理的主要手段。其次，大數(shù)據(jù)能大大降低金融產(chǎn)品和服務(wù)的消費者與提供者之間的信息不對稱現(xiàn)象。消費者可實時獲知對某項金融

產(chǎn)品或服務(wù)的支持和評價?；诖?，可以逐步實現(xiàn)業(yè)務(wù)流程

的自主信息化，結(jié)合時間、人、產(chǎn)品路徑精準推送給精準人

群；數(shù)據(jù)挖掘能力可將金融業(yè)務(wù)做到高效率、低成本。第三，大數(shù)據(jù)使得產(chǎn)品更加安全可控和令人滿意。精準

數(shù)據(jù)定位模式，對消費者而言，是安全可控、可受的。可控，

是指雙方的風(fēng)險可控；可受，是指雙方的收益(或成本)和流

動性是可接受的。同時，高效貼心的服務(wù)還能提升用戶的滿

意

度

。最后，大數(shù)據(jù)將促進行業(yè)的泛在化。金融供給將不再是傳統(tǒng)金融業(yè)者的專屬領(lǐng)地，許多具備大數(shù)據(jù)技術(shù)應(yīng)用能力的

企業(yè)都會涉足、介入金融行業(yè)。有趨勢表明，銀行與非銀行間、證券公司與非證券公司間、保險公司與非保險公司間的

界限將會非常模糊，金融企業(yè)與非金融企業(yè)間的跨界融合將

成為常態(tài)。2)在通信運營領(lǐng)域的應(yīng)用由于5G提供了更大的帶寬、更快的速度和更低的延遲，其技術(shù)將有助于運營商掌握全量客戶的移動數(shù)據(jù)。手機購物、

視頻直播、移動電影/音樂下載、手機游戲、即時通信、移動搜索、移動支付等移動業(yè)務(wù)及云服務(wù)將會有更大的爆發(fā)式

增長。這些技術(shù)及服務(wù)在為人們創(chuàng)造了前所未有的新體驗的

同時，也為通信運營商挖掘用戶數(shù)據(jù)價值提供了大數(shù)據(jù)的