主講人：徐文昭大數(shù)據(jù)與云計(jì)算智能建造技術(shù)專業(yè)資源庫知識點(diǎn)大數(shù)據(jù)概述3大數(shù)據(jù)應(yīng)用4大數(shù)據(jù)的定義1大數(shù)據(jù)的特點(diǎn)2大數(shù)據(jù)的發(fā)展大數(shù)據(jù)概述大數(shù)據(jù)概述一、大數(shù)據(jù)的定義大數(shù)據(jù)是一個(gè)不斷發(fā)展的概念,可以指任何體量或復(fù)雜性超出常規(guī)數(shù)據(jù)處理方法和處理能力的數(shù)據(jù)海量數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)本身可以是結(jié)構(gòu)化、半結(jié)構(gòu)化甚至是非結(jié)構(gòu)化的大數(shù)據(jù)概述狹義上講,大數(shù)據(jù)主要是指處理海量數(shù)據(jù)的關(guān)鍵技術(shù)及其在各個(gè)領(lǐng)域中的應(yīng)用廣義上講,大數(shù)據(jù)包括大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等與大數(shù)據(jù)相關(guān)的領(lǐng)域大數(shù)據(jù)的特點(diǎn)Volume(體量)。通過各種設(shè)備產(chǎn)生的海量數(shù)據(jù)體量巨大,遠(yuǎn)大于目前互聯(lián)網(wǎng)上的信息流量Variety(多樣)。大數(shù)據(jù)類型繁多，在編碼方式、數(shù)據(jù)格式、應(yīng)用特征等多個(gè)方面存在差異Velocity(速率)。數(shù)據(jù)以非常高的速率到達(dá)系統(tǒng)內(nèi)部，這就要求處理數(shù)據(jù)段的速度必須非?？於?、大數(shù)據(jù)的特點(diǎn)大數(shù)據(jù)概述大數(shù)據(jù)概述大數(shù)據(jù)技術(shù)是一種新一代技術(shù)和構(gòu)架,它成本較低,以快速的采集、處理和分析技術(shù)從各種超大規(guī)模的數(shù)據(jù)中提取價(jià)值。

三、大數(shù)據(jù)的發(fā)展大數(shù)據(jù)概述三、大數(shù)據(jù)的發(fā)展A大數(shù)據(jù)采集與預(yù)處理方向——目前很多公司已經(jīng)推出了多種數(shù)據(jù)清洗和質(zhì)量控制工具(如IBM公司的DataStage)

C大數(shù)據(jù)計(jì)算模式方向——目前出現(xiàn)了多種典型的計(jì)算模式,包括大數(shù)據(jù)查詢分析計(jì)算(如Hive)、批處理計(jì)算(如Hadoop

MapReduce)等

E大數(shù)據(jù)可視化分析方向——通過可視化方式來幫助人們探索和解釋復(fù)雜的數(shù)據(jù),有利于決策者挖掘數(shù)據(jù)的商業(yè)價(jià)值,進(jìn)而有助于大數(shù)據(jù)的發(fā)展

B大數(shù)據(jù)存儲與管理方向——這個(gè)方向最常見的挑戰(zhàn)是存儲規(guī)模大,存儲管理復(fù)雜,需要兼顧結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)

D大數(shù)據(jù)分析與挖掘方向——在數(shù)據(jù)量迅速增加的同時(shí),還要進(jìn)行深度的數(shù)據(jù)分析和挖掘,并且對自動(dòng)化分析要求越來越高F大數(shù)據(jù)安全方向——文件訪問控制權(quán)限ACL、基礎(chǔ)設(shè)備加密、匿名化保護(hù)技術(shù)和加密保護(hù)等技術(shù)正在最大程度地保護(hù)數(shù)據(jù)安全大數(shù)據(jù)概述梅西百貨的實(shí)時(shí)定價(jià)機(jī)制根據(jù)需求和庫存的情況,該公司基于SAS的系統(tǒng)對多達(dá)7300萬種貨品進(jìn)行實(shí)時(shí)調(diào)價(jià)四、大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)概述Tipp24AG針對歐洲博彩業(yè)構(gòu)建的下注和預(yù)測平臺該公司用KXEN軟件來分析數(shù)十億計(jì)的交易以及客戶的特性,然后通過預(yù)測模型對特定用戶進(jìn)行動(dòng)態(tài)的營銷活動(dòng)

四、大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)概述沃爾瑪?shù)乃阉鬟@家零售業(yè)寡頭為其網(wǎng)站W(wǎng)自行設(shè)計(jì)了最新的搜索引擎Polaris，利用語義數(shù)據(jù)進(jìn)行文本分析、機(jī)器學(xué)習(xí)和同義詞挖掘等

四、大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)概述

TescoPLC(特易購)和運(yùn)營效率這家連鎖超市在其數(shù)據(jù)倉庫中收集了700萬部冰箱的數(shù)據(jù)。通過對這些數(shù)據(jù)的分析進(jìn)行更全面的監(jiān)控,并進(jìn)行主動(dòng)的維修以降低整體能耗四、大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)概述2大數(shù)據(jù)