大數(shù)據(jù)基礎(chǔ)知識(shí)電信云@大數(shù)據(jù)產(chǎn)品線大數(shù)據(jù)基礎(chǔ)知識(shí)目錄大數(shù)據(jù)定義大數(shù)據(jù)價(jià)值大數(shù)據(jù)產(chǎn)業(yè)鏈目錄大數(shù)據(jù)定義1.大數(shù)據(jù)定義共識(shí)，全球數(shù)據(jù)量每年+50%的速度指數(shù)遞增工業(yè)、生產(chǎn)數(shù)據(jù)遠(yuǎn)大于我們 現(xiàn)在關(guān)注的消費(fèi)數(shù)據(jù)大量即時(shí)數(shù)據(jù)在價(jià)值未流失之前等待處理大數(shù)據(jù)營(yíng)銷，根據(jù)企業(yè)數(shù)據(jù)需要組織挖掘分析，并基于IT系統(tǒng)實(shí)時(shí)把分析提供給需要決策幫助的內(nèi)部企業(yè)成員。互聯(lián)網(wǎng)統(tǒng)計(jì)

大數(shù)據(jù)是一個(gè)服務(wù)行業(yè)。大數(shù)據(jù)是傳統(tǒng)統(tǒng)計(jì)與互聯(lián)網(wǎng)相結(jié)合的行業(yè)。1.大數(shù)據(jù)定義共識(shí)，1.大數(shù)據(jù)定義大數(shù)據(jù)定義：所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。主要的特點(diǎn):Volume數(shù)據(jù)體量Velocity數(shù)據(jù)速度Variety數(shù)據(jù)多樣Veracity數(shù)據(jù)真實(shí)1.大數(shù)據(jù)定義大數(shù)據(jù)定義：2.大數(shù)據(jù)價(jià)值在闡述大數(shù)據(jù)價(jià)值時(shí)，先一起先學(xué)習(xí)下數(shù)據(jù)價(jià)值

數(shù)據(jù)<信息<知識(shí)<智慧數(shù)據(jù)是約定俗成的數(shù)值量化，對(duì)客觀事物的數(shù)量、熟悉、位置及其相互關(guān)系進(jìn)行抽象表示，以適合在這個(gè)領(lǐng)域中用人工或自然的方式進(jìn)行保存、傳遞和處理。2.大數(shù)據(jù)價(jià)值在闡述大數(shù)據(jù)價(jià)值時(shí)，先一起先學(xué)習(xí)下2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值數(shù)據(jù)<信息<知識(shí)<智慧信息是在時(shí)效內(nèi)的一定含義的，經(jīng)過(guò)加工處理對(duì)決策有價(jià)值的數(shù)據(jù)流。2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值數(shù)據(jù)<信息<知識(shí)<智慧通過(guò)人們的參與對(duì)信息進(jìn)行歸納、演繹、比較等手段進(jìn)行挖掘，使其有價(jià)值的部分沉淀下來(lái)，并于已存在的人類知識(shí)體系相結(jié)合，這部分有價(jià)值的信息就轉(zhuǎn)變成知識(shí)。2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值數(shù)據(jù)<信息<知識(shí)<智慧智慧是人類基于已有的知識(shí)，針對(duì)物質(zhì)世界運(yùn)動(dòng)過(guò)程中產(chǎn)生的問(wèn)題根據(jù)獲得的信息盡行分析，對(duì)比，演繹找出解決方案的能力。智慧乃以知識(shí)為根基，加上的運(yùn)用能力、綜合判斷、創(chuàng)造力及實(shí)踐能力來(lái)創(chuàng)造價(jià)值。2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值數(shù)據(jù)<信息<知識(shí)<智慧智慧是人類基于已有的知識(shí)，針對(duì)物質(zhì)世界運(yùn)動(dòng)過(guò)程中產(chǎn)生的問(wèn)題根據(jù)獲得的信息盡行分析，對(duì)比，演繹找出解決方案的能力。智慧乃以知識(shí)為根基，加上的運(yùn)用能力、綜合判斷、創(chuàng)造力及實(shí)踐能力來(lái)創(chuàng)造價(jià)值。2.大數(shù)據(jù)價(jià)值數(shù)據(jù)價(jià)值2.大數(shù)據(jù)價(jià)值在此大數(shù)據(jù)作為服務(wù)工具，是數(shù)據(jù)分析能力的表現(xiàn)對(duì)大數(shù)據(jù)分析，主要分為五個(gè)方面（提供大數(shù)據(jù)解決方案時(shí)的價(jià)值輸出載體）：可視化分析（AnalyticVisualization）數(shù)據(jù)挖掘算法（DateMiningAlgorithms）預(yù)測(cè)性分析能力（PredictiveAnalyticCapabilities）語(yǔ)義引擎（SemanticEngines）數(shù)據(jù)質(zhì)量管理（DataQualityManagement）2.大數(shù)據(jù)價(jià)值在此大數(shù)據(jù)作為服務(wù)工具，是數(shù)據(jù)分析能力的表現(xiàn)2.大數(shù)據(jù)價(jià)值可視化分析（AnalyticVisualization）2.大數(shù)據(jù)價(jià)值可視化分析（AnalyticVisuali2.大數(shù)據(jù)價(jià)值數(shù)據(jù)挖掘算法（DateMiningAlgorithms）數(shù)據(jù)挖掘算法是大數(shù)據(jù)分析的理論核心，其本質(zhì)是一組根據(jù)算法事先定義好的數(shù)學(xué)公式，將收集到的數(shù)據(jù)作為參數(shù)變量帶入其中，從而能夠從大量復(fù)雜的數(shù)據(jù)中提取到有價(jià)值的信息。著名的“啤酒和尿布”的故事就是數(shù)據(jù)挖掘算法的經(jīng)典案例。沃爾瑪通過(guò)對(duì)啤酒和尿布購(gòu)買數(shù)據(jù)的分析，挖掘出以前未知的兩者間的聯(lián)系，并利用這種聯(lián)系，提升了商品的銷量。亞馬遜的推薦引擎和谷歌的廣告系統(tǒng)都大量使用了數(shù)據(jù)挖掘算法。2.大數(shù)據(jù)價(jià)值數(shù)據(jù)挖掘算法（DateMiningAlg2.大數(shù)據(jù)價(jià)值語(yǔ)義引擎（SemanticEngines）語(yǔ)義引擎是機(jī)器學(xué)習(xí)的成果之一。過(guò)去，計(jì)算機(jī)對(duì)用戶輸入內(nèi)容的理解僅僅停留在字符階段，不能很好的理解輸入內(nèi)容的意思，因此常常不能準(zhǔn)確的了解用戶的需求。通過(guò)對(duì)大量復(fù)雜的數(shù)據(jù)進(jìn)行分析，讓計(jì)算機(jī)從中自我學(xué)習(xí)，可以使計(jì)算機(jī)能夠盡量精確的了解用戶輸入內(nèi)容的意思，從而把握住用戶的需求，提供更好的用戶體驗(yàn)。蘋果的Siri和谷歌的GoogleNow都采用了語(yǔ)義引擎。2.大數(shù)據(jù)價(jià)值語(yǔ)義引擎（SemanticEngines）2.大數(shù)據(jù)價(jià)值大數(shù)據(jù)解決方案在企業(yè)知識(shí)管理項(xiàng)目上的價(jià)值點(diǎn)：1.提供專業(yè)團(tuán)隊(duì)（數(shù)據(jù)建模、挖掘技術(shù)）與客戶（行業(yè)專家）進(jìn)行企業(yè)數(shù)據(jù)價(jià)值勘探。2.提供統(tǒng)一可擴(kuò)展的元數(shù)據(jù)規(guī)則庫(kù)構(gòu)建方案。避免組織內(nèi)產(chǎn)生不同信息和知識(shí)體系，保證數(shù)據(jù)的信息流通、知識(shí)管理、智慧創(chuàng)新。3.在公共大數(shù)據(jù)挖掘平臺(tái)。定制數(shù)據(jù)匯集，并依托平臺(tái)集約化的全面高效支持的時(shí)效、海量、彈性、關(guān)聯(lián)等核心能力下快速構(gòu)建解決和集成實(shí)施方案。4.提供私有大數(shù)據(jù)挖掘平臺(tái)解決、集成方案，并建設(shè)性開(kāi)放安全數(shù)據(jù)接口避免“數(shù)據(jù)孤島”。2.大數(shù)據(jù)價(jià)值大數(shù)據(jù)解決方案在企業(yè)知識(shí)管理項(xiàng)目上的價(jià)值點(diǎn)：3.大數(shù)據(jù)產(chǎn)業(yè)鏈大數(shù)據(jù)產(chǎn)業(yè)鏈，關(guān)鍵點(diǎn)，1.基礎(chǔ)設(shè)施提供商2.基礎(chǔ)系統(tǒng)提供商3.大數(shù)據(jù)解決方案提供商4.平臺(tái)服務(wù)提供商3.大數(shù)據(jù)產(chǎn)業(yè)鏈大數(shù)據(jù)產(chǎn)業(yè)鏈，關(guān)鍵點(diǎn)，3.大數(shù)據(jù)產(chǎn)業(yè)鏈1.基礎(chǔ)設(shè)施提供商a.采集卡/視頻采集卡、監(jiān)控采集卡、空氣質(zhì)量采集器b.網(wǎng)絡(luò)帶寬/電信c.存儲(chǔ)介質(zhì)/d.計(jì)算設(shè)備/e.數(shù)據(jù)提供商

2.基礎(chǔ)系統(tǒng)提供商-目前最熱門的開(kāi)源生態(tài)系統(tǒng)：hadoop分布式計(jì)算框架-Yarn:MR/Spark/Storm分布式文件系統(tǒng)-Hdfs分布式結(jié)構(gòu)化存儲(chǔ)-Hbase/Cassandra3.大數(shù)據(jù)產(chǎn)業(yè)鏈3.大數(shù)據(jù)產(chǎn)業(yè)鏈3.大數(shù)據(jù)解決方案提供商a.行業(yè)、政府解決方案發(fā)現(xiàn)周期規(guī)律、促進(jìn)數(shù)據(jù)關(guān)聯(lián)、b.企業(yè)大數(shù)據(jù)解決方案加強(qiáng)數(shù)據(jù)一致，信息流通，知識(shí)積累b.企業(yè)面向主題解決方案

面向市場(chǎng)營(yíng)銷、推廣回報(bào)比、渠道質(zhì)量、投資風(fēng)險(xiǎn)、產(chǎn)品定價(jià)等主題c.企業(yè)面向運(yùn)營(yíng)解決方案

發(fā)現(xiàn)異常、跟蹤質(zhì)量、客戶管理、預(yù)警風(fēng)險(xiǎn)解決方案

3.大數(shù)據(jù)產(chǎn)業(yè)鏈3.大數(shù)據(jù)產(chǎn)業(yè)鏈4.平臺(tái)服務(wù)提供商/電信云.大數(shù)據(jù)產(chǎn)品線我們致力于云計(jì)算.大數(shù)據(jù)生態(tài)環(huán)境的建設(shè)，全面提供集約化面向企業(yè)提供大數(shù)據(jù)平臺(tái)和技術(shù)服務(wù)支持，在核心技術(shù)上我們已經(jīng)完成，a.大規(guī)模數(shù)據(jù)分析支持Map、Reduce、Join、Union等多種數(shù)據(jù)節(jié)點(diǎn)處理模式，支持直接使用SQL語(yǔ)句對(duì)海量數(shù)據(jù)進(jìn)行離線分析提供與ANSISQL高度兼容的語(yǔ)法支持，支持用戶復(fù)雜的數(shù)據(jù)分析需求。3.大數(shù)據(jù)產(chǎn)業(yè)鏈4.平臺(tái)服務(wù)提供商/電信云.大數(shù)據(jù)產(chǎn)3.大數(shù)據(jù)產(chǎn)業(yè)鏈4.平臺(tái)服務(wù)提供商/電信云.大數(shù)據(jù)產(chǎn)品線b.分布式文件系統(tǒng)分布式文件系統(tǒng)擁有高可擴(kuò)展性，支持上億個(gè)文件和PB以上量級(jí)的文件存儲(chǔ)實(shí)現(xiàn)了大規(guī)模數(shù)據(jù)的快速讀寫功能，實(shí)現(xiàn)了文件并行操作的高效機(jī)制支持大規(guī)模并發(fā)讀寫，充分利用分布式并行帶寬

3.大數(shù)據(jù)產(chǎn)業(yè)鏈4.平臺(tái)服務(wù)提供商/電信云.大數(shù)據(jù)產(chǎn)3.大數(shù)據(jù)產(chǎn)業(yè)鏈4.平臺(tái)服務(wù)提供商/電信云.大數(shù)據(jù)產(chǎn)品線c.任務(wù)調(diào)