大數(shù)據(jù)與云計(jì)算錢進(jìn)E-mail:qjqjlqyf@163.com.8.2第1頁不知道BIGDATA?你out了!第2頁第3頁前瞻來看，伴隨互聯(lián)網(wǎng)對(duì)網(wǎng)民了解，網(wǎng)民對(duì)網(wǎng)絡(luò)反作用，互聯(lián)網(wǎng)將變得越來越智能。它在滿足你需求同時(shí)，也在創(chuàng)造新需求。前者代表是Google，后者經(jīng)典則是Facebook。谷歌盈利在于全部軟件應(yīng)用都是在線。用戶在無償使用這些產(chǎn)品同時(shí)，把個(gè)人行為、喜好等信息也無償送給了Google。所以Google產(chǎn)品線越豐富，他對(duì)用戶了解就越深入，他廣告就越精準(zhǔn)。廣告價(jià)值就越高。這是正向循環(huán)，谷歌好用、無償?shù)密浖a(chǎn)品，換取對(duì)用戶了解；經(jīng)過精準(zhǔn)廣告，找到生財(cái)之道。顛覆了微軟賣軟件拷貝盈利模式。成為互聯(lián)網(wǎng)巨擘?；ヂ?lián)網(wǎng)越來越智能Google準(zhǔn)確掌握用戶行為、獲取需求第4頁微博為新浪帶來巨大價(jià)值馬云判斷來自于數(shù)據(jù)分析“初,阿里巴巴平臺(tái)上整個(gè)買家詢盤數(shù)急劇下滑，歐美對(duì)中國采購在下滑。海關(guān)是賣了貨,出去以后再取得數(shù)據(jù);而我們提前六個(gè)月時(shí)間從詢盤上推斷出世界貿(mào)易發(fā)生改變了?！瘪R云對(duì)未來預(yù)測(cè)，是建立在對(duì)用戶行文分析基礎(chǔ)上。通常而言，買家在采購商品前，會(huì)比較多家供給商產(chǎn)品，反應(yīng)到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢點(diǎn)擊數(shù)量和購置點(diǎn)擊數(shù)量會(huì)保持一個(gè)相正確數(shù)值，綜合各個(gè)維度數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大，確保用戶行為模型準(zhǔn)確性。所以在這個(gè)案例中，詢盤數(shù)據(jù)下降，自然造成買盤下降。騰訊在天津投資建立亞洲最大數(shù)據(jù)中心；baidu也在投資建立大數(shù)據(jù)處理中心；新浪推出企業(yè)微博產(chǎn)品，提供精準(zhǔn)數(shù)據(jù)分析服務(wù)。第5頁Gartner技術(shù)成熟度曲線,大數(shù)據(jù)處于高速發(fā)展期第6頁技術(shù)演進(jìn)歷史揭示未來是大數(shù)據(jù)驅(qū)動(dòng)智慧型經(jīng)濟(jì)模式第7頁什么才是大數(shù)據(jù)?第8頁指數(shù)型增加海量數(shù)據(jù)海量數(shù)據(jù)就是大數(shù)據(jù)嗎?

第9頁大數(shù)據(jù)就是云計(jì)算嗎?

第10頁大數(shù)據(jù)4V特征體量Volume多樣性Variety價(jià)值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)超大規(guī)模和增加總數(shù)據(jù)量80~90%比結(jié)構(gòu)化數(shù)據(jù)增加快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫10倍到50倍大數(shù)據(jù)異構(gòu)和多樣性很多不一樣形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無模式或者模式不顯著不連貫語法或句義大量不相關(guān)信息對(duì)未來趨勢(shì)與模式可預(yù)測(cè)分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、匯報(bào)等）實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效第11頁Value價(jià)值挖掘大數(shù)據(jù)價(jià)值類似沙里淘金,從海量數(shù)據(jù)中挖掘稀疏但寶貴信息.價(jià)值密度低,是大數(shù)據(jù)一個(gè)經(jīng)典特征.第12頁Variety多樣性企業(yè)內(nèi)部經(jīng)營交易信息;物聯(lián)網(wǎng)世界中商品,物流信息;互聯(lián)網(wǎng)世界中人與人交互信息,位置信息等是大數(shù)據(jù)主要起源.

能夠在不一樣數(shù)據(jù)類型中,進(jìn)行交叉分析技術(shù),是大數(shù)據(jù)關(guān)鍵技術(shù)之一.語義分析技術(shù),圖文轉(zhuǎn)換技術(shù),模式識(shí)別技術(shù),地理信息技術(shù)等,都會(huì)在大數(shù)據(jù)分析時(shí)取得應(yīng)用.第13頁Velocity速度1s是臨界點(diǎn).對(duì)于大數(shù)據(jù)應(yīng)用而言,必須要在1秒鐘內(nèi)形成答案,不然處理結(jié)果就是過時(shí)和無效.實(shí)時(shí)處理要求,是區(qū)分大數(shù)據(jù)引用和傳統(tǒng)數(shù)據(jù)倉庫技術(shù),BI技術(shù)關(guān)鍵差異之一.第14頁Volume數(shù)據(jù)量PB是大數(shù)據(jù)層次臨界點(diǎn).KB->MB->GB->TB->PB->EB->ZB->YB->NB->DB第15頁對(duì)大數(shù)據(jù)進(jìn)一步了解第16頁大數(shù)據(jù)比云計(jì)算更為落地商業(yè)模式驅(qū)動(dòng)應(yīng)用需求驅(qū)動(dòng)云計(jì)算本身也是大數(shù)據(jù)一個(gè)業(yè)務(wù)模式第17頁大數(shù)據(jù)不但僅是“大”多大？PB級(jí)比大更主要是數(shù)據(jù)復(fù)雜性，有時(shí)甚至大數(shù)據(jù)中小數(shù)據(jù)如一條微博就含有顛覆性價(jià)值第18頁軟件是大數(shù)據(jù)引擎和數(shù)據(jù)中心（DataCenter）

一樣，軟件是大數(shù)據(jù)驅(qū)動(dòng)力.軟件改變世界!第19頁大數(shù)據(jù)生態(tài):軟件是引擎第20頁21社會(huì)基礎(chǔ)設(shè)施已經(jīng)具備移動(dòng)電話PCsTVsPDAsGPS導(dǎo)航汽車電子設(shè)備智能家電iPhoneDCs傳感器。。。第21頁大數(shù)據(jù)應(yīng)用不但僅是精準(zhǔn)營銷經(jīng)過用戶行為分析實(shí)現(xiàn)精準(zhǔn)營銷是大數(shù)據(jù)經(jīng)典應(yīng)用，不過大數(shù)據(jù)在各行各業(yè)尤其是公共服務(wù)領(lǐng)域含有遼闊應(yīng)用前景消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)境保護(hù)電子商務(wù)氣象第22頁管理大數(shù)據(jù)“易”,了解大數(shù)據(jù)“難”當(dāng)前大數(shù)據(jù)管理多從架構(gòu)和并行等方面考慮，處理高并發(fā)數(shù)據(jù)存取性能要求及數(shù)據(jù)存放橫向擴(kuò)展，但對(duì)非結(jié)構(gòu)化數(shù)據(jù)內(nèi)容了解仍缺乏實(shí)質(zhì)性突破和進(jìn)展，這是實(shí)現(xiàn)大數(shù)據(jù)資源化、知識(shí)化、普適化關(guān)鍵.非結(jié)構(gòu)化海量信息智能化處理：自然語言了解、多媒體內(nèi)容了解、機(jī)器學(xué)習(xí)等.第23頁大數(shù)據(jù)為何主要？第24頁更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部更高數(shù)據(jù)層面整合第25頁利用用戶”行為指紋”創(chuàng)造新商機(jī)用戶在線每一次點(diǎn)擊，每一次評(píng)論，每一個(gè)視頻點(diǎn)播，就是大數(shù)據(jù)經(jīng)典起源?；ヂ?lián)網(wǎng)企業(yè)之所以取得令人矚目標(biāo)成績(jī)，其關(guān)鍵本質(zhì)就是包含用戶網(wǎng)絡(luò)操作大數(shù)據(jù)，進(jìn)行統(tǒng)計(jì)和分析，形成用戶“行為指紋”，從而洞悉用戶潛在、真實(shí)需求，形成預(yù)判。這是傳統(tǒng)企業(yè)花費(fèi)重金都難以企及夢(mèng)想。全部傳統(tǒng)產(chǎn)品企業(yè)都只能淪為這種新型用戶平臺(tái)級(jí)企業(yè)附庸。第26頁大數(shù)據(jù)組成和展現(xiàn)方式？第27頁基于SQL語言:

面對(duì)OLAP傳統(tǒng)行和列不基于SQL或map-reduce:

由谷歌率先發(fā)起數(shù)據(jù)流:

基于運(yùn)行商數(shù)據(jù)直接生成任意圖形新平臺(tái)技術(shù)數(shù)據(jù)入口/匯聚數(shù)據(jù)平臺(tái)分析不一樣范圍服務(wù)傳統(tǒng)交付模式

-

單片或基于設(shè)備處理方案云:

能夠充分利用物理設(shè)施彈性，以實(shí)現(xiàn)處理快速增加數(shù)據(jù)能力“數(shù)據(jù)庫將演變成一個(gè)虛擬，基于云計(jì)算，超級(jí)可擴(kuò)展分布式平臺(tái)?！?ForresteranalystJimKobielus新傳輸方案新模式和新技術(shù)第28頁展現(xiàn)方式：大型控制中心、移動(dòng)終端在多樣性、體量、速度三大主要特征指導(dǎo)下，大數(shù)據(jù)將有新型展現(xiàn)方式：大型控制中心和移動(dòng)終端，實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)處理和快速?zèng)Q議。第29頁大數(shù)據(jù)技術(shù)將被設(shè)計(jì)用于在成本可承受（economically）條件下，經(jīng)過非?？焖伲╲elocity）采集、發(fā)覺和分析，從大量化（volumes）、多類別（variety）數(shù)據(jù)中提取價(jià)值（value），將是IT領(lǐng)域新一代技術(shù)與架構(gòu)企業(yè)用以分析數(shù)據(jù)越全方面，分析結(jié)果就越靠近于真實(shí)。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新數(shù)據(jù)中獲取新洞察力，并將其與已知業(yè)務(wù)各個(gè)細(xì)節(jié)相融合什么是BigData技術(shù)第30頁分析技術(shù)：數(shù)據(jù)處理：自然語言處理技術(shù)統(tǒng)計(jì)和分析：A/Btest;topN排行榜；地域占比；文本情感分析數(shù)據(jù)挖掘：關(guān)聯(lián)規(guī)則分析；分類；聚類模型預(yù)測(cè)：預(yù)測(cè)模型；機(jī)器學(xué)習(xí)；建模仿真大數(shù)據(jù)技術(shù)：數(shù)據(jù)采集：ETL工具數(shù)據(jù)存?。宏P(guān)系數(shù)據(jù)庫；NoSQL；SQL等基礎(chǔ)架構(gòu)支持：云存放；分布式文件系統(tǒng)等計(jì)算結(jié)果展現(xiàn)：云計(jì)算；標(biāo)簽云；關(guān)系圖等一些相關(guān)技術(shù)存放結(jié)構(gòu)化數(shù)據(jù)：海量數(shù)據(jù)查詢、統(tǒng)計(jì)、更新等操作效率低非結(jié)構(gòu)化數(shù)據(jù)圖片、視頻、word、pdf、ppt等文件存放不利于檢索、查詢和存放半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化存放按照非結(jié)構(gòu)化存放處理方案：Hadoop（MapReduce技術(shù)）流計(jì)算（twitterstorm和yahoo！S4）第31頁大數(shù)據(jù)與云計(jì)算云計(jì)算模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存放、訪問和計(jì)算。當(dāng)前云計(jì)算更偏重海量存放和計(jì)算，以及提供云服務(wù)，運(yùn)行云應(yīng)用，不過缺乏盤活數(shù)據(jù)資產(chǎn)能力，挖掘價(jià)值性信息和預(yù)測(cè)性分析，為國家、企業(yè)、個(gè)人提供決議和服務(wù)，是大數(shù)據(jù)關(guān)鍵議題，也是云計(jì)算最終方向。第32頁白云下面數(shù)據(jù)跑藍(lán)藍(lán)天上白云飄假如數(shù)據(jù)是財(cái)富，那么大數(shù)據(jù)就是寶藏，而云計(jì)算就是挖掘和利用寶藏利器！沒有強(qiáng)大計(jì)算能力，數(shù)據(jù)寶藏終究是鏡中花；沒有大數(shù)據(jù)積淀，云計(jì)算也只能是殺雞用宰牛刀！大數(shù)據(jù)與云計(jì)算第33頁從技術(shù)上看，大數(shù)據(jù)根植于云計(jì)算虛擬化技術(shù)軟硬件隔離，資源整合云計(jì)算平臺(tái)管理技術(shù)大規(guī)模系統(tǒng)運(yùn)行，快速故障檢測(cè)與恢復(fù)MapReduce編程模型分布式編程模型，用于并行處理大規(guī)模數(shù)據(jù)集軟件框架海量數(shù)據(jù)存放技術(shù)分布式存放方式存放數(shù)據(jù)，冗余存放方式確保系統(tǒng)可靠海量數(shù)據(jù)管理技術(shù)NoSQL數(shù)據(jù)庫，進(jìn)行海量數(shù)據(jù)管理方便后續(xù)分析挖掘大數(shù)據(jù)關(guān)鍵技術(shù)第34頁大數(shù)據(jù)技術(shù)與云計(jì)算有相同，也有差異

大數(shù)據(jù)云計(jì)算總體關(guān)系云計(jì)算為大數(shù)據(jù)提供了有力工具和路徑，大數(shù)據(jù)為云計(jì)算提供了很有價(jià)值用武之地相同點(diǎn)1.都是為數(shù)據(jù)存放和處理服務(wù)2.都需要占用大量存放和計(jì)算資源，因而都要用到海量數(shù)據(jù)存放技術(shù)、海量數(shù)據(jù)管理技術(shù)、MapReduce等并行處理技術(shù)差異點(diǎn)背景

現(xiàn)有數(shù)據(jù)處理技術(shù)不能勝任社交網(wǎng)絡(luò)和物聯(lián)網(wǎng)產(chǎn)生大量異構(gòu)數(shù)據(jù)，但這些數(shù)據(jù)存在很大價(jià)值

基于互聯(lián)網(wǎng)相關(guān)服務(wù)日益豐富和頻繁目標(biāo)充分挖掘海量數(shù)據(jù)中信息

經(jīng)過互聯(lián)網(wǎng)愈加好地調(diào)用、擴(kuò)展和管理及存放方面資源和能力對(duì)象數(shù)據(jù)

IT資源、能力和應(yīng)用推進(jìn)力量

從事數(shù)據(jù)存放與處理軟件廠商和擁有大量數(shù)據(jù)企業(yè)

生產(chǎn)計(jì)算及存放設(shè)備廠商、擁有計(jì)算及存放資源企業(yè)帶來價(jià)值發(fā)覺數(shù)據(jù)中價(jià)值

節(jié)約IT布署成本第35頁云計(jì)算，大數(shù)據(jù)？美國：美國政府在年3月29日宣告投資兩億美元拉動(dòng)大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展，將“大數(shù)據(jù)戰(zhàn)略”上升為國家意志。中國：中國商業(yè)聯(lián)合會(huì)：副會(huì)長(zhǎng)劉建滬介紹說，伴隨互聯(lián)網(wǎng)快速發(fā)展，中國電子商務(wù)企業(yè)紛紛組建了數(shù)據(jù)分析部門。10月，工信部確認(rèn)京滬深杭等5城市為“云計(jì)算中心”試點(diǎn)城市。而真正問題或許不在于怎樣建設(shè)“云計(jì)算中心”。國家信息中心常務(wù)副主任杜平直言不諱：“應(yīng)對(duì)大數(shù)據(jù)到來，需要不停建基礎(chǔ)設(shè)施，不過建了干什么，有些數(shù)據(jù)需要存放，也有很多數(shù)據(jù)可能不需要儲(chǔ)存?！贝髷?shù)據(jù)市場(chǎng)有多大？中央財(cái)經(jīng)大學(xué)中國經(jīng)濟(jì)管理研究院博士張永力說，國外大數(shù)據(jù)行業(yè)約有1000億美元市場(chǎng)，而且每年都以10%速度在增加，增速是軟件行業(yè)兩倍。第36頁行業(yè)拓展者，打造大數(shù)據(jù)行業(yè)基石：大數(shù)據(jù)應(yīng)用

——企業(yè)在投入IBM：IBM大數(shù)據(jù)提供服務(wù)包含數(shù)據(jù)分析，文本分析，藍(lán)色云杉（混搭供電合作網(wǎng)絡(luò)平臺(tái)）;業(yè)務(wù)事件處理；IBMMashupCenter計(jì)量，監(jiān)測(cè)，和商業(yè)化服務(wù)（MMMS）IBM大數(shù)據(jù)產(chǎn)品組合中最新系列產(chǎn)品InfoSpherebigInsights，基于ApacheHadoop。該產(chǎn)品組合包含：打包ApacheHadoop軟件和服務(wù)，代號(hào)是bigInsights關(guān)鍵，用于開始大數(shù)據(jù)分析軟件被稱為bigsheet，軟件目標(biāo)是幫助從大量數(shù)據(jù)中輕松、簡(jiǎn)單、直觀提取、批注相關(guān)信息為金融，風(fēng)險(xiǎn)管理，媒體和娛樂等行業(yè)量身定做行業(yè)處理方案微軟：1月與惠普（詳細(xì)而言是HP數(shù)據(jù)庫綜合應(yīng)用部門）合作目標(biāo)是開發(fā)了一系列能夠提升生產(chǎn)力和提升決議速度設(shè)備。 EMC：EMC斬獲了紐交所和Nasdaq；大數(shù)據(jù)處理方案已包含40多個(gè)產(chǎn)品。Oracle：Oracle大數(shù)據(jù)機(jī)與OracleExalogic中間件云服務(wù)器、OracleExadata數(shù)據(jù)庫云服務(wù)器以及OracleExalytics商務(wù)智能云服務(wù)器一起組成了甲骨文最廣泛、高度集成化系統(tǒng)產(chǎn)品組合。第37頁政府職能變革重視應(yīng)用大數(shù)據(jù)技術(shù)，盤活各地云計(jì)算中心資產(chǎn)：把原來大規(guī)模投資產(chǎn)業(yè)園、物聯(lián)網(wǎng)產(chǎn)業(yè)園從政績(jī)工程，改造成智慧工程；在安防領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提升應(yīng)急處置能力和安全防范能力；在民生領(lǐng)域，應(yīng)用大數(shù)據(jù)技術(shù)，提升服務(wù)能力和運(yùn)作效率，以及個(gè)性化服務(wù)，比如醫(yī)療、衛(wèi)生、教育等部門；處理在金融，電信領(lǐng)域等中數(shù)據(jù)分析問題：一直得到得極大重視，但受困于存放能力和計(jì)算能力限制，只局限在交易數(shù)型數(shù)據(jù)統(tǒng)計(jì)分析；政府投入將形成示范效應(yīng)，大大推進(jìn)大數(shù)據(jù)發(fā)展。大數(shù)據(jù)應(yīng)用

——政府第38頁大數(shù)據(jù)應(yīng)用

——熱點(diǎn)：智慧城市美國奧巴馬政府在白宮網(wǎng)站公布《大數(shù)據(jù)研究和發(fā)展倡議》，提出“經(jīng)過搜集、處理龐大而復(fù)雜數(shù)據(jù)信息，從中取得知識(shí)和洞見，提升能力，加緊科學(xué)、工程領(lǐng)域創(chuàng)新步伐，強(qiáng)化美國國土安全，轉(zhuǎn)變教育和學(xué)習(xí)模式”；中國工程院院士鄔賀銓說道，“智慧城市是使用智能計(jì)算技術(shù)使得城市關(guān)鍵基礎(chǔ)設(shè)施組成和服務(wù)更智能、互聯(lián)和有效，伴隨智慧城市建設(shè)，社會(huì)將步入“大數(shù)據(jù)”時(shí)代?！彪y點(diǎn)：1、在最初就合理規(guī)劃智慧城市（深度思索哪些領(lǐng)域能夠利用）；2、在城市發(fā)展基礎(chǔ)設(shè)施和“云產(chǎn)業(yè)”同時(shí)，更多重視“數(shù)據(jù)”價(jià)值；3、在大數(shù)據(jù)處理領(lǐng)域關(guān)鍵技術(shù)不足，需要政府更大投入。第39頁大數(shù)據(jù)應(yīng)用

——未來，改變一切數(shù)據(jù)再利用：因?yàn)樵谛畔r(jià)值鏈中特殊位置，有些企業(yè)可能會(huì)搜集到大量數(shù)據(jù)，但他們并不急需使用也不擅長(zhǎng)再次利用這些數(shù)據(jù)。比如，移動(dòng)電話運(yùn)行商手機(jī)用戶位置信息來傳輸電話信號(hào)，這對(duì)以他們來說，數(shù)據(jù)只有狹窄技術(shù)用途。但當(dāng)它被一些公布個(gè)性化位置廣告服務(wù)和促銷活動(dòng)企業(yè)再次利用時(shí)，則變得更有價(jià)值。大數(shù)據(jù)價(jià)值鏈3