大數(shù)據(jù)時(shí)代的新思維主講：桂云苗“大數(shù)據(jù)的應(yīng)用”學(xué)習(xí)路線圖深入認(rèn)知初識大數(shù)據(jù)算法與理論大數(shù)據(jù)系統(tǒng)與實(shí)踐NoSQLHadoop大數(shù)據(jù)帶來的思維變化大數(shù)據(jù)帶來的價(jià)值鏈大數(shù)據(jù)發(fā)展現(xiàn)狀與未來大數(shù)據(jù)vs人類什么是大數(shù)據(jù)大數(shù)據(jù)的特性大數(shù)據(jù)與傳統(tǒng)技術(shù)的關(guān)系大數(shù)據(jù)與其他新興技術(shù)的關(guān)系參考資料推薦BIGDATA

大數(shù)據(jù)概念認(rèn)知與特征

前瞻來看，隨著互聯(lián)網(wǎng)對網(wǎng)民的理解，網(wǎng)民對網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)將變得越來越智能。它在滿足你需求的同時(shí)，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應(yīng)用都是在線的。用戶在免費(fèi)使用這些產(chǎn)品的同時(shí)，把個(gè)人的行為、喜好等信息也免費(fèi)的送給了Google。因此Google的產(chǎn)品線越豐富，他對用戶的理解就越深入，他的廣告就越精準(zhǔn)。廣告的價(jià)值就越高。這是正向的循環(huán)，谷歌好用的、免費(fèi)得軟件產(chǎn)品，換取對用戶的理解；通過精準(zhǔn)的廣告，找到生財(cái)之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網(wǎng)的巨擘?；ヂ?lián)網(wǎng)越來越智能Google精確掌握用戶行為、獲取需求微博為新浪帶來巨大價(jià)值馬云的判斷來自于數(shù)據(jù)分析“2008年初,阿里巴巴平臺上整個(gè)買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關(guān)是賣了貨,出去以后再獲得數(shù)據(jù);而我們提前半年時(shí)間從詢盤上推斷出世界貿(mào)易發(fā)生變化了?！瘪R云對未來的預(yù)測，是建立在對用戶行文分析的基礎(chǔ)上。通常而言，買家在采購商品前，會比較多家供應(yīng)商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計(jì)數(shù)據(jù)中，就是查詢點(diǎn)擊的數(shù)量和購買點(diǎn)擊的數(shù)量會保持一個(gè)相對的數(shù)值，綜合各個(gè)維度的數(shù)據(jù)可建立用戶行為模型。因?yàn)閿?shù)據(jù)樣本巨大，保證用戶行為模型的準(zhǔn)確性。因此在這個(gè)案例中，詢盤數(shù)據(jù)的下降，自然導(dǎo)致買盤的下降。騰訊在天津投資建立亞洲最大的數(shù)據(jù)中心；百度也在投資建立大數(shù)據(jù)處理中心；新浪推出企業(yè)微博產(chǎn)品，提供精準(zhǔn)的數(shù)據(jù)分析服務(wù)。Gartner2011年技術(shù)成熟曲線,大數(shù)據(jù)處于高速發(fā)展期技術(shù)演進(jìn)歷史揭示未來是大數(shù)據(jù)驅(qū)動的智慧經(jīng)濟(jì)模式什么受才是魔大數(shù)峰據(jù)?指數(shù)正型增謙長的設(shè)海量斬?cái)?shù)據(jù)海量悄數(shù)據(jù)材就是蒙大數(shù)磚據(jù)？大數(shù)犧據(jù)就葡是云擔(dān)計(jì)算產(chǎn)？6/分25鍛/2幸02腥3大數(shù)驗(yàn)據(jù)技茂術(shù)挑厘戰(zhàn)6/串25緣瑞/2艷02摸3大數(shù)諸據(jù)技負(fù)術(shù)挑煉戰(zhàn)大數(shù)置據(jù)與注傳統(tǒng)宴數(shù)據(jù)芽庫的峽區(qū)別大數(shù)丙據(jù)是造在傳彈統(tǒng)數(shù)拋據(jù)庫肉學(xué)科絲式的分傻支——數(shù)據(jù)隱倉庫意與數(shù)卵據(jù)挖澤掘的捆基礎(chǔ)襪上進(jìn)配一步氧發(fā)展道起來氧的。帳但有價(jià)兩點(diǎn)擴(kuò)比較許主要狡的不議同：結(jié)構(gòu)堡化程孝度傳統(tǒng)鞭數(shù)據(jù)平庫保振存的輔是結(jié)炭構(gòu)化聲或者陷半結(jié)鑼構(gòu)化應(yīng)的數(shù)冒據(jù)，膨以二補(bǔ)維表脫或者墻標(biāo)準(zhǔn)XM朗L文件堅(jiān)的方加式存恨儲數(shù)淋據(jù)，汽由于奔結(jié)構(gòu)某清晰遙，處濕理相部對容蝴易；大數(shù)考據(jù)面共向的播是一奧切計(jì)妙算機(jī)階可以盒存儲散的數(shù)破據(jù)格附式，漲包括套互聯(lián)行網(wǎng)上豈的各鎮(zhèn)種網(wǎng)理頁、商圖片環(huán)、音僻頻、落視頻決，包迫括辦位公文洽檔、覆報(bào)表毛，包和括人雹們在貧搜索礙引擎貧中輸婦入的缸關(guān)鍵布詞、慌在社獎交網(wǎng)革絡(luò)中伶的留公言、孔喜好置，也象包括沖各種始傳感鄉(xiāng)豐器自潤動收纏集的開監(jiān)控摘結(jié)果扭等等旋，顯懼然不脖同的珠格式忽處理淋起來楚更加怪困難就。異常鐘數(shù)據(jù)預(yù)的處愚理傳統(tǒng)伯?dāng)?shù)據(jù)清庫通險(xiǎn)常把躬異常列數(shù)據(jù)漫先剔資除，惜應(yīng)用過在需漢要高鼓精確抖度的挽領(lǐng)域侄，如沾銀行種對每桑個(gè)賬暑戶的抄管理嚷；大數(shù)吊據(jù)則短允許依異常涂數(shù)據(jù)肉存在盆，更覽多應(yīng)釀用在婚預(yù)測磁方面軍，找村出大筐量數(shù)嫁據(jù)中做隱藏斤的關(guān)芝聯(lián)關(guān)只系，呈少量榮異常旋數(shù)據(jù)就不會胖對總廊體結(jié)禮果產(chǎn)先生影搶響。大數(shù)楚據(jù)的4V特性體量Volume多樣性Variety價(jià)值密度Value速度Velocity非結(jié)構(gòu)化數(shù)據(jù)的超大規(guī)模和增長總數(shù)據(jù)量的80~90%比結(jié)構(gòu)化數(shù)據(jù)增長快10倍到50倍是傳統(tǒng)數(shù)據(jù)倉庫的10倍到50倍大數(shù)據(jù)的異構(gòu)和多樣性很多不同形式（文本、圖像、視頻、機(jī)器數(shù)據(jù)）無模式或者模式不明顯不連貫的語法或句義大量的不相關(guān)信息對未來趨勢與模式的可預(yù)測分析深度復(fù)雜分析（機(jī)器學(xué)習(xí)、人工智能Vs傳統(tǒng)商務(wù)智能(咨詢、報(bào)告等）實(shí)時(shí)分析而非批量式分析數(shù)據(jù)輸入、處理與丟棄立竿見影而非事后見效Va權(quán)l(xiāng)u捐e價(jià)值挖掘鋪大數(shù)碧據(jù)的積價(jià)值符類似僚沙里斜淘金,從海傅量數(shù)環(huán)據(jù)中類挖掘訓(xùn)稀疏睡但珍蹄貴的賢信息.價(jià)值雞密度多低,是大晚數(shù)據(jù)傷的一尤個(gè)典漠型特戚征.Va薪ri刷et之y多樣永性企業(yè)幼內(nèi)部派的經(jīng)秀營交盟易信腔息;物聯(lián)喊網(wǎng)世采界中億商品,物流屑信息;互聯(lián)中網(wǎng)世走界中蜂人與棚人交瞎互信局息,位置擋信息隆等是灶大數(shù)盡據(jù)的心主要鑼來源.能夠竄在不睡同的侵?jǐn)?shù)據(jù)嚴(yán)類型搜中,進(jìn)行鉗交叉庸分析祖的技券術(shù),是大展數(shù)據(jù)原的核黑心技但術(shù)之療一.語義的分析掉技術(shù),圖文術(shù)轉(zhuǎn)換仇技術(shù),模式必識別介技術(shù),地理鳴信息機(jī)技術(shù)狗等,都會應(yīng)在大攜數(shù)據(jù)尺分析砍時(shí)獲絲式得應(yīng)尤用.Ve膨lo帖ci項(xiàng)ty速度1s是臨樸界點(diǎn).對于勝大數(shù)圖據(jù)應(yīng)次用而繼言,必須代要在1秒鐘懼內(nèi)形警成答虜案,否則痛處理廳結(jié)果孤就是慕過時(shí)浸和無脆效的.實(shí)時(shí)膠處理照的要彼求,是區(qū)撇別大死數(shù)據(jù)石引用剖和傳頭統(tǒng)數(shù)銅據(jù)倉絲式庫技偶術(shù),B語I技術(shù)辱的關(guān)捎鍵差檔別之樣一.Vo需lu栽me數(shù)據(jù)蠻量PB是大鬧數(shù)據(jù)油層次拍的臨戀界點(diǎn).KB->MB->GB->TB->PB->EB->ZB->YB->NB->DB對大驢數(shù)據(jù)疲的進(jìn)多一步賠理解大數(shù)沖據(jù)比光云計(jì)薄算更旨為落多地商業(yè)遷模式步驅(qū)動應(yīng)用漲需求綁驅(qū)動云計(jì)算本身也是大數(shù)據(jù)的一種業(yè)務(wù)模式大數(shù)歡據(jù)不隨僅僅騰是“膏大”多大垂？PB級比大更重挨要的倆是數(shù)據(jù)禽的復(fù)膜雜性，有聯(lián)時(shí)甚郵至大濤數(shù)據(jù)猜中的練小數(shù)味據(jù)如片一條輝微博代就具利有顛擠覆性逗的價(jià)勝值軟件睛是大命數(shù)據(jù)隔的引功擎和數(shù)思據(jù)中聰心（Da融ta末C恐en我te睡r）一樣肅，軟甩件是犬大數(shù)飄據(jù)的閘驅(qū)動查力.軟件欣改變欲世界!大數(shù)啄據(jù)生曲態(tài):軟件虹是引羞擎大數(shù)肌據(jù)的泡應(yīng)用偉不僅柄僅是油精準(zhǔn)摔營銷通過扣用戶苗行為朋分析塑實(shí)現(xiàn)腳精準(zhǔn)暫營銷蚊是大性數(shù)據(jù)庫的典辨型應(yīng)量用，驅(qū)但是夫大數(shù)憐據(jù)在懲各行深各業(yè)析特別慢是公碧共服贏務(wù)領(lǐng)旋域具吊有廣版闊的纖應(yīng)用約前景消費(fèi)甜行業(yè)金融磨服務(wù)食品閱安全醫(yī)療榆衛(wèi)生軍事交通勸環(huán)保電子沃商務(wù)氣象管理益大數(shù)陽據(jù)“堅(jiān)易”,理解姑大數(shù)輔據(jù)“等難”目前禿大數(shù)折據(jù)管扭理多強(qiáng)從架儀構(gòu)和肢并行零等方線面考終慮，付解決葉高并消發(fā)數(shù)浩據(jù)存毛取的朗性能鍛要求順及數(shù)臘據(jù)存甘儲的輔橫向駐擴(kuò)展煌，但佳對非兄結(jié)構(gòu)枕化數(shù)重?fù)?jù)的遮內(nèi)容賄理解捧仍缺去乏實(shí)程質(zhì)性快的突沾破和岔進(jìn)展間，這位是實(shí)線現(xiàn)大僵數(shù)據(jù)桑資源匪化、勇知識角化、爸普適就化的戚核心.非結(jié)斧構(gòu)化替海量養(yǎng)信息倆的智淋能化案處理惰：自妙然語密言理饞解、年多媒棍體內(nèi)撇容理趟解、柴機(jī)器奪學(xué)習(xí)順等.大數(shù)錄據(jù)為話什么怖重要捧？更高使一層貍數(shù)據(jù)怖層面迷整合烈企業(yè)亭內(nèi)外爽部更高餓數(shù)據(jù)郵層面拔整合大數(shù)裝據(jù)組滔成和鏟展現(xiàn)斜方式蠶？6/葛25序/2畝02昂3大數(shù)齒據(jù)平碗臺技看術(shù)基于SQ扁L語言:面對OL扎AP的傳輔統(tǒng)行芝和列不基哪于SQ材L或ma積p-眼re努du撒ce的:由谷揭歌率協(xié)先發(fā)灣起數(shù)據(jù)旅流:基于謝運(yùn)行跨商數(shù)勒據(jù)直貓接生管成任都意圖稼形新平臺技術(shù)數(shù)據(jù)李入口/匯聚數(shù)據(jù)暑平臺分析不同范圍的服務(wù)傳統(tǒng)受交付破模式-單片掛或基稍于設(shè)發(fā)備的曲解決討方案云:能夠阻充分井利用演物理皮設(shè)施挺的彈相性，管以實(shí)裙現(xiàn)處來理快喜速增惕長數(shù)宜據(jù)的僻能力“數(shù)據(jù)庫將演變成一個(gè)虛擬的，基于云計(jì)算，超級可擴(kuò)展的分布式平臺?！?Forrestera