大數(shù)據(jù)時(shí)代的大數(shù)據(jù)思維

2021/5/91不講大數(shù)據(jù)就“OUT”了如何理解大數(shù)據(jù)技術(shù)：大云平移產(chǎn)業(yè)：商業(yè)革命資產(chǎn)：數(shù)據(jù)資產(chǎn)思維：管理革命和思維革命大數(shù)據(jù)時(shí)代：改變我們的生活、工作和思維方式Gartner公司（3V+1）：大數(shù)據(jù)是指數(shù)量大、變化快和（或）多樣化的信息資產(chǎn)，需要新的處理形式，從而強(qiáng)化決策、促進(jìn)洞察力和優(yōu)化流程2021/5/92數(shù)據(jù)量（Volume）全量超大規(guī)模（海量）K、MB（兆）、G、T、P、E、Z、Y、N、D、C大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）不僅是規(guī)模，更重要的是增長(zhǎng)速度到2012年，人類生產(chǎn)的所有印刷材料數(shù)據(jù)量是200PB，全人類歷史上說(shuō)過(guò)的所有話的數(shù)據(jù)量大約是5EB整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有90%是過(guò)去兩年內(nèi)產(chǎn)生的到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍2021/5/93速度（Velocity）：實(shí)時(shí)變化（輸入和處理速度快）對(duì)處理時(shí)間的要求種類（Variety)）：多樣化（多源異構(gòu)）結(jié)構(gòu)化非結(jié)構(gòu)化：文本、圖象等價(jià)值（Value）:價(jià)值密度低大海撈針？數(shù)據(jù)本身不產(chǎn)生價(jià)值，如何分析和利用大數(shù)據(jù)對(duì)業(yè)務(wù)產(chǎn)生幫助才是關(guān)鍵例：Facebook上市前有形資產(chǎn)價(jià)值66億美元，但估值1040億美元2009年-2011年間收集了2.1萬(wàn)億條獲利信息2021/5/94大有大的道理戴明：除了上帝，任何人都必須用數(shù)據(jù)來(lái)說(shuō)話對(duì)大部分事物來(lái)說(shuō)，平均值都差強(qiáng)人意但在決策中，大量個(gè)體的平均值往往是最好的猜猜瓶子里有多少錢？猜得最準(zhǔn)的個(gè)人距離正確答案10美元所有猜測(cè)的平均值距離正確答案3美元365美元2021/5/95數(shù)據(jù)、模型和理論的關(guān)系2021/5/96光大是不夠的數(shù)據(jù)并不是越多越好對(duì)數(shù)據(jù)分析能力的挑戰(zhàn)：由人來(lái)解讀轉(zhuǎn)化為洞察見(jiàn)解科斯：如果你總是拷問(wèn)數(shù)據(jù)，數(shù)據(jù)遲早會(huì)招供的有一位美國(guó)數(shù)學(xué)家最怕坐飛機(jī)他研究了近20年的統(tǒng)計(jì)數(shù)據(jù)，發(fā)現(xiàn)恐怖分子帶炸彈上飛機(jī)的概率非常低但他還是不放心，又做進(jìn)一步研究，發(fā)現(xiàn)兩個(gè)人同時(shí)帶炸彈上飛機(jī)的概率為零于是他坐飛機(jī)都自己攜帶一枚炸彈水生動(dòng)物不要羨慕陸生動(dòng)物的四個(gè)蹄子，它真正需要的是生出一個(gè)肺，而不是用腮呼吸2021/5/97林彪的大數(shù)據(jù)思維遼沈戰(zhàn)役期間，林彪要求每天要進(jìn)行“軍情匯報(bào)”由值班參謀讀出各單位用電臺(tái)報(bào)告的當(dāng)日戰(zhàn)況和繳獲幾乎是重復(fù)著千篇一律枯燥無(wú)味的數(shù)據(jù)一天，參謀匯報(bào)當(dāng)日戰(zhàn)況時(shí)，林彪突然打斷他：“剛才念的在胡家窩棚那個(gè)戰(zhàn)斗的繳獲，你們聽(tīng)到了嗎?”見(jiàn)無(wú)人回答，接連問(wèn)了三句為什么那里繳獲的短槍與長(zhǎng)槍比例比其它戰(zhàn)斗略高為什么那里繳獲和擊毀的小車與大車的比例比其它戰(zhàn)斗略高?為什么在那里俘虜和擊斃軍官與士兵的比例比其它戰(zhàn)斗略高?“我猜想，不，我斷定!敵人的指揮所就在這里!果然，部隊(duì)很快就抓住了敵方指揮官廖耀湘2021/5/98大數(shù)據(jù)內(nèi)涵的三維度解析技術(shù)實(shí)踐理論數(shù)據(jù)信息采集、傳輸、存貯、處理和分析能力——云技術(shù)、分布式處理技術(shù)、存貯技術(shù)、感知技術(shù)——分析技術(shù)：可視化分析、數(shù)據(jù)挖掘算法、語(yǔ)義搜索引擎、數(shù)據(jù)質(zhì)量與數(shù)據(jù)管理、預(yù)測(cè)性分析大數(shù)據(jù)特征大數(shù)據(jù)價(jià)值大數(shù)據(jù)思維公共（互聯(lián)網(wǎng)）數(shù)據(jù)政務(wù)數(shù)據(jù)產(chǎn)業(yè)（企業(yè)）數(shù)據(jù)個(gè)人（用戶）數(shù)據(jù)（i-data)2021/5/99大數(shù)據(jù)的本質(zhì)用母體代替抽樣統(tǒng)計(jì)抽樣的局限性用數(shù)量代替精確擁抱混雜性：容錯(cuò)性更強(qiáng)用相關(guān)性代替因果性知道是什么比知道為什么更重要演繹與歸納的區(qū)別演繹：通過(guò)一般規(guī)律推導(dǎo)出具體事實(shí)（從因到果）歸納：從具體事實(shí)中總結(jié)出一般規(guī)律2021/5/910大數(shù)據(jù)的啟示：決策分析觀念的轉(zhuǎn)變傳統(tǒng)抽樣數(shù)據(jù)、局部數(shù)據(jù)和片面數(shù)據(jù)經(jīng)驗(yàn)、假設(shè)和價(jià)值觀未來(lái)要全體不要抽樣要效率不要絕對(duì)精確要相關(guān)不要因果分析過(guò)去，提醒現(xiàn)在，展望未來(lái)2021/5/911GaryLoveman博士的經(jīng)歷1989年在MIT獲經(jīng)濟(jì)學(xué)博士學(xué)位后在哈佛商學(xué)院任教專長(zhǎng)是數(shù)據(jù)挖掘和服務(wù)管理：客戶心理分析數(shù)學(xué)只是象牙塔里學(xué)究們出于個(gè)人興趣的消遣，而對(duì)真實(shí)世界的決策沒(méi)有幫助，這讓他一度感到沮喪1994年在HBR發(fā)表一篇文章引起企業(yè)關(guān)注1997年接受主營(yíng)賭場(chǎng)業(yè)務(wù)的哈拉斯娛樂(lè)公司（Harrah’sEntertainment）邀請(qǐng)，擔(dān)任該公司COO他只準(zhǔn)備待兩年，為此請(qǐng)了兩年學(xué)術(shù)假期再?zèng)]有返回哈佛大學(xué)，2003年接任該公司CEO關(guān)鍵：使用數(shù)學(xué)運(yùn)營(yíng)賭場(chǎng)2021/5/912哈拉斯娛樂(lè)公司的特色每年在信息系統(tǒng)上的投資超過(guò)1億美元推行了一套名為“完全回饋”（TotalReward）的會(huì)員卡制度，所有消費(fèi)都用卡到2010年，已積累超過(guò)4000萬(wàn)會(huì)員的信息，是博彩業(yè)最大的客戶數(shù)據(jù)庫(kù)公司從地方性企業(yè)成長(zhǎng)為全球最大的博彩公司（擁有39家本土賭場(chǎng)、13家海外賭場(chǎng)）

2010年改名為凱撒娛樂(lè)公司(CaesarsEntertainment）

2021/5/913利用大數(shù)據(jù)提供優(yōu)質(zhì)服務(wù)通過(guò)對(duì)顧客消費(fèi)模式的分析，計(jì)算出顧客的長(zhǎng)期價(jià)值（customerworth）一個(gè)顧客理論上長(zhǎng)期會(huì)在Harrah’s總共消費(fèi)多少26%的客戶貢獻(xiàn)了82%的收入：前者并不是大多數(shù)賭場(chǎng)一直在爭(zhēng)取的金領(lǐng)豪客，而是中產(chǎn)階級(jí)的中老年顧客（教師、醫(yī)生、銀行職員等）系統(tǒng)能根據(jù)顧客背景資料及歷史消費(fèi)模式計(jì)算出顧客的痛苦點(diǎn)（painpoint）如果他輸錢超過(guò)痛苦點(diǎn)，今晚的賭博會(huì)成為一個(gè)痛苦的回憶，離開(kāi)Harrah’s后一去不返實(shí)時(shí)做出對(duì)策：提供免費(fèi)餐券勸退2021/5/914投資決策電影《永無(wú)止境》的故事一位落魄的作家?guī)扃攴昧艘环N可以迅速提升智力的神奇藍(lán)色藥物，然后他將這種高智商用于炒股在短時(shí)間掌握無(wú)數(shù)公司資料和背景：將世界上已經(jīng)存在的海量數(shù)據(jù)（包括公司財(cái)報(bào)、電視、互聯(lián)網(wǎng)、小道消息等）挖掘出來(lái)甚至將FaceBook、Twitter的海量社交數(shù)據(jù)挖掘得到普通大眾對(duì)某種股票的感情傾向通過(guò)海量信息的挖掘、分析，使一切內(nèi)幕都不是內(nèi)幕，使一切趨勢(shì)都在眼前在10天內(nèi)贏得了200萬(wàn)美元，神奇的表現(xiàn)讓身邊的職業(yè)投資者目瞪口呆啟示：如果人類將剩余80％的大腦潛能激發(fā)出來(lái)2021/5/915大數(shù)據(jù)實(shí)踐廣泛應(yīng)用數(shù)據(jù)、使用統(tǒng)計(jì)與量化分析方法、使用描述性與預(yù)測(cè)性模型以及基于事實(shí)的管理方法影響決策和行動(dòng)核心：用大數(shù)據(jù)思維去發(fā)掘大數(shù)據(jù)的潛在價(jià)值2021/5/916以基于大數(shù)據(jù)的預(yù)測(cè)分析為例消費(fèi)行為：營(yíng)銷人的社交活動(dòng)：戀愛(ài)、離婚、生育人的思考與決策：競(jìng)選、論文評(píng)分、情緒人的放棄：惠普對(duì)30多萬(wàn)員工的離職風(fēng)險(xiǎn)評(píng)估事故：保險(xiǎn)、破產(chǎn)疾病和死亡撒謊、欺詐、犯罪西格爾，《大數(shù)據(jù)預(yù)測(cè)》，中信出版社，2014年4月大數(shù)據(jù)預(yù)測(cè)的147項(xiàng)案例2021/5/917Google流感預(yù)測(cè)：國(guó)家、地區(qū)是分析過(guò)去，提醒現(xiàn)在，展望未來(lái)。2021/5/918百度預(yù)測(cè)景點(diǎn)預(yù)測(cè)疾病預(yù)測(cè)城市預(yù)測(cè)房地產(chǎn)預(yù)測(cè)票房預(yù)測(cè)就業(yè)預(yù)測(cè)金融預(yù)測(cè)世界杯預(yù)測(cè)高考預(yù)測(cè)2021/5/919百度大數(shù)據(jù)產(chǎn)品百度司南：一站式營(yíng)銷決策平臺(tái)人群分析品牌分析媒體分析輿情分析百度統(tǒng)計(jì)百度精算百度推薦百度筷搜？2021/5/920大數(shù)據(jù)：價(jià)值潛力與捕捉難度2021/5/921大數(shù)據(jù)對(duì)企業(yè)的革命性影響有能力從以自我為中心改變?yōu)橐钥蛻魹橹行膹漠a(chǎn)品創(chuàng)新到需求創(chuàng)新：強(qiáng)需求勝過(guò)好產(chǎn)品導(dǎo)致管理方式的重構(gòu)業(yè)務(wù)本身就可以自決策，不必要依靠膨大的組織和復(fù)雜的流程改變了商業(yè)邏輯從觀察、思考、推理、決策到直接獲得答案決策文化變革：讓數(shù)據(jù)做主從全新視角來(lái)發(fā)現(xiàn)新的商業(yè)機(jī)會(huì)和重構(gòu)新的商業(yè)模式廣角鏡+顯微鏡2021/5/922農(nóng)夫山泉用大數(shù)據(jù)賣礦泉水“大自然搬運(yùn)工”，在全國(guó)有十多個(gè)水源地“搬上搬下，銀子嘩嘩”：一瓶超市售價(jià)2元的550ml飲用水，其中3毛錢花在了運(yùn)輸上如何根據(jù)不同的變量因素來(lái)控制物流成本道路等級(jí)、天氣、配送中心輻射半徑、季節(jié)性變化、不同市場(chǎng)的售價(jià)、不同渠道的費(fèi)用、各地的人力成本、甚至突發(fā)性的需求業(yè)務(wù)員每天例行公事：到銷售點(diǎn)拍攝10張照片：水怎么擺放、位置有什么變化、高度如何……一天要跑15個(gè)，下班之前150張照片傳回總部，產(chǎn)生的數(shù)據(jù)量在10M全公司1萬(wàn)個(gè)業(yè)務(wù)員，每天100G，每月3TB2021/5/923基因測(cè)序與個(gè)性化醫(yī)療的實(shí)現(xiàn)一種新型基因檢測(cè)技術(shù)，能夠從血液或唾液中分析測(cè)定基因全序列意義：預(yù)知未來(lái)健康狀況，有針對(duì)性地進(jìn)行保健和治療，幫助人們從被動(dòng)預(yù)防治療走向主動(dòng)預(yù)知健康喬布斯和影星安吉麗娜·朱莉市場(chǎng)比保健市場(chǎng)更為龐大，未來(lái)將達(dá)到幾百萬(wàn)億美元問(wèn)題：消耗時(shí)間、代價(jià)昂貴一個(gè)腫瘤患者的基因組容量是2-3T借助于大數(shù)據(jù)，基因測(cè)序的成本已經(jīng)從幾十萬(wàn)美元逼近1000美元大關(guān)2021/5/924大數(shù)據(jù)實(shí)踐為企業(yè)創(chuàng)造價(jià)值的可能途徑客戶群體細(xì)分，量身定制特別服務(wù)發(fā)現(xiàn)隱藏線索，進(jìn)行產(chǎn)品和服務(wù)創(chuàng)新模擬現(xiàn)實(shí)環(huán)境，發(fā)掘新的需求加強(qiáng)部門聯(lián)系，提高管理和產(chǎn)業(yè)鏈條效率2021/5/925例1：提供個(gè)性化定制性服務(wù)美國(guó)明尼阿波利斯市郊外的一位父親收到了美國(guó)第二大零售商Target寄來(lái)的有關(guān)養(yǎng)育嬰兒的優(yōu)惠券收件人是他那還讀高中的女兒這位父親起初勃然大怒，準(zhǔn)備同該商家理論但后來(lái)發(fā)現(xiàn)女兒確實(shí)不小心懷了孕根據(jù)25種典型消費(fèi)品的消費(fèi)大數(shù)據(jù)構(gòu)建了“懷孕預(yù)測(cè)指數(shù)”商家正是根據(jù)這位少女在該店的購(gòu)物記錄，通過(guò)該指數(shù)，準(zhǔn)確無(wú)誤地預(yù)測(cè)到了她的預(yù)產(chǎn)期于是立即啟動(dòng)了個(gè)性化服務(wù)2021/5/926例2：把握居民電力消費(fèi)行為特征人類對(duì)自身能源消耗的細(xì)節(jié)并不了解在這些細(xì)節(jié)中暗藏了大量無(wú)效率的能源浪費(fèi)不同的消費(fèi)形態(tài)造成不同的發(fā)電成本不同發(fā)電成本負(fù)擔(dān)的消費(fèi)者支付了相同價(jià)格，從而造成巨大的無(wú)效率現(xiàn)有定價(jià)機(jī)制無(wú)法根據(jù)消費(fèi)形態(tài)不同區(qū)分不同價(jià)格通常假設(shè)居民電力消費(fèi)行為具有“雙峰”特點(diǎn)由智能電表得到的大數(shù)據(jù)分析不支持：每隔15分鐘測(cè)量雖然總體呈現(xiàn)此模式，但個(gè)體模式各異（只有10%）通過(guò)大數(shù)據(jù)技術(shù)設(shè)計(jì)高效節(jié)能電力消費(fèi)模式2021/5/927例3再現(xiàn)現(xiàn)場(chǎng)環(huán)境發(fā)現(xiàn)新的需求PRADA在紐約的旗艦店中每件衣服上都有RFID碼每當(dāng)一個(gè)顧客拿起一件PRADA進(jìn)試衣間，RFID會(huì)被自動(dòng)識(shí)別，數(shù)據(jù)會(huì)傳至PRADA總部每一件衣服在哪個(gè)城市哪個(gè)旗艦店什么時(shí)間被拿進(jìn)試衣間停留多長(zhǎng)時(shí)間，數(shù)據(jù)都被存儲(chǔ)起來(lái)加以分析如果有一件衣服銷量很低，以往的作法是直接干掉如果RFID傳回的數(shù)據(jù)顯示這件衣服雖然銷量低，但進(jìn)試衣間的次數(shù)多某個(gè)