大數(shù)據(jù)時代及數(shù)據(jù)挖掘的應(yīng)用aFocus大數(shù)據(jù)：

創(chuàng)新、競爭和生產(chǎn)力的下一個新領(lǐng)域！大數(shù)據(jù)來了！隨著信息時代的到來，手機、電子郵箱、互聯(lián)網(wǎng)搜索……所有這些都可以用數(shù)據(jù)的形式表現(xiàn)并記錄下來。然而，在這一片看似雜亂無章又毫無規(guī)律的數(shù)據(jù)面前，很多人沒有意識到其背后所蘊藏著的巨大價值。紛繁復(fù)雜的數(shù)據(jù)，就像一個巨大的礦脈，時時刻刻引誘著對信息極為敏感的人們。他們依托電腦為工具，進行著數(shù)據(jù)挖掘的工作，希望在其中找到真正的“金礦”！大數(shù)據(jù)在哪？大數(shù)據(jù)是……？無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)的4V特性1.Volume2.

Variety3.value4.Velocity結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)沙里淘金，價值密度低實時獲取需要的信息數(shù)據(jù)量巨大體量多樣性價值密度速度

大數(shù)據(jù)有多大？√全球每秒鐘發(fā)送2.9百萬封電子郵件，一分鐘讀一篇的話，足夠一個人晝夜不息的讀5.5年…√每天會有

2.88萬個小時的視頻上傳到Y(jié)outube，足夠一個人晝夜不息的觀看3.3年…√推特上每天發(fā)布5千萬條消息，10秒鐘瀏覽一條信息，足夠一個人晝夜不息的瀏覽16年…√每天亞馬遜上將產(chǎn)生6.3百萬筆訂單…√每個月網(wǎng)民在Facebook上要花費7千億分鐘，

被移動互聯(lián)網(wǎng)使用者發(fā)送和接收的數(shù)據(jù)高達1.3EB…√Google上每天需要處理24PB的數(shù)據(jù)…數(shù)據(jù)的價值到底在哪里？讓我們從案例說起——

喜歡看足球的人們可能還記得，06年世界杯上一場激烈的德國對壘阿根廷的點球大戰(zhàn)，最終以德國守門員萊曼神勇?lián)涑鰧Ψ蕉鄠€點球而取勝。有如神助？

不如說是：有如數(shù)據(jù)之助！先從身邊的案例看起：克魯斯，原地不動，球門右下角。阿亞拉，低平球，左下角。馬克西，右側(cè)死角?？脖葋喫?，等待，原地不動，左下角。10德國成功的關(guān)鍵，就在賽前守門員教練科普克塞給了萊曼一張便筏：這便是教練擁有的一個非常詳盡的私人數(shù)據(jù)庫，收集了13000個點球錄像，進行了詳細(xì)的分析，通過記錄和分析去了解阿根廷球員的習(xí)慣，最后濃縮成了這張紙條。數(shù)據(jù)，帶來的是實打?qū)嵉男Ч?1

掘金大數(shù)據(jù)時代一小伙應(yīng)聘上海（均價4萬高檔小區(qū)）的物業(yè)管理，自己配了掃描槍，每天盯著小區(qū)垃圾堆，看見有條形碼就掃描，晚上回家把數(shù)據(jù)整理出來，得出這小區(qū)的人喜歡喝什么水、吃什么油、買什么衣服，他對整個小區(qū)的消費品類偏好和品牌偏好一清二楚，最終，形成報告賣給大公司，報告價值數(shù)十萬。數(shù)據(jù)，帶來的是白花花的銀子！馬云的判斷來自于數(shù)據(jù)分析馬云對未來的預(yù)測，是建立在對用戶行為分析的基礎(chǔ)上。通常而言，買家在采購商品前，會比較多家供應(yīng)商的產(chǎn)品。這些，反應(yīng)到阿里巴巴網(wǎng)站的統(tǒng)計數(shù)據(jù)中，就是——查詢點擊的數(shù)量和購買點擊的數(shù)量會保持一個相對的數(shù)值，綜合各個維度的數(shù)據(jù)可建立用戶行為模型。因為數(shù)據(jù)樣本巨大，所以保證了用戶行為模型的準(zhǔn)確性。數(shù)據(jù)，帶來的是前瞻性的眼光！大數(shù)據(jù)，大未來以上的案例向我們解釋了，要在浩如煙海的數(shù)據(jù)中找到它的價值所在，首要進行的便是數(shù)據(jù)挖掘的工作。

數(shù)據(jù)挖掘數(shù)據(jù)挖掘：

大數(shù)據(jù)的淘金者！數(shù)據(jù)挖掘能給我們帶來什么？潛客訂單口碑例：【某品牌消毒蒸鍋】潛客數(shù)據(jù)部分預(yù)覽：潛客不是幾百幾千個用戶的標(biāo)簽，而是成千萬、上億的群體性標(biāo)簽！

1例：【某品牌移動硬盤】客戶要求：形成直接的天貓旗艦店銷售。訂單

2用戶受到正向影響促進，決心下單。用戶下單，完成購買。實施效果：平均每月成單100單以上。口碑根據(jù)潛在用戶口碑資料，對產(chǎn)品進行改進。不但影響產(chǎn)品銷量，甚至直接影響產(chǎn)品整體銷售策略、定位策略！

3

微博鏈接/2881012711/zekmjeaLu評論內(nèi)容祝你愿望早日實現(xiàn)哦~買DV親可以關(guān)注一下JVC的喲網(wǎng)友再次回復(fù)內(nèi)容謝謝，我會關(guān)注了解的，也祝貴公司事業(yè)蒸蒸日上?；貜?fù)時間間隔網(wǎng)友晚上23點15發(fā)布，因此系統(tǒng)第二天早上才回復(fù)。達到效果對JVC品牌的正面影響。為什么是微博？“從iPad和微博中，我似乎看到了一點點未來……”——默多克對這些海量數(shù)據(jù)的存儲，新浪微博超過了任何一家傳統(tǒng)企業(yè)的能力，但是對于整個互聯(lián)網(wǎng)平臺級的公司，他們每時每刻都在忙于把這些數(shù)據(jù)收集、整理、歸類、保存。微博顛覆了傳統(tǒng)的信息傳播路徑傳統(tǒng)：單中心、單向的傳播方式

短信、電話、問卷：效率低且數(shù)量少。微博：多中心、網(wǎng)狀裂變傳播方式

每一條都是直接的用戶需求：效率高，且數(shù)量大。更龐大！更快速！更直接！更高效！每天，新浪微博產(chǎn)生1億條數(shù)據(jù)微博上的消費者是數(shù)字化

的在網(wǎng)絡(luò)中，他們不會直接告訴你需求，企業(yè)必須自己去收集、分析、跟蹤、對比。誰先在海量數(shù)據(jù)中沙里淘金，誰將在這輪技術(shù)變革中，脫穎而出。微博數(shù)據(jù)挖掘能幫助客戶解決什么問題？1.制定產(chǎn)品策略，優(yōu)化促銷活動！2.挖掘潛在客戶，進行個性化推薦！3.增加駐留客戶，優(yōu)化聚類客戶！4.降低運營成本，提高企業(yè)競爭力?。Focus是怎么做的？用案例，可明了！【某品牌蒸汽消毒鍋】1數(shù)據(jù)挖掘基本流程用戶分析

挖掘策略基礎(chǔ)數(shù)據(jù)數(shù)據(jù)清洗

語義分析售價：1299元產(chǎn)品特性：某品牌多組合蒸汽消毒鍋HY101W面向用戶：0-6歲寶寶消毒用具需求者。主要功能：為奶瓶、奶嘴和兒童餐具消毒。主要優(yōu)勢：多組合、多功能、強力蒸汽、自動斷電。——了解產(chǎn)品，才能更好的了解用戶。數(shù)據(jù)挖掘分析流程1.用戶分析2.挖掘策略3.基礎(chǔ)數(shù)據(jù)4.數(shù)據(jù)清洗5.語義分析母嬰用戶群體特性：孩子消費者特征：扮演消費使用者，但由于年齡太小，自身沒有判斷力和購買能力。產(chǎn)品使用和購買的最終評價主要來自——父母。父母消費者特征：1.談?wù)撟优慕】担A(yù)防，治療）；2.談?wù)撟约簩ψ优母冻觯ň?，體力）；3.談?wù)撟优娜松A段（出生，滿月，周歲等）?！私庥脩簦拍芨珳?zhǔn)的挖掘。數(shù)據(jù)挖掘分析流程1.用戶分析2.挖掘策略3.基礎(chǔ)數(shù)據(jù)4.數(shù)據(jù)清洗5.語義分析根據(jù)用戶特性，制定關(guān)鍵詞群。2.行為關(guān)鍵詞：

挖掘?qū)Ξa(chǎn)品有潛在需求的用戶：他們的行為有極大可能對產(chǎn)品產(chǎn)生需求，我們需要更好的刺激需求，也可借此擴大品牌影響力。數(shù)據(jù)挖掘分析流程1.產(chǎn)品關(guān)鍵詞：

挖掘?qū)Ξa(chǎn)品有直接需求的用戶：他們本身對產(chǎn)品有需求，想要購買，他們需要的是更好的推薦。1.用戶分析2.挖掘策略3.基礎(chǔ)數(shù)據(jù)4.數(shù)據(jù)清洗5.語義分析海爾多組合蒸汽消毒鍋挖掘關(guān)鍵詞：1.產(chǎn)品關(guān)鍵詞2.行為關(guān)鍵詞奶瓶消毒玩具消毒……洗奶瓶買新奶瓶奶瓶衛(wèi)生一歲送什么滿月送什么……——通過關(guān)鍵詞群，挖掘出準(zhǔn)確的潛在用戶。數(shù)據(jù)挖掘分析流程1.用戶分析2.挖掘策略3.基礎(chǔ)數(shù)據(jù)4.數(shù)據(jù)清洗5.語義分析海量數(shù)據(jù)庫新浪每日微博數(shù)據(jù)1億條。通過API接口，根據(jù)挖掘策略，獲取基礎(chǔ)數(shù)據(jù)：約6萬條——初步數(shù)據(jù)挖掘，是對所有相關(guān)用戶的整合。數(shù)據(jù)挖掘分析流程1.用戶分析2.挖掘策略3.基礎(chǔ)數(shù)據(jù)4.數(shù)據(jù)清洗5.語義分析1.系統(tǒng)清洗

藍V清洗(藍V認(rèn)證)

——官微發(fā)布，多為產(chǎn)品推廣或知識宣傳。

鏈接清洗(帶鏈接)——產(chǎn)品導(dǎo)流，加鏈接欲促成銷售的賬號。

字?jǐn)?shù)清洗(字?jǐn)?shù)過多)——草根特性，知識宣傳等非快捷表達的大段文字?！到y(tǒng)直接過濾掉絕非潛在用戶的群體。數(shù)據(jù)挖掘分析流程1.用戶分析2.挖掘策略3.基礎(chǔ)數(shù)據(jù)4.數(shù)據(jù)清洗5.語義分析數(shù)據(jù)挖掘分析流程1.用戶分析2.挖掘策略3.基礎(chǔ)數(shù)據(jù)4.數(shù)據(jù)清洗5.語義分析2.數(shù)據(jù)分析師建模清洗

關(guān)鍵字規(guī)則(轉(zhuǎn)讓、代購、直購)

用戶數(shù)據(jù)規(guī)則(不常在線的)……——通過細(xì)致分析，篩掉反向需求用戶和隱形需求用戶。中文切詞分詞技術(shù)上下文語境定義技術(shù)符號學(xué)分析技術(shù)自動摘要技術(shù)語言分段及結(jié)構(gòu)化技術(shù)實體對象識別與抽取技術(shù)詞性識別糾正技術(shù)情緒識別和分析技術(shù)關(guān)鍵詞關(guān)聯(lián)度發(fā)現(xiàn)技術(shù)文本挖掘與規(guī)則發(fā)現(xiàn)技術(shù)數(shù)據(jù)挖掘分析流程自然語言識別：NaturalLanguageProcessing(NLP)自然語言識別特別是中文語義的識別需要基于智能、精準(zhǔn)、可靠的切詞技術(shù)，并能對上下文語義和語境進行識別，還可根據(jù)預(yù)設(shè)語境抽取語義關(guān)鍵詞。文本挖掘技術(shù)：TextMiner&SentimentAnalysis文本挖掘借助于數(shù)據(jù)挖掘算法對文本信息進行分析，通過統(tǒng)計分析，聚類分析，規(guī)則發(fā)現(xiàn)，模式探索與識別對文本信息進行探索分析，發(fā)現(xiàn)其潛在的規(guī)律規(guī)則。1.用戶分析2.挖掘策略3.基礎(chǔ)數(shù)據(jù)4.數(shù)據(jù)清洗5.語義分析分析范圍：用戶最近發(fā)布的500條微博。分析結(jié)果：（Excel表格方式呈現(xiàn)）→→——分析客戶背后的隱性資料。數(shù)據(jù)挖掘分析流程

嬰兒年齡、生日

家電品牌偏好

消費水平

對促銷的敏感度……1.用戶分析2.挖掘策略3.基礎(chǔ)數(shù)據(jù)4.數(shù)據(jù)清洗5.語義分析執(zhí)行產(chǎn)出之一：用戶數(shù)據(jù)報表——1萬條左右高精準(zhǔn)用戶數(shù)據(jù)執(zhí)行產(chǎn)出之二：用戶數(shù)據(jù)報告總體呈現(xiàn)

關(guān)鍵詞呈現(xiàn)用戶類型

性別分析

年齡分析地域分析發(fā)言時間

微博等級網(wǎng)購激勵因素分析用戶對網(wǎng)絡(luò)廣告/活動的參與情況用戶網(wǎng)購的時間段用戶觸媒習(xí)慣用戶瀏覽購物網(wǎng)站的地點潛客收入分析消費群體的劃分與定位消費群體的喜好及網(wǎng)絡(luò)行為特征主要包括：每日新增微博數(shù)據(jù)1億條+關(guān)鍵字相關(guān)微博數(shù)據(jù)約60，000條左右具有分析意義的數(shù)據(jù)約20，000條左右潛客數(shù)據(jù)約1185條+難點：如何獲取數(shù)據(jù)？應(yīng)對：API+智能爬蟲難點：如何解讀海量微博數(shù)據(jù)？應(yīng)對：建模清洗難點：如何準(zhǔn)確識別潛客？應(yīng)對：行業(yè)切詞+語義分析總體呈現(xiàn)：數(shù)據(jù)挖掘結(jié)果呈現(xiàn)時間：2013.6.10-2013.6.210：0012:00執(zhí)行產(chǎn)出之三：互動報告月互動總數(shù)約6000條自動回復(fù)→帶來的二次回復(fù)

4193條1842條

人工回復(fù)→帶來的二次回復(fù)

1807條1088條給消毒蒸鍋頁面帶去1820次的高精準(zhǔn)點擊。內(nèi)容分配產(chǎn)品特征人群特點分類話術(shù)整體建議：1.產(chǎn)品推銷（60%）：銷售形象，介紹產(chǎn)品、加鏈接等；2.實用竅門（10%）：秘書形象，講解產(chǎn)品相關(guān)知識；3.疑難解答（20%）：專家形象，解答網(wǎng)友產(chǎn)品相關(guān)困惑；4.交流心得（10%）：朋友形象，交流產(chǎn)品使用心得。注意：具體項目，需根據(jù)項目需要和數(shù)據(jù)挖掘結(jié)果，進行具體分配。如何設(shè)置自動回復(fù)話術(shù)？1如何設(shè)置自動回復(fù)話術(shù)？2階段任務(wù)：1.了解項目產(chǎn)品的總體定位；2.了解項目的主推產(chǎn)品或主推功能；注意事項：1.整體定位對回復(fù)話術(shù)的設(shè)定有很大影響；2.主推產(chǎn)品和主推功能，直接決定話術(shù)的內(nèi)容方向。內(nèi)容分配產(chǎn)品特征人群特點分類話術(shù)如何設(shè)置自動回復(fù)話術(shù)？3階段任務(wù)：1.根據(jù)用戶給出的資料，給產(chǎn)品消費者“畫輪廓”（群體描述）；2.根據(jù)數(shù)據(jù)挖掘師的報告，給潛在用戶“涂顏色”（屬性分類）；注意事項：1.群體描述時，盡量在大范圍內(nèi)精準(zhǔn)，不要有過分細(xì)節(jié)的描述；2.屬性分類時，先選取有價值的屬性，然后盡可能細(xì)致的進行分類。內(nèi)容分配產(chǎn)品特征人群特點分類話術(shù)如何設(shè)置自動回復(fù)話術(shù)？4內(nèi)容分配產(chǎn)品特征人群特點分類話術(shù)階段任務(wù)：1.將產(chǎn)品特征和人群特點“連線”，組合成不同的潛客群體；2.針對不同的潛客群體，確定形成最終的回復(fù)話術(shù)；注意事項：1.同一個產(chǎn)品特征，對應(yīng)用一個人群特點，可以形成不同的潛客群體；2.同一個潛客群體，根據(jù)特性，可形成不同的回復(fù)話術(shù)；3.回復(fù)話術(shù)，切忌打廣告的形式，要給人“一對一”聊天的感覺。例：用戶年齡層次對應(yīng)觸及策略針對中老年人群觸及策略：雖該人群消費習(xí)慣講求實惠，但在后代有需求情況下，則更加注重品質(zhì)，故而在推薦時，注意講求產(chǎn)品實用性和優(yōu)質(zhì)品質(zhì)與傳統(tǒng)方式的對比，導(dǎo)流于線下專賣店。針對青年人群觸及策略：推薦產(chǎn)品時，注重突出方便實用性和時尚性。同時，在推薦購買渠道中，根據(jù)其容易沖動消費的特點，將其倒流到網(wǎng)上商城，從而促進交易成功率。話術(shù)：清洗奶瓶最麻煩了?。。∶刻焐习嗄敲蠢?，為了寶寶健康還一點都不敢耽誤，朝有同感的呀……有個消毒蒸鍋，一切會不會都更加得心應(yīng)手呢？/zjllCCI話術(shù)：哇哦，孫子是掌中寶，連他的奶瓶都成焦點啦??！羨慕ing……那是不是……為了孫子健康，奶瓶的“健康”也要關(guān)注哦~！想躲花時間和孫子相處，超級方便的消毒蒸鍋應(yīng)該可以幫上忙！/zjllCCI對應(yīng)觸及策略展示互動展示關(guān)鍵字對應(yīng)觸及策略自用人群觸及策略：注重品牌實用性。送禮人群觸及策略：針對該人群，應(yīng)主推品牌優(yōu)勢、外觀和實用性。話術(shù)：哇哦~寶寶1歲啦！可……寶寶還這么小送的東西不是太早，就是很快就沒用了……其實不用這么愁啦！消毒蒸鍋就不錯呀！又健康，將來還能用來煮東東~多值呀！/zjllCCI話術(shù)：自己喝的時候，記得告訴粑粑麻麻，奶瓶做好消毒哦~~要是有個消毒蒸鍋神馬的，就不會花費粑粑麻麻太多時間了哦~~/zjllCCI對應(yīng)觸及策略展示互動展示綜合對應(yīng)觸及策略對應(yīng)觸及策略展示互動展示基本資料：女50+北京海淀區(qū)自用家庭主婦話術(shù)：寶寶太能干啦！小奶瓶拿得牢牢不放~弱弱的問一句，奶瓶洗的辛苦么？為了寶寶的健康，總是要清洗很多遍吧！~不如試試消毒蒸鍋，省事又絕對衛(wèi)生，愛寶寶也要愛護自己哦~更多的案例某月溝通結(jié)果浙江杭州地區(qū)潛客和競品潛客321條溝通前已購車、訂車13意向潛客141競品高意向、無意向126暫無回復(fù)41大數(shù)據(jù)案例：某汽車企業(yè)汽車社交潛客挖掘案例品牌關(guān)鍵詞產(chǎn)品1潛客上海杭州蘇州……競品潛客上海杭州…產(chǎn)品2潛客…品牌產(chǎn)品客戶類別區(qū)域市場運營模型分為兩個層級：中央層級：完成潛客數(shù)據(jù)挖掘，向區(qū)域市場