1、Copyright 2003-12, SPSS Taiwan Corp.,1,Copyright 2003-12, SPSS Taiwan Corp.,2,資料採礦在CRM的應用,校 園 巡 禮,SPSS Clementine 中文版,研討會,醒吾技術(shù)學院,Copyright 2003-12, SPSS Taiwan Corp.,研討會內(nèi)容,一 資料採礦的秘辛 資料採礦觀念 資料採礦到底是什麼？為什麼要做資料採礦？ Data Mining 和統(tǒng)計及OLAP有什麼不同？ Data Mining 和 Data Warehousing 的關(guān)係 Data Mining 的方法與特徵 怎麼做好Data

2、Mining？ 何謂CRISP-DM及其重要性,Copyright 2003-12, SPSS Taiwan Corp.,研討會內(nèi)容,二 Clementine中文版功能說明 Clementine的工作環(huán)境及其方便容易的操作能力 完全中文化的介面 和CRISP-DM的結(jié)合 協(xié)助整理串流跟輸出的管理員 用串流方式做資料採礦 超級節(jié)點,Copyright 2003-12, SPSS Taiwan Corp.,研討會內(nèi)容,二 Clementine中文版功能說明 對應CRISP-DM，Clementine有哪些功能 (一) Clementine 在商業(yè)理解階段提供的功能 (二) Clementine 在

3、資料理解階段提供的功能 (三) Clementine 在資料預備階段提供的功能 (四) Clementine 在塑模階段提供的功能 (五) Clementine 在評估階段提供的功能 (六) Clementine 在部署階段提供的功能,Copyright 2003-12, SPSS Taiwan Corp.,6,資料採礦的秘辛,Copyright 2003-12, SPSS Taiwan Corp.,Data Mining 是什麼？,Data Mining是從資料中找出有用珍貴知識的一個過程,許多技術(shù)知識的融合（統(tǒng)計、人工智慧、未來的基因演算法等），並非一個演算法就可以解決全部問題,Copyr

4、ight 2003-12, SPSS Taiwan Corp.,為什麼要做 Data Mining？,競爭日益劇烈，了解客戶需求才能佔有優(yōu)勢 過去及現(xiàn)在和客戶互動方式的改變,過去 互動單純 直接了解客戶個人化需求,現(xiàn)在 互動複雜 難直接了解客戶個人化需求 電子化,Copyright 2003-12, SPSS Taiwan Corp.,Data Mining 和統(tǒng)計不同？,Data Mining 沒有事先假設 多數(shù)狀況下母體參數(shù)已知 資料量越大越好，小資料也可以挖只是較不可靠 融合各種知識，包括統(tǒng)計、Machine Learning、人工智慧、基因等,統(tǒng)計 先假設再檢定 母體參數(shù)未知 資料量不

5、可太大,Copyright 2003-12, SPSS Taiwan Corp.,Data Mining 和 OLAP 不同？,Data Mining 包括對手邊資料的呈現(xiàn)，以及OLAP無法呈現(xiàn)的隱藏行為模式 除了分析過去資料，也可以預測未來,OLAP On-Line Analytical Process 對手邊資料的多維度呈現(xiàn)，無法呈現(xiàn)隱藏行為模式 對現(xiàn)有資料的分析,Copyright 2003-12, SPSS Taiwan Corp.,Data Mining 和資料倉儲的關(guān)係,何謂資料倉儲 (Data Warehousing)？ 將現(xiàn)有資料、歷史資料、外部資料等經(jīng)過有系統(tǒng)的整合，把資料選

6、取、分類、轉(zhuǎn)換達到最佳化後，融入一個設計好的關(guān)連式資料庫中，以利資料分析者存取，大量改進效率。 Data Mining 及 OLAP 都是由資料倉儲中取出資料分析,Data mining 為何要從資料倉儲開始？ 也可以從檔案、資料庫中存取資料 資料倉儲提供的資料量更足夠 從多種資料檔或資料庫中取出檔案可能遭遇格式不 符不一致的問題，要多花時間在整合上，若有資料 倉儲，可以省去不少麻煩。,Copyright 2003-12, SPSS Taiwan Corp.,資料採礦的定位,Business Value,Time,Query & Reporting,OLAP,Data Mining,Real-

7、time Personalization,Measurement (historical),Prediction (future),我們流失了多少客戶?,這些流失客戶是位於哪個地區(qū)?,哪些是高風險客戶以及原因是?,我們應該即時提供這位客戶什麼服務?,From SPSS White Paper,Copyright 2003-12, SPSS Taiwan Corp.,Data Mining 的方法,Classification Clustering Estimation Prediction Market Basket Analysis Description,預測 和分類推估類似，不同在於是預

8、測未來，將新資料帶入既有資料建立的模型預測結(jié)果 銀行新申請信用卡的客戶要給多少額度,推估 和分類的不同在於目標變數(shù)為連續(xù)值，常和分類配合 用分類判斷為會貸款客戶後，再推估會貸款的金額,群集 非監(jiān)督式，未知有幾類，將性質(zhì)類似的資料加以區(qū)隔 把顧客資料分群對不同群體採用不同推銷手法,分類 目標變數(shù)（依變數(shù)、反應變數(shù)）為類別的狀況 信用卡公司將既有資料分為偽卡非偽卡找出偽卡的模式,購物籃分析 找出哪些事件會一起發(fā)生 超級市場發(fā)現(xiàn)男性客戶會一起購買啤酒跟尿布,描述 增進對於資料的認識，圖形視覺化呈現(xiàn)，或規(guī)則、決策樹等,相關(guān)技術(shù) 類神經(jīng) 決策樹 (C5.0 C&RT) Logistic 迴歸 等等,相關(guān)

9、技術(shù) K-Means 兩步驟 Kohonen 等等,相關(guān)技術(shù) 迴歸 C&RT 等等,相關(guān)技術(shù) 分類跟估計的所有方法,相關(guān)技術(shù) Apriori GRI 等等,相關(guān)技術(shù) 決策樹規(guī)則 各類圖表 等等,Copyright 2003-12, SPSS Taiwan Corp.,Data Mining 的其他特徵,Interactive 互動性 Automation 電腦自動化 Continuing 連續(xù)性，是動態(tài)的 團隊分工合作 具有決策功能，使企業(yè)組織創(chuàng)新、再造 目標：一對一個人化（Personalize）,Copyright 2003-12, SPSS Taiwan Corp.,怎樣才能做好 Dat

10、a Mining,Process 符合 Data Mining 的程序，如 CRISP-DM,Environment 企業(yè)組織內(nèi)部要有共識 從管理階層、資訊部門、行銷企劃單位、基層執(zhí)行單位等都要能分工合作,Tools 好的 Data Mining 工 具才能讓Data Mining 發(fā)揮功效 配合資料倉儲,Copyright 2003-12, SPSS Taiwan Corp.,CRISP-DM 標準流程,Cross-Industry Standard Process for Data Mining SPSS 和 NCR 在 1996 年為克萊斯勒做資料採礦時訂出的一套標準程序，並參加了專家意

11、見修訂，目前版本為1.0,商業(yè)理解 (Business Understanding) 資料理解 (Data Understanding) 資料預備 (Data Preparation) 塑模 (Modeling) 評估 (Evaluation) 部署(或佈署) (Deployment),Copyright 2003-12, SPSS Taiwan Corp.,1. Business Understanding,了解企業(yè)方針及要解決的問題何在 訂定 Data Mining 計畫,Copyright 2003-12, SPSS Taiwan Corp.,2. Data Understanding,

12、收集初步資料 簡單了解資料 確認資料品質(zhì),Copyright 2003-12, SPSS Taiwan Corp.,3. Data Preparation,資料清理、整合 格式設定，為下一步建立模型做準備,Copyright 2003-12, SPSS Taiwan Corp.,4. Modeling,選定要建立的模型 用上一步驟的資料建立模型並測試,Copyright 2003-12, SPSS Taiwan Corp.,5. Evaluation,評估模型及回顧整個過程 決定是否進入下一階段,Copyright 2003-12, SPSS Taiwan Corp.,6. Deploymen

13、t,計畫要怎麼部署 監(jiān)控部署過程 產(chǎn)出報告並檢討,Copyright 2003-12, SPSS Taiwan Corp.,CRISP-DM 流程圖,以資料為中心 不斷循環(huán) 不是從頭做到尾，有需要時可以往回,Copyright 2003-12, SPSS Taiwan Corp.,24,Clementine 中文版,現(xiàn)代淘金者 的最佳資料採礦工具,功能介紹,Copyright 2003-12, SPSS Taiwan Corp.,工作環(huán)境完全中文化,Copyright 2003-12, SPSS Taiwan Corp.,工作環(huán)境介面介紹,操作管理區(qū)：管理操作時期產(chǎn)生的stream, 輸出,

14、模型,串流工作區(qū)：實際上用來建 構(gòu)DM流程的所有的動作、 設定的區(qū)域,節(jié)點調(diào)色版：不同的node代表不同功能的工具，不同的活頁代表不同的DM 流程的工具集合,專案管理區(qū)：以DM專案的角度來管理stream, 輸出, 模型,Copyright 2003-12, SPSS Taiwan Corp.,工作環(huán)境專案管理,一個專案可以包括多個串流、圖表、各種外部檔案，全部可以利用右下角的專案管理員整理起來。 優(yōu)點：不用每次都去找要用的檔案跟相關(guān)串流，直接開啟專案，所有相關(guān)物件都會出現(xiàn)在專案管理員中。,Copyright 2003-12, SPSS Taiwan Corp.,工作環(huán)境配合CRISP-DM流

15、程,可將各種檔案及流程圖分門別類整理在六個CRISP-DM步驟的資料夾中，方便任何使用人員隨時存取。 很清楚所做過的流程，有架構(gòu)不紊亂。即使非原始的建立者也可以迅速進入狀況。 也可依自己需求增減資料夾,Copyright 2003-12, SPSS Taiwan Corp.,工作環(huán)境管理員,Clementine會自動將所有流程放在串列區(qū)，跑出的圖表放在輸出區(qū)，建立的模型則放在模型區(qū)，隨時可以點選不用重跑一遍。且這些結(jié)果都可儲存保留。,Copyright 2003-12, SPSS Taiwan Corp.,工作環(huán)境用串流方式呈現(xiàn),上使用者在工作區(qū)自由發(fā)揮，利用豐富的工具，設計出最符合實際需要的

16、流程。彈性大、自由度高。,Copyright 2003-12, SPSS Taiwan Corp.,工作環(huán)境 Windows 作業(yè)環(huán)境,配合基本的windows功能如剪貼、滑鼠拖曳、右鍵功能表、鍵盤快速鍵直接操作等，讓熟悉windows的使用者可以馬上上手。,Copyright 2003-12, SPSS Taiwan Corp.,基本功能自動配置,Copyright 2003-12, SPSS Taiwan Corp.,基本功能加入節(jié)點註解,加入註解，滑鼠游標移過去就可以看到註解。,Copyright 2003-12, SPSS Taiwan Corp.,基本功能超級節(jié)點,Copyright

17、 2003-12, SPSS Taiwan Corp.,基本功能超級節(jié)點,Copyright 2003-12, SPSS Taiwan Corp.,CRISP-DM 中的Clementine功能,Clementine中文版在商業(yè)理解(I)提供的功能 把計畫、專業(yè)術(shù)語相關(guān)檔案直接存放在專案中，任何使用 Clementine 7.2 中文版的人員都可以隨時輕鬆查閱。,Copyright 2003-12, SPSS Taiwan Corp.,商業(yè)理解(I)外部檔案,把術(shù)語對照表、計畫專案文件等放入專案中，任何計畫參與者都可以隨時隨地開啟這些檔案查詢閱覽。,Copyright 2003-12, SPS

18、S Taiwan Corp.,CRISP-DM 中的Clementine功能,Clementine中文版在資料理解(II)提供的功能 各式各樣的前端資料輸入 統(tǒng)計敘述、表格、標記、檢查遺漏狀況 豐富的圖形種類 圖形多變化，依照所需呈現(xiàn)資料,Copyright 2003-12, SPSS Taiwan Corp.,資料理解(II)讀取資料,Copyright 2003-12, SPSS Taiwan Corp.,資料理解(II)檢視資料,利用表格節(jié)點，可以隨時看見資料在串流中任何步驟的狀況。,Copyright 2003-12, SPSS Taiwan Corp.,資料理解(II)檢視資料,Co

19、pyright 2003-12, SPSS Taiwan Corp.,資料理解(II)檢視資料,Copyright 2003-12, SPSS Taiwan Corp.,資料理解(II)檢視資料,Copyright 2003-12, SPSS Taiwan Corp.,資料理解(II)檢視資料,Copyright 2003-12, SPSS Taiwan Corp.,資料理解(II)直方圖,連續(xù)變數(shù)的分佈。,Copyright 2003-12, SPSS Taiwan Corp.,資料理解(II)散佈圖,兩個連續(xù)變數(shù)的分佈。,Copyright 2003-12, SPSS Taiwan Cor

20、p.,資料理解(II)散佈圖,也可以用散佈圖畫類別變數(shù),Copyright 2003-12, SPSS Taiwan Corp.,資料理解(II)分佈圖,類別變數(shù)的分佈狀況,Copyright 2003-12, SPSS Taiwan Corp.,資料理解(II)關(guān)聯(lián)網(wǎng),類別變數(shù)間的關(guān)聯(lián),Copyright 2003-12, SPSS Taiwan Corp.,CRISP-DM 中的Clementine功能,Clementine中文版在資料預備(III)提供的功能 列處理功能 行處理功能 設定全域變數(shù)供其他節(jié)點使用 透過圖形產(chǎn)生衍生變數(shù)，省去自己 撰寫的時間,Copyright 2003-12

21、, SPSS Taiwan Corp.,資料預備(III)列處理(選取),Copyright 2003-12, SPSS Taiwan Corp.,資料預備(III)列處理(抽樣),Copyright 2003-12, SPSS Taiwan Corp.,資料預備(III)列處理(平衡),Copyright 2003-12, SPSS Taiwan Corp.,資料預備(III)列處理(整合),Copyright 2003-12, SPSS Taiwan Corp.,資料預備(III)列處理(合併),Copyright 2003-12, SPSS Taiwan Corp.,資料預備(III)行

22、處理(類型),Copyright 2003-12, SPSS Taiwan Corp.,資料預備(III)行處理(過濾器),Copyright 2003-12, SPSS Taiwan Corp.,資料預備(III)行處理(導出),Copyright 2003-12, SPSS Taiwan Corp.,資料預備(III)行處理(填入器),Copyright 2003-12, SPSS Taiwan Corp.,資料預備(III)行處理(設成旗標),Copyright 2003-12, SPSS Taiwan Corp.,資料預備(III)自動產(chǎn)生複雜節(jié)點,Copyright 2003-12,

23、 SPSS Taiwan Corp.,資料預備(III)其他功能,此外，資料預備階段還有提供以下功能： 合併- 將這個月與下個月記錄合併 排序- 將資料根據(jù)某些欄位排序 整體- 將某個變數(shù)的值（最大值、平均數(shù)等）設定為global變數(shù)。 歷史- 用於時間序列資料 等等,Copyright 2003-12, SPSS Taiwan Corp.,CRISP-DM 中的Clementine功能,Clementine中文版在塑模(IV)提供的功能 多種群集、分類、預測、關(guān)聯(lián)規(guī)則模型 分類樹一覽無遺的瀏覽器 詳盡的統(tǒng)計報表 將預測結(jié)果隨心所欲呈現(xiàn) 混合式模型一點也不難,Copyright 2003-12

24、, SPSS Taiwan Corp.,塑模(IV)關(guān)聯(lián)規(guī)則,Copyright 2003-12, SPSS Taiwan Corp.,塑模(IV)Kohonen,Copyright 2003-12, SPSS Taiwan Corp.,塑模(IV)K-Means,Copyright 2003-12, SPSS Taiwan Corp.,塑模(IV)類神經(jīng)網(wǎng)路,Copyright 2003-12, SPSS Taiwan Corp.,塑模(IV)C5.0,Copyright 2003-12, SPSS Taiwan Corp.,塑模(IV)Logistic 迴歸,Copyright 2003-

25、12, SPSS Taiwan Corp.,塑模(IV)主成分/因子,Copyright 2003-12, SPSS Taiwan Corp.,塑模(IV)混合式模型,Copyright 2003-12, SPSS Taiwan Corp.,CRISP-DM 中的Clementine功能,Clementine中文版在評估(V)提供的功能 多樣化的評估圖形 同時將多個模型的結(jié)果做比較,Copyright 2003-12, SPSS Taiwan Corp.,評估(V)比較預測準確度,Copyright 2003-12, SPSS Taiwan Corp.,評估(V)評估圖形,Copyright

26、2003-12, SPSS Taiwan Corp.,CRISP-DM 中的Clementine功能,Clementine中文版在部署(VI)提供的功能 各種格式的檔案輸出 自動化產(chǎn)生設計好的報告格式 和 Solution Publisher 結(jié)合,Copyright 2003-12, SPSS Taiwan Corp.,部署(VI)自動產(chǎn)生報告,Copyright 2003-12, SPSS Taiwan Corp.,部署(VI)各種檔案輸出,Copyright 2003-12, SPSS Taiwan Corp.,內(nèi)建應用範例說明 CAT,Clementine Application Te

27、mplate,Telco(針對電信業(yè)所做的範本) 建立churn與cross-selling 模型 CRM(針對百貨零售業(yè)所做的範本) 建立顧客價值區(qū)隔與特性、郵寄行銷的模型、顧客在不同區(qū)隔間變化的模型 Web-Mining(針對電子商務網(wǎng)站所做的範本) 以瀏覽者與顧客不同層級的資料並結(jié)合多個 web log的資料處理方法建立多個模組,Copyright 2003-12, SPSS Taiwan Corp.,Take a break,Copyright 2003-12, SPSS Taiwan Corp.,80,Clementine中文版,在Data Mining的應用案例,Copyright

28、 2003-12, SPSS Taiwan Corp.,研討會內(nèi)容,三 Clementine 中文版在Data Mining的應用案例 Data Mining的應用範疇 Clementine中文版如何應用於CRM? CRM 的成長趨勢 為什麼要進行CRM? 何謂CRM? Clementine 對於CRM的機會點在哪裡? Clementine 在CRM中的應用有哪些? 各產(chǎn)業(yè)的應用層面 配合CRISP-DM之應用案例展示 Clementine豐富的部署應用 Data Mining 應用於CRM中產(chǎn)生的無形效益,Copyright 2003-12, SPSS Taiwan Corp.,Data M

29、ining的應用範疇,客戶關(guān)係管理(CRM) 犯罪(Criminal) 教育(Education) 醫(yī)療(Health Care) 科學研究(Research) 製程管理(Process Management),Copyright 2003-12, SPSS Taiwan Corp.,Clementine中文版如何應用於CRM?,Copyright 2003-12, SPSS Taiwan Corp.,CRM 的成長趨勢,Asia/Pacific CRM Market ($M),0,20,40,60,80,100,120,140,160,180,200,2001,2007,Source: ID

30、C. 2003,Copyright 2003-12, SPSS Taiwan Corp.,為什麼要進行CRM?,過去 購物以必要性為基準 現(xiàn)在 心理因素逐漸影響顧客的消費行為 顧客的接觸管道多元化,Copyright 2003-12, SPSS Taiwan Corp.,何謂CRM?,發(fā)現(xiàn)需求 OLTP = 企業(yè)/組織的眼與耳 記憶偏好 Database = 企業(yè)/組織的腦 學習 Data Mining = 企業(yè)/組織的智慧 行動 Marketing = 企業(yè)/組織的手與腳,Copyright 2003-12, SPSS Taiwan Corp.,Clementine 對CRM的機會在哪裡?,

31、CRM 了解客戶(Client),操作型CRM (Operational CRM),分析型CRM (Analytical CRM) (分析測量, 預測並最佳化客戶關(guān)係),具有智慧型判斷能力,了解客戶,Data mining 是CRM的核心,Copyright 2003-12, SPSS Taiwan Corp.,Clementine 在CRM中的應用有哪些 ?,潛在客戶分析 (Customer acquisition) 顧客區(qū)隔 (Customer segmentation) 交叉銷售再銷售 (Cross-selling/Up-selling) 詐欺分析 (Fraud detection) 風

32、險評估 (Risk analysis) 顧客挽留 (Customer retention) .,Copyright 2003-12, SPSS Taiwan Corp.,各產(chǎn)業(yè)的應用層面,電信業(yè) 客戶流失管理 顧客終身價值及利潤價值 行銷回應預測 交叉銷售/再銷售 電子商務 顧客終身價值 交叉銷售/再銷售 瀏覽行為分析 政府機構(gòu) 員工流失管理 犯罪偵測,零售業(yè) 忠誠度及通路忠誠度 行銷回應預測 客戶產(chǎn)品偏好分析與鑑別 交叉銷售/再銷售 製造業(yè) 良率分析 製程改善 需求預測 醫(yī)療業(yè) 病人流失管理 潛在新病人分析 病人屬性區(qū)隔,Copyright 2003-12, SPSS Taiwan Corp

33、.,各產(chǎn)業(yè)的應用層面,生命科學 基因抗藥反應分析 基因序列分析 藥物區(qū)隔分析 藥物市場風險評估 娛樂業(yè) 客戶流失管理 目標客戶分析 客戶區(qū)隔 需求預測分析,銀行 風險管理 行銷回應預測 維持顧客模型 顧客終身價值及利潤價值 多通路行為管理 信用卡冒用偵測 保險業(yè) 交叉通路銷售 顧客終身價值及利潤價值 維持顧客模型 詐欺理賠分析,Copyright 2003-12, SPSS Taiwan Corp.,配合CRISP-DM之應用案例展示Clementine中文版與CRISP-DM結(jié)合,CRISP-DM(CRoss-Industry Standard Process for DM),Copyrig

34、ht 2003-12, SPSS Taiwan Corp.,案例展示：線上即時個人化商品推薦方案,“針對線上不同的消費者 提供他們最可能購買的商品”,1,3,4,2,7,Copyright 2003-12, SPSS Taiwan Corp.,案例展示：CRISP-DM中的資料採礦工作,Clementine中文版在商業(yè)理解(I)階段：,將專案的目標、資料 的定義等外部檔案存 放於此專案夾中 原始購買資料分佈狀 況，協(xié)助了解專案目標,Copyright 2003-12, SPSS Taiwan Corp.,案例展示CRISP-DM中的資料採礦工作,Clementine中文版在資料理解(II)階段：,欄位敘述、資料量、 類型定義、檢查遺漏 狀況各角度資料的圖 形分佈 檢視各變數(shù)資料圖表分 佈，了解購買行為,Copyright 2003-12, SPSS Taiwan Corp.,案例展示CRISP-DM中的資料採礦工作,Clementine中文版在資料預備(III)階段：,產(chǎn)生衍生性變數(shù)並檢 視其分佈狀況 整合總結(jié)、排序資料 並修改欄名稱 篩選、切