1、應(yīng)用Clementine進(jìn)行客戶數(shù)據(jù)挖掘分析,Clementine界面,四個(gè)工作區(qū)域：數(shù)據(jù)流區(qū)、節(jié)點(diǎn)區(qū)（選項(xiàng)板）、管理器區(qū)、工程管理區(qū) 建模：通過連接節(jié)點(diǎn)構(gòu)成數(shù)據(jù)流建立模型 節(jié)點(diǎn)類型 數(shù)據(jù)源節(jié)點(diǎn)：數(shù)據(jù)庫(kù)、可變文件、Excel等 記錄處理節(jié)點(diǎn)：選擇、抽樣、匯總等 字段選項(xiàng)節(jié)點(diǎn)：類型、過濾、導(dǎo)出等 圖形節(jié)點(diǎn)：散點(diǎn)圖、直方圖、網(wǎng)絡(luò)圖等 模型節(jié)點(diǎn)：神經(jīng)網(wǎng)絡(luò)、CART、時(shí)間序列、回歸等 輸出節(jié)點(diǎn)：表、矩陣、報(bào)告等 導(dǎo)出節(jié)點(diǎn)：數(shù)據(jù)庫(kù)、SPSS、Excel等,Clementine數(shù)據(jù)分析步驟,讀取數(shù)據(jù) 數(shù)據(jù)整理 字段和記錄：數(shù)據(jù)初處理 數(shù)據(jù)理解 建模 模型評(píng)估 結(jié)果發(fā)布,構(gòu)建數(shù)據(jù)流的基本操作,節(jié)點(diǎn)增加 節(jié)點(diǎn)

2、刪除 節(jié)點(diǎn)的編輯 節(jié)點(diǎn)連接：以形成數(shù)據(jù)流,一、數(shù)據(jù)源,可變文件：從無(wú)格式文本文件（其記錄的字段個(gè)數(shù)是固定的）中讀資料； 固定文件：從固定字段元的文本文件中讀入資料（字段未被分隔，但是始于相同的位置，并有固定長(zhǎng)度）； 數(shù)據(jù)庫(kù)：使用ODBC 來(lái)源節(jié)點(diǎn)從其它各種數(shù)據(jù)庫(kù)中導(dǎo)入資料 SPSS Excel,數(shù)據(jù)類型,數(shù)據(jù)存儲(chǔ)類型：字符串型、整數(shù)型、實(shí)數(shù)型、日期型、時(shí)間型等； 數(shù)據(jù)類型：連續(xù)型、離散型、標(biāo)志型、集合型、有序集合、無(wú)類型； 標(biāo)志：用于只取兩個(gè)具體值的數(shù)據(jù)（Yes/No,0/1） 集合：用于描述帶有多個(gè)具體值的數(shù)據(jù)（地區(qū)）； 有序集合：用于描述帶有多個(gè)具體值且有順序的數(shù)據(jù)（教育程度）,二、記錄選

3、項(xiàng),選擇：根據(jù)具體條件從資料流程中選擇或排除某一記錄子集； 抽樣：限制通過流的記錄數(shù)或排除一定比例的記錄； 匯總：把一系列輸入記錄變換成匯總性輸出記錄； 排序：根據(jù)一個(gè)或多個(gè)字段值對(duì)記錄進(jìn)行升序或降序排列,三、字段選項(xiàng),類型：指定字段的一系列重要屬性； 過濾：(1)從通過的記錄中過濾或剔除字段；(2)重命名字段；(3)把字段從一個(gè)來(lái)源節(jié)點(diǎn)映射到另一個(gè) 填充：替換字段值以及改變存儲(chǔ)類型,Clementine模型的類型（1）,決策樹模型用于分類，基于一組決策規(guī)則來(lái)預(yù)測(cè)或分類未來(lái)的觀測(cè)值。,C&RT（分類和回歸樹）節(jié)點(diǎn)生成可用于預(yù)測(cè)和分類未來(lái)觀測(cè)值的決策樹,CHAID 使用卡方統(tǒng)計(jì)量來(lái)生成決策樹，以

4、確定最佳的分割。CHAID 與C&RT節(jié)點(diǎn)不一樣，它可以生成非二元樹，這意味著有些分割將有多于 兩個(gè)的分支。,C5.0 節(jié)點(diǎn)構(gòu)建決策樹或規(guī)則集。目標(biāo)字段必須為分類字段。,Clementine模型的類型（2）,神經(jīng)網(wǎng)絡(luò)模型,神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)使用的模型是對(duì)人類大腦處理信息的方式簡(jiǎn)化了的模型。只需要最少的統(tǒng)計(jì)或數(shù)學(xué)知識(shí)就可以對(duì) 其進(jìn)行訓(xùn)練或應(yīng)用。,Clementine模型的類型（3）,聚類模型,K-Means 節(jié)點(diǎn)將數(shù)據(jù)集聚類到不同分組（或聚類）,TwoStep 節(jié)點(diǎn)使用兩步聚類方法。第一步完成簡(jiǎn)單數(shù)據(jù)處理，以便將原始輸入數(shù)據(jù)壓縮為可管理的子聚類集合。第二步使用層級(jí)聚類方法將子聚類一步一步合并為更大的聚

5、類。,Kohonen 節(jié)點(diǎn)會(huì)生成一種神經(jīng)網(wǎng)絡(luò)，此神經(jīng)網(wǎng)絡(luò)可用于將數(shù)據(jù)集聚類到各個(gè)差異組。,Clementine模型的類型（4）,關(guān)聯(lián)模型將一組條件與一個(gè)特定結(jié)論（例如決定購(gòu)買某樣?xùn)|西）相關(guān)聯(lián),廣義規(guī)則歸納法（GRI）節(jié)點(diǎn)將發(fā)現(xiàn)數(shù)據(jù)關(guān)聯(lián)規(guī)則。例如，購(gòu)買了剔須刀的客戶在購(gòu)買剔須膏之后，還可能會(huì)購(gòu)買剔須霜。,Apriori（先驗(yàn)）節(jié)點(diǎn)從數(shù)據(jù)抽取一組規(guī)則，即抽取信息內(nèi)容最多的規(guī)則。,序列節(jié)點(diǎn)可發(fā)現(xiàn)連續(xù)數(shù)據(jù)或與時(shí)間有關(guān)的數(shù)據(jù)中的關(guān)聯(lián)規(guī)則。例如，一個(gè)購(gòu)買了剃刀和須后水的顧客可能在下次購(gòu)物時(shí)購(gòu)買剃須膏。,四、圖形,使用圖形節(jié)點(diǎn)對(duì)數(shù)據(jù)進(jìn)行探索性分析 散點(diǎn)圖 分布圖 直方圖 集合 網(wǎng)絡(luò)圖 ,建模分析（1）:CH

6、AID決策樹,背景：某電話公司的數(shù)據(jù)倉(cāng)庫(kù)包含有關(guān)該公司的 5000 名客戶對(duì)特定促銷活動(dòng)響應(yīng)的信息。數(shù)據(jù)中包括客戶年齡、職業(yè)、收入和電話使用統(tǒng)計(jì)量。其中有三個(gè)“目標(biāo)”字段，顯示客戶是否響應(yīng)這三種促銷。公司希望利用此數(shù)據(jù)幫助預(yù)測(cè)未來(lái)中最有可能對(duì)類似的促銷活動(dòng)作出響應(yīng)的客戶。 數(shù)據(jù)源：customer_dbase.sav,使用 CHAID 決策樹開發(fā)模型，用以預(yù)測(cè)最有可能響應(yīng)某一次促銷活動(dòng)（Response_01）的客戶。 方法： 不使用特征選擇。數(shù)據(jù)集中的所有預(yù)測(cè)變量字段用作 CHAID 樹的輸入。 使用特征選擇模型。使用特征選擇節(jié)點(diǎn)選擇最佳的 10 個(gè)預(yù)測(cè)變量，然后將其輸入到 CHAID 樹中

7、。,添加類型節(jié)點(diǎn)并將 response_01 的方向設(shè)置為輸出； 將客戶 ID (custid) 和其他響應(yīng)字段（response_02 和 response_03）的方向設(shè)置為無(wú)； 將所有其他字段的方向設(shè)置為輸入； 添加特征選擇建模節(jié)點(diǎn)； 執(zhí)行流以生成特征選擇模型。,數(shù)據(jù)流,生成的特征選擇模型顯示了所找到的對(duì)預(yù)測(cè)非常有用的字段，選擇前 10 個(gè)預(yù)測(cè)變量,CHAID分析結(jié)果,結(jié)果解釋,查看器-生成樹 第二個(gè)樹比第一個(gè)樹包含的樹節(jié)點(diǎn)要少，但其是否能夠有效分出對(duì)于促銷活動(dòng)相應(yīng)的客戶？ 有效性比較-收益 選擇目標(biāo)類別為1（即響應(yīng)營(yíng)銷活動(dòng)的），將樹的終端節(jié)點(diǎn)分組為四分位數(shù)。要比較兩個(gè)模型的有效性，可查

8、看每個(gè)表中 四分位數(shù)的提升（即指數(shù)值的變化）。 同時(shí)考慮終端葉子節(jié)點(diǎn)的數(shù)量,建模分析（2）: C&RT決策樹,分類和回歸樹節(jié)點(diǎn) (C&RT) 是一種基于樹的分類和預(yù)測(cè)方法，此方法使用遞歸分區(qū)將訓(xùn)練記錄分割為多個(gè)具有相似的輸出字段值的段。 背景:將C&RT決策樹模型應(yīng)用于有線電視銷售的客戶分析，其中的目標(biāo)字段為是否有意預(yù)訂有線電視交互服務(wù)。預(yù)測(cè)變量字段包括年齡、性別、教育、收入類別、每天看電視的時(shí)間和子女?dāng)?shù)（按有序集合編碼，值5表示5個(gè)或更多）。 數(shù)據(jù)源: NewsChan.sav,類型節(jié)點(diǎn)設(shè)置 使用類型節(jié)點(diǎn),選擇 NEWSCHAN(有意預(yù)訂有線電視交互服務(wù)字段) 并將其類型設(shè)置為標(biāo)志，將其方向

9、設(shè)置為輸出。其他所有字段用作預(yù)測(cè)變量（輸入）。 模型參數(shù)設(shè)置 在“模型”選項(xiàng)卡上，選擇啟動(dòng)交互會(huì)話作為構(gòu)建選項(xiàng)。 在“專家”選項(xiàng)卡上選擇專家模式并選擇修剪樹和使用標(biāo)準(zhǔn)誤規(guī)則。將最小雜質(zhì)改變值設(shè)置為 0.003。增加此值可避免進(jìn)行改進(jìn)意義十分微小的分割，從而傾向于生成較簡(jiǎn)單的樹。 在“專家”選項(xiàng)卡上單擊停止。在“停止標(biāo)準(zhǔn)”對(duì)話框中選擇使用絕對(duì)值。將最小絕對(duì)臨界值更改為 25 和 10，然后單擊確定。,執(zhí)行節(jié)點(diǎn)。此時(shí)將出現(xiàn)交互樹窗口，在其中可以生成并編輯樹。 生成樹和修剪(五層和五個(gè)終端節(jié)點(diǎn)) 根據(jù)當(dāng)前樹生成模型 可使用此流生成模型，將生成的 NEWSCHAN1 模型連接到類型節(jié)點(diǎn)。并將其連接表節(jié)

10、點(diǎn)并執(zhí)行流。,數(shù)據(jù)流,結(jié)果解釋,單擊交互樹窗口底部的收益選項(xiàng)卡檢查收益。選擇 1 作為目標(biāo)類別以查看響應(yīng)是的收益。 節(jié)點(diǎn) 2 和 13 顯示具有最高的指數(shù)值。指數(shù)值大于 100% 的節(jié)點(diǎn)表示，通過從這些節(jié)點(diǎn)中選擇記錄而不是從整個(gè)樣本中隨機(jī)選擇記錄，能夠有更多的機(jī)會(huì)找到愿意接受預(yù)訂的用戶。 表中顯示了可能接受有線電視服務(wù)預(yù)訂的用戶的記錄。$R-NEWSCHAN 列顯示了對(duì)這些記錄的預(yù)測(cè)結(jié)果。如果某記錄顯示的值為 1，則可以預(yù)測(cè)該用戶對(duì)預(yù)訂的響應(yīng)為是。,建模分析(3):關(guān)聯(lián)分析與客戶描述,關(guān)聯(lián)規(guī)則分析的兩種方法： 可視化技術(shù)（例如 Web 圖節(jié)點(diǎn)） 關(guān)聯(lián)規(guī)則模型 背景：超市客戶數(shù)據(jù)，包括客戶基本信

11、息和購(gòu)買商品信息，通過關(guān)聯(lián)分析尋找客戶購(gòu)買產(chǎn)品之間的關(guān)系并且按人口統(tǒng)計(jì)信息（年齡、收入等）刻畫其目標(biāo)客戶群體的特征 數(shù)據(jù)源：BASKETS1n 文本數(shù)據(jù),數(shù)據(jù)流構(gòu)建,類型節(jié)點(diǎn)設(shè)置 讀取值 設(shè)置類型：將用戶卡號(hào)cardid的類型設(shè)置為無(wú)類型，統(tǒng)計(jì)數(shù)據(jù)的方向均設(shè)置為無(wú)（在模型中不使用），產(chǎn)品類別設(shè)置為標(biāo)志類型，并將方向設(shè)置為雙向（同時(shí)作為模型的輸入和輸出變量）。注意性別類型要設(shè)置為集合類型。 加入表節(jié)點(diǎn)：進(jìn)行數(shù)據(jù)瀏覽 三大類型數(shù)據(jù)：購(gòu)物籃信息（卡號(hào)、購(gòu)買價(jià)格、支付方式），持卡人信息（性別、住房、收入、年齡），商品類型信息（蔬菜水果類、鮮肉類、奶制品、罐頭蔬菜類等等）,模型建立,加入web圖節(jié)點(diǎn) 加

12、入關(guān)聯(lián)分析Apriori模型和GRI模型（一般規(guī)則歸納法） 設(shè)置模型參數(shù)：最小支持度、最小可信度,結(jié)果解釋,GRI關(guān)聯(lián)分析結(jié)果：多種商品之間存在關(guān)聯(lián)； Web圖,設(shè)置web圖,選擇全部產(chǎn)品類型字段，僅顯示真值標(biāo)志（同時(shí)為T的購(gòu)買記錄） 拉動(dòng)鏈接數(shù)顯示滑塊，當(dāng)顯示鏈接高于100時(shí)，可獲得三個(gè)強(qiáng)鏈接 Web 輸出控件的對(duì)話框中可指定弱連接和強(qiáng)連接（單擊工具欄上的黃色雙箭頭按鈕，展開顯示） 在web圖設(shè)置選項(xiàng)中可預(yù)設(shè),結(jié)果解釋,三類關(guān)聯(lián)商品突出顯示： 魚和果蔬； 酒和糖果； 啤酒、冷凍肉和罐裝蔬菜 決策建議： 商品陳列：在擺放貨架時(shí)，應(yīng)該把罐裝蔬菜、冷凍肉品和啤酒放在相鄰的位置，把酒和糖果放在一起；

13、 客戶細(xì)分：三種關(guān)聯(lián)產(chǎn)品類別意味著三種不同購(gòu)買習(xí)慣的客戶,客戶細(xì)分和描述,根據(jù)客戶購(gòu)買的產(chǎn)品類型標(biāo)識(shí)了三個(gè)客戶群，但是還要知道這些客戶是誰(shuí)，即識(shí)別他們的人口統(tǒng)計(jì)學(xué)特征，需要為每個(gè)群中的每名客戶添加標(biāo)志 使用規(guī)則歸納 (C5.0) 來(lái)基于規(guī)則描繪這些標(biāo)志的特征，可以實(shí)現(xiàn)這一點(diǎn)。,構(gòu)建數(shù)據(jù)流,使用創(chuàng)建的 Web 圖，可以自動(dòng)生成每個(gè)群的標(biāo)志。使用鼠標(biāo)右鍵，單擊fruitveg和fish之間的鏈接，并選擇為鏈接生成導(dǎo)出節(jié)點(diǎn)。 加入新類型節(jié)點(diǎn)，并進(jìn)行參數(shù)設(shè)置：輸入、輸出變量。 加入C5.0模型節(jié)點(diǎn)，設(shè)置為輸出規(guī)則集,數(shù)據(jù)流,結(jié)果解釋,規(guī)則1用于 T if income = 16900 and sex

14、= M then T 購(gòu)買“非健康食品”的客戶特征為收入小于16900且性別為Male 決策建議：在零售領(lǐng)域，可能會(huì)使用這種客戶組確定特殊優(yōu)惠目標(biāo)，以提高促銷響應(yīng)率。,建模分析（4）：Logistic回歸分析,Logistic 回歸可根據(jù)輸入字段的值對(duì)記錄進(jìn)行分類。這種統(tǒng)計(jì)方法類似于線性回歸，但是它使用的是分類目標(biāo)字段而非數(shù)值目標(biāo)字段。 背景：假設(shè)某個(gè)電信服務(wù)提供商非常關(guān)心流失到競(jìng)爭(zhēng)對(duì)手那里的客戶數(shù)。如果可以使用服務(wù)使用數(shù)據(jù)預(yù)測(cè)有可能轉(zhuǎn)移到其他提供商的客戶，則可通過定制服務(wù)使用數(shù)據(jù)來(lái)盡可能多地保留這些客戶。 因?yàn)槟繕?biāo)含有兩個(gè)截然不同的類別，因此將使用二項(xiàng)模型。如果目標(biāo)中含有多個(gè)類別，則會(huì)轉(zhuǎn)而創(chuàng)

15、建多項(xiàng)模型。 數(shù)據(jù)源：telco.sav,類型節(jié)點(diǎn)設(shè)置,添加類型節(jié)點(diǎn)以定義字段，確保所有類型都已正確設(shè)置。例如，值為 0 和 1 的大多數(shù)字段都可看作是標(biāo)志字段，但對(duì)于某些字段，例如性別，則將其看作是含有兩個(gè)值的集合字段會(huì)更準(zhǔn)確些。 流失字段(churn)的類型設(shè)置為標(biāo)志，并將其方向設(shè)置為輸出。所有其他字段的方向應(yīng)設(shè)置為輸入。,數(shù)據(jù)流構(gòu)建,將特征選擇節(jié)點(diǎn)添加到 SPSS 文件節(jié)點(diǎn)并運(yùn)行，從生成的模型節(jié)點(diǎn)中創(chuàng)建過濾節(jié)點(diǎn)，使用過濾節(jié)點(diǎn)選擇被認(rèn)為很重要的數(shù)據(jù)來(lái)用作預(yù)測(cè)變量。 將 Logistic 節(jié)點(diǎn)添加到超節(jié)點(diǎn)。在 Logistic 節(jié)點(diǎn)上，單擊“模型”選項(xiàng)卡并選擇二項(xiàng)過程。在二項(xiàng)過程區(qū)域，選擇前

16、進(jìn)法（逐步向模型中增加預(yù)測(cè)變量）。,數(shù)據(jù)流,結(jié)果解釋,獲得客戶流失的五個(gè)關(guān)鍵性影響變量：tenure（服務(wù)時(shí)間長(zhǎng)短）、employ（工作行業(yè)）、callcard（是否使用電話卡服務(wù)）、voice（是否使用語(yǔ)音郵件服務(wù)）、ebill（是否使用電子賬單服務(wù)）。 在分類表中，可以看到模型中加入五個(gè)變量識(shí)別流失客戶的準(zhǔn)確率上升到42.4%，且識(shí)別非流失客戶的準(zhǔn)確率達(dá)到79.2% 表節(jié)點(diǎn)可以得出每個(gè)客戶的流失概率,建模分析（4）：Logistic回歸分析,背景：假設(shè)該電信服務(wù)提供商已按照服務(wù)使用模式對(duì)其客戶群進(jìn)行了劃分(custcat字段)，將這些客戶分類到四個(gè)組中。使用人口統(tǒng)計(jì)數(shù)據(jù)預(yù)測(cè)客戶的所屬類別。

17、 數(shù)據(jù)源：telco.sav 類型節(jié)點(diǎn)設(shè)置：客戶類別字段（custcat）的方向設(shè)置為輸出。所有其他字段的方向都應(yīng)設(shè)置為輸入。 過濾節(jié)點(diǎn)設(shè)置：使用過濾節(jié)點(diǎn)以選取相關(guān)字段（地區(qū)、年齡、婚姻狀況、地址、收入、教育程度、行業(yè)、退休、性別、居住地和客戶類別）。其他字段可以排除在此分析之外。,數(shù)據(jù)流構(gòu)建,添加Logistic節(jié)點(diǎn)，參數(shù)設(shè)置：選擇多項(xiàng)式Logistic，單擊模型選項(xiàng)卡并選擇逐步法。 在“專家”選項(xiàng)卡上，選中專家模式，選中輸出，然后在“高級(jí)輸出”對(duì)話框中選中分類表。,數(shù)據(jù)流,結(jié)果解釋,回歸方程顯示 在人口統(tǒng)計(jì)指標(biāo)中，模型識(shí)別出可用于預(yù)測(cè)客戶分組的主要指標(biāo)包括：地址、教育程度、行業(yè)、居住地。

18、分類表顯示了此模型的結(jié)果，其總體分類正確率為 39.9%。特別是，此模型在識(shí)別類別 4客戶時(shí)表現(xiàn)優(yōu)異（56.8%），而在識(shí)別類別 2客戶時(shí)表現(xiàn)很差（4.6%）。,建模分析(5)：神經(jīng)網(wǎng)絡(luò),神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)用于創(chuàng)建并訓(xùn)練神經(jīng)網(wǎng)絡(luò)，通過學(xué)習(xí)過程（檢查單個(gè)記錄、為每個(gè)記錄生成預(yù)測(cè)、發(fā)現(xiàn)錯(cuò)誤預(yù)測(cè)便對(duì)模型權(quán)值進(jìn)行調(diào)整），神經(jīng)網(wǎng)絡(luò)可不斷提高預(yù)測(cè)效果。 神經(jīng)網(wǎng)絡(luò)的三層：輸入層、隱藏層、輸出層,構(gòu)建數(shù)據(jù)流,預(yù)測(cè)零售產(chǎn)品類型和促銷活動(dòng)對(duì)銷售的影響 數(shù)據(jù)源節(jié)點(diǎn)：GOODS1n 和 GOODS2n 字段選項(xiàng)節(jié)點(diǎn)： 導(dǎo)出節(jié)點(diǎn)：增加Increase字段 類型節(jié)點(diǎn) 加入散點(diǎn)圖節(jié)點(diǎn)：探索Increase與Promotion之間的變化關(guān)系。 加入神經(jīng)網(wǎng)絡(luò)模型，并通過表節(jié)點(diǎn)輸出結(jié)果,數(shù)據(jù)流,結(jié)果解釋-散點(diǎn)圖,促銷投入與銷量增長(zhǎng)之間的潛在線性關(guān)系,結(jié)果解釋-神經(jīng)網(wǎng)絡(luò),估計(jì)的準(zhǔn)確性: 91.892 輸入層: 7 個(gè)神經(jīng)元 隱藏層 1: 3 個(gè)神經(jīng)元 輸出層: 1 個(gè)神經(jīng)元 輸入的相對(duì)重要性 Class 0.4626 Promotion 0.282694 Cost 0.0247975 Before 0.0135569,模型應(yīng)用,可以將該神經(jīng)網(wǎng)絡(luò)模型用于