1、,數(shù)據(jù)挖掘原理與SPSSClementine應用寶典元昌安主編鄧松李文敬劉海濤編著電子工業(yè)出版社,2,雙擊添加主標題,概念/類描述關聯(lián)模式分類聚類分析預測時間序列偏差檢測,概念/類描述就是通過對某類對象關聯(lián)數(shù)據(jù)的匯總、分析和比較，用匯總的、簡潔的、精確的方式對此類對象的內(nèi)涵進行描述，并概括這類對象的有關特征。概念描述分為特征性描述和區(qū)別性描述。特征性描述是指從與某類對象相關的一組數(shù)據(jù)中提取出關于這些對象的共同特征。生成一個類的特征性描述只涉及該類對象中所有對象的共性。區(qū)別性描述描述兩個或更多個不同類對象之間的差異。生成區(qū)別性描述則涉及目標類和對比類中對象的共性。,2.1概念/類描述,2.1概念

2、/類描述,數(shù)據(jù)特征的輸出可以用多種形式提供。包括餅圖、條圖、曲線、多維數(shù)據(jù)方和包括交叉表在內(nèi)的多維表。結(jié)果描述也可以用泛化關系或規(guī)則（稱作特征規(guī)則）形式提供。例如：利用面向?qū)傩缘臍w納方法（AOI），在一個商場數(shù)據(jù)庫（2000銷售）中進行屬性歸納操作，獲得了如下的歸納結(jié)果：表2-1AOI方法挖掘結(jié)果表格表示示意描述,2.1概念/類描述,對于以上結(jié)果，也可以用組合表（crosstab）或其他圖表的形式來加以描述。數(shù)據(jù)分析中可視化圖示非常普遍。表2-2對應表2-1的組合表表示描述圖2-1對應表2-2棒圖表示描述,itemLocation,2.1概念/類描述,圖2-2對應表2-1（部分數(shù)據(jù)）的餅圖表示

3、描述,北美51%,亞洲27%,歐洲22%,電視銷售圖,2.1概念/類描述,區(qū)別性描述是將目標類對象的一般特性與一個或多個對比類對象的一般特性比較。這種比較必須是在具備可比性的兩個或多個類之間進行。例如，對某校講師和副教授的特征進行比較，可能會得到這樣一條規(guī)則：“講師：（78%）（paper=3）and(teachingcourse=2)”；該對比規(guī)則表示該校講師中約有四分至三的人發(fā)表論文少于三篇且主講課程不超過一門；而對比之下該校副教授中約有三分至二的人發(fā)表論文不少于三篇且主講課程不少于一門。,2.2關聯(lián)模式,關聯(lián)模式挖掘旨在從大量的數(shù)據(jù)當中發(fā)現(xiàn)特征之間或數(shù)據(jù)之間的相互依賴關系。這種存在于給定

4、數(shù)據(jù)集中的頻繁出現(xiàn)的關聯(lián)模式，又稱為關聯(lián)規(guī)則。關聯(lián)可分為簡單關聯(lián)、時序關聯(lián)、因果關聯(lián)等。這些關聯(lián)并不總是事先知道，而是通過數(shù)據(jù)庫中數(shù)據(jù)的關聯(lián)分析獲得的，其對商業(yè)決策具有重要價值。因而關聯(lián)分析廣泛用于市場營銷、事務分析等應用領域。挖掘關聯(lián)知識的一個典型應用實例就是市場購物分析。根據(jù)被放到一個購物袋的（購物）內(nèi)容記錄數(shù)據(jù)而發(fā)現(xiàn)的不同（被購買）商品之間所存在的關聯(lián)知識無疑將會幫助商家分析顧客的購買習慣。發(fā)現(xiàn)常在一起被購買的商品（關聯(lián)知識）將幫助商家指定有針對性的市場策略。比如：顧客在購買牛奶時，是否也可能同時購買面包或會購買哪個牌子的面包，顯然能夠回答這些問題的有關信息肯定回有效地幫助商家進行有針對

5、性的促銷，以及進行合適的貨架商品擺放。如可以將牛奶和面包放在相近的地方或許會促進這兩個商品的銷售。,2.2關聯(lián)模式,根據(jù)關聯(lián)規(guī)則所涉及變量的多少，可以分為多維關聯(lián)規(guī)則和單維關聯(lián)規(guī)則。通常，關聯(lián)規(guī)則具有：XY的形式，即”A1.AmB1.Bn”的規(guī)則；其中,Ai(i1,.,m),Bj(j1,.,n)是屬性-值對。關聯(lián)規(guī)則XY解釋為“滿足X中條件的數(shù)據(jù)庫元組多半也滿足Y中條件”。例如：一個數(shù)據(jù)挖掘系統(tǒng)可以從一個商場的銷售(交易事務處理)記錄數(shù)據(jù)中，挖掘出如下所示的關聯(lián)規(guī)則：age(X,”20-29”)income(X,”20K-30K”)buys(X，”mp3”)support=2%,confide

6、nce=60%上述關聯(lián)規(guī)則表示：該商場有的顧客年齡在20歲到29歲且收入在2萬到3萬之間，這群顧客中有60%的人購買了MP3，或者說這群顧客購買MP3的概率為六成。這一規(guī)則涉及到年齡、收入和購買三個變量(即三維)，可稱為多維關聯(lián)規(guī)則。,2.2關聯(lián)模式,對于一個商場經(jīng)理，或許更想知道哪些商品是常被一起購買，描述這種情況的一條關聯(lián)規(guī)則可能是：Contains(X,”computer”)contain(X,”software”)support=1%,confidence=60%上述關聯(lián)規(guī)則表示：該商場1%銷售交易事物記錄中包含“computer”和“software”兩個商品；而對于一條包含（購買）

7、“computer”商品的交易事物記錄有60%可能也包含（購買）”software”商品。這條記錄中由于只涉及到購買事物這一個變量，所以稱為單維關聯(lián)規(guī)則。,2.3分類,分類是數(shù)據(jù)挖掘中一項非常重要的任務，利用分類可以從數(shù)據(jù)集中提取描述數(shù)據(jù)類的一個函數(shù)或模型（也常稱為分類器），并把數(shù)據(jù)集中的每個對象歸結(jié)到某個已知的對象類中。從機器學習的觀點，分類技術(shù)是一種有指導的學習，即每個訓練樣本的數(shù)據(jù)對象已經(jīng)有類標識，通過學習可以形成表達數(shù)據(jù)對象與類標識間對應的知識從這個意義上說，數(shù)據(jù)挖掘的目標就是根據(jù)樣本數(shù)據(jù)形成的類知識并對源數(shù)據(jù)進行分類，進而也可以預測未來數(shù)據(jù)的歸類。,2.3分類,分類挖掘所獲的分類模型

8、可以采用多種形式加以描述輸出。其中主要的表示方法有：分類規(guī)則（IF-THEN）、決策樹（decisiontree）、數(shù)學公式（mathematicalformulae）和神經(jīng)網(wǎng)絡。決策樹是一個類似于流程圖的結(jié)構(gòu)，每個結(jié)點代表一個屬性值上的測試，每個分枝代表測試的一個輸出，樹葉代表類或類分布。決策樹容易轉(zhuǎn)換成分類規(guī)則。神經(jīng)網(wǎng)絡用于分類時，是一組類似于神經(jīng)元的處理單元，單元之間加權(quán)連接。另外，最近有興起了一種新的方法粗糙集（roughset），其知識表示是產(chǎn)生式規(guī)則。,2.3分類,分類通常用來預測對象的類標號。例如，銀行信貸部門可以根據(jù)一個顧客信用信息數(shù)據(jù)庫，將功課的信用等級記錄為一般或良好，然后

9、根據(jù)挖掘得出信用良好的顧客信息特征，應用這些特征描述，可以有效發(fā)現(xiàn)優(yōu)質(zhì)客戶。這一分類過程主要含有兩個步驟：（1）如圖所示：建立一個已知數(shù)據(jù)集類別或概念的模型。,分類規(guī)則,if年齡=30-40且收入=高則信用評估=良好,圖2-4分類挖掘第一步：學習建模,訓練數(shù)據(jù),2.3分類,（2）對學習所獲模型的準確率進行測試。如下圖所示,圖2-5分類挖掘第二步：分類測試,分類規(guī)則,新數(shù)據(jù)：王好，30-40，高信用評估如何？,圖2-5分類挖掘第二步：分類測試,良好,測試數(shù)據(jù),2.4聚類分析,與分類技術(shù)不同，在機器學習中，聚類是一種無指導學習。也就是說，聚類分析是在預先不知道欲劃分類的情況下，根據(jù)信息相似度原則進

10、行信息集聚的一種方法。聚類的目的是使得屬于同一類別的個體之間的差別盡可能的小，而不同類別上的個體見的差別盡可能的大。因此，聚類的意義就在于將觀察到的內(nèi)容組織成類分層結(jié)構(gòu)，把類似的事物組織在一起。通過聚類，人們能夠識別密集的和稀疏的區(qū)域，因而發(fā)現(xiàn)全局的分布模式，以及數(shù)據(jù)屬性之間的有趣的關系。數(shù)據(jù)聚類分析是一個正在蓬勃發(fā)展的領域。聚類技術(shù)主要是以統(tǒng)計方法、機器學習、神經(jīng)網(wǎng)絡等方法為基礎。比較有代表性的聚類技術(shù)是基于幾何距離的聚類方法，如歐氏距離、曼哈坦（Manhattan）距離、明考斯基（Minkowski）距離等。,2.4聚類分析,聚類分析廣泛應用于商業(yè)、生物、地理、網(wǎng)絡服務等多種領域。例如，聚

11、類可以幫助市場分析人員從客戶基本庫中發(fā)現(xiàn)不同的客戶群，并能用不同的購買模式來刻畫不同的客戶群的特征，如圖2-6顯示了一個城市內(nèi)顧客位置的二維圖，數(shù)據(jù)點的三個簇是顯而易見的。聚類還可以從地球觀測數(shù)據(jù)庫中幫助識別具有相似土地使用情況的區(qū)域；以及可以幫助分類識別互聯(lián)網(wǎng)上的文檔以便進行信息發(fā)現(xiàn)等等。,圖2-6一個城市內(nèi)顧客位置的二維圖,2.5預測,預測型知識（Prediction）是指由歷史的和當前的數(shù)據(jù)產(chǎn)生的并能推測未來數(shù)據(jù)趨勢的知識。這類知識可以被認為是以時間為關鍵屬性的關聯(lián)知識，因此上面介紹的關聯(lián)知識挖掘方法可以應用到以時間為關鍵屬性的源數(shù)據(jù)挖掘中。前面介紹分類知識挖掘時曾經(jīng)提到過：分類通常用來

12、預測對象的類標號。然而，在某些應用中，人們可能希望預測某些遺漏的或不知道的數(shù)據(jù)值，而不是類標號。當被預測的值是數(shù)值數(shù)據(jù)時，通常稱之為預測。也就是說，預測用于預測數(shù)據(jù)對象的連續(xù)取值，如：可以構(gòu)造一個分類模型來對銀行貸款進行風險評估（安全或危險）；也可建立一個預測模型以利用顧客收入與職業(yè)（參數(shù)）預測其可能用于購買計算機設備的支出大小。,2.5預測,例如，表2-3給出了一組年薪數(shù)據(jù)。其中，X表示大學畢業(yè)后工作的年數(shù)，而Y是對應的收入。這些數(shù)據(jù)點如圖2-7所示，暗示我們X和Y之間存在線性關系。我們可以采用某種方法推出預測模型，從而可以利用這一模型預測有10年工作經(jīng)驗的大學畢業(yè)生的年薪。,表2-3工作年

13、數(shù)與年薪關系表,圖2-7工作年數(shù)與年薪對應的關系圖,2.5預測,預測型知識的挖掘可以利用統(tǒng)計學中的回歸方法，通過歷史數(shù)據(jù)直接產(chǎn)生連續(xù)的對未來數(shù)據(jù)的預測值；可以借助于經(jīng)典的統(tǒng)計方法、神經(jīng)網(wǎng)絡和機器學習等技術(shù)。無論如何，經(jīng)典的統(tǒng)計學方法是挖掘預測知識的基礎。,2.6時間序列,具有一個或多個時間屬性的預測應用稱為時間序列問題。時間序列是數(shù)據(jù)存在的特殊形式，序列的過去值會影響到將來值，這種影響的大小以及影響的方式可由時間序列中的趨勢周期及非平穩(wěn)等行為來刻畫。例如：系統(tǒng)調(diào)用日志記錄了操作系統(tǒng)及其系統(tǒng)進程調(diào)用的時間序列，通過對正常調(diào)用序列的學習可以預測隨后發(fā)生的系統(tǒng)調(diào)用序列、發(fā)現(xiàn)異常的調(diào)用。表2-4給出了

14、一個系統(tǒng)調(diào)用數(shù)據(jù)表。這樣的數(shù)據(jù)源可以通過適當?shù)臄?shù)據(jù)整理使之成為調(diào)用序列，如表2-5，再通相應的挖掘算法達到跟蹤和分析操作系統(tǒng)審計數(shù)據(jù)的目的。,2.6時間序列,表2-4系統(tǒng)進程調(diào)用數(shù)據(jù)示例,表2-5系統(tǒng)調(diào)用序列數(shù)據(jù)表示例,2.7偏差檢測,偏差檢測（deviationdetection）就是對數(shù)據(jù)集中的偏差數(shù)據(jù)進行檢測與分析。在要處理的大量數(shù)據(jù)中，常常存在一些異常數(shù)據(jù)，它們與其它的數(shù)據(jù)的一般行為或模型不一致。這里數(shù)據(jù)記錄就是偏差（deviation），也就是孤立點。偏差包括很多潛在的知識，如不滿足常規(guī)類的異常例子、分類中出現(xiàn)的反常實例、在不同時刻發(fā)生了顯著變化的某個對象或集合、觀察值與模型推測出的期望值之間有顯著差異的事例等。偏差的產(chǎn)生可能是某種數(shù)據(jù)錯誤造成的，也可能是數(shù)據(jù)變異所固有的結(jié)果。從數(shù)據(jù)集中檢測出這些偏差很有意義，例如在欺詐探測中，偏差可能預示著欺詐行為。,2.7偏差檢測,偏差檢測的主要問題在于：偏差點與數(shù)