2015/8/4 數(shù)據(jù)分析的新思維 數(shù)據(jù)挖掘 中的數(shù)據(jù)準(zhǔn)備 朱建平 廈門大學(xué)經(jīng)濟學(xué)院計劃統(tǒng)計系 2015/8/4 報告內(nèi)容及目的 讓大家了解數(shù)據(jù)挖掘的概念，認(rèn)識海量數(shù)據(jù)分析中所遇到的問題，在此基礎(chǔ)上，介紹原始大型數(shù)據(jù)庫的基本表述和特征，了解數(shù)據(jù)準(zhǔn)備的不同技術(shù)，比較去除丟失值的不同方法，構(gòu)造時間相關(guān)數(shù)據(jù)的統(tǒng)一表述方法，實現(xiàn)一些數(shù)據(jù)預(yù)處理技術(shù)。其目的是讓大家從中領(lǐng)悟現(xiàn)代統(tǒng)計方法的基本思想。 2015/8/4 參考文獻(xiàn) 1. Cios, K. J., Pedrycz, W. and Swiniarski, R. W. (1998), Data Mining Methods for Knowledge Discovery, U.S.A 2. Friedman, J. H., Data Mining and Statistics: Whats The Connection? Technical Report, Stanford University 3. Glymour, C., etc. Statistical Themes and Lessons for Data Mining, Data Mining and Knowledge Discovery 1, 11-28 (1997) 4. Han, J . W. and Kamber, M. Data Mining: Concepts and Techniques ,Higher Education Press, (2001) 5. Theresa, B., Frederick, E. P. and Gurdial, A., Information-Theoretic Measures of Uncertainty for Rough Sets and Rough Relational Databases, Journal of Information Sciences 109(1998), pp185-195 6. Nelson , D. E., High Range Resolution Radar Target Classification: A Rough Set Approach， Paper of PhD 2015/8/4 張堯庭，謝邦昌，朱世武， 數(shù)據(jù)采掘入門及應(yīng)用 從統(tǒng)計技術(shù)看數(shù)據(jù)采掘 ，中國統(tǒng)計出版社，北京， (2001.6) 史忠植著，知識發(fā)現(xiàn)，清華大學(xué)出版社，北京， (2002.1) 數(shù)據(jù)挖掘討論組，數(shù)據(jù)挖掘的研究歷史和現(xiàn)狀， / 閃四清等譯 (Mehmed Kantardzic)，數(shù)據(jù)挖掘 概念、模型、方法和算法，清華大學(xué)出版社， (2003.8) 張銀奎等譯 (Hand, D)，數(shù)據(jù)挖掘原理，機械工業(yè)出版社， (2003.4) 范明等譯（ Hastie, J ）， 統(tǒng)計學(xué)習(xí)基礎(chǔ) 數(shù)據(jù)挖掘、推理與預(yù)測， 電子工業(yè)出版社， (2004.1) 朱建平，數(shù)據(jù)挖掘中的統(tǒng)計方法及實踐，中國統(tǒng)計出版社（ 2006.10） 2015/8/4 現(xiàn)代 統(tǒng)計分析中的數(shù)據(jù)準(zhǔn)備 一、數(shù)據(jù)挖掘的定義 二、數(shù)據(jù)挖掘與知識發(fā)現(xiàn) 三、海量數(shù)據(jù)分析中遇到的問題 四、 數(shù)據(jù)準(zhǔn)備 1、數(shù)據(jù)選擇 2、數(shù)據(jù)預(yù)處理 3、數(shù)據(jù)變換 2015/8/4 一、數(shù)據(jù)挖掘的技術(shù)定義與商業(yè)定義 什么是數(shù)據(jù)挖掘 (Data Mining)？ 關(guān)于定義取決于定義者的觀點和背景，各人的說法不一 . Friedman, J. H.在技術(shù)報告Data Mining and Statistics: Whats The Connection? 中總結(jié)出了多家關(guān)于數(shù)據(jù)挖掘的定義 (也有對知識發(fā)現(xiàn)而言的 )： Fayyad提出數(shù)據(jù)挖掘是一個確定數(shù)據(jù)中有效的、新穎的、潛在有用的，以及最終可理解的模式的非平凡過程 . 2015/8/4 Zekulin的說法是數(shù)據(jù)挖掘是一個從大型數(shù)據(jù)庫中提取以前未知的、可理解的、可執(zhí)行的信息，并用它來進(jìn)行關(guān)鍵的商業(yè)決策的過程 . Ferruzza給出數(shù)據(jù)挖掘是用在知識發(fā)現(xiàn)過程，來辯識存在于數(shù)據(jù)中的未知關(guān)系和模式的一些方法 . Jonn提到數(shù)據(jù)挖掘是發(fā)現(xiàn)數(shù)據(jù)中有益模式的過程 . Parsaye定義數(shù)據(jù)挖掘是我們?yōu)槟切┪粗男畔⒛Ｊ蕉芯看笮蛿?shù)據(jù)集的一個決策支持過程 . 這些表達(dá)方式雖然不同，但從各自的角度描述出了對數(shù)據(jù)挖掘的理解 .這里我們主要從技術(shù)和商業(yè)的角度給出數(shù)據(jù)挖掘的定義 . 2015/8/4 1、 數(shù)據(jù)挖掘的技術(shù)定義 從技術(shù)角度，數(shù)據(jù)挖掘 (Data Mining)就是從 大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中， 提取 隱含在其中的、人們事先不知道的、但又是潛在有用的 信息和知識的過程 . 它是涉及 機器學(xué)習(xí)、模式識別、統(tǒng)計學(xué)、人工智能、數(shù)據(jù)庫管理及數(shù)據(jù)可視化等 學(xué)科的邊緣學(xué)科 . 2015/8/4 這個定義包括好幾層含義 ： 數(shù)據(jù)源必須是真實的、大量的、含噪聲的； 發(fā)現(xiàn)的是用戶感興趣的知識； 發(fā)現(xiàn)的知識要可接受、可理解、可運用； 這些知識是相對的，是有特定前提和約束條件的，在特定領(lǐng)域中具有實際應(yīng)用價值 . 2015/8/4 什么是知識呢 ? 從廣義上理解，數(shù)據(jù)、信息是知識的表現(xiàn)形式，但是人們更把 概念、規(guī)則、模式、規(guī)律和約束等看作知識 . 人們把數(shù)據(jù)看作是形成知識的源泉，好像從礦石中采礦或淘金一樣 . 發(fā)現(xiàn)知識的方法可以是 數(shù)學(xué)的， 也可以 是非數(shù)學(xué)的； 可以是 演繹的， 也可以是 歸納的 . 發(fā)現(xiàn)的知識可以被用于信息管理、查詢優(yōu)化、決策支持和過程控制等，還可以用于數(shù)據(jù)自身的維護(hù) . 2015/8/4 2、數(shù)據(jù)挖掘的商業(yè)定義 從商業(yè)應(yīng)用角度看，數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)。 其主要特點是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務(wù)數(shù)據(jù)進(jìn)行 抽取、轉(zhuǎn)換、分析和其他模型化處理， 從中提取輔助商業(yè)決策的關(guān)鍵性知識，即從一個數(shù)據(jù)庫中自動發(fā)現(xiàn)相關(guān)商業(yè)模式。 2015/8/4 數(shù)據(jù)挖掘也可以描述為：按企業(yè)既定業(yè)務(wù)目標(biāo)，對大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗證已知的規(guī)律性，且進(jìn)一步將其模型化的數(shù)據(jù)處理方法 . 2015/8/4 二、數(shù)據(jù)挖掘與知識發(fā)現(xiàn) （ DM & KDD） 1、 知識發(fā)現(xiàn) (Knowledge Discovery in Database)過程 知識發(fā)現(xiàn)過程可以粗略的理解為三部曲： 數(shù)據(jù)準(zhǔn)備 (data preparation) 數(shù)據(jù)挖掘 (data mining) 結(jié)果的解釋評估 (interpretation and evaluation) 2015/8/4 知識發(fā)現(xiàn)過程示意圖 2015/8/4 數(shù)據(jù)準(zhǔn)備 又可分為三個子步驟 ： 數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)變換 . 數(shù)據(jù)選取 的目的是確定發(fā)現(xiàn)任務(wù)的操作對象，即目標(biāo)數(shù)據(jù) . 數(shù)據(jù)預(yù)處理 一般可能包括消除噪聲、推導(dǎo)計算缺值數(shù)據(jù)、消除重復(fù)記錄、完成數(shù)據(jù)類型轉(zhuǎn)換等 . 數(shù)據(jù)變換 的主要目的是消減數(shù)據(jù)維數(shù)或降維，即從初始特征中找出真正有用的特征以減少數(shù)據(jù)開采時要考慮的特征或變量數(shù) . 2015/8/4 數(shù)據(jù)挖掘階段 主要是確定開采的任務(wù)，如 數(shù)據(jù)總結(jié)、分類、聚類、關(guān)聯(lián)規(guī)則發(fā)現(xiàn)或序列模式發(fā)現(xiàn)等 . 2015/8/4 結(jié)果解釋和評價 主要是數(shù)據(jù)挖掘階段發(fā)現(xiàn)出的模式， 經(jīng)過用戶和機器的評價， 可能存在冗余或無關(guān)的模式，這時需要將其剔除。如果有的模式不滿足用戶要求，需要將整個發(fā)現(xiàn)過程退回到發(fā)現(xiàn)階段之前。 最終結(jié)果是要面向用戶， 有時要對發(fā)現(xiàn)的模式進(jìn)行可視化，或著將結(jié)果轉(zhuǎn)化為用戶易懂的另一種形式 . 2015/8/4 2、數(shù)據(jù)挖掘的地位 KDD是一種知識發(fā)現(xiàn)的一連串程序，數(shù)據(jù)挖掘只是KDD的一個重要程序 . 數(shù)據(jù)挖掘主要是利用某些特定的知識發(fā)現(xiàn)算法，在一定的運算效率的限制內(nèi)，從數(shù)據(jù)中發(fā)現(xiàn)有關(guān)的知識，即隱藏的模式 . 數(shù)據(jù)挖掘是 KDD中最重要的一步，在 KDD的全過程中起到了至關(guān)重要的作用 . 因此，人們往往不加區(qū)別地使用數(shù)據(jù)挖掘和 KDD. 2015/8/4 三、海量數(shù)據(jù)分析中遇到的問題 2015/8/4 Given 7 2 5 8 11 1 6 What is the mean? What is the median? What is the first quartile? What is the third quartile? Introductory Statistics 2015/8/4 7143.5740761118527xMean Put in order 1 2 5 6 7 8 11 Q1 Median Q3 2015/8/4 Given x1, x2, x3, , xn What is the mean? What is the median? What is the first quartile? What is the third quartile? 2015/8/4 nxnx. . . . .xxx n 21Mean Put in order x(1) x(2) x( ) x(n-1) x(n) Median 2n2015/8/4 Given x1, x2, x3, , xn where n=300,000,000. What is the mean? What is the median? What is the first quartile? What is the third quartile? 2015/8/4 四、 數(shù)據(jù)準(zhǔn)備 （一） 數(shù)據(jù)選擇 （二） 數(shù)據(jù)預(yù)處理 （三） 數(shù)據(jù)變換 2015/8/4 1、原始數(shù)據(jù)的表述 數(shù)據(jù)樣本是數(shù)據(jù)挖掘過程的基本組成部分 （一）數(shù)據(jù)選擇 2015/8/4 每個樣本都用幾個特征來描述，每個特征有不同類型的值。 常見的類型有： 數(shù)值型和分類型 。 數(shù)值型包括 實型變量和整型變量 注： 具有數(shù)值型值的特征有兩個重要的屬性：其值有順序關(guān)系和距離關(guān)系 。 2015/8/4 分類型變量的兩個值可以相等或不等。 一個有兩個值的分類型變量原則上可以轉(zhuǎn)化成一個二進(jìn)制的數(shù)值型變量，這種數(shù)值型變量有兩個值： 0或 1； 而有 N值的分類型變量原則上可以轉(zhuǎn)化成一個二進(jìn)制的數(shù)值型變量，這種數(shù)值型變量有 N個值。 2015/8/4 例如 ：如果變量 “ 眼睛顏色 ” 有 4個值：黑色、藍(lán)色、綠色、褐色。 特征值 編碼 黑色 1000 藍(lán)色 0100 綠色 0010 褐色 0001 2015/8/4 2、數(shù)據(jù)分類 一種基于變量值的數(shù)據(jù)分類方法就是定性 (qualitative)和定量 (quantitative).定性數(shù)據(jù)也可以看作是離散型數(shù)據(jù)，是用描述性術(shù)語來區(qū)分值 .例如，性別通常分為男性 (M)和女性 (F).有一種特殊的定性數(shù)據(jù)就是周期型數(shù)據(jù)，例如星期、月或年中的日期 . 2015/8/4 定量型也叫連續(xù)型或度量型， 是以數(shù)字值為特征，用于開發(fā)預(yù)測 .如果建立了優(yōu)先規(guī)則，定性型數(shù)據(jù)也可以轉(zhuǎn)換成定量型數(shù)據(jù) .如，性別就可以規(guī)定性別值為 1和 2， 1表示 “ M”或男性， 2表示 “ F”或女性 . 2015/8/4 定量型共有四種 1）標(biāo)稱數(shù)據(jù) (nominal data). 表示類別或?qū)傩缘臄?shù)值數(shù)據(jù)， 如表示性別的數(shù)字值 .表示性別的數(shù)字值 (1或 2)就是標(biāo)稱數(shù)據(jù)值 .標(biāo)稱數(shù)據(jù)的一個重要特性是它沒有相關(guān)重要性 .如，即使男性 =1，女性 =2，也不意味著女性的值是男性的 2倍或更高 .對于建模來說，只有兩個值的標(biāo)稱變量應(yīng)編碼為0和 1. 2015/8/4 2）序數(shù)數(shù)據(jù) (ordinal data). 序數(shù)數(shù)據(jù)是表示有相對重要性的類別的數(shù)值數(shù)據(jù)，可用于給強度、重要性分等級 .例如，用 1-5表示用戶對某產(chǎn)品的質(zhì)量評價，分別表示很差、較差、中等、較好、很好 . 2015/8/4 3）間隔數(shù)據(jù) (interval data). 間隔數(shù)據(jù)是有相對重要性，沒有 0點的數(shù)值數(shù)據(jù) .對它而言，加、減是有意義的操作 .例如，可以用更詳細(xì)的數(shù)字來分析產(chǎn)品質(zhì)量的好壞，可以用 0-100之間的數(shù)字具體分析產(chǎn)品之間的差距 . 2015/8/4 4）連續(xù)數(shù)據(jù) (continuous data). 連續(xù)數(shù)據(jù)是開發(fā)預(yù)測模型時最常用的數(shù)據(jù)，適用于所有基本的算術(shù)運算，包括加、減、乘、除 .大多數(shù)業(yè)務(wù)數(shù)據(jù)如銷售額、余款、差額等都是連續(xù)數(shù)據(jù) . 2015/8/4 另一種數(shù)據(jù)分類維度是基于數(shù)據(jù)與時間有關(guān)的行為特性 .我們把那些不隨時間的變化而變化的數(shù)據(jù)稱為 靜態(tài)數(shù)據(jù) .而另一部分隨時間變化而變化的屬性值，我們稱之為 動態(tài)數(shù)據(jù)或時間數(shù)據(jù) .在大多數(shù)的數(shù)據(jù)挖掘算法中都使用的靜態(tài)數(shù)據(jù)，若要使用動態(tài)數(shù)據(jù)，則需要進(jìn)行特殊的考慮和預(yù)處理 . 這方面的內(nèi)容將在后面介紹 . 2015/8/4 （二）數(shù)據(jù)預(yù)處理 1、噪聲數(shù)據(jù)的處理 噪聲 (noise)是一個被測變量中的隨機誤差或偏差 .下面我們將要討論給定一個數(shù)值型屬性，要如何平滑數(shù)據(jù)去除噪聲的方法 . 1）數(shù)據(jù)的平整 一個數(shù)值型的特征 y可能包括許多不同的值，這些數(shù)據(jù)之間的小小差異也許并不重要，但是卻有可能影響到挖掘方法的性能甚至最終結(jié)果 .實際上我們也可以把這些數(shù)據(jù)之間的差異看成是同一數(shù)值的隨機變差，因此有時對這些數(shù)據(jù)進(jìn)行平整處理還是很重要的 . 2015/8/4 2015/8/4 有些情況下的平整算法比較復(fù)雜，這將在以后的章節(jié)詳細(xì)討論 .減少不同的數(shù)值數(shù)目意味著同時減少了數(shù)據(jù)空間的維度，這對數(shù)據(jù)挖掘的方法十分有利 .這樣的平整方法可用于將連續(xù)型特征分解成一系列離散二元 “ 真假 ” 值的特征 . 2015/8/4 2） Bin方法 . Bin方法也就是分箱方法，是通過利用相應(yīng)被平滑數(shù)據(jù)點的 “ 鄰居 ” (即周圍的值 )，對一組排序數(shù)據(jù)進(jìn)行平滑 .排序成的這些數(shù)據(jù)被分配到一些 “ 桶 ” 或箱中 .由于 Bin方法考察的是相鄰的值， 因此它進(jìn)行局部平滑 . 2015/8/4 下面給出了一些 Bin的方法技術(shù) 2015/8/4 2015/8/4 2015/8/4 3）聚類方法 . 通過聚類分析可以檢測到異常數(shù)據(jù)，也就是孤立點 .聚類將相似或相鄰近的數(shù)據(jù)聚合到一起形成了各個聚類集合 .直觀地看，落在聚類集合之外的值就被認(rèn)為是孤立點 .孤立點之值作為噪聲處理，將其刪除，試用 “ 聚類 ”中心值代替 .有關(guān)聚類分析的思想和方法將在第五章中詳細(xì)討論 . 2015/8/4 4）計算機與人工檢查結(jié)合 . 這也是一種識別孤立點的方法 .例如 :在實際應(yīng)用中，使用信息理論度量可以幫助識別手寫符號庫中的異常模式 .度量值反映要判斷的字符與已知的符號要相比的 “ 差異 ” 程度 .孤立點模式可能是提供有用的信息 (識別有用的數(shù)據(jù)異常 )，也可能是錯誤的信息 .將所識別出的孤立點輸出到一個列表中，然后使用人工對這一列表中的孤立點進(jìn)行檢查，識別出真正的垃圾，這種人機結(jié)合的方法要比單單使用人工來搜索整個數(shù)據(jù)庫快得多了 .在其后的數(shù)據(jù)挖掘中，這些垃圾模式將由數(shù)據(jù)庫中清除掉 . 2015/8/4 5）回歸分析法 可以通過回歸關(guān)系，根據(jù)大量統(tǒng)計數(shù)據(jù)，找出變量之間在數(shù)量變化方面的統(tǒng)計規(guī)律，從而消除變量之間的隨機關(guān)系，以達(dá)到擬合函數(shù)對數(shù)據(jù)平滑的目的 .例如可以借助線性回歸 (linear regression)，擬合一個變量與其他多個變量之間的關(guān)系，這樣就可以用這一關(guān)系以一組變量值來幫助預(yù)測另一個變量 .通過回歸分析可以消除隨機因素，除去噪聲 . 2015/8/4 6）樣條方法 樣條方法是以適當(dāng)控制通過一組給定的數(shù)據(jù)點的曲線 .B樣條 (Basic splines)在樣版權(quán)法的理論和應(yīng)用研究中起著很基本的作用 .局部性質(zhì)是 B樣條曲線最重要的性質(zhì)之一，在部分參數(shù)區(qū)域上的一點到多與 k+1個控制頂點有關(guān)，與其他的無關(guān)，因此改變這部分的控制頂點至多影響到這部分的曲線，其余不會受到影響 .它在每曲線段內(nèi)部是無限次可微，并且隨著次數(shù) k的升高，曲線會越來越光滑 .通過用 B樣條去擬合數(shù)據(jù)，可以經(jīng)過調(diào)整增加曲線的光滑度去除噪聲 . 2015/8/4 2、異常的分析 2015/8/4 2015/8/4 2）距離檢測法 例如： 數(shù)據(jù)集為： S=S1,S2,S3,S4,S5,S6,S7 =(2,4),(3,2),(1,1),(4,3),(1,6),(5,3),(4,2) 歐氏距離 d=(X1-X2)2+(Y1-Y2)21/2 取閾值距離為 d=3 2015/8/4 2015/8/4 根據(jù)所用程序的結(jié)果和所給的閾值， 可選擇 S3和 S5作為異常點。 2015/8/4 2015/8/4 3、缺失數(shù)據(jù) 2015/8/4 2015/8/4 2015/8/4 2015/8/4 2015/8/4 我們看一個替代的例子 注 1：缺點是替代值并不是正確值，會引起數(shù)據(jù)的偏差。 注 2：假設(shè)這些丟失值對最終的數(shù)據(jù)挖掘結(jié)果沒有任何影響，我們可以將一個丟失值的樣本擴展成為一組人工樣本（會引起樣本的組合爆炸）。 例如 ：如果一個三維樣本被假定為 ，其中第二個特征值丟失，這樣在特征定義 內(nèi)產(chǎn)生 5個人工樣本： 31 ？X43210341,331,321,311,301 14321 XXXXX2015/8/4 （三）數(shù)據(jù)變換 1、 標(biāo)準(zhǔn)化 一些數(shù)據(jù)挖掘方法，需要對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化以獲得最佳的效果。 1）小數(shù)縮放 小數(shù)縮放移動小數(shù)點，但是要仍然保持原始數(shù)據(jù)的特征。典型的縮放是保持?jǐn)?shù)值在 -1和 1范圍內(nèi)?？梢杂酶袷矫枋?kii XX 10/2015/8/4 2）最小 -最大標(biāo)準(zhǔn)化 最小 -最大標(biāo)準(zhǔn)化的格式： 注：這種轉(zhuǎn)換可能會導(dǎo)致標(biāo)準(zhǔn)化值無意識的集中。 )m i n ()m ax ()m i n (iiiii XXXXX2015/8/4 3）標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化 標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化的格式是 其中： 是均值； 是標(biāo)準(zhǔn)差 SXXX iiX S2015/8/4 2、高維度問題 大多數(shù)數(shù)據(jù)挖掘問題的出現(xiàn)是因為有大量的樣本具有不同類型的特征。此外，這些樣本往往是高維度的，這就意味著它們有相當(dāng)大數(shù)目的可測量特征。 大型數(shù)據(jù)集中這種高維現(xiàn)象會產(chǎn)生 “ 高維禍根 ” （維數(shù)災(zāi)），這種現(xiàn)象可以用高維空間幾何學(xué)來解釋，這是數(shù)據(jù)挖掘問題的典型。 2015/8/4 注意： 數(shù)據(jù)集的大小隨維數(shù)呈指數(shù)增長，這個數(shù)據(jù)集在一個 n維空間中生成數(shù)據(jù)點的 相同密度 例如： n個數(shù)據(jù)點的一維樣本，其密度令人滿意的，那么，要在 k維空間中獲得同樣的密度，需要 nk 個數(shù)據(jù)點。 注意： 幾乎每一個點都是異常點 高維空間的物體比低維空間的物體擁有更大的面積。 2015/8/4 3、差值和比率 設(shè)數(shù)值型變量 的數(shù)值為 ， 其差值轉(zhuǎn)換為 ；比率轉(zhuǎn)換為 。 X niXi