1、數(shù)據(jù)挖掘：概念與技術(shù),Jiawei Han and Micheline Kamber著 Monrgan Kaufmann Publishers Inc. 范明 孟小峰等譯 機械工業(yè)出版社,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),2,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),3,第1章 引言,英文幻燈片制作：Jiawei Han 中文幻燈片編譯：范明,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),5,第一章 引論,動機：為什么要數(shù)據(jù)挖掘? 什么是數(shù)據(jù)挖掘? 數(shù)據(jù)挖掘：在什么數(shù)據(jù)上進行? 數(shù)據(jù)挖掘功能 所有的模式都是有趣的嗎? 數(shù)據(jù)挖掘系統(tǒng)分類 數(shù)據(jù)挖掘的主要問題,2020年

2、8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),6,動機: 需要是發(fā)明之母,數(shù)據(jù)爆炸問題 自動的數(shù)據(jù)收集工具和成熟的數(shù)據(jù)庫技術(shù)導致大量數(shù)據(jù)存放在數(shù)據(jù)庫, 數(shù)據(jù)倉庫, 和其它信息存儲中 我們正被數(shù)據(jù)淹沒,但卻缺乏知識 解決辦法: 數(shù)據(jù)倉庫與數(shù)據(jù)挖掘 數(shù)據(jù)倉庫與聯(lián)機分析處理(OLAP) 從大型數(shù)據(jù)庫的數(shù)據(jù)中提取有趣的知識(規(guī)則, 規(guī)律性, 模式, 限制等),2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),7,數(shù)據(jù)處理技術(shù)的演進,1960s: 數(shù)據(jù)收集, 數(shù)據(jù)庫創(chuàng)建, IMS 和網(wǎng)狀 DBMS 1970s: 關(guān)系數(shù)據(jù)庫模型, 關(guān)系 DBMS 實現(xiàn) 1980s: RDBMS, 先進的數(shù)據(jù)模型 (擴充關(guān)系的,

3、 OO, 演繹的, 等.) 和面向應(yīng)用 的 DBMS (空間的, 科學的, 工程的, 等.) 1990s2000s: 數(shù)據(jù)挖掘和數(shù)據(jù)倉庫, 多媒體數(shù)據(jù)庫, 和 Web 數(shù)據(jù)庫,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),8,什么是數(shù)據(jù)挖掘?,數(shù)據(jù)挖掘 (數(shù)據(jù)庫中知識發(fā)現(xiàn)): 從大型數(shù)據(jù)庫中提取有趣的 (非平凡的, 蘊涵的, 先前未知的 并且是潛在有用的) 信息或模式 其它叫法和“inside stories”: 數(shù)據(jù)挖掘: 用詞不當? 數(shù)據(jù)庫中知識發(fā)現(xiàn)(挖掘) (Knowledge discovery in databases, KDD), 知識提取(knowledge extracti

4、on), 數(shù)據(jù)/模式分析(data/pattern analysis), 數(shù)據(jù)考古(data archeology), 數(shù)據(jù)捕撈(data dredging), 信息收獲(information harvesting), 商務(wù)智能(business intelligence), 等. 什么不是數(shù)據(jù)挖掘? (演繹) 查詢處理. 專家系統(tǒng) 或小型 機器學習(ML)/統(tǒng)計程序,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),9,為什么要數(shù)據(jù)挖掘?可能的應(yīng)用,數(shù)據(jù)庫分析和決策支持 市場分析和管理 針對銷售(target marketing), 顧客關(guān)系管理, 購物籃分析, 交叉銷售(cross se

5、lling), 市場分割(market segmentation) 風險分析與管理 預(yù)測, 顧客關(guān)系, 改進保險, 質(zhì)量控制, 競爭能力分析 欺騙檢測與管理 其它應(yīng)用 文本挖掘 (新聞組, email, 文檔資料) 流數(shù)據(jù)挖掘(Stream data mining) Web挖掘. DNA 數(shù)據(jù)分析,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),10,市場分析與管理(1),用于分析的數(shù)據(jù)源在哪? 信用卡交易, 會員卡, 打折優(yōu)惠卷, 顧客投訴電話, (公共) 生活時尚研究 針對銷售(Target marketing) 找出顧客群, 他們具有相同特征 : 興趣, 收入水平, 消費習慣, 等.

6、確定顧客隨時間變化的購買模式 個人帳號到聯(lián)合帳號的轉(zhuǎn)變: 結(jié)婚, 等. 交叉銷售分析(Cross-market analysis) 產(chǎn)品銷售之間的關(guān)聯(lián)/相關(guān) 基于關(guān)聯(lián)信息的預(yù)測,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),11,市場分析與管理(2),顧客分類(Customer profiling) 數(shù)據(jù)挖掘能夠告訴我們什么樣的顧客買什么產(chǎn)品(聚類或分類) 識別顧客需求 對不同的顧客識別最好的產(chǎn)品 使用預(yù)測發(fā)現(xiàn)什么因素影響新顧客 提供匯總信息 各種多維匯總報告 統(tǒng)計的匯總信息 (數(shù)據(jù)的中心趨勢和方差),2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),12,法人分析和風險管理,財經(jīng)規(guī)劃和資

7、產(chǎn)評估 現(xiàn)金流分析和預(yù)測 臨時提出的資產(chǎn)評估 交叉組合(cross-sectional) 和時間序列分析 (金融比率(financial-ratio), 趨勢分析, 等.) 資源規(guī)劃 : 資源與開銷的匯總與比較 競爭: 管理競爭者和市場指導 對顧客分類和基于類的定價 在高度競爭的市場調(diào)整價格策略,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),13,欺騙檢測和管理(1),應(yīng)用 廣泛用于健康照料, 零售, 信用卡服務(wù), 電訊 (電話卡欺騙), 等. 方法 使用歷史數(shù)據(jù)建立欺騙行為模型, 使用數(shù)據(jù)挖掘幫助識別類似的實例 例 汽車保險: 檢測這樣的人, 他/她假造事故騙取保險賠償 洗錢: 檢測可疑

8、的金錢交易 (US Treasurys Financial Crimes Enforcement Network) 醫(yī)療保險 : 檢測職業(yè)病患者, 醫(yī)生和介紹人圈,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),14,欺騙檢測和管理(2),檢測不適當?shù)尼t(yī)療處置 澳大利亞健康保險會(Australian Health Insurance Commission) 發(fā)現(xiàn)許多全面的檢查是請求做的, 而不是實際需要的 (每年節(jié)省100萬澳元). 檢測電話欺騙 電話呼叫模式: 通話距離, 通話時間, 每天或每周通話次數(shù). 分析偏離期望的模式. 英國電訊(British Telecom)識別頻繁內(nèi)部通話的

9、呼叫者的離散群, 特別是移動電話, 超過數(shù)百萬美元的欺騙. 零售 分析家估計, 38%的零售業(yè)萎縮是由于不忠誠的雇員造成的.,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),15,其它應(yīng)用,運動 IBM Advanced Scout分析NBA的統(tǒng)計數(shù)據(jù) ( 阻擋投籃, 助攻, 和犯規(guī) ) 獲得了對紐約小牛隊(New York Knicks)和邁艾米熱隊( Miami Heat )的競爭優(yōu)勢 天文 借助于數(shù)據(jù)挖掘的幫助,JPL 和 Palomar Observatory 發(fā)現(xiàn)了22 顆類星體(quasars) Internet Web Surf-Aid IBM Surf-Aid 將數(shù)據(jù)挖掘算法

10、用于有關(guān)交易的頁面的Web訪問日志, 以發(fā)現(xiàn)顧客喜愛的頁面, 分析Web 銷售的效果, 改進Web 站點的組織, 等.,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),16,數(shù)據(jù)挖掘過程,數(shù)據(jù)挖掘：KDD的核心.,數(shù)據(jù)清理,數(shù)據(jù)集成,數(shù)據(jù)庫,數(shù)據(jù)倉庫,知識,任務(wù)相關(guān)數(shù)據(jù),選擇,數(shù)據(jù)挖掘,模式評估,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),17,KDD過程的步驟,學習應(yīng)用領(lǐng)域: 相關(guān)的先驗知識和應(yīng)用的目標 創(chuàng)建目標數(shù)據(jù)集: 數(shù)據(jù)選擇 數(shù)據(jù)清理和預(yù)處理: (可能占全部工作的 60%!) 數(shù)據(jù)歸約與變換: 發(fā)現(xiàn)有用的特征, 維/變量歸約, 不變量的表示. 選擇數(shù)據(jù)挖掘函數(shù) 匯總, 分類,

11、回歸, 關(guān)聯(lián), 聚類.,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),18,KDD過程的步驟(續(xù)),選擇挖掘算法 數(shù)據(jù)挖掘: 搜索有趣的模式 模式評估和知識表示 可視化, 變換, 刪除冗余模式, 等. 發(fā)現(xiàn)知識的使用,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),19,數(shù)據(jù)挖掘和商務(wù)智能,提高支持商務(wù)決策的潛能,最終用戶,商務(wù)分析人員,數(shù)據(jù)分析人員,DBA,制定決策,數(shù)據(jù)表示,可視化技術(shù),數(shù)據(jù)挖掘,信息發(fā)現(xiàn),數(shù)據(jù)探查,OLAP, MDA,統(tǒng)計分析, 查詢和報告,數(shù)據(jù)倉庫 / 數(shù)據(jù)集市,數(shù)據(jù)源,文字記錄, 文件, 信息提供者, 數(shù)據(jù)庫系統(tǒng), OLTP系統(tǒng),2020年8月22日星期六,數(shù)據(jù)

12、挖掘：概念與技術(shù),20,典型的數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu),數(shù)據(jù)倉庫,數(shù)據(jù)清理 數(shù)據(jù)集成,過濾,數(shù)據(jù)庫,數(shù)據(jù)庫或數(shù)據(jù)倉庫,數(shù)據(jù)挖掘引擎,模式評估,圖形用戶界面,知識庫,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),21,數(shù)據(jù)挖掘:在什么數(shù)據(jù)上進行?,關(guān)系數(shù)據(jù)庫 數(shù)據(jù)倉庫 事務(wù)(交易)數(shù)據(jù)庫 先進的數(shù)據(jù)庫和信息存儲 面向?qū)ο蠛蛯ο?關(guān)系數(shù)據(jù)庫 空間和時間數(shù)據(jù) 時間序列數(shù)據(jù)和流數(shù)據(jù) 文本數(shù)據(jù)庫和多媒體數(shù)據(jù)庫 異種數(shù)據(jù)庫和遺產(chǎn)數(shù)據(jù)庫 WWW,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),22,數(shù)據(jù)挖掘功能(1),概念描述: 特征和區(qū)分 概化, 匯總, 和比較數(shù)據(jù)特征, 例如, 干燥和潮濕的地區(qū) 關(guān)聯(lián) (

13、相關(guān)和因果關(guān)系) 多維和單維關(guān)聯(lián) age(X, “20.29”) income(X, “20.29K”) buys(X, “PC”) support = 2%, confidence = 60% contains(T, “computer”) contains(T, “software”) support = 1%, confidence = 75%,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),23,數(shù)據(jù)挖掘功能(2),分類和預(yù)測 找出描述和識別類或概念的模型( 函數(shù)), 用于將來的預(yù)測 例如根據(jù)氣候?qū)曳诸? 或根據(jù)單位里程的耗油量對汽車分類 表示: 判定樹(decision-tre

14、e), 分類規(guī)則, 神經(jīng)網(wǎng)絡(luò) 預(yù)測: 預(yù)測某些未知或遺漏的數(shù)值值 聚類分析 類標號(Class label) 未知: 對數(shù)據(jù)分組, 形成新的類. 例如, 對房屋分類, 找出分布模式 聚類原則: 最大化類內(nèi)的相似性, 最小化類間的相似性,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),24,數(shù)據(jù)挖掘功能(3),孤立點(Outlier)分析 孤立點: 一個數(shù)據(jù)對象, 它 與數(shù)據(jù)的一般行為不一致 孤立點可以被視為例外, 但對于欺騙檢測和罕見事件分析, 它是相當有用的 趨勢和演變分析 趨勢和偏離: 回歸分析 序列模式挖掘, 周期性分析 基于相似的分析 其它基于模式或統(tǒng)計的分析,2020年8月22日星

15、期六,數(shù)據(jù)挖掘：概念與技術(shù),25,挖掘出的所有模式都是有趣的嗎?,一個數(shù)據(jù)挖掘系統(tǒng)/查詢可以挖掘出數(shù)以千計的模式, 并非所有的模式都是有趣的 建議的方法: 以人為中心, 基于查詢的, 聚焦的挖掘 興趣度度量 : 一個模式是 有趣的 如果它是 易于被人理解的, 在某種程度上在新的或測試數(shù)據(jù)上是有效的, 潛在有用的, 新穎的, 或驗證了用戶希望證實的某種假設(shè) 客觀與主觀的興趣度度量 : 客觀: 基于模式的統(tǒng)計和結(jié)構(gòu), 例如, 支持度, 置信度, 等. 主觀: 基于用戶對數(shù)據(jù)的確信, 例如, 出乎意料, 新穎性, 可行動性(actionability), 等.,2020年8月22日星期六,數(shù)據(jù)挖掘：

16、概念與技術(shù),26,能夠只發(fā)現(xiàn)有趣的模式嗎?,發(fā)現(xiàn)所有有趣的模式: 完全性 數(shù)據(jù)挖掘系統(tǒng)能夠發(fā)現(xiàn)所有有趣的模式嗎? 關(guān)聯(lián) vs. 分類 vs. 聚類 僅搜索有趣的模式: 優(yōu)化 數(shù)據(jù)挖掘系統(tǒng)能夠僅發(fā)現(xiàn)有趣的模式嗎? 方法 首先找出所有模式, 然后過濾掉不是有趣的那些. 僅產(chǎn)生有趣的模式 挖掘查詢優(yōu)化,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),27,數(shù)據(jù)挖掘: 多學科交叉,數(shù)據(jù)挖掘,數(shù)據(jù)庫技術(shù),統(tǒng)計學,其它學科,信息科學,機器學習,可視化,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),28,數(shù)據(jù)挖掘分類,一般功能 描述式數(shù)據(jù)挖掘 預(yù)測式數(shù)據(jù)挖掘 不同的角度,不同的分類 待挖掘的數(shù)據(jù)庫類型

17、 待發(fā)現(xiàn)的知識類型 所用的技術(shù)類型 所適合的應(yīng)用類型,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),29,數(shù)據(jù)挖掘分類的多維視圖,待挖掘的數(shù)據(jù)庫 關(guān)系的, 事務(wù)的, 面向?qū)ο蟮? 對象-關(guān)系的, 主動的, 空間的, 時間序列的, 文本的, 多媒體的, 異種的, 遺產(chǎn)的, WWW, 等. 所挖掘的知識 特征, 區(qū)分, 關(guān)聯(lián), 分類, 聚類, 趨勢, 偏離和孤立點分析, 等. 多/集成的功能, 和多層次上的挖掘 所用技術(shù) 面向數(shù)據(jù)庫的, 數(shù)據(jù)倉庫 (OLAP), 機器學習, 統(tǒng)計學, 可視化, 神經(jīng)網(wǎng)絡(luò), 等. 適合的應(yīng)用 零售, 電訊, 銀行, 欺騙分析, DNA 挖掘, 股票市場分析, W

18、eb 挖掘, Web日志分析, 等,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),30,OLAP挖掘: 數(shù)據(jù)挖掘與數(shù)據(jù)倉庫的集成,數(shù)據(jù)挖掘系統(tǒng), DBMS, 數(shù)據(jù)倉庫系統(tǒng)的耦合 不耦合, 松耦合, 半緊密耦合, 緊密耦合 聯(lián)機分析挖掘 挖掘與 OLAP 技術(shù)的集成 交互挖掘多層知識 通過下鉆, 上卷, 轉(zhuǎn)軸, 切片, 切塊等操作, 在不同的抽象層挖掘知識和模式的必要性. 多種挖掘功能的集成 特征分類, 先聚類在關(guān)聯(lián),2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),31,OLAM 的結(jié)構(gòu),數(shù)據(jù)倉庫,元數(shù)據(jù),MDDB,OLAM 引擎,OLAP 引擎,用戶 GUI API,數(shù)據(jù)立方體 API,

19、數(shù)據(jù)庫 API,數(shù)據(jù)清理,數(shù)據(jù)集成,第3層 OLAP/OLAM,第2層 MDDB,第1層 數(shù)據(jù)存儲,第4層 用戶界面,過濾和集成,過濾,Databases,挖掘查詢,挖掘結(jié)果,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),32,數(shù)據(jù)挖掘的主要問題(1),挖掘方法和用戶交互 在數(shù)據(jù)庫中挖掘不同類型的知識 在多個抽象層的交互式知識挖掘 結(jié)合背景知識 數(shù)據(jù)挖掘語言和啟發(fā)式數(shù)據(jù)挖掘 數(shù)據(jù)挖掘結(jié)果的表示和可視化 處理噪音和不完全數(shù)據(jù) 模式評估: 興趣度問題 性能和可伸縮性( scalability) 數(shù)據(jù)挖掘算法的性能和可伸縮性 并行, 分布和增量的挖掘方法,2020年8月22日星期六,數(shù)據(jù)挖掘：概

20、念與技術(shù),33,數(shù)據(jù)挖掘的主要問題(2),數(shù)據(jù)類型的多樣性問題 處理關(guān)系的和復雜類型的數(shù)據(jù) 從異種數(shù)據(jù)庫和全球信息系統(tǒng) (WWW)挖掘信息 應(yīng)用和社會效果問題 發(fā)現(xiàn)知識的應(yīng)用 特定領(lǐng)域的數(shù)據(jù)挖掘工具 智能查詢回答 過程控制和決策制定 發(fā)現(xiàn)知識與已有知識的集成: 知識融合問題 數(shù)據(jù)安全, 完整和私有的保護,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),34,小結(jié),數(shù)據(jù)挖掘: 從大量數(shù)據(jù)中發(fā)現(xiàn)有趣的模式 數(shù)據(jù)庫技術(shù)的自然進化, 具有巨大需求和廣泛應(yīng)用 KDD 過程包括數(shù)據(jù)清理, 數(shù)據(jù)集成, 數(shù)據(jù)選擇, 變換, 數(shù)據(jù)挖掘, 模式評估, 和知識表示 挖掘可以在各種數(shù)據(jù)存儲上進行 數(shù)據(jù)挖掘功能: 特

21、征, 區(qū)分, 關(guān)聯(lián), 分類, 聚類, 孤立點 和趨勢分析, 等. 數(shù)據(jù)挖掘系統(tǒng)的分類 數(shù)據(jù)挖掘的主要問題,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),35,數(shù)據(jù)挖掘界簡史,1989 IJCAI Workshop on Knowledge Discovery in Databases (Piatetsky-Shapiro) Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991) 1991-1994 Workshops on Knowledge Discovery in Databases Ad

22、vances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996) 1995-1998 International Conferences on Knowledge Discovery in Databases and Data Mining (KDD95-98) Journal of Data Mining and Knowledge Discovery (1997) 1998 ACM SIGKDD, SIGKDD1999-2001

23、 conferences, and SIGKDD Explorations More conferences on data mining PAKDD, PKDD, SIAM-Data Mining, (IEEE) ICDM, etc.,2020年8月22日星期六,數(shù)據(jù)挖掘：概念與技術(shù),36,參考文獻源,Data mining and KDD (SIGKDD member CDROM): Conference proceedings: KDD, and others, such as PKDD, PAKDD, etc. Journal: Data Mining and Knowledge Di

24、scovery Database field (SIGMOD member CD ROM): Conference proceedings: ACM-SIGMOD, ACM-PODS, VLDB, ICDE, EDBT, DASFAA Journals: ACM-TODS, J. ACM, IEEE-TKDE, JIIS, etc. AI and Machine Learning: Conference proceedings: Machine learning, AAAI, IJCAI, etc. Journals: Machine Learning, Artificial Intelligence, etc. Statistics: Conference proceedings: Joint Stat. Meeting, etc. Journals: Annals of statistics, etc. Visualization: Conference proceedings: CHI, etc. J