1、Data mining : concepts and techniques，數(shù)據(jù)挖掘data mining，data mining : concepts and techniques，第1章。簡(jiǎn)介，什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘的功能數(shù)據(jù)挖掘系統(tǒng)分類相關(guān)的幾個(gè)問(wèn)題的摘要，data mining : concepts and techniques，什么是數(shù)據(jù)挖掘？數(shù)據(jù)挖掘(數(shù)據(jù)庫(kù)中的知識(shí)搜索KDD)從存儲(chǔ)在：數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)或其他類型的存儲(chǔ)庫(kù)中的大量數(shù)據(jù)中提取或挖掘有趣知識(shí)的過(guò)程。Data mining:這一其他相關(guān)術(shù)語(yǔ)很重要，但是隱含、未知、潛在有用嗎？knowledge discovery(min

2、ing)in databases(KDD)、知識(shí)提取、模式分析潛在應(yīng)用程序、數(shù)據(jù)庫(kù)分析和決策支持市場(chǎng)分析和管理市場(chǎng)、客戶關(guān)系管理、籃子分析、交叉銷售、市場(chǎng)部門風(fēng)險(xiǎn)分析和管理預(yù)測(cè)、客戶維護(hù)、保險(xiǎn)業(yè)務(wù)改進(jìn)、質(zhì)量管理、競(jìng)爭(zhēng)分析欺詐探測(cè)和管理、異常監(jiān)控其他應(yīng)用程序文本挖掘(新聞組、電子郵件、文檔)和web智能查詢響應(yīng)、data mining : concepts and techniques、市場(chǎng)分析和管理(1)，以及需要分析的數(shù)據(jù)是什么？信用卡交易、優(yōu)惠券、客戶投訴、生活方式研究等目標(biāo)市場(chǎng)發(fā)現(xiàn)了具有相同特征(興趣、收入水平、消費(fèi)習(xí)慣等)的顧客群。確定客戶隨時(shí)間變化的購(gòu)買模式根據(jù)不同產(chǎn)品銷售之間的關(guān)聯(lián)

3、分析相關(guān)信息進(jìn)行預(yù)測(cè)，數(shù)據(jù)移動(dòng)3360概念和技術(shù)，市場(chǎng)分析和管理，(2)利用客戶分析數(shù)據(jù)挖掘確定哪些類型的客戶購(gòu)買哪些產(chǎn)品(分類、群集)確定客戶需求為其他客戶確定最佳產(chǎn)品預(yù)測(cè)技術(shù)提供摘要信息多種多維合并報(bào)告統(tǒng)計(jì)摘要信息(關(guān)鍵數(shù)據(jù)的趨勢(shì)和變化)、數(shù)據(jù)管理3360概念和技術(shù)、風(fēng)險(xiǎn)分析和管理、財(cái)務(wù)計(jì)劃和資產(chǎn)評(píng)估現(xiàn)金流量分析和預(yù)測(cè)時(shí)間系列分析(financial-ratio，trend Anand)資源計(jì)劃：資源和成本摘要和比較競(jìng)爭(zhēng)：競(jìng)爭(zhēng)監(jiān)控和市場(chǎng)方向分類，以及基于類別的價(jià)格競(jìng)爭(zhēng)市場(chǎng)中的定價(jià)策略設(shè)置，數(shù)據(jù)管理3360概念和技術(shù)，欺詐檢測(cè)和管理，(1)廣泛應(yīng)用于醫(yī)療保險(xiǎn)、零售和零售業(yè)，信用卡服務(wù)，方法利

4、用歷史數(shù)據(jù)構(gòu)建欺詐模型，并使用數(shù)據(jù)命名技術(shù)確定相關(guān)實(shí)例。是汽車保險(xiǎn)3360 detect a group of people who stage(計(jì)劃)accidents to collect on insurance(欺詐保險(xiǎn))洗錢：可疑現(xiàn)金交易醫(yī)療保險(xiǎn)： detect professional patients分析超出預(yù)期標(biāo)準(zhǔn)的模式。British telecom identified discrete groups of callers with frequent intra-group calls，特別是手機(jī)上經(jīng)常出現(xiàn)打破數(shù)百萬(wàn)美元的欺詐行為。38%的零售損失是不誠(chéng)實(shí)的員工、data

5、mining : concepts And techniques、other applications、體育IBM advanced scout analyzed NBA game statistics()，data mining : concepts and techniques，一些具體示例，data mining 3360 concepts and techniques，一些具體示例，示例1:醫(yī)生對(duì)一個(gè)患者進(jìn)行診療(模式識(shí)別的整個(gè)過(guò)程測(cè)量患者的體溫和血壓，測(cè)試血液沉淀，詢問(wèn)臨床情況。通過(guò)全面分析，掌握主要狀態(tài)。醫(yī)生利用自己的知識(shí)，根據(jù)主要疾病做出正確的診斷。data mining : c

6、oncepts and techniques，一些具體示例，選擇用作家具的松樹(shù)。如何區(qū)分那種類型？觀察：顏色、圖案、亮度、密度(樣例測(cè)量)、樣例圖案的綜合分析：提取，選擇主要特征主要區(qū)別：每個(gè)單個(gè)樣例(松樹(shù)、樺樹(shù))、Data mining 3360 concepts and techniques)數(shù)據(jù)減少和轉(zhuǎn)換：減少有用的特征、維和變量。轉(zhuǎn)換為適合挖掘的形式數(shù)據(jù)挖掘功能選擇摘要、分類、回歸、關(guān)聯(lián)和群集。選擇挖掘算法數(shù)據(jù)挖掘：查找知識(shí)使用，如興趣模式評(píng)估和知識(shí)表示可視化、轉(zhuǎn)換、消除重復(fù)模式等，數(shù)據(jù)管理3360概念和技術(shù)，一些人將數(shù)據(jù)挖掘作為圖數(shù)據(jù)挖掘：知識(shí)發(fā)現(xiàn)過(guò)程的核心過(guò)程，Lk！=；k)do

7、begin CK 1=candidates generated from lk；for each transaction in database do increment the count of all candidates in CK 1 that are contained in t lk 1=candidates in CK 1 with min _ support，多所大學(xué)Chen xioyun，data mining : concepts and techniques，182，the apriori algorithm-example，database d，scan d，suppo

8、se the items in lk-1 are listed in an order step 1: self-joining lk-1 insert into CK select p . item 1，p.itemk-1.p.itemk-2=q.itemk-2，p.itemk-1=10給定批量輸入數(shù)據(jù)元組，滿足having子句閾值的輸出元組數(shù)相對(duì)較少。結(jié)果被認(rèn)為是“冰山頂”，“冰山”是輸入數(shù)據(jù)集。多所大學(xué)陳曉云，數(shù)據(jù)命名：概念和技術(shù)，210，常用方法：對(duì)所有客戶-商品進(jìn)行分組，計(jì)算聚合函數(shù)SUM值，消除給定客戶購(gòu)買少于3個(gè)產(chǎn)品的情況。就處理的元組總數(shù)而言，滿足此條件的元組大部分很少，還有空

9、間可提高性能。compute iceberg queries efficiently by apriori : first compute lower dimensions then compute higher dimensions only when all the lower ones areselect p . cust _ id from purchases p group by p . cust _ id having sum(p . qty)=3創(chuàng)建客戶購(gòu)買數(shù)量大于3的item_list。例如，Select p . item _ id from purchases p group

10、 by p . item _ id having sum(p . qty)=3，多個(gè)大學(xué)Chen Xiaoyun，data mining : 多個(gè)大學(xué)Chen Xiaoyun，data mining : concepts and techniques，213，multiple-level association rules，項(xiàng)目通常構(gòu)成了希望在較低級(jí)別提供更低支持的分層項(xiàng)目。 在較低級(jí)別可能很難發(fā)現(xiàn)強(qiáng)大的關(guān)聯(lián)規(guī)則，但在較高級(jí)別上可能會(huì)發(fā)現(xiàn)有意義的規(guī)則。transaction database can be encoded based on dimensions and levels we ca

11、n explore shared multi-level mining，多所大學(xué)Chen Xiaoyun，Data mining 33然后發(fā)現(xiàn)低級(jí)弱規(guī)則：2 2% milk wheat bread 6%，50%。多級(jí)關(guān)聯(lián)規(guī)則的變型級(jí)別關(guān)聯(lián)規(guī)則level-crossed association rules :檢查第一級(jí)I級(jí)的項(xiàng)目，IFF在(i-1)級(jí)的父節(jié)點(diǎn)中頻繁。根據(jù)更一般的相關(guān)調(diào)查更特定的相關(guān)。如果節(jié)點(diǎn)經(jīng)常存在，孩子會(huì)被調(diào)查。否則，其后代將在搜索中剪切樹(shù)枝。P165圖6-14 2% milk wonder wheat breakd層相交k項(xiàng)目集僅當(dāng)位于層(i-1)的相應(yīng)父節(jié)點(diǎn)k項(xiàng)目集中時(shí)，才會(huì)過(guò)濾層I的k項(xiàng)目集。(太嚴(yán)格)，多所大學(xué)Chen Xiaoyun，data mining : concepts and techniques，215，multi-level association :一致性支持和減少支持