1、學習必備歡迎下載CourseReview1Introductiontodatamining,somedefinition(Ch1,Ch3)2DatapreprocessingCh2(Han,dataminingbook)Whypreprocessthedata?Datacleaning清理Dataintegration集成Datatransformation變換Datareduction約簡Datadiscretization離散化3DataWarehouseandOLAPTechnology:AnOverviewCh2Whatiswarehouse?Differencebetweenware

2、houseanddatabase4ClassificationandPredictionCh4Distancebasedalgorithm:KNN(K-NearestNeighbors)ClassificationbyDecisionTreeInduction:ID3strategyClassificationbyBayesianPredictionbylinearregression5ClusterAnalysis(Ch5)Distancemeasure:Euclideandistance,ManhattandistanceHierarchicalMethods:Agglomerative,

3、DivisivePartitioningMethods:k-Means,k-Medoid/PAM(PartitionAroundMedoids)ClusteringClusterbasedonattribute:ROCKClusteringinlargedatabase:BIRCH,DBSCAN,CURE6AssociationRules(Ch6)Basicconcept:Support,confidence,correlationEfficientandScalableFrequentItemsetMiningMethods:ApriorialgorithmImprovingtheEffic

4、iencyofApriori:partitioning,sampling,FP-growthwithoutcandidategenerationMiningVariousKindsofAssociationRules:Multi-level,Multidimensional,QuantitativeFromAssociationMiningtoCorrelationAnalysis:StrongRulesAreNotNecessarilyInteresting學習必備歡迎下載Introductiontodatamining,somedefinition(Ch1,Ch3)1 Datamining

5、(knowledgediscoveryfromdata)(數(shù)據(jù)挖掘的定義)Extractionofinteresting(non-trivial,implicit,previouslyunknownandpotentiallyuseful)patternsorknowledgefromhugeamountofdataL4.2數(shù)據(jù)挖掘的定義從技術(shù)庫度看，推搜掘早速噂單單一不察全的-方目於竣班小一晤.蜓際型推中.擢取隱含龍而小函：人們所噌知話第;但又是潛在有用我情意和斯頊的過僮.從商業(yè)應用角度看，一據(jù)挖掘是一種崩新的同II5口處理母本,其主要特好噩踹靛罐雌學蠹鼻*典1+數(shù)據(jù)挖掘與只是發(fā)現(xiàn)的異同 知

6、識發(fā)現(xiàn)(KD)，輸出的是規(guī)則 數(shù)據(jù)挖掘(DM)輸出的是模型 共同點，兩種方法輸入的都是學習提(learningsets目的都是盡可能多的口動化數(shù)據(jù)挖掘過程一數(shù)據(jù)挖掘過程并不能完全自動化，只能半自動化從大量的數(shù)據(jù)中提取非平凡的，先前不知道的，潛在有用的模式的過程。ExpertsystemsorsmallML/statisticalprograms專家系統(tǒng)是數(shù)據(jù)處理小程序2數(shù)據(jù)挖掘的應用Marketanalysisandmanagement（市場分析與管理）Targetmarketing,customerrelationshipmanagement（CRM）,marketbasketanalysi

7、s,marketsegmentationRiskanalysisandmanagement（風險分析與管理）Forecasting,customerretention,improvedunderwriting,qualitycontrol,competitiveanalysisFrauddetectionanddetectionofunusualpatterns（outliers）其他應用web挖掘流式數(shù)據(jù)挖掘3IntegrationofMultipleTechnologies（數(shù)據(jù)挖掘是多學科的交叉）學習必備歡迎下載4數(shù)據(jù)挖掘的功能A描述性的任務B預測性的任務技術(shù)分類預音(Predicati

8、on)；用歷史預測未來描述(Description)：了解數(shù)據(jù)中潛在的規(guī)律數(shù)據(jù)挖掘技術(shù)七聯(lián)分析序列膜式分類(預言)聚集異常檢測5數(shù)據(jù)挖掘的過程數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)選擇數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)挖掘模式評估知識表達工KDD的步驟1愚據(jù)治理工數(shù)據(jù)集成3.數(shù)弼選擇4數(shù)據(jù)交換5,數(shù)榭挖掘&模代if估工知以表示數(shù)據(jù)挖掘功能對于指出數(shù)據(jù)挖掘任務中要找的模式案型口一般地,數(shù)據(jù)挖掘任務可以分兩類:描述和頸洌.據(jù)述性挖掘任務剌劃數(shù)據(jù)陣中數(shù)據(jù)的般鞫性.頊料挖掘任務在當前數(shù)據(jù)上避打指斷.以進什預4U73.數(shù)據(jù)預處現(xiàn)力法：胞助清理，集成.交換，門約學習必備歡迎下載hl看Evaluation5數(shù)據(jù)挖掘的多維視角Datatobemin

9、edKnowledgetobeminedCharacterization,discrimination,association,classification,clustering,trend/deviation,outlieranalysis,etc.Multiple/integratedfunctionsandminingatmultiplelevelsTechniquesutilizedDatabase-oriented,datawarehouse(OLAP),machinelearning,statistics,visualization,etc.ApplicationsadaptedR

10、etail,telecommunication,banking,fraudanalysis,bio-datamining,stockmarketanalysis,Webmining,etc.6數(shù)據(jù)挖掘能做什么ClusterClassifyCategorical,RegressionSummarizeSummarystatistics,SummaryrulesLinkAnalysis/ModelDependenciesAssociationrulesSequenceanalysisTime-seriesanalysis,SequentialassociationsDetectDeviations

11、7數(shù)據(jù)倉庫和數(shù)據(jù)庫的區(qū)別DataWarehouseandOLAPTechnology:AnOverviewCh2Whatiswarehouse?Differencebetweenwarehouseanddatabase學習必備歡迎下載照辨所挖提的政據(jù)庫分類X系數(shù)據(jù)原，承方數(shù)出與，而式M據(jù).如向附單數(shù)提庠.刈第士第數(shù)疊碑.敝第仕庫.空間救去*.時奇就規(guī)陣,丈木般擁晦.匕姆偉的累乩.異蜘般弱陣，歷史軌掰斯.IW機翻檢翻的知也關(guān)型材此外桁.因牙，發(fā)取寺新，仆類，聚類.乖工點力護/演變守析*祠止分析安等.T看種右詹的正也和學層次艷刷股期挖物所用的技求看面數(shù)其庫的檢掘T掘倉埠，一嘰機器學；L境訐苧、制化

12、等等一眄眼用挖況所用的周用口金St電布.顰忙即吊:兮布，BNX暫機段票巾墻.N的掩黜等踮.打次是數(shù)罪強庠F超點倉陣的5_義眼書.但卻根幣行種嚴格的定義它近一個掘供淡藐上珞功生的熱據(jù)原，它9公司的坡作班期庠勢開轆護.為統(tǒng)一的歷史眩期號析提供畢售的平臺r一花處理瞳佻支蔣“數(shù)第倉庫在一上削向主總的、處成的.砧;IM而餐化叼、小容易失的數(shù)雄聚合，文持甘印都”的決悔過代T.H.biEh秋榭他陣內(nèi)造方間的曾夫設,訃前上建前數(shù)類也西(inconsistent:containingdiscrepanciesincodesornames已交一Aae-Birtbdav=03/07/1997”e.a.Wasrati

13、nsnowratinnA.B.C”Noqualitydata,noqualityminingresults!Qualitydecisionsmustbebasedonqualifydatae.g.duplicateormissdngdatamaycauseincoiTectorevenmisleadingstatistics.產(chǎn)DatawarehouseneedsconsistentintegrationofJqualitydataDataextraction,cleaning,andtransformationcomprisesthemajorityoftheworkofbuildingad

14、atawarehouse2數(shù)據(jù)清理任務：Datacleaningtasks Fillinmissinsvalues- Identifyoutliers. Smoothoutnoisvdata Correctinconsistentdata|學習必備歡迎下載丟失數(shù)據(jù)處理的辦法：兩種辦法：Ignorethetuple:usuallydonewhenclasslabelisllUSSmg(assumingthetasksinclassificationnoteffectivewhenthepercenrageofmissingvaluesperanributevariesconsiderably)F

15、illinthemissingvaluemanually:tedious+infeasible?Fillinitautomaticallywithaalobalconstant:e.a.unknown,anewclass?!JJFJ, theattributemean theattributemeanforallsamplesbelongingtotliesameclass:smarterthemostprobablevalue:inference-basedsuchasBayesianformulaordecidontree噪聲的處理辦法：Binning分箱method firstsoild

16、ataandpartitiouinto(eqiii-depth)bins thenonecansmoothbybinmeans,smoothbybinmedian,smoothbvbinboundaries,etc.VClusteringdetectandremoveoutliersCombinedcomputerandhumaninspectiondetectsuspiciousvaluesandcheckbyhuman(e.g.dealwithpossibleoutliers)Regression00smoothbvfittinsthedataintoresiessionfunctions

17、k-.分箱的兩種劃分學習必備歡迎下載Equal-width(distance)partitioning:DividestherangeintoNintervalsofequalsize:unifonngridifAandBarethelowestandhiahesrvaluesoftheattribute,thewidthofintervalswillbe:W=(B-A);N.Themost也hforward,buroutliersmavdominaiepresentationSkeweddaraisnothandledwellEqual-depth(frequency)partitionin

18、g:DividestherangeiiiroNinturvak.eachcontainingapproximatelysamenumberofsamplesGooddatascalingMana口inrcateaoiicalattributescanbetrick分享平滑的三種方法：一 Sorteddata(u.g“byprice)-458.9,If.21,21524525,26528s29534 Partitioninto(equi-deptli)bins:-Bin1:4t8,215-Bin2:2L2L24.25-Bin3:26：28,29,34 Smoothinabvbillmeans:-

19、Bini:9,9,9,9-Bin2:23.23.23.23-Bin3：29,29,29,29 Smoothinebybinboundaries:-Bill1：4,4,4.15-Bin2:21?21?25?25Bin3：26,26,26,34數(shù)據(jù)不一致的處理方法:糾正3數(shù)據(jù)集成任務：學習必備歡迎下載Dataintegration:D combinesdatafromnmltiplesourcesintoacoherentstoreSchemaintegration inrearatemetadatafromdifferenTsources Entityidentificationproblem:

20、idenrif57realworldentitiesfrommultipledatasouices.e.g,A,cust-id=B.cust-NoDetectingandresolvingdatavalueconflicts forthesamerealworldentity,attributevaluesfromdifferentsourcesaredifferent possiblereasons:differentrepresenralions,differentscales4數(shù)據(jù)變換任務removenoisefromdata:summarization,datacubeSmoothin

21、s（平滑）:Aggregation（聚集）constructionDatageneralization京理喇匕concepthierarchyclimbingNonnalization（歸一化）:scaledtofallwithinasmaltspecifiedrange min-maxnormaliiarion z-scorenormalization nonnalizatioubvdecimalscaling一$-一-JAttributefeamreconstmction（特征提?。゛Newattributesconstructedfromthegivenones數(shù)據(jù)歸一化的三種方法:學習

22、必備歡迎下載v-mitu-niiru min-maxnormalizationHiaxx-neyvmin DatacubeasaresationJ，JJ Dimensionalityreductionicmoveunimportantattributes DataCoiiipressionl Numeiositvreduction-fitdataintomodels Discretizationandconceptliieraichygeneration數(shù)據(jù)立方體維數(shù)規(guī)約數(shù)據(jù)壓縮建立模型概念分層維數(shù)約減的方法:學習必備歡迎下載Featureselection（ie,attributesubse

23、tselection）: Selectaminimumsetoffeaturessuchthattheprobabilitrdistributionofdifferentclassesaiventhevaluesforthose reduceNo.ofpatternsintliepatterns,easiertoundeistandHeuristic（啟發(fā)式）methods（duetoexponentialNo.ofchoices）: step-wiseforwardselection step-wisebackwardelimination（消除） combiiiinafoivardsele

24、ctionandbachvardelimmationJ derision-treeinduetioti建立模型：Parametricmethods:regressionandlog-linearmodelsAssumethedatafitssomemodel,estimatemodelparameters,storeonlytheparameters,anddiscardthedata（exceptpossibleoutliers）Non-parametric（參數(shù)）methods:histograms,clustering,sampling（抽樣）rDonotassumemodels離散化D

25、ataDiscretizationThreetypesofattributes: Nominal:valuesfiomanunorderedset Ordinal:valuesfromanorderedset Continuous:realnumbers學習必備歡迎下載卜面是重要的三個章節(jié)：關(guān)聯(lián)規(guī)則，分類，聚類第三章關(guān)聯(lián)規(guī)則關(guān)聯(lián)規(guī)則的兩種方法AprioriFP-GROWYHApriori1支持度置信度Transaction-idItemsbought10A,B.C20e%C30A,D40FB，E,FMin.support50號Min,confidence50%ForruleQFrequentp

26、atternSupportWP75%50%Q50%Crso%support=support(74uC)=50%confidence=support(/lu6)/support(l)=666%平凡項集-頻繁項集的定義如果頂集滿足后小支持度,則稱之為腕繁項集（高頻麗柒）.頻繁項集的基本特征任何瞬簫項集的非空子集均為頻繁項集.例加上AMHM!零頊集,則AH、AC、BC均為癡繁項集.反之t如AB不是頻能項品，胴ABC不可能是頻繁項集具體步驟:學習必備歡迎下載ItemsetsupA2m33supscEGscandatabaseTDBItemsetB.QgEQEEHemet瓦町3rdscanItemset

27、supE2rkJlnli4EB，G氏EJEApriori方法- 是一種稱作逐層搜索的迭代方法中- 用1項集探求（k+i）-項集，- 具體地：首先找出頻繁卜項集，該集合記為L；用L找出頻繁2-項桀的集合L4如此維續(xù)下去.直到找到最大頻繁頂集,- 該方法，主要有連接和剪枝兩步構(gòu)成。HieApriuriAloriilun一AnExample產(chǎn)生候選集的方法（剪枝）學習必備歡迎下載望Candidateitemsetofsizek:frequentitemsetofsizekLj=frequentitems);fork=1;*!=0；k+)dobeginCktI-candidatesgeneratedf

28、rom。foreachtransactionfirdatabasedoincrementthecountofallcandidatesinthatarecontainedint=candidatesinCk+withmin_supportendreturnu#&由頻繁項集產(chǎn)生美聯(lián)規(guī)則兩步對鷺個頻繁項集U,產(chǎn)生U的所有非空真子集對U屬氧一個非空真子集5.supportcount(u)/supportcount(s)=minconf則輸出：(u-s)例如：頻繁項集u=B,&E,產(chǎn)生所有非空真子集6個，對應由個可能的規(guī)則，分別計算每一條規(guī)則的算法的缺陷和提高效率的辦法學習必備歡迎下載提高Aprior

29、i方法的有效性9Challenges Multiplescansoftransactiondatabase Hugenumberofcandidates Tediousworkloadofsupportcountingforcandidates ImprovingApriori:generalideas Reducepassesoftransactiondatabasescans Shrinknumberofcandidates Facilitatesupportcountingofcandidates 改進方法，包括：散列、劃分、抽樣0.J.-I,*_dIBWUifrn.一日Jj_.上一一J

30、iVs.i_/一,.一一fj8困難：多次掃描數(shù)據(jù)庫大量的候選集候選集重復計數(shù)提高策略：減少掃描數(shù)據(jù)庫減少候選集改進候選集的支持度技術(shù)的方法方法1:基于hash表的項集計數(shù)將每個項集通過相應的hash函數(shù)映射到hash表中的不同的桶中，這樣可以通過將桶中的項集計數(shù)跟最小支持計數(shù)相比較先淘汰一部分項集。提高Apriori算法的有效性(2)方法2：事務壓縮(壓縮進一步迭代的事務數(shù))不包含任何k-項集的事務不可能包含任何(k+1)-項集，這種事務在下一步的計算中可以加上標記或刪除。方法3:劃分挖掘頻繁項集只需要兩次數(shù)據(jù)掃描D中的任何頻繁項集必須作為局部頻繁項集至少出現(xiàn)在一個部分中。第一次掃描：將數(shù)據(jù)劃

31、分為多個部分并找到局部頻繁項集第二次掃描：評估每個候選項集的實際支持度，以確定全局頻繁項集提高Apriori算法的有效性(3)方法4：選樣(在給定數(shù)據(jù)的一個子集挖掘)基本思想：選擇原始數(shù)據(jù)的一個樣本，在這個樣本上用Apriori算法挖掘頻繁模式通過犧牲精確度來減少算法開銷，為了提高效率，樣本大小應該以可以放在內(nèi)存中為宜，可以適當降低最小支持度來減少遺漏的頻繁模式學習必備歡迎下載可以通過一次全局掃描來驗證從樣本中發(fā)現(xiàn)的模式可以通過第二此全局掃描來找到遺漏的模式算法復雜度On*nFP-GROWTH因此，在挖掘效率上FP-growth算法明顯優(yōu)于Apriori算法，特別是在稠密數(shù)據(jù)庫中，頻繁項集的長

32、度很大的情況下，F(xiàn)P-growth算法的優(yōu)勢越明顯。FP-growth算法的缺點是需要遞歸生成條件數(shù)據(jù)庫和條件FP-tree,因此內(nèi)存開銷大，它也只能挖掘單維的布爾關(guān)聯(lián)規(guī)則。FP-growth算法使用一種緊縮的數(shù)據(jù)結(jié)構(gòu)來存儲查找頻繁項目集所需要的全部信息。將提供頻繁項目集的數(shù)據(jù)庫壓縮到一顆頻繁模式樹(或FP樹)，但保留項集關(guān)聯(lián)信息；然后，將壓縮后的數(shù)據(jù)庫分成一組條件數(shù)據(jù)庫，每個關(guān)聯(lián)一個頻繁項目集。在1994年RakeshrnAgrawal提出了Apriori算法之后，關(guān)聯(lián)規(guī)則挖掘技術(shù)的可用性得到了很大的提高。而且因為關(guān)聯(lián)規(guī)則挖掘與生俱來的商業(yè)意義，使得它迅速成為了一個非常熱門的研究領(lǐng)域，新的算

33、法也不斷地涌現(xiàn)出來。這其中，實用性比較強的一個算法，是由韓家瑋教授提出的FP-Growth算法。FP-Growth算法在2000年發(fā)表的這個paperMiningFrequentPatternswithoutCandidateGeneration里有詳細的介紹。讀這篇paper,我個人建議一定要同時把引文也都看一看，2000年之前與關(guān)聯(lián)規(guī)則挖掘相關(guān)的重要paper,基本上都在里面了。FP-Growth算法的核心是FP-Tree(FrequentPatternTree,頻繁模式樹)的構(gòu)建，這個特殊的數(shù)據(jù)結(jié)構(gòu)，是FP-Growth算法與Apriori算法相比，性能顯著提高的原因所在。不過，仔細分析

34、一下FP-Tree的實現(xiàn)，可以發(fā)現(xiàn)它與字符串處理算法中常用的PrefixTree算法,有著異曲同工之妙。FP-Tree通過合并一些重復路徑，實現(xiàn)了數(shù)據(jù)的壓縮，從而使得將頻繁項集加載到內(nèi)存中成為可能。之后以樹遍歷的操作，替代了Apriori算法中最耗費時間的事務記錄遍歷，從而大大提高了運算效率。詳細的理論講解可以閱讀上面的論文，我這里還是把其中的例子翻譯一下。rn某數(shù)據(jù)庫DB里有5條事務記錄，取最小支持度(minsupportthreshold)為3,則生成FP-Tree的過程如下：1、rn掃描一遍數(shù)據(jù)庫，獲取所有頻繁項，刪除頻率小于最小支持度的項。在此操作的過程中，還可以得到每個項的出現(xiàn)頻率，

35、供后續(xù)步驟使用。這一步完成之后，我們得rn到以下頻繁項，(c:4),(f:4),(a:3),(b:3),(m:3),(p:3)rn,:之后的數(shù)字表示對應項的出現(xiàn)頻率。這個結(jié)果是排好順序的，首先按照頻率從達到小排序，再按照字母順序排序。需要注意的是這里的排序非常重要，之rn后每個事務中的項都要按照這個順序進行排列，這個是有效合并重復路徑的前提。處理之后的數(shù)據(jù)庫記錄為：學習必備歡迎下載TID原始事務數(shù)據(jù)處理后數(shù)據(jù)100f.a.cHdg.i,mpc,f.a.p200ab.c.f.I.moc,f.a.bm300bf.hjof.b400bc.k.s.pc,t).ptoo3.f.c,e.Lp.m.nc,f

36、.a,m.p2、第二次掃描數(shù)據(jù)庫，在第一次處理完成的結(jié)果基礎上，構(gòu)建FP-Tree。1)取出第一條事務數(shù)據(jù)，構(gòu)建FP-Tree的第一條路徑，c,f,a,m,p)。注意其中項的排序與第一步中得到的頻繁項集合的排序是一致的。2)rn取出第二條事務數(shù)據(jù)，c,f,a,b,m)，不難發(fā)現(xiàn)，它與第一條路徑共享了部分數(shù)據(jù)c,f,arn)。因此，可以重復利用已有的路徑，只需要將其計數(shù)加1,即(c:2),(f:2),(a:2)rn)。而對于后面不同的部分，我們創(chuàng)建新的路徑，(b:1),(m:1)，其中，b為a的子節(jié)點，m為b的子節(jié)點。3)rn取出第三條事務數(shù)據(jù)，f,b,發(fā)現(xiàn)沒有重復路徑存在。但f點是存在的，因此

37、，可以重復利用f點，新建一個b節(jié)點，作為frn的子節(jié)點，得到路徑f:3,(b:1)。注意，之前已經(jīng)存在的b節(jié)點無法重復使用，因為其父節(jié)點為ao4)取出第四條事務數(shù)據(jù)，c,b,p,發(fā)現(xiàn)沒有重復路徑存在。因此，從現(xiàn)有c點出發(fā)，構(gòu)建一條新路徑(c:3),(b:1),(p:1)o5)取出第五條事務數(shù)據(jù)，c,f,a,m,p,同上原理構(gòu)建路徑，(c:4),(f:4),(a:3),(m:2),(p:2)。經(jīng)rn過兩遍數(shù)據(jù)庫掃描，完成了FP-Tree的構(gòu)建。在此例中，c點為整個FP-Treern的唯一根節(jié)點，但其實多數(shù)情況下，根節(jié)點并不是唯一的，即有多棵子樹。因此，為了方便樹結(jié)構(gòu)的遍歷，可以人為添加一個超級根

38、節(jié)點，通常標記為rnroot。參照下圖，可以更清楚的理解整個過程。學習必備歡迎下載root課件中的說明TmHext、g科wk*q?左妹曲/ry仃打以此而，皿,100200300400500從凡Gd,g,i,mtpgb,ctftlfmto泣工瓦Gw也J為*p加Zg弓4pt叫2.ScanDBonce,findfrequentl*itemset(singleitempattern)Sortfrequentitemsinfrequencydescendingorder,f-listMGa,p)次叫a,b,fff)f.b(G瓦PKG叼叫pHeaderTableItemfreaueiicrhead3,Sc

39、anDBaqconstructFlain,P-treeitthtutpp0rr=3F-list=f-c-a-b-m*p學習必備歡迎下載臨A：一棵田&法建正的用Tm鬻;前白的軟繁集調(diào)IIJFP-gTnwih（TYre3iullIF面是對地秤FP-即m山的曲碼描述.PincedureFP-ftrnwthTrei?,）（ifTep只有條路行Pth*時P中的節(jié)點的母個等I臺記為用幗口）（1）產(chǎn)生頻繁集的風并且把它的支持度指定為a中節(jié)點的鼠小支持接，七Ise打不我的頭表從我尾到表頭的每一個表項（汜為a）Wb（5）Q）產(chǎn)生頻繁蕖0=a5,并且支符度為a的支持度（3）建立口的條件模式庫匕口mHiinriHlpahphibaw）和的條件樹（mndili口nalFP-trw）Trw2*HTrec2t=0（5）thrn調(diào)用FP小機叫仃工陰學習必備歡迎下載于什么是條件帙式點Erd