DataWarehouseand第3據(jù)預(yù)處理計(jì)算機(jī)學(xué)院3.1為什么要對3.2描述性數(shù)3.33.4數(shù)據(jù)集3.5據(jù)歸3.6離散化和概念分層產(chǎn)3.7北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院臟數(shù)據(jù)→數(shù)據(jù)預(yù)處理→數(shù)據(jù)倉北郵計(jì)算機(jī)學(xué)院數(shù)據(jù)質(zhì)量 北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院數(shù)據(jù)的中心趨勢和離中趨勢特極差(interquartilerange,IQR)和方差(variance)北郵計(jì)算機(jī)學(xué)院1數(shù)據(jù)的中心趨勢和離中趨勢特極差(interquartilerange,IQR)和方差(variance)北郵計(jì)算機(jī)學(xué)院 數(shù)據(jù)清理主要內(nèi)缺失值的處數(shù)據(jù)清理的北郵計(jì)算機(jī)學(xué)院 北郵計(jì)算機(jī)學(xué)院為屬性填上丟失的忽略元人工填寫缺失使用一個(gè)全局常量填充使用屬性的均值填充缺使用與給定元組屬同一類的所有樣本你屬性使用最可能的值填充缺北郵計(jì)算機(jī)學(xué)院忽略人工填寫缺乏味+費(fèi)時(shí)+不可北郵計(jì)算機(jī)學(xué)院自動(dòng)填

使用一個(gè)全局常量填充缺失將缺失的屬性值用同一個(gè)常數(shù)，如unknown,或-∞可能會(huì)形成一個(gè)新的class，這個(gè)新class雖然簡單，卻不可使用屬性的均例如用平均薪水值填寫某個(gè)元組缺失的salary屬性使用與給定元組屬同一類的所有樣本的屬性先給元組分類，用不同類別的均值填充缺失的本類屬性值；——極了使用最可能的基于推理的方法，如Bayes，回歸，決策樹等推理預(yù)北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院分箱：通過數(shù)據(jù)的近鄰（即周圍的值）來光滑有序數(shù)據(jù)的值。由于近鄰的值，因此是一種局北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院用一個(gè)函數(shù)（如回歸函數(shù)）擬合數(shù)據(jù)來分為線性回歸和多元回歸北郵計(jì)算機(jī)學(xué)院數(shù)據(jù)清理：形成過北郵計(jì)算機(jī)學(xué)院 在一個(gè)一致的數(shù)據(jù)（如數(shù)據(jù)倉庫）中。數(shù)據(jù)集成時(shí)需要考慮到問模式集成（對象匹配）、冗余數(shù)據(jù)、北郵計(jì)算機(jī)學(xué)院Schemaintegration實(shí)體識(shí)別問題EntiryidentificationA數(shù)據(jù)庫中的customer_id與B數(shù)據(jù)庫中的是相同的屬BillClinton=William集成不同來源數(shù)據(jù)值的檢測和解對真實(shí)世界的實(shí)體，其不同來源的屬性值可能不原因：不同的表示，不同的尺度，如公vs北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院數(shù)據(jù)變換Data北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院DWTForImage北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院1北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院北郵計(jì)算機(jī)學(xué)院算法北郵計(jì)算