第一章概論西華大學(xué)數(shù)據(jù)分析基礎(chǔ)與實踐第七章數(shù)據(jù)預(yù)處理XXX學(xué)校XXX2020目錄Contents數(shù)據(jù)預(yù)處理概述數(shù)據(jù)預(yù)分析數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)變換數(shù)據(jù)規(guī)約Python的主要數(shù)據(jù)預(yù)處理函數(shù)數(shù)據(jù)預(yù)處理概述一1數(shù)據(jù)預(yù)處理概述4在真實世界中，我們獲取到的數(shù)據(jù)通常是不完整的（缺少某些感興趣的屬性值）、不一致的（包含代碼或者名稱的差異）、極易受到噪聲（錯誤或異常值）的侵擾的。數(shù)據(jù)往往還存在冗余或者不完整等缺點。這種原始的、低質(zhì)量的數(shù)據(jù)將導(dǎo)致低質(zhì)量的數(shù)據(jù)分析結(jié)果。在正式進入數(shù)據(jù)分析之前，通常需要進行數(shù)據(jù)的預(yù)處理，以解決原始數(shù)據(jù)中存在的各種各樣的問題。在進行具體的數(shù)據(jù)預(yù)處理時，通常需要完成數(shù)據(jù)預(yù)分析、數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約等任務(wù)。1數(shù)據(jù)預(yù)處理概述5數(shù)據(jù)預(yù)分析：通常也叫做數(shù)據(jù)探索，通常是在進行數(shù)據(jù)預(yù)處理的時候需要首先完成的任務(wù)。數(shù)據(jù)預(yù)分析的主要目的是在不改變數(shù)據(jù)內(nèi)容的情況下，對數(shù)據(jù)的特性有一個大致的了解。具體包括對數(shù)據(jù)的統(tǒng)計特性的了解（如數(shù)據(jù)的平均值、標(biāo)準(zhǔn)差、最小值、最大值以及1/4、1/2、3/4分位數(shù)等）以及對數(shù)據(jù)質(zhì)量的簡單分析（如數(shù)據(jù)中是否有缺失值、異常值、不一致的值、重復(fù)數(shù)據(jù)等情況）。1數(shù)據(jù)預(yù)處理概述6數(shù)據(jù)清理：主要是指將數(shù)據(jù)中缺失的值補充完整、消除噪聲數(shù)據(jù)、識別或刪除離群點并解決不一致性。主要達到的目標(biāo)包括將數(shù)據(jù)格式標(biāo)準(zhǔn)化、異常數(shù)據(jù)清除、錯誤糾正、重復(fù)數(shù)據(jù)的清除等。數(shù)據(jù)集成：主要是將多個數(shù)據(jù)源中的數(shù)據(jù)進行整合并統(tǒng)一存儲。來自不同數(shù)據(jù)源的數(shù)據(jù)可能包括對同一屬性的不同方式的描述，這類問題需要在數(shù)據(jù)集成的時候重點處理。1數(shù)據(jù)預(yù)處理概述7數(shù)據(jù)轉(zhuǎn)換：主要是指通過平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于數(shù)據(jù)分析的形式。數(shù)據(jù)規(guī)約：進行數(shù)據(jù)分析時往往數(shù)據(jù)量非常大，因此在大量數(shù)據(jù)上進行挖掘分析需要很長的時間，數(shù)據(jù)規(guī)約技術(shù)主要是指在保持數(shù)據(jù)完整性的情況下對數(shù)據(jù)集進行規(guī)約或簡化。數(shù)據(jù)預(yù)分析二2數(shù)據(jù)預(yù)分析根據(jù)不同途徑收集到的初步樣本數(shù)據(jù)之后，首先需要對數(shù)據(jù)進行預(yù)分析，該任務(wù)也叫數(shù)據(jù)探索，具體包括數(shù)據(jù)統(tǒng)計特性分析和數(shù)據(jù)質(zhì)量分析。數(shù)據(jù)統(tǒng)計特性分析的目的是查看數(shù)據(jù)的一些統(tǒng)計特性，包括均值、方差、最大值、最小值等。數(shù)據(jù)質(zhì)量分析的目的是檢查原始數(shù)據(jù)中是否存在臟數(shù)據(jù)，臟數(shù)據(jù)一般是指不符合要求，以及不能直接進行相應(yīng)分析的數(shù)據(jù)。數(shù)據(jù)質(zhì)量分析需要包括針對缺失值、異常值、不一致的值、重復(fù)數(shù)據(jù)及含有特殊符號的數(shù)據(jù)的分析。92數(shù)據(jù)預(yù)分析統(tǒng)計特性分析：數(shù)據(jù)統(tǒng)計特性分析可以通過pandas包中的describe()函數(shù)很方便的實現(xiàn)。Describe函數(shù)的原型為：DataFrame.describe(percentiles=None,include=None,exclude=None,datetime_is_numeric=False)其中：percentiles：該參數(shù)可以設(shè)定數(shù)值型特征的統(tǒng)計量，默認是[.25,.5,.75],也就是返回25%，50%，75%數(shù)據(jù)量時的數(shù)字，但是這個可以修改的，如可以根據(jù)實際情況改為[.25,.5,.8]，即表示返回25%，50%，80%數(shù)據(jù)量時的數(shù)字。include：該參數(shù)默認是只計算數(shù)值型特征的統(tǒng)計量，當(dāng)輸入include=['O']，會計算離散型變量的統(tǒng)計特征，當(dāng)參數(shù)是‘a(chǎn)ll’的時候會把數(shù)值型和離散型特征的統(tǒng)計都進行顯示。exclude：該參數(shù)可以指定在統(tǒng)計的時候不統(tǒng)計哪些列，默認不丟棄任何列。datetime_is_numeric：一個布爾類型的值，表明是否將datetime類型視為數(shù)字。這會影響為該列計算的統(tǒng)計信息。102數(shù)據(jù)預(yù)分析數(shù)據(jù)質(zhì)量分析：1、缺失值分析數(shù)據(jù)的缺失主要包括記錄的缺失和記錄中某個字段信息的缺失，兩者都會造成分析結(jié)果的不準(zhǔn)確性，缺失值分析從以下幾個方面展開的：（1）缺失值產(chǎn)生的原因缺失值產(chǎn)生的原因主要可能包括：部分信息暫時無法獲取，或者獲取信息的代價太大；部分信息由于數(shù)據(jù)采集設(shè)備故障、存儲介質(zhì)的故障或者傳輸故障等原因被遺漏或者丟失；或者某些對象該屬性值并不存在，從而造成缺失值的產(chǎn)生。（2）缺失值的影響缺失值產(chǎn)生的影響主要有：數(shù)據(jù)分析建模將丟失大量的有用信息，模型中蘊含的規(guī)律更難把握，數(shù)據(jù)分析過程中所表現(xiàn)出的不確定性更加顯著。除此之外，包含空值的數(shù)據(jù)會使建模過程中陷入混亂，導(dǎo)致不可靠的輸出。（3）缺失值的分析雖然缺失值的影響很深遠，但是使用簡單的統(tǒng)計分析，就可以得到缺失值的相關(guān)屬性，即缺失屬性數(shù)、缺失數(shù)以及缺失率等。112數(shù)據(jù)預(yù)分析數(shù)據(jù)質(zhì)量分析：2、異常值分析異常值分析是檢驗是否有錄入錯誤以及是否含有不合常理的數(shù)據(jù)。忽視異常值的存在是一個十分危險的行為，不加剔除地將異常值包括到數(shù)據(jù)的計算分析過程中，對結(jié)果會產(chǎn)生不良影響。重視異常值的出現(xiàn)，分析其產(chǎn)生的原因，常常成為發(fā)現(xiàn)問題進而改變決策的契機。進行異常分析常常有下面三種方法：（1）簡單統(tǒng)計量分析通過上一小節(jié)介紹的數(shù)據(jù)統(tǒng)計特性分析能發(fā)現(xiàn)一些簡單的數(shù)據(jù)異常值。比如可以通過某個變量的最大值和最小值來判斷這個變量的取值是否超出合理的范圍，如用戶年齡2020歲，則該變量的取值就存在異常。122數(shù)據(jù)預(yù)分析

132數(shù)據(jù)預(yù)分析數(shù)據(jù)質(zhì)量分析：3、一致性分析數(shù)據(jù)不一致性是指數(shù)據(jù)的矛盾性、不相容性。直接對不一致性的數(shù)據(jù)進行挖掘，可能會產(chǎn)生與實際相違背的挖掘結(jié)果。在數(shù)據(jù)分析過程中，不一致數(shù)據(jù)的產(chǎn)生主要發(fā)生在數(shù)據(jù)集成的過程中，這可能是由于被挖掘數(shù)據(jù)是來自不同的數(shù)據(jù)源、對于重復(fù)存放的數(shù)據(jù)未能進行一致性更新造成的。例如：兩張表中都存儲了用戶的電話號碼，但是在用戶的電話號碼發(fā)生改變之時更新了一張表中的數(shù)據(jù)，那么兩張表中的數(shù)據(jù)就有了不一致的數(shù)據(jù)，這樣在數(shù)據(jù)建模過程中會導(dǎo)致挖掘出現(xiàn)誤差。14數(shù)據(jù)清理三3.1異常值處理16異常值處理方法方法描述刪除直接將含有異常值的記錄刪除視為缺失值將異常值視為缺失值，利用缺失值處理的方法進行處理平均值修正可用前后兩個觀測值的平均值修正該異常值不處理直接在具有異常值的數(shù)據(jù)集上進行挖掘建模3.2缺失值處理17插補方法方法描述均值/中位數(shù)/眾數(shù)插補格局屬性值的類型，用該屬性取值的平均數(shù)/中位數(shù)/眾數(shù)進行插補使用固定值將缺失的屬性值用一個常量替換最近臨插補在記錄中找到與缺失樣本最接近的樣本的該屬性值插補回歸方法對帶有缺失值的變量，根據(jù)已有的數(shù)據(jù)和與其相關(guān)的其他變量（因變量）的數(shù)據(jù)建立擬合模型來預(yù)測缺失的屬性值插值法3.2缺失值處理18最常用的一種插值法——拉格朗日插值法數(shù)據(jù)集成四4.1實體識別20實體識別是指從不同數(shù)據(jù)源識別出現(xiàn)實世界的實體，任務(wù)是統(tǒng)一不同源數(shù)據(jù)的矛盾支出。實體識別中常常存在的問題有以下三種。（1）同名異義兩個數(shù)據(jù)源中的同名的屬性描述的不是同一個意思，例如：菜品數(shù)據(jù)源中的屬性ID和訂單數(shù)據(jù)源中的屬性ID分別描述的是菜品編號和訂單編號，即描述的是不同的實體。（2）異名同義兩個數(shù)據(jù)源中同一個屬性有兩個不同的名字，例如：數(shù)據(jù)源A中的“學(xué)號”和數(shù)據(jù)源B中的Student_ID都是描述學(xué)生的學(xué)號。（3）單位不統(tǒng)一描述同一實體分別使用不同的單位，例如：數(shù)據(jù)源A中的距離的單位是：KM；然后數(shù)據(jù)源B中的單位卻是：公里。實體識別過程中，需要對同名異義、異名同義以及單位不統(tǒng)一的情況進行準(zhǔn)確識別4.2冗余屬性識別21冗余屬性是指數(shù)據(jù)中存在冗余的情況，一般分為以下兩種情況：（1）同一屬性多次出現(xiàn)在不同的兩個數(shù)據(jù)源中，同一個屬性在兩個數(shù)據(jù)源中都有記錄，當(dāng)數(shù)據(jù)源進行集成的時候，若不進行處理，新數(shù)據(jù)集中同一屬性就多次出現(xiàn)，導(dǎo)致需要處理大量的重復(fù)數(shù)據(jù)。（2）同一屬性命名不致正如在實體識別中所提到的異名同義的情況下，若不對數(shù)據(jù)進行處理的話，新數(shù)據(jù)集中同一屬性多次出現(xiàn)，不僅會導(dǎo)致處理的數(shù)據(jù)量增大，還會影響模型的建立，從而導(dǎo)致輸出結(jié)果不準(zhǔn)確。數(shù)據(jù)變換五5.1簡單函數(shù)變換23對采集的原始數(shù)據(jù)使用各種簡單數(shù)學(xué)函數(shù)進行變換，常見的函數(shù)包括平方、開方、取對數(shù)、差分運算等。簡單的函數(shù)變換常用來將不具有正態(tài)分布的函數(shù)變換成具有正態(tài)分布的數(shù)據(jù)。在時間序列分析中，有時簡單的對數(shù)變換或者差分運算來將序列轉(zhuǎn)換成平穩(wěn)序列。如果數(shù)據(jù)較大，可以取對數(shù)或者開方將數(shù)據(jù)進行壓縮，從而減小數(shù)據(jù)的處理量。5.2歸一化24

5.2歸一化25

5.3連續(xù)屬性離散化26（1）等寬法：根據(jù)需要將數(shù)據(jù)劃分為具有相同寬度的區(qū)間，區(qū)間數(shù)據(jù)事先制定，然后將數(shù)據(jù)按照其值分配到不同區(qū)間中，每個區(qū)間用一個數(shù)據(jù)值表示。（2）等頻法：這種方法也是需要把數(shù)據(jù)分為若干個區(qū)間，然后將數(shù)據(jù)按照其值分配到不同區(qū)間中，但是和等寬法不同的是，每個區(qū)間的數(shù)據(jù)個數(shù)是相等的。（3）基于聚類分析的方法：這種方法是指將物理或者抽象對象集合分組為由類似的對象組成的多個類的分析過程，保證類內(nèi)相似性大，類間相似性小，聚類分析方法的典型算法包括：K-Means算法、K-中心算法，最常用的算法就是K-均值算法。數(shù)據(jù)規(guī)約六6.1屬性規(guī)約28屬性規(guī)約方法方法描述合并屬性將一些舊屬性合為新屬性逐步向前選擇從一個空屬性集開始，每次從原來屬性集合中選擇一個當(dāng)前最優(yōu)地屬性添加到當(dāng)前屬性子集中。直到無法選擇出最優(yōu)屬性或滿足一定閾值約束為之逐步向后選擇從一個全屬性集開始，每次從當(dāng)前屬性子集中選擇一個當(dāng)前最差的屬性并將其從當(dāng)前屬性子集中消去。直到無法選擇出最差屬性為之或滿足一定閾值的約束法為止決策樹歸納利用決策樹的歸納法對初始數(shù)據(jù)進行分類歸納學(xué)習(xí)，獲得一個初始決策樹，所有沒有出現(xiàn)在這個決策樹上的屬性均可認為是無關(guān)屬性，將這些屬性從初始化集合中刪除，就可以獲得一個較優(yōu)的屬性子集主成分分析用較少的變量去解釋原始數(shù)據(jù)中的大部分變量，即將許多相關(guān)性很高的變量轉(zhuǎn)換成彼此相互獨立或不相關(guān)的變量。6.2數(shù)值規(guī)約29數(shù)值規(guī)約也稱為樣本規(guī)約，樣本規(guī)約指通過選擇替代的、較小的數(shù)據(jù)來減少數(shù)據(jù)子集。在確定樣本規(guī)約子集時候需要考慮計算成本、存儲要求、估計量的精度及其他一些與算法和數(shù)據(jù)特性有關(guān)的因素。（1）直方圖直方圖使用分箱來近似數(shù)據(jù)分析，是一種流行的數(shù)據(jù)規(guī)約形式。屬性A的直方圖數(shù)據(jù)分布劃分為不相交的子集。（2）聚類聚類技術(shù)將數(shù)據(jù)元組（即記錄，數(shù)據(jù)表中的一行）視為對象，它將對象相互“相似”，而與其他簇中的對象“相異”。在數(shù)據(jù)規(guī)約中，用數(shù)據(jù)的簇替換實際數(shù)據(jù)。該技術(shù)的有效性依賴于簇的定義是否符合數(shù)據(jù)的分布性質(zhì)。（3）抽樣抽樣也是一種數(shù)據(jù)規(guī)約化技術(shù)，它用比原始數(shù)據(jù)小得多的隨機樣本（子集）表示原始數(shù)據(jù)集。Python的主要數(shù)據(jù)預(yù)處理函數(shù)七7Python的主要數(shù)據(jù)預(yù)處理函數(shù)31函數(shù)名所屬庫函數(shù)功能head()pandas顯示數(shù)據(jù)集前5行info()numpy查看各個字段的信息shape()numpy查看