第5章

數(shù)據清洗目錄數(shù)據清洗概述數(shù)據質量與數(shù)據質量管理的發(fā)展數(shù)據清洗工具數(shù)據清洗概述PART01認識數(shù)據清洗在眾多數(shù)據中總是存在著許多“臟”數(shù)據，即不完整、不規(guī)范、不準確的數(shù)據，因此數(shù)據清洗就是指把“臟數(shù)據”徹底洗掉。什么是數(shù)據清洗在實際的工作中，數(shù)據清洗通常占開發(fā)過程的50%-70%左右的時間。數(shù)據清洗流程在數(shù)據清洗中，原始數(shù)據源是數(shù)據清洗的基礎，數(shù)據分析是數(shù)據清洗的前提，而定義數(shù)據清洗轉換規(guī)則是關鍵。在數(shù)據清洗中常見的數(shù)據清洗規(guī)則主要包括有：非空檢核、主鍵重復、非法代碼清洗、非法值清洗、數(shù)據格式檢核、記錄數(shù)檢核等。數(shù)據清洗常見方法

1）刪除缺失值

當樣本數(shù)很多的時候，并且出現(xiàn)缺失值的樣本在整個的樣本的比例相對較小，這種情況下，我們可以使用最簡單有效的方法處理缺失值的情況。那就是將出現(xiàn)有缺失值的樣本直接丟棄。這是一種很常用的策略。2）均值填補法

均值填補法是根據缺失值的屬性相關系數(shù)最大的那個屬性把數(shù)據分成幾個組，然后分別計算每個組的均值，把這些均值放入到缺失的數(shù)值里面就可以了。3）熱卡填補法

對于一個包含缺失值的變量，熱卡填充法的做法是：在數(shù)據庫中找到一個與它最相似的對象，然后用這個相似對象的值來進行填充。不同的問題可能會選用不同的標準來對相似進行判定。最常見的是使用相關系數(shù)矩陣來確定哪個變量（如變量Y）與缺失值所在變量（如變量X）最相關。然后把所有變量按Y的取值大小進行排序。那么變量X的缺失值就可以用排在缺失值前的那個個案的數(shù)據來代替了。4）最近距離決定填補法

最近距離決定填補法是指假設現(xiàn)在為時間y，前一段時間為時間x，然后根據x的值去把y的值填補好。該方法不適用于對時間影響比較大的數(shù)據中。噪聲數(shù)據是指數(shù)據中存在著錯誤或異常(偏離期望值)的數(shù)據，這些數(shù)據對數(shù)據的分析造成了干擾。什么是噪聲數(shù)據噪聲數(shù)據的處理方法通常異常值也被稱為“離群點”將數(shù)據集合分組為若干個簇，在簇外的值即為孤立點，這些孤立點就是噪聲數(shù)據，應當對這些孤立點進行刪除或者替換。冗余數(shù)據的處理方法冗余數(shù)據既包含重復的數(shù)據（如圖中兩個紅色數(shù)據值），也包含對分析處理的問題無關的數(shù)據，通常采用過濾數(shù)據的方法來處理冗余數(shù)據。例如，對于重復數(shù)據采用重復過濾的方法，對于無關的數(shù)據則采用條件過濾的方法。

數(shù)據標準化，是通過一定的數(shù)學變換方式，將原始數(shù)據按照一定的比例進行轉換，使之落入到一個小的特定區(qū)間內標準化數(shù)值是使各指標的數(shù)值都處于同一個數(shù)量級別上，從而便于不同單位或數(shù)量級的指標能夠進行綜合分析和比較。在比較學生成績時，一個百分制的變量與一個5分值的變量放在一起是無法比較的。只有通過數(shù)據標準化，都把它們標準到同一個標準時才具有可比性。數(shù)據標準化對原始數(shù)據進行線性變換基于原始數(shù)據的均值(mean)和標準差(standarddeviation)進行數(shù)據的標準化。Decimalscaling通過移動數(shù)據的小數(shù)點位置來進行標準化數(shù)據標準化的方法Min-Max標準化z-score標準化Hash也稱散列、哈希，基本原理就是把任意長度的數(shù)據輸入，通過Hash算法變成固定長度的數(shù)據輸出。哈希算法的目的就是為了驗證原始數(shù)據是否被篡改。字符串匹配是一個經典算法問題，在實際工程中經常遇到。該算法通常輸入為原字符串（主串）和子串（模式串），要求返回子串在原字符串中首次出現(xiàn)的位置數(shù)據清洗中的常見算法Hash算法字符串匹配算法

5.2數(shù)據質量與數(shù)據質量管理大數(shù)據應用必須建立在質量可靠的數(shù)據之上才有意義01ISO8000數(shù)據質量標準是針對數(shù)據質量制定的國際標準化組織標準，標準致力于管理數(shù)據質量，具體來說，包括規(guī)范和管理數(shù)據質量活動、數(shù)據質量原則、數(shù)據質量術語、數(shù)據質量特征（標準）和數(shù)據質量測試04數(shù)據質量一般指數(shù)據能夠真實、完整反映經營管理實際情況的程度03數(shù)據質量就是確保組織擁有的數(shù)據完整且準確02數(shù)據質量數(shù)據質量管理是指對數(shù)據從計劃、獲取、存儲、共享、維護、應用、消亡生命周期的每個階段里可能引發(fā)的各類數(shù)據質量問題，進行識別、度量、監(jiān)控、預警等一系列管理活動，并通過改善和提高組織的管理水平使得數(shù)據質量獲得進一步提高。數(shù)據質量管理數(shù)據質量管理是一個集方法論、技術、業(yè)務和管理為一體的解決方案。通過有效的數(shù)據質量控制手段，進行數(shù)據的管理和控制，消除數(shù)據質量問題進而提升企業(yè)數(shù)據變現(xiàn)的能力。

5.3數(shù)據清洗工具Python在使用Python進行數(shù)據清洗和分析時，主要是依靠Python中的擴展庫NumPy和Pandas來完成清洗任務。在Python中進行數(shù)據清洗的同時，常常要使用可視化庫來展示數(shù)據。使用Python來顯示數(shù)據集中變量間的關系概述應用R語言R語言是用于統(tǒng)計分析，圖形表示報告的編程語言和軟件環(huán)境在進行數(shù)據清洗時，在R語言中的缺失值通常以NA表示，可以使用函數(shù)is.na()判斷缺失值是否存在KettleKettle中文名稱叫水壺，是一款國外開源的ETL工具，純java編寫，可以在Windows、Linux、Unix上運行，數(shù)據抽取高