數(shù)據(jù)預(yù)處理數(shù)據(jù)清洗缺失值的處理噪聲數(shù)據(jù)處理重復(fù)數(shù)據(jù)處理不一致數(shù)據(jù)處理數(shù)據(jù)集成數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)規(guī)約目錄1.1數(shù)據(jù)預(yù)處理的重要性

現(xiàn)實(shí)中采集到的原始數(shù)據(jù)往往不夠規(guī)范，會(huì)存在一定程度的缺失值、重復(fù)值以及噪聲數(shù)據(jù)等。直接采用這些的數(shù)據(jù)進(jìn)行分析有很大的可能得到錯(cuò)誤的結(jié)論。因此，在開(kāi)始數(shù)據(jù)處理之前，需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。垃圾數(shù)據(jù)進(jìn)

垃圾結(jié)論出1.2

數(shù)據(jù)預(yù)處理的流程

數(shù)據(jù)預(yù)處理一般包括數(shù)據(jù)清洗，數(shù)據(jù)集成，數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)規(guī)約四類，本章將介紹這幾種數(shù)據(jù)預(yù)處理方法。一、數(shù)據(jù)預(yù)處理原始數(shù)據(jù)中因?yàn)楦鞣N原因，可能存在缺失和錯(cuò)誤。一般表現(xiàn)為數(shù)據(jù)的某些特征缺失，有噪聲和不一致。數(shù)據(jù)清洗過(guò)程首先識(shí)別出缺失的值，噪聲數(shù)據(jù)和異常數(shù)據(jù)點(diǎn)等，并糾正數(shù)據(jù)中的缺失和錯(cuò)誤。2.1、缺失值處理缺失值檢查：（1）使用循環(huán)來(lái)檢查每條記錄中所有特征是否缺失（2）Pandas庫(kù)提供了更快捷的統(tǒng)計(jì)缺失值的方法。缺失值處理：（1）不進(jìn)行任何處理，直接使用含有缺失值的數(shù)據(jù)（2）刪除含有缺失值的特征（3）使用數(shù)值填充缺失值二、數(shù)據(jù)清洗2.2、噪聲數(shù)據(jù)處理

噪聲（noise）是被測(cè)量的變量的隨機(jī)誤差或偏差。如果數(shù)據(jù)集中含有大量噪聲數(shù)據(jù)，對(duì)于通過(guò)迭代來(lái)獲取最優(yōu)解的算法，將影響收斂速度、模型的準(zhǔn)確性。噪聲數(shù)據(jù)檢查：通過(guò)直方圖、散點(diǎn)圖檢測(cè)異常值四分位數(shù)檢測(cè)聚類：通過(guò)聚類將類似的值組織成簇，落在簇集合之外的值視為離群點(diǎn)。3σ原則：一般認(rèn)為，比標(biāo)準(zhǔn)差大或小3倍的元素視作異常值噪聲數(shù)據(jù)處理：對(duì)于給定的數(shù)據(jù)，可以將數(shù)據(jù)進(jìn)行光滑處理，去掉噪聲的影響。分箱：通過(guò)考察數(shù)據(jù)的“近鄰”來(lái)光滑有序數(shù)據(jù)的值。由于分箱方法考察近鄰的值，因此是對(duì)數(shù)據(jù)進(jìn)行局部光滑?；貧w：用一個(gè)函數(shù)（如回歸函數(shù)）擬合數(shù)據(jù)來(lái)光滑數(shù)據(jù)。數(shù)據(jù)清洗——噪聲數(shù)據(jù)處理噪聲數(shù)據(jù)處理例子：以某連續(xù)監(jiān)測(cè)心跳的運(yùn)動(dòng)手環(huán)為例，一般人的安靜心率為60-100次/分鐘，中低強(qiáng)度的運(yùn)動(dòng)心率在110-140次/分鐘之間，強(qiáng)度比較激烈的像減肥運(yùn)動(dòng)心率在160-180次/分鐘之間，最大不超過(guò)210次/分鐘。如果數(shù)據(jù)序列中出現(xiàn)下面的數(shù)據(jù)都屬于噪聲數(shù)據(jù)：（1）一段連續(xù)時(shí)間內(nèi)監(jiān)測(cè)到的心率都是0?？赡茉蚴桥宕髡哒铝耸汁h(huán)。（2）出現(xiàn)了超過(guò)210的心率數(shù)值。（3）一段連續(xù)時(shí)間內(nèi)監(jiān)測(cè)到的心率都在60-100之間，其中有一分鐘心率在130，隨后又立刻恢復(fù)。（4）一段連續(xù)時(shí)間內(nèi)監(jiān)測(cè)到的心率都在110-140之間，其中有一分鐘心率在75，隨后又立刻恢復(fù)。前兩種情況都可以直接判斷為異常值，刪除對(duì)應(yīng)的數(shù)據(jù)即可。后兩種情況則需要具體情況具體分析，是手環(huán)傳感器故障，還是佩戴者本人心率確實(shí)不穩(wěn)定。這里假設(shè)傳感器故障，需要處理噪聲數(shù)據(jù)。數(shù)據(jù)清洗——噪聲數(shù)據(jù)處理數(shù)據(jù)清洗——噪聲數(shù)據(jù)處理假設(shè)被檢測(cè)者一天處于平靜狀態(tài)，在午休期間(13:00-15:00)沒(méi)有佩戴手環(huán),并且由于手環(huán)質(zhì)量問(wèn)題，中間有10個(gè)異常數(shù)據(jù)。數(shù)據(jù)如圖所示：數(shù)據(jù)清洗——噪聲數(shù)據(jù)處理通過(guò)四分位法進(jìn)行噪聲處理，處理之后的數(shù)據(jù)如圖所示：數(shù)據(jù)清洗——數(shù)據(jù)不一致2.3重復(fù)數(shù)據(jù)處理由于各種原因，數(shù)據(jù)中有可能會(huì)出現(xiàn)重復(fù)數(shù)據(jù)。重復(fù)數(shù)據(jù)的處理主要有兩種方式：Pandas的duplicated函數(shù)檢測(cè)出重復(fù)數(shù)據(jù)，返回布爾類型的Series對(duì)Pandas的drop_duplicates函數(shù)刪除重復(fù)的數(shù)據(jù)，返回刪除重復(fù)行后的DataFrame對(duì)象數(shù)據(jù)清洗——數(shù)據(jù)不一致

重復(fù)數(shù)據(jù)處理例子：數(shù)據(jù)清洗——數(shù)據(jù)不一致使用上面的兩種方法處理重復(fù)的數(shù)據(jù)：數(shù)據(jù)清洗——數(shù)據(jù)不一致2.4數(shù)據(jù)不一致數(shù)據(jù)不一致主要是由于：編碼使用的不一致問(wèn)題數(shù)據(jù)表示的不一致問(wèn)題（如日期“2004/12/25”和“25/12/2004”）字段過(guò)載，通常是由如下原因?qū)е拢洪_(kāi)發(fā)者將新屬性的定義擠壓到已經(jīng)定義的屬性的未使用部分（例如，使用一個(gè)屬性未使用的位，該屬性取值已經(jīng)使用了32位中的31位）。常用的清洗工具:ETL（ExtractionTransformationLoading）Potter‘sWheel(/abc/)數(shù)據(jù)集成是指將多個(gè)數(shù)據(jù)源中的數(shù)據(jù)合并并存放到一個(gè)一致的數(shù)據(jù)存儲(chǔ)（如數(shù)據(jù)倉(cāng)庫(kù)）中。在數(shù)據(jù)集成時(shí)，有許多問(wèn)題需要考慮：實(shí)體識(shí)別問(wèn)題屬性冗余數(shù)據(jù)值沖突三、數(shù)據(jù)集成實(shí)體識(shí)別：來(lái)自多個(gè)信息源的現(xiàn)實(shí)世界的等價(jià)實(shí)體如何才能匹配。例如，如何才能確信一個(gè)數(shù)據(jù)庫(kù)中的customer_id和另一個(gè)數(shù)據(jù)庫(kù)中的cust_number指的是相同的屬性。每個(gè)屬性的元數(shù)據(jù)包括名字、含義、數(shù)據(jù)類型和屬性的允許取值范圍，以及處理空白、零或null值的空值規(guī)則。這樣的元數(shù)據(jù)可以用來(lái)幫助避免實(shí)體識(shí)別的錯(cuò)誤。元數(shù)據(jù)還可以用來(lái)幫助變換數(shù)據(jù)（例如，pay_type的數(shù)據(jù)編碼在一個(gè)數(shù)據(jù)庫(kù)中可以是“H”和“S”，而在另一個(gè)數(shù)據(jù)庫(kù)中是1和2）。三、數(shù)據(jù)集成——實(shí)體識(shí)別屬性冗余：屬性用冗余有下面幾種情況“：一個(gè)屬性能由另一個(gè)或另一組屬性導(dǎo)出，那么這個(gè)屬性就是冗余的。屬性命名的不一致去規(guī)范化表（denormalizedtable）的使用也是數(shù)據(jù)冗余的另一個(gè)來(lái)源。有些冗余可以被相關(guān)分析檢測(cè)到。注意，相關(guān)并不意味因果關(guān)系。例如，在分析人口統(tǒng)計(jì)數(shù)據(jù)庫(kù)時(shí)，可能發(fā)現(xiàn)一個(gè)地區(qū)的醫(yī)院數(shù)與汽車盜竊數(shù)是相關(guān)的，但這并不意味一個(gè)導(dǎo)致另一個(gè)。實(shí)際上，二者必然地關(guān)聯(lián)到第三個(gè)屬性：人口。對(duì)于離散數(shù)據(jù)，兩個(gè)屬性A和B之間的相關(guān)聯(lián)系可以通過(guò)卡方檢驗(yàn)發(fā)現(xiàn)。除了檢測(cè)屬性間的冗余外，還應(yīng)當(dāng)在元組級(jí)檢測(cè)重復(fù)。三、數(shù)據(jù)集成——屬性冗余數(shù)據(jù)值沖突：例如，對(duì)于現(xiàn)實(shí)世界的同一實(shí)體，來(lái)自不同數(shù)據(jù)源的屬性值可能不同。這可能是因?yàn)楸硎痉椒?、比例或編碼不同。例如，重量屬性可能在一個(gè)系統(tǒng)中以公制單位存放，而在另一個(gè)系統(tǒng)中以英制單位存放。對(duì)于連鎖旅館，不同城市的房?jī)r(jià)不僅可能涉及不同貨幣，而且可能涉及不同的服務(wù)（如免費(fèi)早餐）和稅。三、數(shù)據(jù)集成——數(shù)據(jù)值沖突數(shù)據(jù)轉(zhuǎn)換是指將數(shù)據(jù)轉(zhuǎn)換或統(tǒng)一成適合于挖掘的形式。常用的數(shù)據(jù)轉(zhuǎn)換方式有下面兩種：數(shù)據(jù)泛化規(guī)范化屬性構(gòu)造編碼分類值4.1數(shù)據(jù)泛化數(shù)據(jù)泛化：使用概念分層，用高層概念替換低層或“原始”數(shù)據(jù)。例如，分類的屬性，如街道，可以泛化為較高層的概念，如城市或國(guó)家。類似地，數(shù)值屬性如年齡，可以映射到較高層概念如青年、中年和老年。四、數(shù)據(jù)轉(zhuǎn)換4.2規(guī)范化規(guī)范化：將屬性數(shù)據(jù)按比例縮放，使之落入一個(gè)小的特定區(qū)間。大致可分三種：最小最大規(guī)范化z-score規(guī)范化按小數(shù)定標(biāo)規(guī)范化四、數(shù)據(jù)轉(zhuǎn)換——規(guī)范化（1）最大最小規(guī)范化：對(duì)原始數(shù)據(jù)進(jìn)行線性變換，將數(shù)值映射到[0,1]之間。最大最小規(guī)范化的實(shí)現(xiàn)方式：自己實(shí)現(xiàn)MinMaxScaler類：sklearn中實(shí)現(xiàn)的最大最小規(guī)范化類，這個(gè)類將屬性縮放到一個(gè)指定的最大值和最小值之間，如果縮放到0,1之間，那么就是最大最小規(guī)范化。四、數(shù)據(jù)轉(zhuǎn)換——規(guī)范化最大最小規(guī)范化的一個(gè)例子：四、數(shù)據(jù)轉(zhuǎn)換——規(guī)范化輸出結(jié)果：四、數(shù)據(jù)轉(zhuǎn)換——規(guī)范化（2）z-score規(guī)范化：又稱標(biāo)準(zhǔn)差規(guī)范化或零均值規(guī)范化，數(shù)據(jù)處理后服從標(biāo)準(zhǔn)正太分布，也是比較常用的規(guī)范化方法。z-score規(guī)范化的實(shí)現(xiàn)方式：自己實(shí)現(xiàn)sklearn中preprocessing庫(kù)里面的scale函數(shù)sklearn中preprocessing庫(kù)里面的StandardScaler類四、數(shù)據(jù)轉(zhuǎn)換——規(guī)范化（2）z-score規(guī)范化的一個(gè)例子：四、數(shù)據(jù)轉(zhuǎn)換——規(guī)范化輸出結(jié)果：四、數(shù)據(jù)轉(zhuǎn)換——規(guī)范化（3）小數(shù)定標(biāo)規(guī)范化：小數(shù)定標(biāo)規(guī)范化通過(guò)移動(dòng)屬性值的小數(shù)點(diǎn)的位置進(jìn)行規(guī)范化，將屬性值映射到[-1,1]之間。小數(shù)點(diǎn)的移動(dòng)位數(shù)依賴于該屬性值的最大絕對(duì)值。由下式計(jì)算：其中，k是滿足

的最小整數(shù)四、數(shù)據(jù)轉(zhuǎn)換——規(guī)范化4.3屬性構(gòu)造

可以構(gòu)造新的屬性并添加到屬性集中，以幫助挖掘過(guò)程。例如，可能希望根據(jù)屬性height和width添加屬性area。通過(guò)屬性構(gòu)造可以發(fā)現(xiàn)關(guān)于數(shù)據(jù)屬性間聯(lián)系的丟失信息，這對(duì)知識(shí)發(fā)現(xiàn)是有用的。4.4編碼分類值：

在許多的數(shù)據(jù)分析案例中，數(shù)據(jù)集都或多或少的包含分類變量，比如性別（‘男’，‘女’）、國(guó)家（‘中國(guó)’，‘美國(guó)’，‘加拿大’）等。許多機(jī)器學(xué)習(xí)算法可以支持分類值而無(wú)需進(jìn)一步操作，但還有許多算法不支持。因此，分析數(shù)據(jù)面臨的挑戰(zhàn)是如何將這些文本屬性轉(zhuǎn)換為數(shù)值以便進(jìn)一步處理。直接替換LabelEncodingOneHotEncodingOneHotEncoding四、數(shù)據(jù)轉(zhuǎn)換——屬性構(gòu)造、編碼分類（1）直接替換：對(duì)類別值直接進(jìn)行替換成數(shù)字，比如把性別‘男’替換為1，性別‘女’替換為0。有多種方式可以實(shí)現(xiàn)直接替換，但是最常用的還是Pandas中數(shù)的replace()。（2）LabelEncoding：這是一種標(biāo)簽編碼的技術(shù)。標(biāo)簽編碼只是將列中的每個(gè)值轉(zhuǎn)換為數(shù)字?？梢栽趐andas中使用的astype()將列轉(zhuǎn)換為類別（category），將這些類別值用于標(biāo)簽編碼，然后，可以使用cat.codes訪問(wèn)器將編碼變量分配給新的列。LabelEncoding的優(yōu)點(diǎn)是它很簡(jiǎn)單，但它的缺點(diǎn)是數(shù)值可能被算法“誤解”。例如，性別女被編碼為0，性別男被編碼為1,0小于1，然而這意味著機(jī)器可能會(huì)學(xué)習(xí)到“女<男”，這顯然不符合邏輯。這時(shí)就要引入OneHotEncoding，四、數(shù)據(jù)轉(zhuǎn)換——編碼分類（3）OneHotEncodingOneHotEncoding又稱獨(dú)熱編碼，因?yàn)榇蟛糠炙惴ㄊ腔谙蛄靠臻g中的度量來(lái)進(jìn)行計(jì)算的，為了使非偏序關(guān)系的變量取值不具有偏序性，并且到圓點(diǎn)是等距的。使用one-hot編碼，將離散特征的取值擴(kuò)展到了歐式空間，離散特征的某個(gè)取值就對(duì)應(yīng)歐式空間的某個(gè)點(diǎn)。將離散型特征使用one-hot編碼，會(huì)讓特征之間的距離計(jì)算更加合理。離散特征進(jìn)行one-hot編碼后，編碼后的特征，其實(shí)每一維度的特征都可以看做是連續(xù)的特征。就可以跟對(duì)連續(xù)型特征的歸一化方法一樣，對(duì)每一維特征進(jìn)行歸一化。比如歸一化到[-1,1]或歸一化到均值為0,方差為1。四、數(shù)據(jù)轉(zhuǎn)換——編碼分類其基本策略是將每個(gè)類別值轉(zhuǎn)換為新列，并為列分配1或0（True/False）值。這樣做的好處是不會(huì)對(duì)值進(jìn)行不正確的加權(quán)，但缺點(diǎn)是會(huì)向數(shù)據(jù)集中添加更多的列，若某一列中有很多不重復(fù)的值，則會(huì)在數(shù)據(jù)集中增加非常多的列。對(duì)于上面的例子，因?yàn)橛袃煞N狀態(tài)，所以就有2個(gè)比特。即女：10，男:01。如此一來(lái)每?jī)蓚€(gè)向量之間的距離都是根號(hào)2，在向量空間距離都相等，所以這樣不會(huì)出現(xiàn)偏序性，基本不會(huì)影響基于向量空間度量算法的效果。Pandas使用get_dummies來(lái)實(shí)現(xiàn)。此函數(shù)之所以用這種方式命名，因?yàn)樗鼊?chuàng)建虛擬/指示符變量（也稱為1或0）。四、數(shù)據(jù)轉(zhuǎn)換——編碼分類數(shù)據(jù)歸約是指在盡可能保持?jǐn)?shù)據(jù)原貌的前提下，最大限度地精簡(jiǎn)數(shù)據(jù)量。大致可分五種：數(shù)據(jù)立方體聚集屬性子集選擇維度歸約數(shù)值歸約離散化和概念分層產(chǎn)生五、數(shù)據(jù)規(guī)約（1）數(shù)據(jù)立方體聚集：聚集操作用于數(shù)據(jù)立方體結(jié)構(gòu)中的數(shù)據(jù)（2）屬性子集選擇：通過(guò)刪除不相關(guān)或冗余的屬性減小數(shù)據(jù)集。

屬性子集選擇的目標(biāo)是找出最小屬性集，使得數(shù)據(jù)類的概率分布盡可能地接近使用所有屬性得到的原分布。對(duì)于屬性子集選擇，一般使用壓縮搜索空間的啟發(fā)式算法。通常，這些方法是貪心算法，在搜索屬性空間時(shí)，總是做看上去當(dāng)時(shí)最佳的選擇。策略是做局部最優(yōu)選擇，期望由此導(dǎo)致全局最優(yōu)解。在實(shí)踐中，這種貪心算法是有效地，并可以逼近最優(yōu)解。常用的幾種方法：逐步向前選擇：該過(guò)程由空屬性集作為歸約集開(kāi)始，確定原屬性集中最好的屬性，并將它添加到歸約集中。在其后的每一次迭代步，將剩下的原屬性集中最好的屬性添加到該集合中。逐步向后刪除：該過(guò)程由整個(gè)屬性集開(kāi)始。在每一步，刪除尚在屬性集中最差的屬性。向前選擇和向后刪除的結(jié)合決策樹(shù)歸納：決策樹(shù)歸納構(gòu)造一個(gè)類似于流程圖的結(jié)構(gòu)，其中每個(gè)內(nèi)部（非樹(shù)葉）節(jié)點(diǎn)表示一個(gè)屬性的測(cè)試，每個(gè)分枝對(duì)應(yīng)于測(cè)試的一個(gè)輸出；每個(gè)外部（樹(shù)葉）節(jié)點(diǎn)表示一個(gè)類預(yù)測(cè)。在每個(gè)節(jié)點(diǎn)，算法選擇最好的屬性，將數(shù)據(jù)劃分成類。五、數(shù)據(jù)規(guī)約（3）維度歸約：使用編碼機(jī)制減小數(shù)據(jù)集的規(guī)模，例如：小波變換和主成分分析（4）數(shù)值歸約：用替代的、較小的數(shù)據(jù)表示替換或估計(jì)數(shù)據(jù)，如參數(shù)模型（只需要存放模型參數(shù)，不是實(shí)際數(shù)據(jù)）或非參數(shù)方法，如聚類、抽樣和使用直方圖。（5）離散化和概念分層產(chǎn)生：屬性的原始數(shù)據(jù)值用區(qū)間值或較高層的概念替換。數(shù)據(jù)離散化是一種數(shù)據(jù)歸約形式，對(duì)于概念分層的自動(dòng)產(chǎn)生是有用的。離散化和概念分層產(chǎn)生是數(shù)據(jù)挖掘強(qiáng)有力的工具，允許挖掘多個(gè)抽象層的數(shù)據(jù)。五、數(shù)據(jù)規(guī)約6.1描述發(fā)生在1912年的災(zāi)難-泰坦尼克號(hào)沉船，這次災(zāi)難導(dǎo)致2224名船員和乘客中有1502人遇難。在沉船的生死存亡時(shí)刻，幸運(yùn)的存活下來(lái)絕非僥幸，與性別、年齡、階層關(guān)系等因素都有著強(qiáng)烈的關(guān)系。在數(shù)據(jù)挖掘的學(xué)習(xí)中，我們把這些因素當(dāng)作特征，把是否生存看做目標(biāo)，可以建立一個(gè)二分類的學(xué)習(xí)模型。為了迎合本章的主題，我們?cè)诒菊聝H展示數(shù)據(jù)預(yù)處理的操作及進(jìn)行特征工程的過(guò)程中需要注意的細(xì)節(jié)。六、案例6.2數(shù)據(jù)預(yù)處理步驟一：讀數(shù)據(jù)步驟二：查看數(shù)據(jù)質(zhì)量步驟三：缺失值統(tǒng)計(jì)及其處理步驟四：數(shù)據(jù)轉(zhuǎn)換六、案例步驟一：讀數(shù)據(jù)使用pandas庫(kù)的read_csv()引入數(shù)據(jù)集，并使用head()方法觀察前幾條數(shù)據(jù)：六、案例步驟二：查看數(shù)據(jù)質(zhì)量數(shù)據(jù)信息整體查看:從上面可以看出，數(shù)據(jù)集共有891條數(shù)據(jù)，其中Age、Cabin（船艙）、Embarked（登船港口）幾個(gè)特征存在缺失。六、案例步驟三：缺失值統(tǒng)計(jì)及其處理各特征的具體缺失個(gè)數(shù)和缺失率：六、案例結(jié)果如圖所示：六、案例（1）特征Cabin的缺失率高達(dá)77%，這里有兩種方法來(lái)處理這種數(shù)據(jù)：(1)直接刪除該特征,(2)Cabin的缺失可能代表這類乘客本身并沒(méi)有船艙，如果直接刪除，或許會(huì)丟失一些重要的隱含信息，因此我們可以使用一個(gè)符號(hào)代表缺失的值，在這里我們用‘UNKNOWN’表示。（2）特征Embarked僅有2條數(shù)據(jù)缺失，我們選擇使用眾數(shù)填充。（3）Age這個(gè)特征非常重要，當(dāng)事故發(fā)生時(shí)，總是讓老人和孩子優(yōu)先逃生，所以保證一定的準(zhǔn)確率是相當(dāng)重要的，通常，