主講人：陳清華缺失值處理任務(wù)實施【數(shù)據(jù)挖掘應(yīng)用】課程用餐數(shù)據(jù)異常分析會依據(jù)數(shù)據(jù)對缺失值進行檢測會使用Pandas包處理缺失值掌握缺失值處理函數(shù)的使用方法知識與能力目標(biāo)主要內(nèi)容任務(wù)工單任務(wù)說明引導(dǎo)問題任務(wù)評價任務(wù)解決方案用餐數(shù)據(jù)缺失值檢測與處理任務(wù)工單用餐數(shù)據(jù)集缺失值會對數(shù)據(jù)的準(zhǔn)確性和完整性造成影響，并且在進行數(shù)據(jù)分析和建模時會導(dǎo)致模型精度降低或計算錯誤。因此，處理缺失值對保證數(shù)據(jù)的質(zhì)量和可靠性非常重要。任務(wù)概述

任務(wù)描述：

基于給定的用餐數(shù)據(jù)集，檢測各列是否存在缺失值，并嘗試使用不同的方法對缺失值做處理。……010010011001101010100100110110100101110101000100001011011101001010101101010011010010檢測缺失值缺失值處理結(jié)果

任務(wù)要求：任務(wù)概述（1）數(shù)據(jù)中存在缺失值會造成什么樣的影響？（2）Pandas工具包中，哪些函數(shù)可以用來檢測缺失值？（3）處理缺失值的方法有哪些？如何選擇合適的處理方法？（4）Pandas工具包中，哪些函數(shù)可以用來處理缺失值？”

問題引導(dǎo)：任務(wù)概述

任務(wù)評價：任務(wù)概述評價內(nèi)容評價要點分值分?jǐn)?shù)評定自我評價1.任務(wù)實施缺失值檢測2分能正確檢測出數(shù)據(jù)中是否含有缺失值得2分

缺失值輸出2分能正確顯示含有缺失值的記錄得2分

缺失值處理5分會使用不同方式處理缺失值，會使用1種得1分，至多5分

2.任務(wù)總結(jié)依據(jù)任務(wù)實施情況總結(jié)結(jié)論1分總結(jié)內(nèi)容切中本任務(wù)的重點要點得1分

合計10分

任務(wù)解決方案

（1）檢測是否存在缺失值df.isna().any()如果運行結(jié)果的某一列顯示為True，表示該列數(shù)據(jù)中存在缺失值。以下數(shù)據(jù)中tip列中就存在缺失值顯示結(jié)果任務(wù)解決方案df[df['tip'].isna()==True]

（2）輸出

tip列為空的具體記錄。顯示結(jié)果任務(wù)解決方案df.count()re1

=

df.dropna()

（3）處理缺失值：刪除df.count()第1行：顯示去除缺失值前的記錄數(shù)第3行：顯示去除后的記錄數(shù)，結(jié)果顯示記錄數(shù)為242條第2行：在數(shù)據(jù)集中去除含有缺失值的記錄數(shù)方法一任務(wù)解決方案re2=df.fillna(0)re2.iloc[2]

（3）處理缺失值：填0第1行：將缺失值置為0，保存為re2第2行：顯示該條記錄數(shù)方法二任務(wù)解決方案re3_1=df.fillna(method='bfill’)re3_2=df.fillna(method='ffill')

（3）處理缺失值：鄰近值填充第1行：用下一個非缺失值填充該缺失值第2行：用前一個非缺失值填充該缺失值方法三任務(wù)解決方案re4=df.fillna(df['tip2'].mean())

（3）處理缺失值：均值填充第1行：用均值填充方法四顯示結(jié)果