數(shù)據(jù)采集與處理課程教學(xué)團(tuán)隊(duì)數(shù)據(jù)采集與處理缺失值清洗數(shù)據(jù)缺失的處理方法

插補(bǔ)賦給每一個(gè)缺失數(shù)據(jù)一些替代值，可以得到“完全數(shù)據(jù)集”后，再使用完全數(shù)據(jù)統(tǒng)計(jì)分析方法，來(lái)進(jìn)行分析數(shù)據(jù)和統(tǒng)計(jì)推斷。80年代以后，人們開(kāi)始重視數(shù)據(jù)缺失問(wèn)題，著力研究插補(bǔ)方法。迄今為止，提出并發(fā)展了30多種的插補(bǔ)方法。在抽樣調(diào)查中應(yīng)用的主要是單一插補(bǔ)和多重插補(bǔ)。插補(bǔ)概念插補(bǔ)（1）允許應(yīng)用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法（2）能融合數(shù)據(jù)收集者的知識(shí)（3）數(shù)據(jù)缺失使數(shù)據(jù)結(jié)構(gòu)復(fù)雜化，需要使用更復(fù)雜的統(tǒng)計(jì)工具進(jìn)行分析，而插補(bǔ)可以緩解這一困難（4）能夠防止刪除不完全記錄造成的信息丟失（5）在一些情形下，插補(bǔ)能夠減少無(wú)回答偏倚特別注意：插補(bǔ)的目的并不是預(yù)測(cè)單個(gè)缺失值，而是預(yù)測(cè)缺失數(shù)據(jù)所服從的分布插補(bǔ)作用單一插補(bǔ)法與多重插補(bǔ)多重插補(bǔ)法:1977年由Rubin首先提出，經(jīng)過(guò)后人不斷的完善和綜合已形成一個(gè)比較系統(tǒng)的理論，該法有以下優(yōu)點(diǎn)：①多重插補(bǔ)過(guò)程產(chǎn)生多個(gè)中間插補(bǔ)值，可以利用插補(bǔ)值之間的變異反映無(wú)回答的不確定性，包括無(wú)回答原因已知情況下抽樣的變異性和無(wú)回答原因不確定造成的變異性。②多重插補(bǔ)通過(guò)模擬缺失數(shù)據(jù)的分布，較好地保持變量之間的關(guān)系。③多重插補(bǔ)能給出衡量估計(jì)結(jié)果不確定性的大量信息，單一插補(bǔ)給出的估計(jì)結(jié)果則較為簡(jiǎn)單。單一插補(bǔ)法:單一插補(bǔ)指對(duì)每個(gè)缺失值，從其預(yù)測(cè)分布中取一個(gè)值填充缺失值后，使用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析進(jìn)行處理。單一插補(bǔ)的方法很多，總的說(shuō)來(lái)可以歸為兩類：隨機(jī)插補(bǔ)和確定性插補(bǔ)。單一插補(bǔ)法與多重插補(bǔ)對(duì)比單一插補(bǔ)的優(yōu)點(diǎn)：1、標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法2、對(duì)公眾應(yīng)用數(shù)據(jù)庫(kù)程序運(yùn)行一次。多重插補(bǔ)的優(yōu)點(diǎn)：1、表現(xiàn)為數(shù)據(jù)分布，隨機(jī)抽取進(jìn)行插補(bǔ)，增加了估計(jì)的有效性。2、在多個(gè)模型下通過(guò)隨機(jī)抽取進(jìn)行插補(bǔ)，簡(jiǎn)單地應(yīng)用完全數(shù)據(jù)方法，可以對(duì)無(wú)回答的不同模型下推斷的敏感性進(jìn)行直接研究單一插補(bǔ)法與多重插補(bǔ)對(duì)比多重插補(bǔ)缺點(diǎn)：一、生成多重插補(bǔ)比單一插補(bǔ)需要更多工作二、貯存多重插補(bǔ)數(shù)據(jù)集需要更多存儲(chǔ)空間三、分析多重插補(bǔ)數(shù)據(jù)集比單一插補(bǔ)需要花費(fèi)更多精力。單一插補(bǔ)缺點(diǎn)：缺點(diǎn)一低估估計(jì)量的方差,效果差。不處理不處理:不處理就是直接在包含空值的數(shù)據(jù)上進(jìn)行數(shù)據(jù)挖掘。貝葉斯網(wǎng)絡(luò)僅適合于對(duì)領(lǐng)域知識(shí)具有一定了解的情況，至少對(duì)變量間的依賴關(guān)系較清楚的情況。否則直接從數(shù)據(jù)中學(xué)習(xí)貝葉斯網(wǎng)的結(jié)構(gòu)不但復(fù)雜性較高，網(wǎng)絡(luò)維護(hù)代價(jià)昂貴，而且它的估計(jì)參數(shù)較多，為系統(tǒng)帶來(lái)了高方差，影響了它的預(yù)測(cè)精度。人工神經(jīng)網(wǎng)絡(luò)可以有效的對(duì)付空值，但人工神經(jīng)網(wǎng)絡(luò)在這方面的研究還不是非常成熟。數(shù)據(jù)缺失的處理方法數(shù)據(jù)插補(bǔ)通常是一件非常繁瑣的工作，很多常用的統(tǒng)計(jì)軟件以及專門為其編寫的軟件都可以完成。從中