大數(shù)據(jù)基礎(chǔ)與實(shí)務(wù)項(xiàng)目三大數(shù)據(jù)采集與清洗數(shù)據(jù)清洗任務(wù)三任務(wù)描述知識(shí)準(zhǔn)備課堂研討拓展訓(xùn)練目錄CONTENTSONETWOTHREEFOUR數(shù)據(jù)質(zhì)量的高低嚴(yán)重影響了工業(yè)、經(jīng)濟(jì)等社會(huì)的方方面面，數(shù)據(jù)質(zhì)量問(wèn)題及其所導(dǎo)致的知識(shí)和決策錯(cuò)誤已經(jīng)在全球范圍內(nèi)造成了惡劣的后果，嚴(yán)重困擾著信息社會(huì)，大數(shù)據(jù)的廣泛應(yīng)用對(duì)數(shù)據(jù)質(zhì)量的保障提出了迫切需求。數(shù)據(jù)清洗是數(shù)據(jù)質(zhì)量管理的重要問(wèn)題，其內(nèi)容十分豐富，包括缺失值處理、實(shí)體識(shí)別與真值發(fā)現(xiàn)，錯(cuò)記的主動(dòng)發(fā)現(xiàn)和修復(fù)等問(wèn)題。小明對(duì)此產(chǎn)生了疑惑：什么是數(shù)據(jù)清洗呢？如何清洗“臟數(shù)據(jù)”呢？任務(wù)描述知識(shí)準(zhǔn)備

數(shù)據(jù)清洗是一種對(duì)數(shù)據(jù)進(jìn)行重新審查和校驗(yàn)的過(guò)程，目的在于刪除重復(fù)信息、糾正存在的錯(cuò)誤，并提供數(shù)據(jù)一致性。定義數(shù)據(jù)清洗的概念一知識(shí)準(zhǔn)備“臟數(shù)據(jù)”的類型二殘缺數(shù)據(jù)重復(fù)數(shù)據(jù)“臟數(shù)據(jù)”的類型錯(cuò)誤數(shù)據(jù)這一類數(shù)據(jù)主要是一些應(yīng)該有的信息缺失，如供應(yīng)商的名稱、分公司的名稱、客戶的區(qū)域信息缺失、業(yè)務(wù)系統(tǒng)中主表與明細(xì)表不能匹配等。這一類錯(cuò)誤產(chǎn)生的原因是業(yè)務(wù)系統(tǒng)不夠健全，在接收輸入后沒(méi)有進(jìn)行判斷直接寫入后臺(tái)數(shù)據(jù)庫(kù)造成的，比如：數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串?dāng)?shù)據(jù)后面有一個(gè)回車操作、日期格式不正確、日期越界等。對(duì)于這一類數(shù)據(jù)需將重復(fù)數(shù)據(jù)記錄的所有字段導(dǎo)出來(lái)，讓客戶確認(rèn)并整理。知識(shí)準(zhǔn)備數(shù)據(jù)清洗流程三在實(shí)際操作中，數(shù)據(jù)清洗通常會(huì)占據(jù)分析過(guò)程的50%～80%的時(shí)間。圖3-7為淺層次的數(shù)據(jù)清洗流程圖。知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（一）預(yù)處理階段查看數(shù)據(jù)看元數(shù)據(jù)抽取一部分?jǐn)?shù)據(jù)，使用人工查看方式將數(shù)據(jù)導(dǎo)入處理工具12知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（二）階段1：缺失值清洗缺失值是最常見(jiàn)的數(shù)據(jù)問(wèn)題，處理缺失值也有很多方法。首先，確定缺失值范圍。對(duì)每個(gè)字段都計(jì)算其缺失值比例，然后按照缺失比例和字段重要性，分別制定策略，可用圖3-8表示。圖3-8

數(shù)據(jù)的重要性與缺失率關(guān)系比例圖知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（三）階段2：格式內(nèi)容清洗時(shí)間、日期、數(shù)值、全半角等顯示格式不一致內(nèi)容中含有不該存在的字符內(nèi)容與該字段應(yīng)有內(nèi)容不符知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（四）階段3：邏輯錯(cuò)誤清洗這部分的工作是去掉一些使用簡(jiǎn)單邏輯推理就可以直接發(fā)現(xiàn)問(wèn)題的數(shù)據(jù)，防止分析結(jié)果走偏。主要包含去重、去除不合理值以及修正矛盾內(nèi)容。去重A去除不合理值B修正矛盾內(nèi)容C知識(shí)準(zhǔn)備三數(shù)據(jù)清洗流程（五）階段4：非需求數(shù)據(jù)清洗在進(jìn)行數(shù)據(jù)清洗時(shí)人們往往會(huì)把看上去不需要但實(shí)際上對(duì)業(yè)務(wù)很重要的字段刪了，又或者某個(gè)字段覺(jué)得有用，但又沒(méi)想好怎么用，不知道是否該刪。此時(shí)，如果數(shù)據(jù)量沒(méi)有大到不刪該字段就無(wú)法處理，則能不刪的字段盡量不刪。此外，應(yīng)該勤備份數(shù)據(jù)，以免誤刪數(shù)據(jù)影響后續(xù)分析。（六）階段5：關(guān)聯(lián)性驗(yàn)證如果數(shù)據(jù)有多個(gè)來(lái)源，則有必要進(jìn)行關(guān)聯(lián)性驗(yàn)證。例如，同時(shí)獲得某品牌汽車的線下購(gòu)買信息，以及相應(yīng)汽車品牌的電話客服問(wèn)卷信息，兩者通過(guò)姓名和手機(jī)號(hào)關(guān)聯(lián)。同一個(gè)人線下登記的車輛信息和線上問(wèn)卷問(wèn)出來(lái)的車輛信息如果不是同一輛，則該條數(shù)據(jù)需要調(diào)整或去除數(shù)據(jù)。課堂研討小明現(xiàn)在收集到一份“鏈家”平臺(tái)廣州地區(qū)的房屋出租信息