2025年大學(xué)《數(shù)據(jù)計(jì)算及應(yīng)用》專業(yè)題庫——數(shù)據(jù)采集與數(shù)據(jù)清洗技術(shù)研究考試時(shí)間：______分鐘總分：______分姓名：______一、選擇題（每題2分，共20分）1.下列哪一項(xiàng)不屬于數(shù)據(jù)質(zhì)量問題的常見維度？A.準(zhǔn)確性B.完整性C.實(shí)時(shí)性D.一致性2.使用網(wǎng)絡(luò)爬蟲采集數(shù)據(jù)時(shí)，為了避免被網(wǎng)站封禁，常用的技術(shù)手段不包括：A.設(shè)置合理的請(qǐng)求延遲（Sleep）B.使用代理IP池C.模擬瀏覽器行為（User-Agent）D.大量并發(fā)請(qǐng)求3.在數(shù)據(jù)清洗過程中，處理缺失值的一種方法是插值法，這種方法通常適用于：A.缺失數(shù)據(jù)較少且分布均勻的情況B.缺失數(shù)據(jù)具有明顯規(guī)律或趨勢的情況C.缺失數(shù)據(jù)與其它變量存在強(qiáng)相關(guān)性的情況D.缺失數(shù)據(jù)本身就是異常值的情況4.下列哪種數(shù)據(jù)采集方式最適合獲取結(jié)構(gòu)化、格式統(tǒng)一的數(shù)據(jù)？A.網(wǎng)絡(luò)爬蟲B.API接口調(diào)用C.傳感器數(shù)據(jù)采集D.手動(dòng)錄入5.重復(fù)數(shù)據(jù)檢測與處理是數(shù)據(jù)清洗的重要環(huán)節(jié)，以下哪種方法不能有效識(shí)別重復(fù)記錄？A.基于唯一標(biāo)識(shí)符（如身份證號(hào)）的比較B.基于關(guān)鍵字段（如姓名、手機(jī)號(hào)）的模糊匹配C.利用聚類算法識(shí)別相似記錄D.直接計(jì)算數(shù)據(jù)集的行列數(shù)差異6.關(guān)于數(shù)據(jù)采集，以下說法錯(cuò)誤的是：A.數(shù)據(jù)采集是數(shù)據(jù)分析的前提和基礎(chǔ)B.采集到的原始數(shù)據(jù)總是“干凈”的C.數(shù)據(jù)采集過程不需要考慮成本和效率D.數(shù)據(jù)采集應(yīng)遵守相關(guān)法律法規(guī)和倫理規(guī)范7.以下哪種技術(shù)/工具通常不用于數(shù)據(jù)采集？A.ScrapyB.BeautifulSoupC.PandasD.ApacheFlume8.數(shù)據(jù)格式轉(zhuǎn)換是數(shù)據(jù)清洗的常見步驟，以下哪種轉(zhuǎn)換不屬于數(shù)據(jù)類型轉(zhuǎn)換？A.將字符串格式的日期轉(zhuǎn)換為日期類型B.將文本描述的枚舉值（如“是/否”）轉(zhuǎn)換為數(shù)值（如1/0）C.將數(shù)值型數(shù)據(jù)轉(zhuǎn)換為字符串型D.將JSON格式的數(shù)據(jù)轉(zhuǎn)換為CSV格式9.異常值檢測方法中，基于統(tǒng)計(jì)分布的方法（如Z-score、IQR）對(duì)數(shù)據(jù)的前提假設(shè)是：A.數(shù)據(jù)服從高斯正態(tài)分布B.數(shù)據(jù)之間存在強(qiáng)相關(guān)性C.數(shù)據(jù)量必須非常大D.數(shù)據(jù)必須是結(jié)構(gòu)化的10.在進(jìn)行大規(guī)模數(shù)據(jù)采集時(shí)，需要考慮的反爬蟲策略通常包括：A.限制IP訪問頻率B.使用登錄SessionC.設(shè)置驗(yàn)證碼（CAPTCHA）D.以上都是二、簡答題（每題5分，共20分）1.簡述數(shù)據(jù)采集過程中可能遇到的主要挑戰(zhàn)。2.解釋什么是數(shù)據(jù)清洗，并列舉其至少三個(gè)主要目標(biāo)。3.描述數(shù)據(jù)清洗流程中，“數(shù)據(jù)集成”階段可能面臨的主要問題。4.簡述API接口數(shù)據(jù)采集的基本流程。三、論述題（每題10分，共30分）1.某電商平臺(tái)希望采集用戶評(píng)論數(shù)據(jù)用于分析，評(píng)論數(shù)據(jù)分散在多個(gè)商品詳情頁面上。請(qǐng)?jiān)O(shè)計(jì)一個(gè)數(shù)據(jù)采集方案，說明你會(huì)選擇哪種采集方法（爬蟲或API），并闡述選擇理由以及需要考慮的關(guān)鍵技術(shù)和問題（如反爬、數(shù)據(jù)解析、去重等）。2.假設(shè)你獲得了一份包含用戶姓名、年齡、性別、城市、職業(yè)、收入等字段的數(shù)據(jù)集。請(qǐng)分析該數(shù)據(jù)集中可能存在的數(shù)據(jù)質(zhì)量問題，并提出相應(yīng)的清洗策略和方法。3.討論數(shù)據(jù)采集與數(shù)據(jù)清洗技術(shù)在保護(hù)用戶隱私方面應(yīng)注意的關(guān)鍵點(diǎn)。試卷答案一、選擇題1.C解析：數(shù)據(jù)質(zhì)量維度通常包括準(zhǔn)確性、完整性、一致性、時(shí)效性、有效性等。實(shí)時(shí)性（Real-time）不是標(biāo)準(zhǔn)的維度。2.D解析：為了避免被網(wǎng)站封禁，數(shù)據(jù)采集應(yīng)設(shè)置合理的請(qǐng)求延遲、使用代理IP池、模擬瀏覽器行為等。大量并發(fā)請(qǐng)求容易給目標(biāo)服務(wù)器造成壓力，導(dǎo)致被封禁。3.B解析：插值法適用于缺失數(shù)據(jù)具有一定規(guī)律或趨勢的情況，可以通過插值來估計(jì)缺失值。當(dāng)缺失數(shù)據(jù)較少且分布均勻時(shí)，刪除可能更合適；強(qiáng)相關(guān)時(shí)，可能用回歸填充；異常值缺失則需特殊處理。4.B解析：API接口通常提供標(biāo)準(zhǔn)化的數(shù)據(jù)接口，返回的數(shù)據(jù)格式統(tǒng)一（如JSON、XML），適合獲取結(jié)構(gòu)化數(shù)據(jù)。網(wǎng)絡(luò)爬蟲獲取的數(shù)據(jù)可能格式不統(tǒng)一。傳感器數(shù)據(jù)通常是原始信號(hào)，職業(yè)、收入等屬于非結(jié)構(gòu)化或半結(jié)構(gòu)化。5.D解析：計(jì)算數(shù)據(jù)集行列數(shù)差異只能大致判斷是否存在重復(fù)記錄，但不能有效識(shí)別哪些具體記錄是重復(fù)的?；谖ㄒ粯?biāo)識(shí)符比較、關(guān)鍵字段模糊匹配、聚類算法都能識(shí)別出重復(fù)或相似的記錄。6.C解析：數(shù)據(jù)采集過程需要考慮成本（資源消耗、時(shí)間成本）和效率（采集速度、成功率），以經(jīng)濟(jì)高效的方式獲取所需數(shù)據(jù)。7.C解析：Scrapy、BeautifulSoup、ApacheFlume都是常用于數(shù)據(jù)采集的工具或框架。Pandas主要用于數(shù)據(jù)處理和分析，而非數(shù)據(jù)采集。8.D解析：將字符串日期轉(zhuǎn)換為日期類型、將文本枚舉值轉(zhuǎn)換為數(shù)值、將數(shù)值型數(shù)據(jù)轉(zhuǎn)換為字符串型都屬于數(shù)據(jù)類型轉(zhuǎn)換。將JSON轉(zhuǎn)換為CSV是數(shù)據(jù)格式轉(zhuǎn)換。9.A解析：基于統(tǒng)計(jì)分布的異常值檢測方法（如Z-score、IQR）通常假設(shè)數(shù)據(jù)服從正態(tài)分布或某種可解釋的分布。這些方法對(duì)數(shù)據(jù)分布的假設(shè)是其基礎(chǔ)。10.D解析：大規(guī)模數(shù)據(jù)采集時(shí)，需要考慮限制IP訪問頻率、使用登錄Session、處理驗(yàn)證碼等多種反爬蟲策略，以上都是常見的方法。二、簡答題1.數(shù)據(jù)采集過程中可能遇到的主要挑戰(zhàn)包括：目標(biāo)網(wǎng)站的反爬蟲機(jī)制（如驗(yàn)證碼、IP封禁、動(dòng)態(tài)加載）、數(shù)據(jù)抓取效率與穩(wěn)定性問題、采集數(shù)據(jù)的格式多樣性與復(fù)雜性、數(shù)據(jù)清洗與預(yù)處理工作量巨大、數(shù)據(jù)采集過程中的隱私保護(hù)與法律法規(guī)遵守、大規(guī)模數(shù)據(jù)存儲(chǔ)與管理等。2.數(shù)據(jù)清洗是指對(duì)采集到的原始數(shù)據(jù)進(jìn)行檢查、修正、規(guī)約和集成，使其達(dá)到分析或使用要求的過程。其主要目標(biāo)包括：提高數(shù)據(jù)的準(zhǔn)確性，確保數(shù)據(jù)反映真實(shí)情況；保證數(shù)據(jù)的完整性，減少缺失值；增強(qiáng)數(shù)據(jù)的一致性，消除矛盾和歧義；提升數(shù)據(jù)的有效性，確保數(shù)據(jù)符合預(yù)期的格式和類型；優(yōu)化數(shù)據(jù)的時(shí)效性，保證數(shù)據(jù)的新鮮度。3.數(shù)據(jù)清洗流程中的“數(shù)據(jù)集成”階段可能面臨的主要問題包括：來自不同數(shù)據(jù)源的數(shù)據(jù)模式（結(jié)構(gòu)、類型）不兼容；數(shù)據(jù)值沖突（如同一實(shí)體在不同源中有不同描述）；數(shù)據(jù)冗余（同一信息在多個(gè)數(shù)據(jù)源中重復(fù)存在）；數(shù)據(jù)不一致性問題（如單位、命名規(guī)范不一致）；以及集成過程中可能引入的新錯(cuò)誤等。4.API接口數(shù)據(jù)采集的基本流程通常包括：確定數(shù)據(jù)接口來源和目標(biāo)；分析并理解API文檔，獲取必要的認(rèn)證信息（如APIKey）；根據(jù)需求構(gòu)造API請(qǐng)求（確定參數(shù)、方法）；發(fā)送API請(qǐng)求并接收響應(yīng)數(shù)據(jù)（通常是JSON或XML格式）；解析API響應(yīng)數(shù)據(jù)，提取所需字段；對(duì)提取的數(shù)據(jù)進(jìn)行初步檢查或清洗；將數(shù)據(jù)存儲(chǔ)到指定目標(biāo)（如數(shù)據(jù)庫、文件）；處理錯(cuò)誤和異常情況。三、論述題1.設(shè)計(jì)數(shù)據(jù)采集方案：方法選擇：建議使用網(wǎng)絡(luò)爬蟲。理由：用戶評(píng)論數(shù)據(jù)分散在商品詳情頁，通常采用靜態(tài)網(wǎng)頁展示，適合爬蟲抓取。API接口可能不存在，或者權(quán)限受限、數(shù)據(jù)量不足。關(guān)鍵技術(shù)問題：a.反爬蟲：需要分析目標(biāo)網(wǎng)站的防爬策略，如User-Agent偽裝、IP代理輪換、請(qǐng)求頭模擬、設(shè)置合理的請(qǐng)求延遲（Sleep）、使用異步或分布式爬蟲框架提高效率并降低被封風(fēng)險(xiǎn)。b.數(shù)據(jù)解析：需要使用HTML解析庫（如Python的BeautifulSoup或lxml）解析網(wǎng)頁內(nèi)容，定位并提取用戶評(píng)論文本、評(píng)論者信息（姓名、評(píng)分等）、評(píng)論時(shí)間等所需字段。c.去重：設(shè)計(jì)去重策略，如在數(shù)據(jù)庫層面或內(nèi)存中根據(jù)評(píng)論ID或評(píng)論內(nèi)容的哈希值進(jìn)行去重，避免重復(fù)采集。d.數(shù)據(jù)存儲(chǔ)：將清洗后的評(píng)論數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)，如存入數(shù)據(jù)庫（MySQL,MongoDB）或文件（CSV,JSON）。2.數(shù)據(jù)質(zhì)量問題分析與清洗策略：可能問題：a.缺失值：年齡、城市、職業(yè)、收入等字段可能存在大量缺失。b.重復(fù)值：可能存在完全相同的用戶評(píng)論記錄。c.異常值：年齡可能存在負(fù)數(shù)、過大數(shù)值；收入可能異常高或低；性別可能存在異常值或非二元值。d.格式錯(cuò)誤：姓名可能包含特殊字符；日期格式不統(tǒng)一；職業(yè)名稱描述不規(guī)范。e.不一致性：城市名稱縮寫與全稱混用；同一商品可能存在不同編號(hào)。清洗策略：a.缺失值處理：對(duì)于年齡、城市等關(guān)鍵信息，若缺失過多，可考慮刪除含缺失值的記錄。對(duì)于職業(yè)、收入等，若缺失不多，可考慮填充（如使用眾數(shù)、中位數(shù)或模型預(yù)測），或保留缺失值進(jìn)行后續(xù)分析。b.重復(fù)值處理：使用唯一標(biāo)識(shí)符（如評(píng)論ID）或關(guān)鍵字段（評(píng)論內(nèi)容、用戶ID）識(shí)別重復(fù)記錄，保留一條或根據(jù)特定規(guī)則合并。c.異常值處理：對(duì)年齡使用過濾（如范圍[0,120]），對(duì)收入進(jìn)行分箱或過濾。對(duì)性別進(jìn)行映射或刪除異常值。對(duì)評(píng)論內(nèi)容進(jìn)行文本分析識(shí)別明顯無關(guān)或廣告內(nèi)容。d.格式轉(zhuǎn)換/修正：使用正則表達(dá)式或文本處理函數(shù)清洗姓名中的特殊字符。統(tǒng)一日期格式。對(duì)職業(yè)名稱進(jìn)行標(biāo)準(zhǔn)化或歸一化。統(tǒng)一城市名稱寫法。e.一致性處理：檢查并統(tǒng)一字段單位（如身高、體重），統(tǒng)一分類標(biāo)準(zhǔn)（如產(chǎn)品類別）。3.數(shù)據(jù)采集與清洗中的隱私保護(hù)與倫理關(guān)鍵點(diǎn)：a.采集前授權(quán)與告知：采集涉及個(gè)人信息的原始數(shù)據(jù)前，必須獲得用戶明確的授權(quán)同意，并向用戶清晰告知數(shù)據(jù)用途、范圍和存儲(chǔ)方式。b.數(shù)據(jù)最小化原則：只采集分析研究所需的最少必要數(shù)據(jù)，避免過度采集無關(guān)個(gè)人信息。c.匿名化與去標(biāo)識(shí)化：在數(shù)據(jù)處理和存儲(chǔ)過程中，盡可能對(duì)個(gè)人身份信息進(jìn)行匿名化或去標(biāo)識(shí)化處理，使其無法直接關(guān)聯(lián)到具體個(gè)人。這是保護(hù)隱私的核心技術(shù)手段。d.數(shù)據(jù)安