2025年大學(xué)《數(shù)據(jù)計(jì)算及應(yīng)用》專業(yè)題庫——數(shù)據(jù)采集與清洗流程優(yōu)化考試時(shí)間：______分鐘總分：______分姓名：______一、簡(jiǎn)述數(shù)據(jù)采集過程中可能遇到的主要挑戰(zhàn)，并說明針對(duì)“數(shù)據(jù)量巨大”這一挑戰(zhàn)，可以采用哪些策略進(jìn)行應(yīng)對(duì)。二、在數(shù)據(jù)清洗階段，缺失值處理是常見的任務(wù)。比較兩種常見的缺失值處理方法（如刪除記錄/填充）的優(yōu)缺點(diǎn)，并說明在什么情況下傾向于選擇哪種方法。三、描述數(shù)據(jù)清洗流程中“數(shù)據(jù)一致性檢查”包含哪些主要內(nèi)容？為什么確保數(shù)據(jù)一致性對(duì)于后續(xù)的數(shù)據(jù)分析至關(guān)重要？四、假設(shè)你需要設(shè)計(jì)一個(gè)數(shù)據(jù)采集與清洗流程，用于整合來自三個(gè)不同網(wǎng)站（網(wǎng)站A、B、C）的用戶評(píng)論數(shù)據(jù)到統(tǒng)一的數(shù)據(jù)庫表中。請(qǐng)簡(jiǎn)述該流程需要考慮的關(guān)鍵步驟，并說明在數(shù)據(jù)清洗環(huán)節(jié)可能需要針對(duì)不同來源的數(shù)據(jù)進(jìn)行哪些特定的處理。五、什么是數(shù)據(jù)采集與清洗流程中的“瓶頸”？請(qǐng)列舉至少兩種可能導(dǎo)致流程瓶頸的因素，并簡(jiǎn)要說明如何識(shí)別這些瓶頸。六、在進(jìn)行數(shù)據(jù)清洗流程優(yōu)化時(shí)，通常會(huì)考慮多個(gè)目標(biāo)，如提高清洗速度、降低錯(cuò)誤率、減少資源消耗等。請(qǐng)闡述這些優(yōu)化目標(biāo)之間可能存在的權(quán)衡關(guān)系。七、你正在使用Python腳本進(jìn)行網(wǎng)頁數(shù)據(jù)爬取，發(fā)現(xiàn)目標(biāo)網(wǎng)站的反爬蟲機(jī)制導(dǎo)致爬取速度很慢，且經(jīng)常失敗。請(qǐng)?zhí)岢鲋辽偃N可以嘗試的優(yōu)化策略，并簡(jiǎn)述其原理。八、某企業(yè)現(xiàn)有數(shù)據(jù)清洗流程主要依賴人工操作，效率低下且容易出錯(cuò)。請(qǐng)?zhí)岢鲋辽賰煞N自動(dòng)化數(shù)據(jù)清洗流程的方案，并說明選擇這些方案的理由。九、在評(píng)估一個(gè)數(shù)據(jù)采集與清洗流程的優(yōu)化效果時(shí)，可以采用哪些指標(biāo)？請(qǐng)列舉至少四個(gè)關(guān)鍵指標(biāo)，并簡(jiǎn)要說明每個(gè)指標(biāo)的含義。十、比較批處理數(shù)據(jù)采集與流式數(shù)據(jù)采集在處理實(shí)時(shí)性要求、系統(tǒng)復(fù)雜度、資源消耗等方面的主要差異。在什么場(chǎng)景下更傾向于使用流式采集？試卷答案一、挑戰(zhàn)：數(shù)據(jù)量巨大可能導(dǎo)致的存儲(chǔ)成本高、網(wǎng)絡(luò)傳輸時(shí)間長(zhǎng)、單機(jī)處理能力不足、采集與清洗效率低下等問題。策略：1.分布式采集與處理：利用分布式框架（如Hadoop,Spark）進(jìn)行數(shù)據(jù)的分布式存儲(chǔ)和并行處理。2.增量采集：只采集新增或變化的數(shù)據(jù)，減少重復(fù)數(shù)據(jù)的處理量。3.數(shù)據(jù)抽樣：對(duì)于非實(shí)時(shí)、非關(guān)鍵分析，可以對(duì)海量數(shù)據(jù)進(jìn)行抽樣處理。4.高效數(shù)據(jù)格式：使用列式存儲(chǔ)等高效數(shù)據(jù)格式（如Parquet,ORC）進(jìn)行存儲(chǔ)，提升I/O效率。5.異步處理：采用消息隊(duì)列（如Kafka）進(jìn)行數(shù)據(jù)緩沖，實(shí)現(xiàn)采集與清洗的異步解耦，提高吞吐量。二、比較：1.刪除記錄（ListwiseDeletion）：*優(yōu)點(diǎn)：簡(jiǎn)單直接，不引入填充值帶來的誤差。*缺點(diǎn)：可能導(dǎo)致重要信息丟失（尤其是缺失值不是隨機(jī)發(fā)生時(shí)）；當(dāng)缺失數(shù)據(jù)比例較高時(shí)，會(huì)嚴(yán)重減少有效樣本量。*適用情況：缺失數(shù)據(jù)量很少；缺失值是隨機(jī)發(fā)生的；刪除后剩余數(shù)據(jù)量足夠進(jìn)行分析。2.填充（Imputation）：*優(yōu)點(diǎn)：保留所有原始樣本信息，不減少樣本量；可以通過統(tǒng)計(jì)方法（均值/中位數(shù)/眾數(shù)填充、回歸填充、多重插補(bǔ)）或模型預(yù)測(cè)填充，可能得到更準(zhǔn)確的結(jié)果。*缺點(diǎn)：引入人為偏差（如均值填充會(huì)扭曲分布）；計(jì)算復(fù)雜度較高；填充值可能與真實(shí)值有差異。*適用情況：缺失數(shù)據(jù)量較大；缺失值不是隨機(jī)發(fā)生；需要最大化利用所有數(shù)據(jù)；數(shù)據(jù)缺失模式有規(guī)律可循。三、主要內(nèi)容：1.數(shù)據(jù)類型一致性：確保同一字段在不同數(shù)據(jù)源中格式統(tǒng)一（如日期格式、數(shù)值類型）。2.命名一致性：字段名或表名在不同來源應(yīng)盡量統(tǒng)一或有清晰映射關(guān)系。3.值域一致性：同一概念在不同數(shù)據(jù)源中的取值范圍應(yīng)一致（如性別只能是'男'/'女'）。4.單位一致性：量度單位（如米/厘米、元/角）需統(tǒng)一。5.邏輯一致性：數(shù)據(jù)間應(yīng)滿足業(yè)務(wù)邏輯關(guān)系（如年齡不應(yīng)為負(fù)數(shù)，訂單金額不應(yīng)小于配送費(fèi)）。重要性：確保數(shù)據(jù)在整合后能夠被正確理解和使用，避免因不一致性導(dǎo)致的分析錯(cuò)誤、系統(tǒng)錯(cuò)誤或業(yè)務(wù)決策失誤，是數(shù)據(jù)質(zhì)量和后續(xù)分析的基礎(chǔ)。四、關(guān)鍵步驟：1.需求分析與數(shù)據(jù)源探索：明確目標(biāo)數(shù)據(jù)（評(píng)論內(nèi)容、用戶ID、時(shí)間、評(píng)分等），了解網(wǎng)站A、B、C的數(shù)據(jù)結(jié)構(gòu)、API接口或頁面爬取規(guī)則。2.數(shù)據(jù)采集：根據(jù)分析結(jié)果，選擇合適的采集方式（API、爬蟲）分別從三個(gè)網(wǎng)站獲取數(shù)據(jù)。3.數(shù)據(jù)格式統(tǒng)一：將來自不同網(wǎng)站的數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一的內(nèi)部數(shù)據(jù)格式（如JSON或CSV結(jié)構(gòu)）。4.數(shù)據(jù)清洗（針對(duì)性處理）：*文本內(nèi)容：清理HTML標(biāo)簽、特殊字符、統(tǒng)一編碼；針對(duì)不同網(wǎng)站可能存在的表情符號(hào)、錯(cuò)別字等進(jìn)行標(biāo)準(zhǔn)化處理。*用戶ID/昵稱：統(tǒng)一或映射用戶標(biāo)識(shí)，處理重復(fù)或缺失的ID。*時(shí)間戳：轉(zhuǎn)換為統(tǒng)一的時(shí)間格式（如UTC或本地時(shí)間），處理時(shí)區(qū)問題。*評(píng)分/標(biāo)簽：統(tǒng)一評(píng)分范圍和格式，清洗或轉(zhuǎn)換標(biāo)簽。*去重：檢查并去除完全重復(fù)的評(píng)論記錄。5.數(shù)據(jù)集成：將清洗后的數(shù)據(jù)合并到一個(gè)統(tǒng)一的數(shù)據(jù)庫表中。6.最終校驗(yàn)與存儲(chǔ)：對(duì)集成后的數(shù)據(jù)進(jìn)行質(zhì)量校驗(yàn)，確認(rèn)無誤后存入數(shù)據(jù)庫或數(shù)據(jù)倉庫。五、瓶頸因素：1.數(shù)據(jù)源端限制：如API接口速率限制、數(shù)據(jù)庫查詢緩慢、網(wǎng)站服務(wù)器壓力大。2.網(wǎng)絡(luò)傳輸瓶頸：大量數(shù)據(jù)在網(wǎng)絡(luò)中傳輸耗時(shí)過長(zhǎng)。3.數(shù)據(jù)處理能力不足：?jiǎn)螜C(jī)CPU、內(nèi)存、存儲(chǔ)資源有限，無法高效處理大規(guī)?；驈?fù)雜計(jì)算任務(wù)。4.清洗規(guī)則復(fù)雜或?qū)崿F(xiàn)效率低：復(fù)雜的數(shù)據(jù)轉(zhuǎn)換、清洗邏輯導(dǎo)致處理時(shí)間過長(zhǎng)。5.數(shù)據(jù)質(zhì)量問題：需要大量時(shí)間進(jìn)行數(shù)據(jù)探查、清洗和預(yù)處理，消耗了流程中大部分時(shí)間。6.系統(tǒng)架構(gòu)或工具選擇不當(dāng)：未使用合適的分布式技術(shù)或工具導(dǎo)致處理效率低下。識(shí)別方法：通過監(jiān)控各環(huán)節(jié)的任務(wù)耗時(shí)、資源使用率（CPU、內(nèi)存、IO、網(wǎng)絡(luò)）、錯(cuò)誤日志數(shù)量和類型，定位耗時(shí)最長(zhǎng)的步驟或資源使用率接近上限的環(huán)節(jié)。六、權(quán)衡關(guān)系：1.速度vs.質(zhì)量與成本：試圖極大提高清洗速度，可能會(huì)簡(jiǎn)化清洗規(guī)則，導(dǎo)致錯(cuò)誤率上升（犧牲質(zhì)量）；或者需要投入更多資源（如更快的硬件、更復(fù)雜的算法），增加成本。2.質(zhì)量vs.時(shí)間與成本：追求極高的數(shù)據(jù)質(zhì)量（如反復(fù)驗(yàn)證、使用復(fù)雜填充算法），需要更多的時(shí)間和計(jì)算資源（犧牲時(shí)間、成本）。3.成本vs.時(shí)間與質(zhì)量：降低成本（如使用更廉價(jià)的云資源、減少人力投入），可能需要犧牲處理時(shí)間（使用更慢的方法）或數(shù)據(jù)質(zhì)量（減少清洗步驟）。優(yōu)化時(shí)需綜合考慮業(yè)務(wù)需求、資源限制，找到一個(gè)合適的平衡點(diǎn)。七、優(yōu)化策略：1.使用更高效的庫或框架：如使用`aiohttp`替代`requests`進(jìn)行異步HTTP請(qǐng)求，使用`Scrapy`框架提高爬取效率。2.設(shè)置合理的請(qǐng)求頭與代理：模擬正常用戶行為，使用User-Agent，設(shè)置請(qǐng)求延遲（sleep），使用代理池避免IP封鎖。3.并發(fā)/分布式爬?。菏褂枚嗑€程或多進(jìn)程（需注意避免過度占用服務(wù)器資源），或利用Scrapy等框架的分布式爬蟲功能，同時(shí)從多個(gè)頁面發(fā)起請(qǐng)求。4.分析反爬蟲機(jī)制并規(guī)避：分析網(wǎng)站的反爬蟲邏輯（如驗(yàn)證碼、IP封禁、行為檢測(cè)），使用中間件（中間件）進(jìn)行模擬登錄、驗(yàn)證碼識(shí)別（如使用OCR或第三方服務(wù)）、IP切換等操作。八、自動(dòng)化方案：1.ETL/ELT工具：使用如Kettle、Talend、DataX等圖形化或腳本化的ETL工具，通過配置任務(wù)節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換、加載的自動(dòng)化調(diào)度執(zhí)行。優(yōu)點(diǎn)是配置靈活，易于管理。2.編程腳本結(jié)合任務(wù)調(diào)度：使用Python(Pandas,Dask)、Scala(Spark)等語言編寫數(shù)據(jù)采集和清洗邏輯腳本，然后通過操作系統(tǒng)的任務(wù)調(diào)度器（如Linux的Cron,Windows的TaskScheduler）或?qū)I(yè)的調(diào)度工具（如Airflow）定期運(yùn)行腳本。優(yōu)點(diǎn)是靈活性高，可定制性強(qiáng)。3.數(shù)據(jù)平臺(tái)內(nèi)置功能：如果使用大數(shù)據(jù)平臺(tái)（如HadoopETL工具、SparkDataFrames/DatasetsAPI），可以將其封裝成作業(yè)，利用平臺(tái)自帶的作業(yè)調(diào)度系統(tǒng)進(jìn)行自動(dòng)化運(yùn)行。九、關(guān)鍵指標(biāo)：1.數(shù)據(jù)質(zhì)量指標(biāo)：*完整性：如記錄數(shù)、字段非空率、關(guān)鍵字段（如用戶ID）非空率。*準(zhǔn)確性：如通過校驗(yàn)規(guī)則發(fā)現(xiàn)并修正的錯(cuò)誤數(shù)占總數(shù)據(jù)的比例、重復(fù)數(shù)據(jù)比例。*一致性：如數(shù)據(jù)類型錯(cuò)誤數(shù)、格式不統(tǒng)一數(shù)、跨表數(shù)據(jù)邏輯矛盾數(shù)。2.效率指標(biāo)：*處理時(shí)間：?jiǎn)未吻逑慈蝿?wù)從開始到結(jié)束的總耗時(shí)、關(guān)鍵子任務(wù)的耗時(shí)。*吞吐量：?jiǎn)挝粫r(shí)間內(nèi)處理的記錄數(shù)或數(shù)據(jù)量。3.成本指標(biāo)：*資源消耗：清洗過程消耗的CPU、內(nèi)存、存儲(chǔ)空間。*人力成本：自動(dòng)化后節(jié)省或減少的人力投入。4.穩(wěn)定性與可維護(hù)性指標(biāo)：*任務(wù)成功率：清洗任務(wù)成功執(zhí)行的比例。*故障恢復(fù)時(shí)間：任務(wù)失敗后恢復(fù)并成功重新執(zhí)行所需的時(shí)間。*代碼/配置復(fù)雜度：影響維護(hù)成本。十、主要差異：1.實(shí)時(shí)性：*批處理：通常在固定時(shí)間點(diǎn)（如夜間）處理累積一段時(shí)間的數(shù)據(jù)，實(shí)時(shí)性較低（分鐘級(jí)到小時(shí)級(jí)甚至更長(zhǎng)）。*流式處理：實(shí)時(shí)或近乎實(shí)時(shí)地處理到達(dá)的數(shù)據(jù)，延遲較低（秒級(jí)到分鐘級(jí)）。2.系統(tǒng)復(fù)雜度：*批處理：系統(tǒng)相對(duì)簡(jiǎn)單，主要是數(shù)據(jù)加載、轉(zhuǎn)換、存儲(chǔ)的順序執(zhí)行。*流式處理：系統(tǒng)更復(fù)雜，涉及數(shù)據(jù)接收、緩沖、狀態(tài)維護(hù)、事件驅(qū)動(dòng)、容錯(cuò)處理等。3.資源消耗：*批處理：通常在非高峰時(shí)段運(yùn)行，對(duì)單次運(yùn)行的資源需求可能較高，但持續(xù)時(shí)間短。*流式處理：可能需要持續(xù)運(yùn)行，對(duì)CPU、內(nèi)存等資源有持續(xù)要求，需要考慮資源伸縮。4.數(shù)據(jù)窗口：*批處理：處理的是某個(gè)時(shí)間窗口內(nèi)的完整數(shù)據(jù)集。*流式處理：處理的是數(shù)據(jù)流，需要考慮狀態(tài)窗口（處理最近一段時(shí)間的數(shù)據(jù)）或會(huì)話窗口（按用戶會(huì)話）。5.容錯(cuò)性：