2025年大數(shù)據(jù)考試題庫及答案一、單項(xiàng)選擇題（每題2分，共40分）1.以下關(guān)于HDFS3.x版本特性的描述中，錯(cuò)誤的是（）A.支持EC（糾刪碼）存儲(chǔ)，降低存儲(chǔ)成本B.引入HDFSFederation實(shí)現(xiàn)元數(shù)據(jù)橫向擴(kuò)展C.默認(rèn)塊大小調(diào)整為256MB（生產(chǎn)環(huán)境可配置）D.完全移除SecondaryNameNode，僅保留CheckpointNode答案：D（HDFS3.x中SecondaryNameNode、CheckpointNode和BackupNode合并為CheckpointNode，但并未完全移除，仍保留部分功能）2.某Spark任務(wù)執(zhí)行時(shí)，若RDD的persist級(jí)別設(shè)置為MEMORY_AND_DISK_SER，其含義是（）A.僅在內(nèi)存中存儲(chǔ)序列化的RDD，內(nèi)存不足時(shí)丟棄B.優(yōu)先在內(nèi)存中存儲(chǔ)反序列化的RDD，內(nèi)存不足時(shí)溢寫磁盤C.優(yōu)先在內(nèi)存中存儲(chǔ)序列化的RDD，內(nèi)存不足時(shí)溢寫磁盤D.僅在磁盤中存儲(chǔ)序列化的RDD，內(nèi)存不存儲(chǔ)答案：C（MEMORY_AND_DISK_SER表示內(nèi)存存儲(chǔ)序列化數(shù)據(jù)，內(nèi)存不足時(shí)將剩余部分存儲(chǔ)到磁盤）3.Kafka中，若一個(gè)主題（Topic）的分區(qū)數(shù)設(shè)置為6，消費(fèi)者組中有4個(gè)消費(fèi)者實(shí)例，那么每個(gè)消費(fèi)者最多可能分配到（）個(gè)分區(qū)A.1B.2C.3D.4答案：B（分區(qū)數(shù)6，消費(fèi)者數(shù)4，分配策略為輪詢時(shí)，前2個(gè)消費(fèi)者分配2個(gè)分區(qū)，后2個(gè)分配1個(gè)分區(qū)，因此最大為2）4.關(guān)于ApacheFlink時(shí)間語義的描述，正確的是（）A.事件時(shí)間（EventTime）依賴系統(tǒng)時(shí)鐘，受數(shù)據(jù)延遲影響B(tài).處理時(shí)間（ProcessingTime）是數(shù)據(jù)實(shí)際產(chǎn)生的時(shí)間戳C.攝入時(shí)間（IngestionTime）介于事件時(shí)間和處理時(shí)間之間，由數(shù)據(jù)源節(jié)點(diǎn)記錄D.水印（Watermark）僅用于處理時(shí)間語義的亂序數(shù)據(jù)答案：C（攝入時(shí)間由數(shù)據(jù)源節(jié)點(diǎn)在數(shù)據(jù)進(jìn)入流處理系統(tǒng)時(shí)記錄，介于事件時(shí)間和處理時(shí)間之間；事件時(shí)間依賴數(shù)據(jù)自帶時(shí)間戳，處理時(shí)間依賴系統(tǒng)時(shí)鐘，水印主要用于事件時(shí)間的亂序處理）5.數(shù)據(jù)倉庫（DataWarehouse）的核心特征不包括（）A.面向主題（Subject-Oriented）B.支持實(shí)時(shí)事務(wù)處理（OLTP）C.集成性（Integrated）D.時(shí)變性（Time-Variant）答案：B（數(shù)據(jù)倉庫支持OLAP分析，OLTP是數(shù)據(jù)庫的特征）6.以下不屬于數(shù)據(jù)清洗（DataCleaning）范疇的操作是（）A.處理缺失值（如用均值填充）B.對(duì)連續(xù)變量進(jìn)行分箱（Binning）C.檢測并刪除重復(fù)記錄D.糾正數(shù)據(jù)中的格式錯(cuò)誤（如日期格式統(tǒng)一）答案：B（分箱屬于數(shù)據(jù)轉(zhuǎn)換或特征工程，數(shù)據(jù)清洗主要解決數(shù)據(jù)質(zhì)量問題，如缺失、錯(cuò)誤、重復(fù)）7.在Hive中，若要?jiǎng)?chuàng)建一個(gè)外部表（ExternalTable）并指定存儲(chǔ)路徑，需要使用的關(guān)鍵字是（）A.EXTERNALB.LOCATIONC.STOREDASD.TBLPROPERTIES答案：A（外部表通過EXTERNAL關(guān)鍵字聲明，LOCATION用于指定路徑，但非創(chuàng)建外部表的必要關(guān)鍵字）8.關(guān)于分布式文件系統(tǒng)（DFS）的一致性模型，HDFS采用的是（）A.強(qiáng)一致性（StrongConsistency）B.會(huì)話一致性（SessionConsistency）C.最終一致性（EventualConsistency）D.弱一致性（WeakConsistency）答案：D（HDFS在文件追加寫入時(shí)，未刷新的部分對(duì)其他客戶端不可見，屬于弱一致性；關(guān)閉文件后達(dá)到一致）9.某企業(yè)需對(duì)用戶行為日志（日均10TB）進(jìn)行實(shí)時(shí)統(tǒng)計(jì)，要求延遲低于3秒，應(yīng)優(yōu)先選擇的技術(shù)方案是（）A.HadoopMapReduce+HiveB.SparkCore+HDFSC.Flink+KafkaD.Presto+HBase答案：C（Flink是流處理框架，適合低延遲實(shí)時(shí)計(jì)算；Kafka作為消息隊(duì)列緩存日志數(shù)據(jù)）10.以下關(guān)于機(jī)器學(xué)習(xí)與大數(shù)據(jù)的關(guān)系，錯(cuò)誤的是（）A.大數(shù)據(jù)為機(jī)器學(xué)習(xí)提供海量訓(xùn)練數(shù)據(jù)B.機(jī)器學(xué)習(xí)可用于大數(shù)據(jù)的特征提取和模式發(fā)現(xiàn)C.大數(shù)據(jù)處理技術(shù)（如分布式計(jì)算）是機(jī)器學(xué)習(xí)分布式訓(xùn)練的基礎(chǔ)D.機(jī)器學(xué)習(xí)模型的推理（Inference）無需依賴大數(shù)據(jù)平臺(tái)答案：D（大規(guī)模推理任務(wù)需分布式計(jì)算支持，如實(shí)時(shí)推薦系統(tǒng)需結(jié)合大數(shù)據(jù)平臺(tái)處理高并發(fā)請(qǐng)求）11.在ApacheHBase中，RowKey的設(shè)計(jì)原則不包括（）A.散列性（避免熱點(diǎn)）B.長度越短越好（減少存儲(chǔ)開銷）C.有序性（支持范圍查詢）D.與列族（ColumnFamily）強(qiáng)關(guān)聯(lián)答案：D（RowKey設(shè)計(jì)需考慮散列、長度、有序，但與列族無關(guān)，列族是列的邏輯分組）12.數(shù)據(jù)湖（DataLake）與數(shù)據(jù)倉庫（DataWarehouse）的主要區(qū)別是（）A.數(shù)據(jù)湖存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)倉庫存儲(chǔ)非結(jié)構(gòu)化數(shù)據(jù)B.數(shù)據(jù)湖在存儲(chǔ)時(shí)定義模式（Schema-on-Write），數(shù)據(jù)倉庫在使用時(shí)定義模式（Schema-on-Read）C.數(shù)據(jù)湖支持多類型數(shù)據(jù)存儲(chǔ)（結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化），數(shù)據(jù)倉庫以結(jié)構(gòu)化數(shù)據(jù)為主D.數(shù)據(jù)湖僅用于離線分析，數(shù)據(jù)倉庫支持實(shí)時(shí)分析答案：C（數(shù)據(jù)湖存儲(chǔ)多類型數(shù)據(jù)，采用Schema-on-Read；數(shù)據(jù)倉庫以結(jié)構(gòu)化數(shù)據(jù)為主，采用Schema-on-Write）13.以下不屬于隱私計(jì)算（Privacy-PreservingComputation）技術(shù)的是（）A.聯(lián)邦學(xué)習(xí)（FederatedLearning）B.同態(tài)加密（HomomorphicEncryption）C.數(shù)據(jù)脫敏（DataMasking）D.流批一體（Batch&StreamUnification）答案：D（流批一體是計(jì)算架構(gòu)，與隱私保護(hù)無關(guān)）14.在SparkSQL中，以下哪個(gè)操作會(huì)觸發(fā)Job的執(zhí)行？（）A.創(chuàng)建DataFrame（spark.read.csv("path")）B.執(zhí)行select("col1")C.執(zhí)行filter("col2>100")D.執(zhí)行show()答案：D（show()是行動(dòng)操作（Action），會(huì)觸發(fā)Job執(zhí)行；前三者是轉(zhuǎn)換操作（Transformation），延遲執(zhí)行）15.關(guān)于Kafka消費(fèi)者的位移（Offset）管理，正確的是（）A.位移默認(rèn)存儲(chǔ)在ZooKeeper中B.消費(fèi)者組（ConsumerGroup）的位移提交是原子操作C.手動(dòng)提交位移（commitSync()）可能導(dǎo)致重復(fù)消費(fèi)D.自動(dòng)提交位移（mit=true）不會(huì)丟失數(shù)據(jù)答案：C（手動(dòng)提交若在處理數(shù)據(jù)后未提交位移時(shí)發(fā)生故障，重啟后會(huì)從上次提交的位移重新消費(fèi)，導(dǎo)致重復(fù)；自動(dòng)提交可能因提交延遲導(dǎo)致數(shù)據(jù)丟失）16.某電商平臺(tái)需分析“用戶從瀏覽商品到下單的平均時(shí)間”，應(yīng)采用的分析方法是（）A.漏斗分析（FunnelAnalysis）B.路徑分析（PathAnalysis）C.留存分析（RetentionAnalysis）D.聚類分析（Clustering）答案：B（路徑分析關(guān)注用戶行為序列的時(shí)間間隔和轉(zhuǎn)化路徑；漏斗分析關(guān)注關(guān)鍵步驟的轉(zhuǎn)化率）17.以下關(guān)于ClickHouse的描述，錯(cuò)誤的是（）A.適用于實(shí)時(shí)OLAP場景（如廣告投放效果分析）B.采用列式存儲(chǔ)（ColumnarStorage）C.支持事務(wù)（ACID）特性D.支持分布式查詢（DistributedQuery）答案：C（ClickHouse優(yōu)化用于分析，不支持完整的ACID事務(wù)）18.在HadoopYARN中，ResourceManager的核心功能是（）A.管理單個(gè)節(jié)點(diǎn)的資源（CPU、內(nèi)存）B.調(diào)度應(yīng)用程序的資源并監(jiān)控其狀態(tài)C.啟動(dòng)和管理ContainerD.處理客戶端的作業(yè)提交請(qǐng)求答案：B（ResourceManager負(fù)責(zé)全局資源調(diào)度和應(yīng)用程序管理；NodeManager管理單個(gè)節(jié)點(diǎn)資源，ApplicationMaster管理具體應(yīng)用）19.數(shù)據(jù)血緣（DataLineage）的主要作用是（）A.提高數(shù)據(jù)查詢性能B.追蹤數(shù)據(jù)從產(chǎn)生到最終使用的全流程C.加密敏感數(shù)據(jù)D.減少數(shù)據(jù)存儲(chǔ)冗余答案：B（數(shù)據(jù)血緣用于記錄數(shù)據(jù)來源、轉(zhuǎn)換過程和下游依賴，支持?jǐn)?shù)據(jù)治理和問題追溯）20.以下關(guān)于實(shí)時(shí)數(shù)倉（Real-TimeDataWarehouse）的技術(shù)選型，最合理的是（）A.Hive+KafkaB.ApacheIceberg+FlinkC.MySQL+SparkD.HBase+MapReduce答案：B（Iceberg是開放表格式，支持流批一體；Flink用于實(shí)時(shí)數(shù)據(jù)寫入和更新，適合實(shí)時(shí)數(shù)倉場景）二、多項(xiàng)選擇題（每題3分，共30分）1.以下屬于大數(shù)據(jù)計(jì)算框架的有（）A.ApacheHBaseB.ApacheSparkC.ApacheFlinkD.ApacheKafka答案：BC（HBase是NoSQL數(shù)據(jù)庫，Kafka是消息隊(duì)列，Spark和Flink是計(jì)算框架）2.數(shù)據(jù)特征工程中，常用的降維方法包括（）A.主成分分析（PCA）B.線性判別分析（LDA）C.隨機(jī)森林（RandomForest）D.奇異值分解（SVD）答案：ABD（隨機(jī)森林是分類/回歸模型，非降維方法）3.關(guān)于HDFS的NameNode，正確的描述是（）A.存儲(chǔ)文件元數(shù)據(jù)（如文件路徑、塊位置）B.支持橫向擴(kuò)展（HDFSFederation）C.單點(diǎn)故障（HA未啟用時(shí)）D.直接存儲(chǔ)數(shù)據(jù)塊答案：ABC（DataNode存儲(chǔ)數(shù)據(jù)塊，NameNode存儲(chǔ)元數(shù)據(jù)）4.SparkRDD的特性包括（）A.不可變（Immutable）B.支持自動(dòng)容錯(cuò)（通過血統(tǒng)Lineage）C.可分區(qū)（Partitioned）D.存儲(chǔ)結(jié)構(gòu)化數(shù)據(jù)答案：ABC（RDD是彈性分布式數(shù)據(jù)集，存儲(chǔ)任意類型數(shù)據(jù)，不一定是結(jié)構(gòu)化的）5.Kafka生產(chǎn)者（Producer）的重要配置參數(shù)有（）A.bootstrap.serversB.group.idC.acksD.mit答案：AC（group.id和mit是消費(fèi)者配置）6.數(shù)據(jù)倉庫的分層設(shè)計(jì)中，常見的層次包括（）A.原始數(shù)據(jù)層（ODS，OperationalDataStore）B.明細(xì)數(shù)據(jù)層（DWD，DataWarehouseDetail）C.聚合數(shù)據(jù)層（DWS，DataWarehouseSummary）D.應(yīng)用數(shù)據(jù)層（ADS，ApplicationDataService）答案：ABCD（均為數(shù)據(jù)倉庫典型分層）7.以下屬于流批一體（Batch&StreamUnification）技術(shù)特點(diǎn)的是（）A.同一套代碼處理離線批數(shù)據(jù)和實(shí)時(shí)流數(shù)據(jù)B.統(tǒng)一的存儲(chǔ)層支持流數(shù)據(jù)和批數(shù)據(jù)C.流處理和批處理使用不同的計(jì)算框架D.數(shù)據(jù)結(jié)果的一致性（流批輸出相同）答案：ABD（流批一體要求同一框架或統(tǒng)一接口，避免不同框架帶來的差異）8.分布式系統(tǒng)中，CAP理論的三個(gè)特性是（）A.一致性（Consistency）B.可用性（Availability）C.分區(qū)容錯(cuò)性（PartitionTolerance）D.原子性（Atomicity）答案：ABC（CAP指一致性、可用性、分區(qū)容錯(cuò)性）9.數(shù)據(jù)脫敏（DataMasking）的常用方法包括（）A.替換（Replacement），如將身份證號(hào)替換為“”B.隨機(jī)化（Randomization），如將真實(shí)姓名隨機(jī)提供新姓名C.偏移（Offset），如將年齡增加5歲D.加密（Encryption），如用AES算法加密手機(jī)號(hào)答案：ABCD（均為常見脫敏方法）10.關(guān)于ApacheHive的存儲(chǔ)格式，以下說法正確的是（）A.TextFile是默認(rèn)格式，存儲(chǔ)效率低但易讀B.Parquet是列式存儲(chǔ)，支持謂詞下推（PredicatePushdown）C.ORC格式不支持嵌套數(shù)據(jù)類型D.Avro格式支持模式演進(jìn)（SchemaEvolution）答案：ABD（ORC支持嵌套類型，如結(jié)構(gòu)體、數(shù)組）三、判斷題（每題1分，共10分）1.HadoopMapReduce適用于實(shí)時(shí)計(jì)算場景（）答案：×（MapReduce是批處理框架，延遲較高，不適合實(shí)時(shí)）2.SparkStreaming的最小處理單位是微批（Micro-Batch）（）答案：√（SparkStreaming基于RDD的微批處理，F(xiàn)link是真正的流處理）3.Kafka的主題（Topic）分區(qū)數(shù)一旦設(shè)置無法修改（）答案：×（Kafka2.4+支持通過命令修改分區(qū)數(shù)，但需注意已有數(shù)據(jù)的重新分配）4.數(shù)據(jù)湖適合存儲(chǔ)原始數(shù)據(jù)，數(shù)據(jù)倉庫適合存儲(chǔ)經(jīng)過清洗和整合的結(jié)構(gòu)化數(shù)據(jù)（）答案：√（數(shù)據(jù)湖側(cè)重原始數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)倉庫側(cè)重分析優(yōu)化的結(jié)構(gòu)化數(shù)據(jù)）5.在HBase中，Region是數(shù)據(jù)分片的基本單位，會(huì)根據(jù)大小自動(dòng)分裂（）答案：√（Region達(dá)到閾值時(shí)自動(dòng)分裂，保證負(fù)載均衡）6.Flink的Checkpoint機(jī)制用于故障恢復(fù)，會(huì)定期保存算子狀態(tài)（）答案：√（Checkpoint是Flink容錯(cuò)的核心機(jī)制）7.數(shù)據(jù)可視化工具（如Tableau）只能連接關(guān)系型數(shù)據(jù)庫，無法直接連接Hadoop（）答案：×（Tableau支持通過ODBC/JDBC連接Hive、HBase等大數(shù)據(jù)存儲(chǔ)）8.機(jī)器學(xué)習(xí)中的過擬合（Overfitting）是指模型在訓(xùn)練集上表現(xiàn)差，在測試集上表現(xiàn)好（）答案：×（過擬合是訓(xùn)練集表現(xiàn)好，測試集表現(xiàn)差）9.隱私計(jì)算技術(shù)可以在不共享原始數(shù)據(jù)的前提下完成聯(lián)合計(jì)算（）答案：√（如聯(lián)邦學(xué)習(xí)、安全多方計(jì)算）10.在Spark中，RDD的緩存（cache()）等價(jià)于persist(MEMORY_ONLY)（）答案：√（cache()是persist(MEMORY_ONLY)的簡寫）四、簡答題（每題5分，共20分）1.簡述HDFS的讀寫流程（以寫文件為例）。答案：寫文件流程：（1）客戶端調(diào)用FileSystem.create()請(qǐng)求NameNode創(chuàng)建文件；（2）NameNode檢查文件是否存在、權(quán)限是否允許，返回可寫入的DataNode列表（根據(jù)副本策略選擇）；（3）客戶端將文件分塊（默認(rèn)128MB），通過Pipeline（管道）將數(shù)據(jù)塊流式傳輸?shù)降谝粋€(gè)DataNode，第一個(gè)DataNode復(fù)制到第二個(gè)，第二個(gè)復(fù)制到第三個(gè)，形成副本；（4）每個(gè)DataNode寫入完成后向Pipeline上游確認(rèn)，最終客戶端收到所有副本確認(rèn)后，通知NameNode更新元數(shù)據(jù)（標(biāo)記塊寫入完成）。2.說明SparkRDD的血統(tǒng)（Lineage）機(jī)制及其作用。答案：血統(tǒng)（Lineage）是RDD的依賴關(guān)系鏈，記錄了RDD通過哪些轉(zhuǎn)換操作（Transformation）從父RDD提供。作用：（1）容錯(cuò)：當(dāng)RDD分區(qū)數(shù)據(jù)丟失時(shí)，可通過血統(tǒng)重新計(jì)算該分區(qū)（無需重新計(jì)算整個(gè)RDD）；（2）優(yōu)化：Spark調(diào)度器根據(jù)血統(tǒng)構(gòu)建DAG（有向無環(huán)圖），優(yōu)化任務(wù)執(zhí)行順序和資源分配；（3）延遲計(jì)算：血統(tǒng)保證轉(zhuǎn)換操作不會(huì)立即執(zhí)行，直到行動(dòng)操作（Action）觸發(fā)。3.對(duì)比Kafka的消費(fèi)者組（ConsumerGroup）和獨(dú)立消費(fèi)者（StandaloneConsumer）的適用場景。答案：（1）消費(fèi)者組：多個(gè)消費(fèi)者實(shí)例屬于同一組，共同消費(fèi)一個(gè)主題的所有分區(qū)（分區(qū)被分配給組內(nèi)消費(fèi)者），適用于水平擴(kuò)展消費(fèi)能力（如高吞吐量日志處理），確保每條消息僅被組內(nèi)一個(gè)消費(fèi)者處理；（2）獨(dú)立消費(fèi)者：單個(gè)消費(fèi)者實(shí)例訂閱主題的所有分區(qū)，適用于需要消費(fèi)全量數(shù)據(jù)（如數(shù)據(jù)備份）或無需負(fù)載均衡的場景（如小規(guī)模數(shù)據(jù)處理）。4.列舉數(shù)據(jù)質(zhì)量的5個(gè)關(guān)鍵指標(biāo)，并簡要說明。答案：（1）完整性（Completeness）：數(shù)據(jù)是否存在缺失（如必填字段是否為空）；（2）準(zhǔn)確性（Accuracy）：數(shù)據(jù)是否與真實(shí)值一致（如年齡是否為合理數(shù)值）；（3）一致性（Consistency）：數(shù)據(jù)在不同系統(tǒng)/表中的格式是否統(tǒng)一（如日期格式Y(jié)YYY-MM-DD）；（4）時(shí)效性（Timeliness）：數(shù)據(jù)是否在需要時(shí)可用（如實(shí)時(shí)數(shù)據(jù)延遲是否低于閾值）；（5）唯一性（Uniqueness）：數(shù)據(jù)是否存在重復(fù)記錄（如同一用戶的多條相同訂單）。五、綜合應(yīng)用題（每題10分，共20分）1.某電商公司需構(gòu)建用戶行為分析系統(tǒng)，要求實(shí)時(shí)統(tǒng)計(jì)“最近1小時(shí)內(nèi)各商品的點(diǎn)擊量”，并支持離線批量處理歷史數(shù)據(jù)（3年，約500TB）。請(qǐng)?jiān)O(shè)計(jì)技術(shù)方案，包括數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、展示各環(huán)節(jié)的技術(shù)選型及理由。答案：（1）數(shù)據(jù)采集：使用Flume或Logstash收集客戶端埋點(diǎn)日志（如點(diǎn)擊事件），通過Kafka消息隊(duì)列緩存（支持高吞吐、削峰填谷）；（2）實(shí)時(shí)存儲(chǔ)：Kafka作為實(shí)時(shí)數(shù)據(jù)緩沖區(qū)，同時(shí)將數(shù)據(jù)寫入HDFS（存儲(chǔ)原始日志）和HBase（存儲(chǔ)實(shí)時(shí)統(tǒng)計(jì)結(jié)果，支持快速查詢）；（3）實(shí)時(shí)計(jì)算：采用Flink處理Kafka數(shù)據(jù)流，設(shè)置1小時(shí)滑動(dòng)窗口（或滾動(dòng)窗口），按商品ID分組統(tǒng)計(jì)點(diǎn)擊量，結(jié)果寫入HBase；（4）離線處理：使用Spark或Hive對(duì)HDFS上的歷史日志進(jìn)行批量處理（如每日全量計(jì)算），結(jié)果寫入Hive數(shù)據(jù)倉庫或ClickHouse（支持高效OLAP查詢）；（5）展示：通過Tableau或Superset連接HBase（實(shí)時(shí)數(shù)據(jù)）和ClickHouse（離線數(shù)據(jù)），構(gòu)建可視化看板，展示各商品實(shí)時(shí)/歷史點(diǎn)擊趨勢。2.假設(shè)某企業(yè)有一張Hive表user_behavior，包含字段：user_id（用戶ID）、item