2025年大數(shù)據(jù)工程師中級筆試復習資料一、單選題（共20題，每題2分）1.下列哪種存儲模型最適合分布式文件系統(tǒng)？A.關(guān)系型模型B.列式存儲模型C.鍵值存儲模型D.對象存儲模型2.Hadoop生態(tài)系統(tǒng)中，負責數(shù)據(jù)本地化處理的組件是？A.NameNodeB.DataNodeC.YARND.Hive3.MapReduce模型中，Shuffle階段的主要作用是？A.數(shù)據(jù)排序B.數(shù)據(jù)壓縮C.數(shù)據(jù)傳輸D.數(shù)據(jù)聚合4.下列哪種技術(shù)不屬于NoSQL數(shù)據(jù)庫的范疇？A.MongoDBB.RedisC.MySQLD.Cassandra5.Spark中，RDD的持久化方式"cache"與"persist"的主要區(qū)別是？A.cache不支持序列化B.persist支持配置存儲級別C.cache默認不占用內(nèi)存D.persist需要手動觸發(fā)6.HDFS中，NameNode的內(nèi)存占用主要來自？A.文件塊信息B.目錄結(jié)構(gòu)C.元數(shù)據(jù)緩存D.任務(wù)隊列7.下列哪種壓縮算法在Hadoop生態(tài)系統(tǒng)中性能最優(yōu)？A.GzipB.SnappyC.LZ77D.Brotli8.Hive中，用于優(yōu)化查詢性能的文件格式是？A.TextFileB.ORCC.ParquetD.Avro9.下列哪種技術(shù)不屬于分布式計算框架？A.SparkB.FlinkC.TensorFlowD.Storm10.Kafka中，生產(chǎn)者發(fā)送消息時默認的確認機制是？A.acks=0B.acks=1C.acks=allD.acks=none11.YARN中，ResourceManager的主要職責是？A.管理數(shù)據(jù)節(jié)點B.分配計算資源C.管理文件系統(tǒng)D.處理數(shù)據(jù)持久化12.下列哪種數(shù)據(jù)倉庫模型不屬于星型模型？A.事實表B.維度表C.聚合表D.外部表13.下列哪種算法不屬于聚類算法？A.K-MeansB.DBSCANC.AprioriD.GaussianMixture14.下列哪種技術(shù)不屬于數(shù)據(jù)挖掘的范疇？A.分類B.聚類C.關(guān)聯(lián)規(guī)則D.統(tǒng)計分析15.下列哪種方法不屬于特征工程？A.特征選擇B.特征提取C.特征編碼D.模型訓練16.下列哪種指標不屬于模型評估指標？A.準確率B.召回率C.F1值D.預測系數(shù)17.下列哪種數(shù)據(jù)預處理方法屬于降維技術(shù)？A.標準化B.歸一化C.主成分分析D.數(shù)據(jù)清洗18.下列哪種技術(shù)不屬于深度學習框架？A.TensorFlowB.PyTorchC.KerasD.Scikit-learn19.下列哪種方法不屬于異常檢測技術(shù)？A.基于統(tǒng)計的方法B.基于距離的方法C.基于密度的方法D.基于分類的方法20.下列哪種技術(shù)不屬于自然語言處理？A.文本分類B.機器翻譯C.圖像識別D.情感分析二、多選題（共10題，每題3分）1.Hadoop生態(tài)系統(tǒng)中，下列哪些組件屬于HDFS的范疇？A.NameNodeB.DataNodeC.ResourceManagerD.NodeManager2.Spark中，RDD的持久化方式包括？A.cacheB.persistC.saveAsTextFileD.unpersist3.Hive中，下列哪些文件格式支持列式存儲？A.TextFileB.ORCC.ParquetD.Avro4.Kafka中，下列哪些角色屬于核心組件？A.生產(chǎn)者B.消費者C.BrokerD.Zookeeper5.YARN中，下列哪些資源管理方式屬于容器化技術(shù)？A.YARNB.MesosC.DockerD.Kubernetes6.數(shù)據(jù)倉庫中，下列哪些模型屬于星型模型的組成部分？A.事實表B.維度表C.聚合表D.外部表7.數(shù)據(jù)挖掘中，下列哪些算法屬于分類算法？A.決策樹B.支持向量機C.K-MeansD.邏輯回歸8.特征工程中，下列哪些方法屬于特征選擇技術(shù)？A.單變量特征選擇B.基于模型的特征選擇C.遞歸特征消除D.特征提取9.模型評估中，下列哪些指標屬于分類模型評估指標？A.準確率B.召回率C.F1值D.預測系數(shù)10.自然語言處理中，下列哪些任務(wù)屬于文本分類的范疇？A.情感分析B.主題分類C.垃圾郵件檢測D.機器翻譯三、判斷題（共10題，每題2分）1.HDFS適合存儲大規(guī)模文件，但不適合小文件存儲。（×）2.MapReduce模型的Map階段和Reduce階段可以并行執(zhí)行。（√）3.NoSQL數(shù)據(jù)庫不支持事務(wù)管理。（×）4.Spark中的RDD是不可變的。（√）5.Kafka支持高吞吐量的消息傳輸。（√）6.YARN可以管理多種類型的計算框架。（√）7.數(shù)據(jù)倉庫的目的是實時處理數(shù)據(jù)。（×）8.聚類算法可以用于異常檢測任務(wù)。（√）9.特征工程可以提高模型的泛化能力。（√）10.深度學習模型不需要特征工程。（×）四、簡答題（共5題，每題5分）1.簡述HDFS的三個主要特點。2.解釋MapReduce模型的三個主要階段。3.列舉三種常見的NoSQL數(shù)據(jù)庫，并簡述其特點。4.描述Spark中RDD的三大特性。5.簡述特征工程在機器學習中的重要性。五、論述題（共2題，每題10分）1.比較Hadoop和Spark在大數(shù)據(jù)處理方面的優(yōu)缺點。2.闡述數(shù)據(jù)挖掘的基本流程，并舉例說明每個階段的具體任務(wù)。答案一、單選題答案1.B2.B3.C4.C5.B6.A7.B8.B9.C10.B11.B12.D13.C14.D15.D16.D17.C18.D19.D20.C二、多選題答案1.AB2.AB3.BCD4.ABCD5.BC6.AB7.ABD8.ABC9.ABC10.ABC三、判斷題答案1.×2.√3.×4.√5.√6.√7.×8.√9.√10.×四、簡答題答案1.HDFS的三個主要特點：-高容錯性：通過數(shù)據(jù)塊復制機制保證數(shù)據(jù)可靠性。-高吞吐量：適合批處理大規(guī)模數(shù)據(jù)。-可擴展性：通過增加DataNode節(jié)點實現(xiàn)橫向擴展。2.MapReduce模型的三個主要階段：-Map階段：將輸入數(shù)據(jù)映射為鍵值對。-Shuffle階段：對中間結(jié)果進行排序和分組。-Reduce階段：對分組后的數(shù)據(jù)進行聚合處理。3.三種常見的NoSQL數(shù)據(jù)庫及其特點：-MongoDB：文檔型數(shù)據(jù)庫，適合存儲半結(jié)構(gòu)化數(shù)據(jù)。-Redis：鍵值型數(shù)據(jù)庫，支持多種數(shù)據(jù)結(jié)構(gòu)，性能高。-Cassandra：列式數(shù)據(jù)庫，適合存儲大規(guī)模數(shù)據(jù)，高可用性。4.Spark中RDD的三大特性：-分區(qū)（Partitioned）：數(shù)據(jù)被分成多個分區(qū)，并行處理。-不可變（Immutable）：RDD一旦創(chuàng)建不可修改。-容錯（Fault-tolerant）：通過記錄分區(qū)位置和轉(zhuǎn)換邏輯實現(xiàn)容錯。5.特征工程在機器學習中的重要性：-提高模型性能：通過特征選擇和特征提取，去除冗余信息，提升模型準確率。-降低數(shù)據(jù)維度：減少特征數(shù)量，避免過擬合。-增強模型泛化能力：通過特征轉(zhuǎn)換，使模型更好地適應新數(shù)據(jù)。五、論述題答案1.Hadoop和Spark在大數(shù)據(jù)處理方面的優(yōu)缺點比較：-Hadoop：-優(yōu)點：成熟穩(wěn)定，生態(tài)系統(tǒng)完善，適合大規(guī)模數(shù)據(jù)批處理。-缺點：實時性較差，資源管理效率低，開發(fā)復雜。-Spark：-優(yōu)點：速度快，支持實時計算，易用性好。-缺點：內(nèi)存消耗大，對數(shù)據(jù)格式要求高。2.數(shù)據(jù)挖掘的基本流程及具體任務(wù)：-數(shù)據(jù)準備階段：-數(shù)據(jù)收集：從多種來源收集數(shù)據(jù)。-數(shù)據(jù)清洗：處理缺失值、異常值等。-數(shù)據(jù)集成：合并多個