2025年中級大數(shù)據(jù)工程師筆試重點復習一、單選題（每題1分，共20題）1.Hadoop生態(tài)系統(tǒng)中的HDFS主要解決什么問題？A.內(nèi)存管理B.分布式存儲C.數(shù)據(jù)挖掘D.圖計算2.下列哪種壓縮算法在Hadoop中默認使用？A.GzipB.Bzip2C.SnappyD.LZMA3.MapReduce模型中，Map階段的輸出格式是？A.(Key,Value)對B.(Value,Value)對C.(Key,Key)對D.(None,None)對4.Hive中，以下哪個函數(shù)用于計算字符串長度？A.LENGTH()B.SIZE()C.LENGTHB()D.CHAR_LENGTH()5.Spark中，RDD的持久化級別有哪些？A.MemoryOnlyB.MemoryAndDiskC.DiskOnlyD.All上述6.下列哪種數(shù)據(jù)倉庫模型是分層結構的？A.StarSchemaB.SnowflakeSchemaC.GalaxySchemaD.All上述7.以下哪個是NoSQL數(shù)據(jù)庫？A.MySQLB.MongoDBC.PostgreSQLD.Oracle8.下列哪種算法不屬于聚類算法？A.K-MeansB.DBSCANC.AprioriD.HierarchicalClustering9.下列哪種技術不屬于分布式文件系統(tǒng)？A.HDFSB.NFSC.GlusterFSD.Ceph10.SparkSQL中，以下哪個函數(shù)用于連接兩個DataFrame？A.JOIN()B.MERGE()C.UNION()D.APPEND()11.下列哪種存儲格式在Spark中支持列式存儲？A.ParquetB.ORCC.AvroD.All上述12.以下哪個是MapReduce的缺點？A.高容錯性B.高擴展性C.高延遲D.高吞吐量13.Hive中，以下哪個命令用于創(chuàng)建表？A.CREATETABLEB.CREATEDATABASEC.ALTERTABLED.DROPTABLE14.Spark中，以下哪個操作是破壞性的？A.map()B.filter()C.saveAsTextFile()D.transform()15.下列哪種技術用于數(shù)據(jù)清洗？A.數(shù)據(jù)集成B.數(shù)據(jù)變換C.數(shù)據(jù)規(guī)約D.數(shù)據(jù)挖掘16.以下哪個是圖計算框架？A.SparkB.FlinkC.Neo4jD.All上述17.下列哪種算法不屬于分類算法？A.決策樹B.KNNC.AprioriD.邏輯回歸18.下列哪種技術用于提高Hadoop集群性能？A.數(shù)據(jù)本地化B.內(nèi)存管理C.數(shù)據(jù)壓縮D.All上述19.Hive中，以下哪個函數(shù)用于計算平均值？A.AVG()B.MEAN()C.SUM()D.MAX()20.Spark中，以下哪個操作支持窗口函數(shù)？A.groupBy()B.orderBy()C.window()D.reduceByKey()二、多選題（每題2分，共10題）1.Hadoop生態(tài)系統(tǒng)包含哪些組件？A.HDFSB.YARNC.MapReduceD.HiveE.Spark2.下列哪些是Hive的優(yōu)點？A.高性能B.易用性C.可擴展性D.高延遲E.低成本3.Spark中，RDD的轉換操作有哪些？A.map()B.filter()C.reduceByKey()D.sortByKey()E.collect()4.下列哪些是數(shù)據(jù)倉庫的特點？A.面向主題B.集成性C.時變性D.穩(wěn)定性E.分布式性5.NoSQL數(shù)據(jù)庫有哪些類型？A.鍵值存儲B.列式存儲C.圖數(shù)據(jù)庫D.關系型數(shù)據(jù)庫E.文檔數(shù)據(jù)庫6.下列哪些是聚類算法？A.K-MeansB.DBSCANC.AprioriD.HierarchicalClusteringE.SVM7.下列哪些是圖計算框架？A.Neo4jB.GraphXC.PregelD.SparkGraphXE.HadoopGraph8.下列哪些是Hadoop的缺點？A.高延遲B.內(nèi)存不足C.數(shù)據(jù)本地化差D.易用性差E.可擴展性差9.Hive中，以下哪些函數(shù)是聚合函數(shù)？A.COUNT()B.SUM()C.AVG()D.MAX()E.MIN()10.Spark中，以下哪些操作支持分布式計算？A.map()B.reduce()C.filter()D.sortBy()E.collect()三、判斷題（每題1分，共10題）1.HDFS適合存儲大量小文件。（×）2.MapReduce模型是并行的。（√）3.Hive可以直接運行SQL查詢。（√）4.Spark比Hadoop更快。（√）5.NoSQL數(shù)據(jù)庫不支持事務。（√）6.聚類算法屬于分類算法。（×）7.圖計算框架只能處理圖數(shù)據(jù)。（√）8.數(shù)據(jù)倉庫是面向主題的。（√）9.Hadoop只能處理結構化數(shù)據(jù)。（×）10.Spark支持內(nèi)存計算。（√）四、簡答題（每題5分，共4題）1.簡述HDFS的三個主要特點。2.解釋Hive與Spark的區(qū)別。3.描述數(shù)據(jù)倉庫的四個基本特征。4.說明Spark中RDD的三個主要操作類型。五、論述題（每題10分，共2題）1.詳細說明Hadoop生態(tài)系統(tǒng)的主要組件及其功能。2.闡述大數(shù)據(jù)處理的優(yōu)勢和挑戰(zhàn)。答案單選題答案1.B2.C3.A4.A5.D6.A7.B8.C9.B10.A11.D12.C13.A14.C15.B16.C17.C18.D19.A20.C多選題答案1.A,B,C,D,E2.A,B,C,E3.A,B,D4.A,B,C,D5.A,B,C,E6.A,B,D7.A,B,C,D,E8.A,C,D9.A,B,C,D,E10.A,B,C,D,E判斷題答案1.×2.√3.√4.√5.√6.×7.√8.√9.×10.√簡答題答案1.HDFS的三個主要特點是：高容錯性、高吞吐量、適合批處理。2.Hive與Spark的區(qū)別：Hive是建立在Hadoop之上的數(shù)據(jù)倉庫工具，支持SQL查詢；Spark是通用的分布式計算框架，支持內(nèi)存計算。3.數(shù)據(jù)倉庫的四個基本特征是：面向主題、集成性、時變性、穩(wěn)定性。4.Spark中RDD的三個主要操作類型是：轉換操作（如map、filter）、行動操作（如reduceByKey、collect）、持久化操作（如persist）。論述題答案1.Hadoop生態(tài)系統(tǒng)的主要組件及其功能：-HDFS：分布式文件系統(tǒng)，用于存儲大數(shù)據(jù)。-YARN：資源管理器，用于管理集群資源。-MapReduce：計算框架，用于處理大數(shù)據(jù)。-Hive：數(shù)據(jù)倉庫工具