2025年大數(shù)據(jù)工程師初級筆試重點突破一、單選題（每題2分，共20題）1.下列哪個不是Hadoop的核心組件？A.HDFSB.MapReduceC.HiveD.YARN2.分布式文件系統(tǒng)HDFS的設計目標是？A.低延遲訪問B.高吞吐量C.數(shù)據(jù)冗余D.以上都是3.MapReduce模型中，Map階段的輸出格式是？A.(Key,Value)對B.(Value,Value)對C.(Key,Key)對D.(None,None)對4.下列哪種數(shù)據(jù)倉庫模型不屬于星型模型？A.事實表B.維表C.聚合表D.源表5.下列哪種數(shù)據(jù)庫不適合大數(shù)據(jù)場景？A.MySQLB.PostgreSQLC.MongoDBD.Redis6.Spark中，RDD的容錯機制是基于？A.數(shù)據(jù)復制B.副本機制C.檢查點D.以上都是7.下列哪個不是NoSQL數(shù)據(jù)庫？A.RedisB.MongoDBC.OracleD.Cassandra8.Hive中，以下哪個函數(shù)用于計算字符串長度？A.LENGTHB.LENGTHBC.CHAR_LENGTHD.以上都是9.下列哪種數(shù)據(jù)壓縮算法適合大數(shù)據(jù)場景？A.ZIPB.GZIPC.BZIP2D.以上都是10.分布式隊列系統(tǒng)Kafka的主要用途是？A.日志收集B.消息傳遞C.數(shù)據(jù)存儲D.以上都是二、多選題（每題3分，共10題）1.Hadoop生態(tài)系統(tǒng)包含哪些組件？A.HDFSB.MapReduceC.HiveD.YARNE.Zookeeper2.MapReduce的三個主要階段是？A.MapB.ShuffleC.ReduceD.SortE.Cleanup3.數(shù)據(jù)倉庫的特點包括？A.面向主題B.反映歷史C.集中集成D.穩(wěn)定變化E.實時更新4.NoSQL數(shù)據(jù)庫的優(yōu)點包括？A.高可擴展性B.高性能C.數(shù)據(jù)模型靈活D.支持復雜查詢E.以上都是5.Spark的RDD操作包括？A.MapB.FilterC.ReduceByKeyD.SortByE.Cache6.HiveQL中，以下哪些是常用的數(shù)據(jù)類型？A.INTB.STRINGC.FLOATD.TIMESTAMPE.BLOB7.大數(shù)據(jù)處理的三個V包括？A.VolumeB.VelocityC.VarietyD.VeracityE.Value8.數(shù)據(jù)湖的特點包括？A.原始數(shù)據(jù)存儲B.動態(tài)擴展C.靈活處理D.預定義模式E.以上都是9.分布式計算框架包括？A.HadoopB.SparkC.FlinkD.StormE.Kafka10.數(shù)據(jù)預處理技術包括？A.數(shù)據(jù)清洗B.數(shù)據(jù)集成C.數(shù)據(jù)變換D.數(shù)據(jù)規(guī)約E.以上都是三、判斷題（每題1分，共10題）1.HDFS適合高延遲訪問場景。（×）2.MapReduce的Map階段可以并行執(zhí)行。（√）3.數(shù)據(jù)倉庫是面向主題的。（√）4.NoSQL數(shù)據(jù)庫不支持事務。（√）5.Spark的RDD是不可變的。（√）6.HiveQL可以運行在Spark上。（√）7.數(shù)據(jù)湖是經(jīng)過處理的數(shù)據(jù)存儲。（×）8.分布式隊列系統(tǒng)只能用于日志收集。（×）9.大數(shù)據(jù)處理的4V包括Volume、Velocity、Variety和Veracity。（√）10.數(shù)據(jù)預處理是數(shù)據(jù)分析的第一步。（√）四、簡答題（每題5分，共5題）1.簡述HDFS的寫入流程。2.解釋MapReduce的Shuffle階段的作用。3.描述數(shù)據(jù)倉庫與數(shù)據(jù)湖的區(qū)別。4.說明Spark的RDD的三個主要操作類型。5.列舉三種常用的數(shù)據(jù)清洗技術。五、編程題（每題15分，共2題）1.編寫HiveQL查詢，統(tǒng)計每個用戶的訂單總金額，假設表名為`orders`，字段包括`user_id`、`order_id`和`amount`。2.編寫SparkPython代碼，讀取一個RDD，過濾出所有長度大于5的字符串，并計算這些字符串的平均長度。答案一、單選題答案1.C2.B3.A4.D5.A6.D7.C8.D9.D10.D二、多選題答案1.A,B,C,D2.A,B,C3.A,B,C,D4.A,B,C5.A,B,C,D,E6.A,B,C,D,E7.A,B,C,D8.A,B,C9.A,B,C,D10.A,B,C,D,E三、判斷題答案1.×2.√3.√4.√5.√6.√7.×8.×9.√10.√四、簡答題答案1.HDFS的寫入流程：-客戶端向NameNode發(fā)送寫請求。-NameNode分配一個DataNode作為第一個寫入節(jié)點。-NameNode將數(shù)據(jù)塊信息發(fā)送給客戶端。-客戶端將數(shù)據(jù)塊寫入第一個DataNode，同時復制到其他DataNode。2.MapReduce的Shuffle階段的作用：-將Map階段的輸出結果按照Key進行排序。-將相同Key的Value集合發(fā)送給Reduce節(jié)點。3.數(shù)據(jù)倉庫與數(shù)據(jù)湖的區(qū)別：-數(shù)據(jù)倉庫：存儲經(jīng)過處理和整合的數(shù)據(jù)，面向主題，反映歷史。-數(shù)據(jù)湖：存儲原始數(shù)據(jù)，動態(tài)擴展，靈活處理。4.Spark的RDD的三個主要操作類型：-轉換操作（Transformations）：如map、filter、reduceByKey。-行動操作（Actions）：如count、collect、saveAsTextFile。-控制操作（ControlOperations）：如cache、persist。5.三種常用的數(shù)據(jù)清洗技術：-數(shù)據(jù)清洗：處理缺失值、異常值。-數(shù)據(jù)集成：合并多個數(shù)據(jù)源。-數(shù)據(jù)變換：規(guī)范化數(shù)據(jù)格式。五、編程題答案1.HiveQL查詢：sqlSELECTuser_id,SUM(amount)AStotal_amountFROMordersGROUPBYuser_id;2.SparkPython代碼：pythonfrompysparkimportSparkContextsc=SparkContext("local","AverageLength")rdd=sc.parallelize(["hello","world","big","da