大數(shù)據(jù)工程師中級認(rèn)證考試模擬試卷含Hadoop,Spark（含Hadoop、Spark）一、單選題（共10題，每題2分，共20分）1.在Hadoop生態(tài)系統(tǒng)中，以下哪個(gè)組件主要負(fù)責(zé)分布式文件存儲？A.YARNB.HiveC.HDFSD.MapReduce答案：C解析：HDFS（HadoopDistributedFileSystem）是Hadoop的核心組件，用于在集群中存儲大規(guī)模數(shù)據(jù)。2.Spark中，哪種模式允許Spark應(yīng)用程序直接運(yùn)行在單臺機(jī)器上，用于開發(fā)和測試？A.Standalone模式B.Client模式C.Cluster模式D.Local模式答案：D解析：Local模式適用于單機(jī)調(diào)試，通常用于開發(fā)和測試場景。3.在HadoopMapReduce中，以下哪個(gè)階段負(fù)責(zé)對數(shù)據(jù)進(jìn)行排序和合并？A.Map階段B.Shuffle階段C.Reduce階段D.Combiner階段答案：B解析：Shuffle階段負(fù)責(zé)將Map輸出結(jié)果按Key排序并分發(fā)到Reduce任務(wù)。4.SparkSQL中，以下哪個(gè)函數(shù)用于計(jì)算字符串的長度？A.LENGTH()B.LENGTHS()C.SIZE()D.STRLEN()答案：A解析：LENGTH()函數(shù)在SparkSQL中用于獲取字符串的字符數(shù)。5.HadoopYARN中，ResourceManager主要負(fù)責(zé)什么？A.數(shù)據(jù)存儲B.任務(wù)調(diào)度C.數(shù)據(jù)處理D.節(jié)點(diǎn)管理答案：B解析：ResourceManager是YARN的中央調(diào)度器，負(fù)責(zé)分配資源并管理應(yīng)用程序。6.在Spark中，RDD的持久化可以通過哪種方法實(shí)現(xiàn)？A.RDD.cache()B.RDD.persist()C.RDD.saveAsTextFile()D.RDD.collect()答案：B解析：persist()方法用于持久化RDD，而cache()是persist()的簡寫形式。7.Hadoop生態(tài)中的HBase適合哪種類型的應(yīng)用場景？A.批量數(shù)據(jù)分析B.實(shí)時(shí)隨機(jī)讀寫C.交互式查詢D.大規(guī)模文件存儲答案：B解析：HBase是面向列的分布式數(shù)據(jù)庫，適用于實(shí)時(shí)隨機(jī)讀寫場景。8.Spark中，哪種文件格式支持列式存儲，適合SparkSQL查詢？A.ParquetB.AvroC.ORCD.JSON答案：C解析：ORC（OptimizedRowColumnar）文件格式支持高效的列式存儲和壓縮。9.在Hadoop集群中，NameNode的內(nèi)存不足可能導(dǎo)致什么問題？A.數(shù)據(jù)丟失B.集群宕機(jī)C.Map任務(wù)失敗D.Reduce任務(wù)延遲答案：B解析：NameNode存儲元數(shù)據(jù)，內(nèi)存不足會(huì)導(dǎo)致整個(gè)集群不可用。10.Spark中，以下哪個(gè)操作符用于過濾RDD中的元素？A.map()B.filter()C.reduceByKey()D.sortBy()答案：B解析：filter()操作符用于根據(jù)條件篩選RDD中的數(shù)據(jù)。二、多選題（共5題，每題3分，共15分）1.Hadoop生態(tài)系統(tǒng)中，以下哪些組件屬于HDFS的輔助工具？A.HDFSNameNodeB.HDFSDataNodeC.FsShellD.HDFSClient答案：C、D解析：FsShell和HDFSClient是HDFS的客戶端工具，而NameNode和DataNode是HDFS的核心組件。2.Spark中，以下哪些操作屬于RDD的轉(zhuǎn)換操作？A.map()B.reduceByKey()C.filter()D.collect()答案：A、C解析：map()和filter()是轉(zhuǎn)換操作（返回新的RDD），而reduceByKey()和collect()是動(dòng)作操作。3.在HadoopYARN中，以下哪些角色屬于ApplicationMaster的職責(zé)？A.向ResourceManager申請資源B.向NodeManager分配任務(wù)C.管理應(yīng)用程序的生命周期D.處理數(shù)據(jù)持久化答案：A、C解析：ApplicationMaster負(fù)責(zé)資源申請和應(yīng)用程序管理，而數(shù)據(jù)持久化和任務(wù)分配由NodeManager完成。4.SparkSQL中，以下哪些函數(shù)用于字符串處理？A.substring()B.upper()C.concat()D.count()答案：A、B、C解析：substring()、upper()和concat()是字符串函數(shù)，而count()用于統(tǒng)計(jì)。5.Hadoop集群中，以下哪些因素會(huì)影響MapReduce任務(wù)的性能？A.數(shù)據(jù)傾斜B.網(wǎng)絡(luò)帶寬C.內(nèi)存大小D.磁盤I/O答案：A、B、C、D解析：數(shù)據(jù)傾斜、網(wǎng)絡(luò)帶寬、內(nèi)存和磁盤I/O都會(huì)影響MapReduce任務(wù)性能。三、判斷題（共10題，每題1分，共10分）1.HDFS的NameNode會(huì)存儲整個(gè)HDFS的元數(shù)據(jù)信息。答案：正確解析：NameNode負(fù)責(zé)管理HDFS的文件系統(tǒng)元數(shù)據(jù)。2.Spark中的RDD是不可變的。答案：正確解析：RDD是彈性分布式數(shù)據(jù)集，不支持原地修改，所有操作都會(huì)生成新的RDD。3.HadoopMapReduce的Combiner階段可以減少網(wǎng)絡(luò)傳輸數(shù)據(jù)量。答案：正確解析：Combiner階段在Map端進(jìn)行局部聚合，減少Reduce端的數(shù)據(jù)量。4.SparkSQL支持將DataFrame轉(zhuǎn)換為RDD。答案：正確解析：DataFrame是RDD的抽象，可以使用toRDD()方法轉(zhuǎn)換。5.YARN的ResourceManager和NodeManager可以運(yùn)行在同一臺機(jī)器上。答案：正確解析：YARN支持單節(jié)點(diǎn)部署，ResourceManager和NodeManager可以共存。6.HBase適合存儲結(jié)構(gòu)化數(shù)據(jù)。答案：正確解析：HBase是面向列的數(shù)據(jù)庫，適合存儲稀疏的、可擴(kuò)展的結(jié)構(gòu)化數(shù)據(jù)。7.Spark中的持久化操作會(huì)影響RDD的并行度。答案：錯(cuò)誤解析：持久化操作不會(huì)改變RDD的并行度，但會(huì)影響內(nèi)存使用。8.Hadoop的Hive主要用于實(shí)時(shí)數(shù)據(jù)分析。答案：錯(cuò)誤解析：Hive適合批量數(shù)據(jù)分析，不支持實(shí)時(shí)查詢。9.Spark的RDDAPI支持動(dòng)態(tài)分區(qū)。答案：正確解析：RDD支持repartition()和coalesce()方法動(dòng)態(tài)調(diào)整分區(qū)數(shù)。10.Hadoop的HDFS支持多副本冗余存儲。答案：正確解析：HDFS默認(rèn)為每個(gè)數(shù)據(jù)塊創(chuàng)建3個(gè)副本，保證數(shù)據(jù)可靠性。四、簡答題（共3題，每題5分，共15分）1.簡述HadoopHDFS的優(yōu)點(diǎn)和缺點(diǎn)。答案：優(yōu)點(diǎn)：-高容錯(cuò)性：數(shù)據(jù)塊多副本存儲，單個(gè)節(jié)點(diǎn)故障不影響服務(wù)。-高吞吐量：適合批處理大規(guī)模數(shù)據(jù)。-可擴(kuò)展性：支持水平擴(kuò)展，通過增加節(jié)點(diǎn)提升性能。缺點(diǎn)：-不適合低延遲訪問。-寫操作性能受限，只支持順序?qū)懭搿?元數(shù)據(jù)管理壓力大，NameNode單點(diǎn)故障風(fēng)險(xiǎn)。2.解釋Spark中的“內(nèi)存管理”機(jī)制。答案：-Spark通過內(nèi)存池管理內(nèi)存，分為堆內(nèi)存和非堆內(nèi)存。-RDD持久化（cache/persist）可減少GC壓力。-可配置內(nèi)存回收策略（如LRU）。-動(dòng)態(tài)內(nèi)存管理（如Off-Heap內(nèi)存）。3.比較HadoopMapReduce和Spark的優(yōu)缺點(diǎn)。答案：MapReduce：-優(yōu)點(diǎn)：成熟穩(wěn)定，適合大規(guī)模批處理。-缺點(diǎn)：低延遲性能差，資源管理復(fù)雜。Spark：-優(yōu)點(diǎn)：支持實(shí)時(shí)計(jì)算，內(nèi)存計(jì)算性能高。-缺點(diǎn)：對資源管理依賴YARN或Mesos，內(nèi)存消耗大。五、論述題（共2題，每題10分，共20分）1.詳細(xì)說明HadoopYARN的資源調(diào)度機(jī)制。答案：-資源申請：ApplicationMaster向ResourceManager提交資源請求（CPU、內(nèi)存）。-資源分配：ResourceManager根據(jù)集群負(fù)載和優(yōu)先級分配資源給NodeManager。-任務(wù)執(zhí)行：NodeManager在分配的節(jié)點(diǎn)上啟動(dòng)MapReduce或Spark任務(wù)。-彈性伸縮：支持動(dòng)態(tài)資源回收和擴(kuò)展。2.結(jié)合實(shí)際場景，分析SparkSQL在電商數(shù)據(jù)分析中的應(yīng)用。答案：-場景：電商用戶行為分析、商品推薦。-應(yīng)用：-使用DataFrame處理訂單、用戶、商品等結(jié)構(gòu)化數(shù)據(jù)。-通過SQL查詢實(shí)時(shí)分析用戶購買路徑。-結(jié)合SparkMLlib進(jìn)行用戶畫像和推薦。-優(yōu)勢：代碼統(tǒng)一（SQL+Scala），性能優(yōu)化（Catalyst優(yōu)化器）。六、綜合應(yīng)用題（共2題，每題15分，共30分）1.設(shè)計(jì)一個(gè)HadoopMapReduce程序，統(tǒng)計(jì)某日志文件中的URL訪問次數(shù)。答案：Mapper：javapublicstaticclassURLMapperextendsMapper<LongWritable,Text,Text,IntWritable>{publicvoidmap(LongWritablekey,Textvalue,Contextcontext)throwsIOException,InterruptedException{Stringline=value.toString();Patternpattern=Ppile("http[s]?://[\\w.]+");Matchermatcher=pattern.matcher(line);while(matcher.find()){context.write(newText(matcher.group()),newIntWritable(1));}}}Reducer：javapublicstaticclassURLReducerextendsReducer<Text,IntWritable,Text,IntWritable>{publicvoidreduce(Textkey,Iterable<IntWritable>values,Contextcontext)throwsIOException,InterruptedException{intsum=0;for(IntWritableval:values){sum+=val.get();}context.write(key,newIntWritable(sum));}}2.使用SparkSQL分析用戶訂單數(shù)據(jù)，要求：-計(jì)算每個(gè)用戶的訂單總數(shù)和總金額。-篩選訂單金額大于1000的用戶。答案：scalavalorders=spark.read.option("header","true").csv("orders.csv")