大數(shù)據(jù)離線計算工程師崗位招聘考試試卷及答案試題部分一、填空題（10題，每題1分）1.Hadoop分布式文件系統(tǒng)的縮寫是______。2.MapReduce計算框架中，負責分片處理輸入數(shù)據(jù)的階段是______。3.Hive中定義表結構的語句是______。4.Spark離線計算的核心抽象數(shù)據(jù)結構包括RDD和______。5.HBase中唯一標識一行數(shù)據(jù)的是______。6.離線計算常用的調(diào)度框架除YARN外還有______。7.Hive分區(qū)表的分區(qū)字段需放在______子句中。8.SparkSQL讀取Parquet文件的方法是______。9.Hadoop生態(tài)中負責資源管理調(diào)度的組件是______。10.離線計算常見輸出格式除TextFile外還有______。二、單項選擇題（10題，每題2分）1.以下屬于離線計算框架的是？A.StormB.SparkStreamingC.MapReduceD.Flink2.HDFS中存儲元數(shù)據(jù)的節(jié)點是？A.DataNodeB.NameNodeC.SecondaryNameNodeD.NodeManager3.Hive默認執(zhí)行引擎是？A.MapReduceB.SparkC.TezD.Presto4.Spark中屬于RDD轉(zhuǎn)換操作的是？A.count()B.collect()C.map()D.first()5.以下不是HBase特點的是？A.列式存儲B.高可靠性C.實時讀寫D.支持SQL查詢6.YARN中管理單個節(jié)點資源的是？A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Container7.離線計算優(yōu)先選擇的存儲格式是？A.CSVB.JSONC.ParquetD.Text8.Spark中DataFrame轉(zhuǎn)RDD的方法是？A.toDF()B.rddC.map()D.collect()9.Hive外部表與內(nèi)部表的區(qū)別是？A.外部表數(shù)據(jù)不被Hive管理B.內(nèi)部表數(shù)據(jù)不被Hive管理C.外部表不能分區(qū)D.內(nèi)部表不能分區(qū)10.用于離線數(shù)據(jù)倉庫建設的組件是？A.KafkaB.HiveC.FlumeD.ZooKeeper三、多項選擇題（10題，每題2分）1.大數(shù)據(jù)離線計算常用框架包括？A.MapReduceB.SparkC.FlinkD.Hive2.Hadoop生態(tài)核心組件有？A.HDFSB.YARNC.MapReduceD.Spark3.SparkRDD的特性包括？A.不可變B.分區(qū)C.依賴D.懶加載4.Hive支持的文件格式有？A.TextFileB.ParquetC.ORCD.CSV5.離線計算任務調(diào)度方式包括？A.定時調(diào)度B.事件驅(qū)動C.手動觸發(fā)D.實時觸發(fā)6.HBase的組件包括？A.HMasterB.RegionServerC.ZooKeeperD.HDFS7.Spark核心模塊有？A.SparkCoreB.SparkSQLC.SparkStreamingD.SparkMLlib8.離線計算數(shù)據(jù)處理步驟包括？A.數(shù)據(jù)采集B.數(shù)據(jù)清洗C.數(shù)據(jù)轉(zhuǎn)換D.數(shù)據(jù)存儲9.YARN主要角色有？A.ResourceManagerB.NodeManagerC.ApplicationMasterD.Container10.離線計算常見輸入數(shù)據(jù)源有？A.HDFSB.HBaseC.KafkaD.MySQL四、判斷題（10題，每題2分）1.HDFS適合存儲大文件。（）2.MapReduce的Reduce階段可多個。（）3.Hive可直接執(zhí)行SQL無需編譯。（）4.SparkRDD是彈性分布式數(shù)據(jù)集。（）5.HBase是關系型數(shù)據(jù)庫。（）6.YARN可管理Hadoop和Spark資源。（）7.Parquet是行式存儲格式。（）8.SparkSQL可直接查詢Hive表。（）9.離線計算處理歷史數(shù)據(jù)。（）10.SecondaryNameNode存儲HDFS元數(shù)據(jù)。（）五、簡答題（4題，每題5分）1.簡述MapReduce的工作流程。2.對比Hive內(nèi)部表與外部表的區(qū)別。3.簡述SparkRDD的依賴類型及作用。4.離線計算選擇Parquet格式的原因。六、討論題（2題，每題5分）1.如何優(yōu)化離線計算任務的執(zhí)行效率？（至少3個方向）2.離線計算中數(shù)據(jù)傾斜的常見原因及解決方法。答案部分一、填空題答案1.HDFS2.Map3.CREATETABLE4.DataFrame5.RowKey6.Mesos（或Kubernetes）7.PARTITIONEDBY8.read.parquet9.YARN10.Parquet（或SequenceFile）二、單項選擇題答案1.C2.B3.A4.C5.D6.B7.C8.B9.A10.B三、多項選擇題答案1.ABD2.ABC3.ABCD4.ABCD5.ABC6.ABCD7.ABCD8.ABCD9.ABC10.ABCD四、判斷題答案1.對2.對3.錯4.對5.錯6.對7.錯8.對9.對10.錯五、簡答題答案1.MapReduce工作流程：InputFormat分片數(shù)據(jù)，每個分片由Map任務處理（轉(zhuǎn)換為鍵值對），輸出到本地磁盤；Shuffle階段將Map結果按鍵分組并傳輸?shù)絉educe節(jié)點；Reduce任務聚合分組數(shù)據(jù)，輸出到HDFS。全程依賴YARN調(diào)度資源。2.內(nèi)部表vs外部表：內(nèi)部表由Hive管理表結構+數(shù)據(jù)，刪表時同步刪HDFS數(shù)據(jù)；外部表僅管理表結構，數(shù)據(jù)存用戶指定路徑，刪表僅刪元數(shù)據(jù)。內(nèi)部表用`CREATETABLE`，外部表用`CREATEEXTERNALTABLELOCATION`。外部表適合多工具共享數(shù)據(jù)。3.RDD依賴類型：窄依賴（如map）：父分區(qū)僅被子分區(qū)1依賴，無Shuffle，可流水線執(zhí)行；寬依賴（如groupBy）：父分區(qū)被子分區(qū)多依賴，需Shuffle，是Stage劃分依據(jù)。窄依賴提升效率，寬依賴需優(yōu)化。4.Parquet格式原因：列式存儲，支持列裁剪/謂詞下推，減少數(shù)據(jù)讀??；壓縮率高，節(jié)省存儲；適配復雜數(shù)據(jù)類型，兼容Hive/Spark；適合離線分析的查詢場景。六、討論題答案1.任務效率優(yōu)化方向：①存儲優(yōu)化：用Parquet/ORC，開啟壓縮；②計算優(yōu)化：減少寬依賴（如`reduceByKey`替代`groupByKey`），解決數(shù)據(jù)傾斜（key加鹽）；③資源調(diào)度：調(diào)整YARN容器/SparkExecutor參數(shù)，提升并行度；④引擎優(yōu)化：用Tez/Spark替代MapReduc