大數(shù)據(jù)開發(fā)工程師崗位招聘考試試卷及答案填空題（10題，1分/題）1.HDFS默認的數(shù)據(jù)塊大小是______MB。2.Spark的核心數(shù)據(jù)結構（Spark2.0后）包括RDD和______。3.Hive元數(shù)據(jù)默認存儲在______數(shù)據(jù)庫中。4.Flink的核心特性是______計算（批流一體）。5.MapReduce的兩個核心階段是Map和______。6.數(shù)據(jù)從源系統(tǒng)到目標系統(tǒng)的過程稱為______。7.Kafka中負責存儲消息的核心組件是______（分區(qū)）。8.SparkSQL處理結構化數(shù)據(jù)的接口是______。9.HBase是基于______模型的分布式數(shù)據(jù)庫。10.數(shù)據(jù)湖存儲______格式的數(shù)據(jù)（原始/半結構化）。單項選擇題（10題，2分/題）1.以下不是Hadoop核心組件的是？A.HDFSB.MapReduceC.SparkD.YARN2.Spark中觸發(fā)實際計算的算子是？A.mapB.filterC.reduceD.flatMap3.Hive執(zhí)行查詢的語言是？A.HQLB.SQLC.SparkSQLD.PigLatin4.Flink不包含的窗口類型是？A.TumblingB.SlidingC.SessionD.Rolling5.屬于實時計算框架的是？A.MapReduceB.SparkBatchC.FlinkD.Hive6.Kafka生產(chǎn)者分區(qū)策略不包括？A.輪詢B.哈希C.自定義D.隨機7.HBaseRowkey設計原則不包括？A.唯一B.長度適中C.避免熱點D.必須有序8.數(shù)據(jù)倉庫維度建模的核心表是？A.事實表B.維度表C.臨時表D.視圖9.Spark本地模式的參數(shù)是？A.localB.standaloneC.yarnD.mesos10.屬于列式存儲數(shù)據(jù)庫的是？A.MySQLB.PostgreSQLC.HBaseD.ClickHouse多項選擇題（10題，2分/題）1.Hadoop核心組件包括？A.HDFSB.MapReduceC.YARND.Spark2.Spark運行模式有？A.localB.standaloneC.yarnD.mesos3.大數(shù)據(jù)處理場景包括？A.離線計算B.實時計算C.交互式分析D.機器學習4.Hive元數(shù)據(jù)可存儲于？A.DerbyB.MySQLC.PostgreSQLD.Oracle5.Flink核心特性有？A.批流一體B.Exactly-OnceC.狀態(tài)管理D.低延遲6.Kafka核心組件包括？A.ProducerB.ConsumerC.BrokerD.Topic7.數(shù)據(jù)倉庫建模方法包括？A.維度建模B.關系建模C.StarSchemaD.SnowflakeSchema8.Spark轉換算子包括？A.mapB.filterC.reduceD.count9.HBase特點包括？A.列式存儲B.無SchemaC.高可靠D.實時讀寫10.大數(shù)據(jù)存儲技術包括？A.HDFSB.HBaseC.KafkaD.ClickHouse判斷題（10題，2分/題）1.HDFS適合存儲大文件，采用主從架構。（）2.SparkRDD是不可變的分布式數(shù)據(jù)集。（）3.Hive是數(shù)據(jù)庫，不是數(shù)據(jù)倉庫工具。（）4.Flink支持Exactly-Once，SparkStreaming僅At-Least-Once。（）5.KafkaTopic可包含多個分區(qū)。（）6.數(shù)據(jù)湖存儲結構化數(shù)據(jù)，數(shù)據(jù)倉庫存儲原始數(shù)據(jù)。（）7.MapReduce適合離線批處理，模型為“先Map后Reduce”。（）8.SparkSQL可直接查詢Hive表。（）9.HBaseRowkey必須唯一且有序。（）10.ClickHouse適合OLAP場景，是列式存儲。（）簡答題（4題，5分/題）1.簡述HDFS架構及組件作用。2.SparkRDD的核心特性有哪些？3.簡述ETL的三個核心步驟及作用。4.Flink批流一體的設計思路是什么？討論題（2題，5分/題）1.分析Spark與Flink在實時計算場景的差異及適用場景。2.如何設計高可用的大數(shù)據(jù)存儲架構？---答案填空題1.1282.DataFrame/DataSet3.Derby4.流批一體5.Reduce6.ETL7.Broker（分區(qū)）8.DataFrame9.鍵值（KV）10.原始單項選擇題1.C2.C3.A4.D5.C6.D7.D8.A9.A10.D多項選擇題1.ABC2.ABCD3.ABCD4.ABCD5.ABCD6.ABCD7.ABCD8.AB9.ABCD10.ABCD判斷題1.√2.√3.×4.√5.√6.×7.√8.√9.×10.√簡答題1.HDFS架構：主從架構，含NameNode（主節(jié)點，存儲元數(shù)據(jù)、管理命名空間）、DataNode（從節(jié)點，存儲實際數(shù)據(jù)塊）、SecondaryNameNode（輔助合并元數(shù)據(jù)日志，防止丟失）。2.RDD特性：彈性（容錯、動態(tài)存儲）、分布式、不可變、分區(qū)、依賴關系（窄/寬依賴）。3.ETL步驟：①抽?。◤脑聪到y(tǒng)取數(shù)）；②轉換（清洗、格式轉換、聚合）；③加載（寫入目標系統(tǒng)，支持增量/全量）。4.Flink批流一體：將所有數(shù)據(jù)視為流（批是有界流），統(tǒng)一運行時引擎，共享API，兼顧批吞吐量與流延遲，支持Exactly-Once。討論題1.SparkvsFlink實時場景：-Spark：基于微批處理，延遲較高（百毫秒級），適合準實時（如日志分析）；-Flink：基于事件驅動，延遲低（毫秒級），支持狀態(tài)管理，適合實時（如風控