大數(shù)據(jù)實時分析工程師崗位招聘考試試卷及答案大數(shù)據(jù)實時分析工程師崗位招聘考試試卷一、填空題（共10題，每題1分）1.Kafka中負(fù)責(zé)存儲消息的核心組件是______。2.ApacheFlink的______組件負(fù)責(zé)任務(wù)調(diào)度與資源管理。3.SparkStreaming的核心抽象是______，表示數(shù)據(jù)流的分段。4.實時計算中，數(shù)據(jù)產(chǎn)生到結(jié)果輸出的時間間隔稱為______。5.Hadoop生態(tài)中，用于實時查詢的列式引擎是______。6.Kafka主題分區(qū)數(shù)通常與______數(shù)量關(guān)聯(lián)，提升并行度。7.Flink中跨任務(wù)并行實例共享的狀態(tài)是______狀態(tài)。8.SparkStructuredStreaming中，僅適用于無狀態(tài)查詢的輸出模式是______。9.實時數(shù)據(jù)采集流轉(zhuǎn)的常用工具是______。10.Kafka消息的默認(rèn)保留時間是______天。二、單項選擇題（共10題，每題2分）1.以下不屬于實時計算生態(tài)的是？A.FlinkB.SparkStreamingC.HiveD.KafkaStreams2.Kafka消費者從哪個位置讀取消息？A.分區(qū)起始偏移量B.消費者偏移量C.生產(chǎn)者偏移量D.分區(qū)結(jié)束偏移量3.Flink基于時間的滾動窗口是？A.TumblingWindowB.SlidingWindowC.SessionWindowD.GlobalWindow4.更適合實時計算的場景是？A.月度報表B.實時用戶行為分析C.歷史歸檔D.離線清洗5.SparkStructuredStreaming默認(rèn)處理無界數(shù)據(jù)的方式是？A.微批處理B.純流處理C.批處理D.混合處理6.Kafka副本因子最小為？A.1B.2C.3D.無限制7.不適合Flink大狀態(tài)存儲的后端是？A.MemoryStateBackendB.FsStateBackendC.RocksDBStateBackendD.無8.“Exactly-Once”語義指？A.至少一次B.最多一次C.恰好一次D.任意次9.實時數(shù)據(jù)可視化常用工具是？A.TableauB.GrafanaC.ExcelD.Hive10.Kafka分區(qū)的作用不包括？A.提升并行度B.數(shù)據(jù)持久化C.負(fù)載均衡D.數(shù)據(jù)壓縮三、多項選擇題（共10題，每題2分）1.實時計算的核心特點是？A.低延遲B.高吞吐量C.無界數(shù)據(jù)處理D.離線分析2.Flink支持的部署模式有？A.LocalB.StandaloneC.YARND.Kubernetes3.Kafka核心組件包括？A.BrokerB.TopicC.PartitionD.ConsumerGroup4.屬于實時計算框架的是？A.FlinkB.KafkaStreamsC.StormD.MapReduce5.SparkStructuredStreaming支持的數(shù)據(jù)源有？A.KafkaB.FileC.SocketD.HDFS6.Flink狀態(tài)管理類型包括？A.算子狀態(tài)B.鍵控狀態(tài)C.廣播狀態(tài)D.全局狀態(tài)7.實時pipeline的環(huán)節(jié)包括？A.數(shù)據(jù)采集B.清洗C.實時計算D.可視化8.Kafka消息保留策略是？A.基于時間B.基于大小C.基于偏移量D.基于主題數(shù)9.適合Exactly-Once的場景是？A.金融交易統(tǒng)計B.實時訂單監(jiān)控C.日志收集D.廣告點擊計數(shù)10.實時窗口聚合操作有？A.計數(shù)B.求和C.平均值D.最大值四、判斷題（共10題，每題2分）1.Kafka主題可動態(tài)創(chuàng)建。（）2.FlinkJobManager不支持高可用。（）3.SparkStreaming是微批處理框架。（）4.實時計算延遲一定低于離線計算。（）5.新版Kafka消費者偏移量存儲在ZooKeeper。（）6.Flink窗口僅支持時間窗口。（）7.SparkStructuredStreaming支持Exactly-Once。（）8.Grafana僅支持Prometheus數(shù)據(jù)源。（）9.Kafka分區(qū)越多性能越好。（）10.Flink廣播狀態(tài)跨所有并行實例共享。（）五、簡答題（共4題，每題5分）1.簡述Flink與SparkStreaming的核心區(qū)別。2.什么是Kafka的Exactly-Once語義？如何實現(xiàn)？3.實時計算中窗口聚合的作用及常見類型。4.實時數(shù)據(jù)pipeline的典型架構(gòu)。六、討論題（共2題，每題5分）1.列舉3個Flink實時任務(wù)的性能優(yōu)化點并說明。2.實時計算中數(shù)據(jù)傾斜的常見原因及解決方法。---參考答案一、填空題答案1.Broker2.JobManager3.DStream4.端到端延遲5.Impala6.消費者組內(nèi)消費者7.廣播8.Append9.ApacheNiFi10.7二、單項選擇題答案1.C2.B3.A4.B5.A6.A7.A8.C9.B10.D三、多項選擇題答案1.ABC2.ABCD3.ABCD4.ABC5.ABCD6.ABC7.ABCD8.AB9.AB10.ABCD四、判斷題答案1.√2.×3.√4.√5.×6.×7.√8.×9.×10.√五、簡答題答案1.Flink與SparkStreaming區(qū)別：Flink是純流處理，支持Exactly-Once，窗口類型豐富（時間/計數(shù)/會話），狀態(tài)管理強（大狀態(tài)、增量快照）；SparkStreaming是微批處理，默認(rèn)At-Least-Once，窗口依賴微批間隔，大狀態(tài)支持有限。Flink延遲毫秒級，SparkStreaming秒級，適配不同實時性需求。2.KafkaExactly-Once：每條消息僅處理一次。實現(xiàn)：①生產(chǎn)者：冪等+事務(wù)（跨分區(qū)原子）；②消費者：偏移量提交與結(jié)果寫入原子；③Broker：日志壓縮、副本同步。核心是將“消費+提交+寫入”作為原子操作。3.窗口聚合作用及類型：作用是將無界數(shù)據(jù)流分段聚合（如1分鐘訂單量）。類型：①滾動窗口（固定大小、無重疊）；②滑動窗口（固定大小、有重疊）；③會話窗口（基于活動間隔）；④計數(shù)窗口（按消息量分段）。4.實時pipeline架構(gòu)：①采集層（Flume/NiFi/Debezium）；②消息層（Kafka緩沖）；③計算層（Flink/SparkStreaming）；④存儲層（Redis/HBase/ClickHouse）；⑤可視化層（Grafana/Tableau）。各層解耦，支持高并發(fā)低延遲。六、討論題答案1.Flink性能優(yōu)化：①狀態(tài)管理：用RocksDB替代Memory，支持大狀態(tài)和增量快照，減少GC；②并行度：根據(jù)數(shù)據(jù)量調(diào)整，避免數(shù)據(jù)傾斜（如KeyBy前預(yù)聚合）；③窗口優(yōu)化：選滾動窗口減少計算，設(shè)置allowedLateness處理遲到數(shù)據(jù)；④資源調(diào)優(yōu)：分配合理CPU/內(nèi)