大數(shù)據(jù)流式計算工程師崗位招聘考試試卷及答案一、填空題（共10題，每題1分）1.Hadoop生態(tài)中負(fù)責(zé)分布式存儲的核心組件是______。2.ApacheFlink中協(xié)調(diào)作業(yè)執(zhí)行的核心組件是______。3.流計算中基于事件時間的窗口觸發(fā)依賴于______。4.Kafka中消息的持久化存儲單位是______。5.SparkStreaming的核心抽象是______（微批次數(shù)據(jù)流）。6.Flink中管理狀態(tài)的API是______。7.流計算處理遲到數(shù)據(jù)的常見策略是______（寫1種）。8.HBase的列族是______的集合。9.Storm拓?fù)溆蒘pout和______組成。10.Exactly-Once語義實現(xiàn)依賴于端到端ACK和______。二、單項選擇題（共10題，每題2分）1.不屬于流計算框架的是？A.FlinkB.SparkStreamingC.HiveD.Storm2.FlinkWatermark的作用不包括？A.記錄延遲B.觸發(fā)窗口C.保證順序D.存儲數(shù)據(jù)3.Kafka消費者組的特點是？A.一個消費者僅屬一個組B.組內(nèi)可消費同一分區(qū)C.消費者數(shù)可超分區(qū)數(shù)D.以上都對4.SparkStreaming默認(rèn)微批次間隔是？A.100msB.500msC.1sD.10s5.FlinkCheckpoint默認(rèn)不存儲在？A.HDFSB.本地文件C.S3D.Kafka6.可靠性最高的流處理語義是？A.AtMostOnceB.AtLeastOnceC.ExactlyOnceD.都一樣7.StormSpout的作用是？A.處理數(shù)據(jù)B.發(fā)送數(shù)據(jù)到BoltC.存儲數(shù)據(jù)D.協(xié)調(diào)拓?fù)?.HBaseRegion數(shù)量由什么決定？A.行鍵數(shù)B.列族數(shù)C.數(shù)據(jù)大小D.配置參數(shù)9.流計算窗口類型不包括？A.滾動窗口B.滑動窗口C.會話窗口D.隨機窗口10.FlinkDataStreamAPI面向？A.批次B.流C.混合D.都不是三、多項選擇題（共10題，每題2分）1.流計算核心特點包括？A.低延遲B.高吞吐量C.實時處理D.批處理優(yōu)先2.Flink支持的時間語義有？A.事件時間B.處理時間C.攝入時間D.存儲時間3.Kafka核心組件包括？A.BrokerB.TopicC.PartitionD.Consumer4.SparkStreaming與Flink的區(qū)別是？A.Flink是真流，SparkStreaming是微批次B.Flink默認(rèn)Exactly-OnceC.Flink狀態(tài)管理更豐富D.SparkStreaming依賴SparkCore5.流計算狀態(tài)管理的必要性是？A.保存中間結(jié)果B.支持窗口計算C.實現(xiàn)Exactly-OnceD.提高吞吐量6.HBase優(yōu)勢包括？A.列存儲B.高可靠性C.實時讀寫D.支持復(fù)雜查詢7.Storm拓?fù)鋱?zhí)行流程包括？A.Spout發(fā)數(shù)據(jù)B.Bolt處理C.數(shù)據(jù)流向指定BoltD.持續(xù)運行8.流計算處理數(shù)據(jù)傾斜的方法是？A.分區(qū)加鹽B.調(diào)整并行度C.優(yōu)化數(shù)據(jù)分布D.減少數(shù)據(jù)量9.FlinkCheckpoint依賴于？A.分布式快照B.狀態(tài)后端C.端到端ACKD.數(shù)據(jù)復(fù)制10.流計算應(yīng)用場景包括？A.實時推薦B.日志分析C.監(jiān)控告警D.離線報表四、判斷題（共10題，每題2分）1.HDFS適合存儲小文件。（）2.FlinkWatermark≥所有已達數(shù)據(jù)的事件時間。（）3.KafkaPartition數(shù)量可動態(tài)調(diào)整。（）4.SparkStreamingDStream不可變。（）5.Flink狀態(tài)僅能存內(nèi)存。（）6.Storm拓?fù)涮峤缓蟛荒苄薷?。（?.HBase列族可動態(tài)添加刪除。（）8.所有場景都能實現(xiàn)Exactly-Once。（）9.Kafka消費者可從任意偏移量消費。（）10.FlinkTableAPI是流關(guān)系型API。（）五、簡答題（共4題，每題5分）1.簡述FlinkExactly-Once語義實現(xiàn)原理。2.比較SparkStreaming與Flink的流處理模式差異。3.簡述Kafka工作原理。4.流計算窗口的作用及常見類型。六、討論題（共2題，每題5分）1.如何優(yōu)化流計算高吞吐量場景的性能？2.流計算處理遲到數(shù)據(jù)的策略及適用場景？---答案部分一、填空題答案1.HDFS2.JobManager3.Watermark（水?。?.Partition（分區(qū)）5.DStream6.StateAPI7.允許遲到（AllowedLateness）/側(cè)輸出（SideOutput）8.列限定符（ColumnQualifier）9.Bolt10.狀態(tài)快照（Checkpoint）二、單項選擇題答案1.C2.D3.A4.C5.B6.C7.B8.C9.D10.B三、多項選擇題答案1.ABC2.ABC3.ABCD4.ABCD5.ABC6.ABC7.ABCD8.ABC9.ABC10.ABC四、判斷題答案1.×2.√3.×4.√5.×6.√7.√8.×9.√10.√五、簡答題答案1.FlinkExactly-Once實現(xiàn)原理：通過分布式快照（Checkpoint）和端到端ACK機制實現(xiàn)。JobManager觸發(fā)Checkpoint，每個Task保存狀態(tài)快照到HDFS等后端，記錄輸入偏移量；配合數(shù)據(jù)源（如Kafka）和sink的兩階段提交/冪等寫入，確保數(shù)據(jù)僅處理一次。故障時從最近快照恢復(fù)，重放未確認(rèn)數(shù)據(jù)，保證端到端一致性。2.SparkStreaming與Flink差異：SparkStreaming是微批次流（固定間隔切分微批次，本質(zhì)批處理擴展），F(xiàn)link是真流（事件級處理，無固定批次）。差異：①延遲：Flink毫秒級，SparkStreaming微批次延遲高；②狀態(tài)：Flink支持豐富狀態(tài)類型/快照，SparkStreaming弱；③語義：Flink默認(rèn)Exactly-Once，SparkStreaming默認(rèn)AtLeastOnce；④時間：Flink支持事件/處理/攝入時間，SparkStreaming主要支持處理時間。3.Kafka工作原理：分布式消息隊列，生產(chǎn)者將消息發(fā)至Topic的Partition（有序日志），存儲在Broker。消費者通過ConsumerGroup消費，每個Partition僅被組內(nèi)一個消費者消費。通過分區(qū)并行提吞吐量，復(fù)制（Replica）保證可靠性，消息持久化磁盤，適合實時數(shù)據(jù)流傳輸存儲。4.窗口的作用及類型：作用：將無界流切分為有界窗口，實現(xiàn)聚合/統(tǒng)計。常見類型：①滾動窗口（固定大小無重疊，如1分鐘）；②滑動窗口（固定大小有重疊，如1分鐘每30秒滑動）；③會話窗口（基于事件間隔，如間隔超10分鐘開新窗口）；④全局窗口（無固定大小，手動觸發(fā)）。六、討論題答案1.高吞吐量優(yōu)化：①并行度調(diào)整：匹配數(shù)據(jù)量與資源，避免傾斜；②狀態(tài)優(yōu)化：用RocksDB后端，增量Checkpoint減少開銷；③數(shù)據(jù)源優(yōu)化：Kafka增加Partition，生產(chǎn)者批量發(fā)送；④算子優(yōu)化：簡化算子鏈，用AggregateFunction替代GroupBy；⑤資源配置：增CPU/內(nèi)存，優(yōu)化網(wǎng)絡(luò)帶寬；⑥監(jiān)控：跟蹤延遲/吞吐量，動態(tài)調(diào)參。2.遲到數(shù)據(jù)處