大數(shù)據(jù)實(shí)時(shí)計(jì)算工程師崗位招聘考試試卷及答案一、填空題（共10題，每題1分）1.ApacheFlink中處理無限數(shù)據(jù)流的核心抽象是______。2.實(shí)時(shí)計(jì)算中切分連續(xù)數(shù)據(jù)流為有限數(shù)據(jù)集的操作是______。3.Kafka中存儲消息的基本單元是______。4.Flink實(shí)現(xiàn)Exactly-Once語義的核心機(jī)制是______。5.SparkStreaming的核心抽象是______。6.處理亂序數(shù)據(jù)的常用機(jī)制是______（水位線）。7.ZooKeeper在Kafka集群中主要用于______。8.FlinkCEP用于處理______事件模式。9.Kafka生產(chǎn)者發(fā)送消息的默認(rèn)acks級別是______。10.實(shí)時(shí)計(jì)算中保證消息至少處理一次的語義是______。二、單項(xiàng)選擇題（共10題，每題2分）1.支持真正流處理（低延遲+Exactly-Once）的框架是？A.SparkStreamingB.FlinkC.MapReduceD.HadoopStreaming2.Kafka一個Partition只能被同一消費(fèi)者組中的______消費(fèi)者消費(fèi)。A.1個B.2個C.任意多個D.0個3.Flink中基于事件時(shí)間的窗口類型是？A.TumblingWindowB.SlidingWindowC.EventTimeWindowD.SessionWindow4.消息至少被處理一次的語義是？A.AtMostOnceB.AtLeastOnceC.ExactlyOnceD.None5.SparkStreaming默認(rèn)微批間隔是？A.100msB.500msC.1sD.5s6.KafkaController角色由______承擔(dān)。A.任意BrokerB.主BrokerC.從BrokerD.ZooKeeper7.Flink狀態(tài)管理的核心是？A.CheckpointB.SavepointC.StateBackendD.Window8.不屬于實(shí)時(shí)數(shù)據(jù)源的是？A.KafkaB.HDFSC.RabbitMQD.TCPSocket9.實(shí)現(xiàn)Flink端到端Exactly-Once的前提不包括？A.外部系統(tǒng)支持事務(wù)B.開啟CheckpointC.使用內(nèi)存StateBackendD.兩階段提交10.實(shí)時(shí)計(jì)算延遲來源不包括？A.數(shù)據(jù)傳輸延遲B.計(jì)算延遲C.存儲延遲D.批處理延遲三、多項(xiàng)選擇題（共10題，每題2分）1.Flink支持的窗口類型包括？A.TumblingWindowB.SlidingWindowC.SessionWindowD.GlobalWindow2.實(shí)時(shí)計(jì)算語義級別包括？A.AtMostOnceB.AtLeastOnceC.ExactlyOnceD.PerfectOnce3.Kafka集群核心組件包括？A.BrokerB.ZooKeeperC.ConsumerD.Producer4.Flink狀態(tài)一致性機(jī)制包括？A.CheckpointB.SavepointC.兩階段提交D.Watermark5.實(shí)時(shí)計(jì)算應(yīng)用場景包括？A.實(shí)時(shí)監(jiān)控B.實(shí)時(shí)推薦C.實(shí)時(shí)報(bào)表D.離線分析6.SparkStreaming與Flink的差異包括？A.Flink是真正流處理，Spark是微批B.Flink原生Exactly-OnceC.Flink支持事件時(shí)間D.Flink延遲更低7.Kafka消息保留時(shí)間由______配置決定？A.retention.msB.log.retention.hoursC.log.retention.bytesD.log.segment.bytes8.FlinkCEP核心組件包括？A.PatternB.PatternStreamC.CEPStreamD.Event9.處理亂序數(shù)據(jù)的方法包括？A.WatermarkB.AllowedLatenessC.事件時(shí)間D.處理時(shí)間10.可用于實(shí)時(shí)計(jì)算的框架包括？A.FlinkB.SparkStreamingC.KafkaStreamsD.MapReduce四、判斷題（共10題，每題2分）1.Flink是基于微批處理的流框架。（）2.KafkaPartition越多，并行度越高。（）3.Exactly-Once比AtLeastOnce更嚴(yán)格。（）4.SparkStreaming的DStream不可變。（）5.ZooKeeper不是Kafka集群必需組件。（）6.FlinkCheckpoint是輕量級快照。（）7.事件時(shí)間比處理時(shí)間更可靠。（）8.Kafkaacks=all表示等待所有Broker確認(rèn)。（）9.FlinkSessionWindow需設(shè)置會話間隔。（）10.實(shí)時(shí)計(jì)算延遲比離線計(jì)算高。（）五、簡答題（共4題，每題5分）1.簡述FlinkExactly-Once語義實(shí)現(xiàn)原理。2.對比SparkStreaming與Flink的核心差異。3.Kafka在實(shí)時(shí)計(jì)算中的作用是什么？4.實(shí)時(shí)計(jì)算中如何處理亂序數(shù)據(jù)？六、討論題（共2題，每題5分）1.某電商實(shí)時(shí)訂單監(jiān)控需滿足：延遲≤1s、訂單不重復(fù)不丟失、10萬訂單/秒，設(shè)計(jì)技術(shù)方案及理由。2.實(shí)時(shí)計(jì)算任務(wù)出現(xiàn)數(shù)據(jù)延遲，如何排查與優(yōu)化？---答案一、填空題1.DataStream2.窗口3.消息4.Checkpoint5.DStream6.Watermark7.集群協(xié)調(diào)8.復(fù)雜9.110.AtLeastOnce二、單項(xiàng)選擇題1.B2.A3.C4.B5.C6.B7.C8.B9.C10.D三、多項(xiàng)選擇題1.ABCD2.ABC3.ABCD4.ABC5.ABC6.ABCD7.AB8.ABCD9.AB10.ABC四、判斷題1.×2.√3.√4.√5.×6.√7.√8.√9.√10.×五、簡答題1.FlinkExactly-Once原理：本地語義通過Checkpoint實(shí)現(xiàn)：JobManager觸發(fā)Barrier，Task暫停處理并快照狀態(tài)，Barrier對齊保證數(shù)據(jù)一致性；端到端需外部系統(tǒng)支持事務(wù)（如Kafka事務(wù)），通過兩階段提交（預(yù)提交→確認(rèn)提交/回滾），確保消息不重復(fù)不丟失。2.SparkStreamingvsFlink：①處理模型：Spark微批（1s間隔），F(xiàn)link真正流處理；②語義：Spark默認(rèn)AtLeastOnce，F(xiàn)link原生Exactly-Once；③時(shí)間：Spark默認(rèn)處理時(shí)間，F(xiàn)link支持事件時(shí)間+Watermark；④延遲：Flink毫秒級，Spark秒級；⑤狀態(tài)：Flink支持鍵控/算子狀態(tài)，Spark較弱。3.Kafka的作用：①高吞吐量（百萬級消息/秒）；②持久化存儲（消息保留）；③解耦上下游（生產(chǎn)者/消費(fèi)者分離）；④并行處理（Partition支持多消費(fèi)者）；⑤容錯（多副本機(jī)制），是實(shí)時(shí)計(jì)算的核心數(shù)據(jù)源/匯點(diǎn)。4.亂序數(shù)據(jù)處理：①Watermark：定義“最大事件時(shí)間-延遲閾值”，觸發(fā)窗口計(jì)算；②AllowedLateness：窗口允許的延遲時(shí)間，超期數(shù)據(jù)可側(cè)輸出；③事件時(shí)間語義：按實(shí)際發(fā)生時(shí)間處理，避免處理時(shí)間干擾；④側(cè)輸出：將亂序數(shù)據(jù)單獨(dú)處理，不影響主窗口。六、討論題1.電商實(shí)時(shí)監(jiān)控方案：①數(shù)據(jù)源：Kafka（高吞吐量、多副本）；②計(jì)算：Flink（流處理低延遲、Exactly-Once）；③狀態(tài)：RocksDB（大數(shù)據(jù)量狀態(tài)）；④匯點(diǎn)：Redis（實(shí)時(shí)指標(biāo)）+MySQL（關(guān)鍵訂單）；⑤協(xié)調(diào)：ZooKeeper（集群管理）。理由：Flink滿足低延遲+語義要求，Kafka支撐高并發(fā)，R