大數(shù)據(jù)流處理架構(gòu)工程師崗位招聘考試試卷及答案一、填空題（每題1分，共10分）1.ApacheFlink中負(fù)責(zé)調(diào)度任務(wù)和資源管理的核心組件是______。2.SparkStreaming的核心抽象是______，表示連續(xù)數(shù)據(jù)流的離散片段。3.Kafka中消息被組織在______中，每個(gè)該單元可分為多個(gè)分區(qū)。4.Flink中基于時(shí)間的無(wú)重疊固定窗口稱為______窗口。5.SparkStreaming屬于______處理，而非真正的流處理。6.ZooKeeper在Kafka集群中主要用于______選舉和狀態(tài)管理。7.Flink中存儲(chǔ)算子狀態(tài)的類型是______State。8.Kafka消費(fèi)者組內(nèi)，每個(gè)消費(fèi)者負(fù)責(zé)一個(gè)或多個(gè)______的消息消費(fèi)。9.ApacheStorm中從外部讀取數(shù)據(jù)的組件是______。10.流處理中“至少被處理一次”的語(yǔ)義是______。答案：1.JobManager2.DStream3.Topic4.Tumbling（滾動(dòng)）5.微批6.Controller（控制器）7.Operator8.Partition（分區(qū)）9.Spout10.At-Least-Once二、單項(xiàng)選擇題（每題2分，共20分）1.以下支持真正流處理（非微批）的框架是？A.SparkStreamingB.FlinkC.StormD.KafkaStreams2.KafkaTopic創(chuàng)建后，分區(qū)數(shù)量可______。A.任意修改B.只增不減C.只減不增D.不可修改3.Flink中無(wú)重疊時(shí)間范圍的窗口是？A.TumblingB.SlidingC.SessionD.Count4.SparkStreaming默認(rèn)微批間隔是？A.100msB.500msC.1sD.5s5.不是Flink核心組件的是？A.JobManagerB.TaskManagerC.ZooKeeperD.StandaloneManager6.Kafka消費(fèi)者默認(rèn)偏移量提交方式是？A.自動(dòng)B.手動(dòng)同步C.手動(dòng)異步D.不提交7.Flink實(shí)現(xiàn)Exactly-Once的核心是？A.兩階段提交B.CheckpointC.水印D.狀態(tài)快照8.適合SessionWindow的場(chǎng)景是？A.每小時(shí)訂單量B.用戶會(huì)話內(nèi)操作數(shù)C.每分鐘PVD.固定消息數(shù)統(tǒng)計(jì)9.Storm每個(gè)Worker默認(rèn)啟動(dòng)多少Executor？A.1B.2C.4D.810.KafkaStreams的鍵值數(shù)據(jù)流抽象是？A.DStreamB.DataStreamC.KStreamD.Table答案：1.B2.B3.A4.C5.C6.A7.B8.B9.A10.C三、多項(xiàng)選擇題（每題2分，共20分）1.屬于流處理框架的是？A.FlinkB.SparkStreamingC.KafkaStreamsD.Elasticsearch2.Flink支持的狀態(tài)類型是？A.OperatorStateB.KeyedStateC.GlobalStateD.LocalState3.Exactly-Once語(yǔ)義依賴的技術(shù)是？A.消息可重放B.狀態(tài)快照與偏移量對(duì)齊C.兩階段提交D.消息無(wú)重復(fù)4.Kafka的主要作用是？A.消息隊(duì)列B.流存儲(chǔ)C.流處理D.搜索引擎5.Flink的部署模式包括？A.StandaloneB.YARNC.KubernetesD.Mesos6.SparkStreaming的缺點(diǎn)是？A.延遲較高B.無(wú)Exactly-Once支持C.狀態(tài)管理弱D.不支持事件時(shí)間7.Kafka生產(chǎn)者的配置項(xiàng)是？A.bootstrap.serversB.group.idC.acksD.auto.offset.reset8.Flink水印的作用是？A.處理亂序數(shù)據(jù)B.延遲數(shù)據(jù)C.窗口觸發(fā)D.狀態(tài)清理9.Storm拓?fù)涞慕M件是？A.SpoutB.BoltC.NimbusD.Supervisor10.流處理的應(yīng)用場(chǎng)景是？A.實(shí)時(shí)分析B.實(shí)時(shí)監(jiān)控C.實(shí)時(shí)推薦D.離線計(jì)算答案：1.ABC2.AB3.ABC4.AB5.ABCD6.AC7.AC8.ABC9.AB10.ABC四、判斷題（每題2分，共20分）1.SparkStreaming是真正的流處理框架。（×）2.Kafka分區(qū)只能被一個(gè)消費(fèi)者組的一個(gè)消費(fèi)者消費(fèi)。（√）3.FlinkCheckpoint默認(rèn)是增量快照。（×）4.ZooKeeper是Flink必備組件。（×）5.KafkaStreams無(wú)需額外部署。（√）6.Storm拓?fù)涮峤缓蟛荒苄薷?。（×?.FlinkKeyedState只能在按Key分組的流上使用。（√）8.At-Most-Once語(yǔ)義可能丟失消息。（√）9.SparkStreamingDStream不可變。（√）10.KafkaTopic可動(dòng)態(tài)創(chuàng)建。（√）五、簡(jiǎn)答題（每題5分，共20分）1.簡(jiǎn)述Flink與SparkStreaming的核心區(qū)別。答案：Flink是事件驅(qū)動(dòng)的真正流處理，延遲毫秒級(jí)；SparkStreaming是微批處理，默認(rèn)1秒批次，延遲較高。Flink天然支持Exactly-Once（Checkpoint），SparkStreaming需額外配置。Flink狀態(tài)管理更強(qiáng)大（Operator/KeyedState、增量快照），SparkStreaming狀態(tài)管理較弱。Flink支持事件/處理/攝入時(shí)間，SparkStreaming早期僅支持處理時(shí)間。2.什么是流處理窗口？常見類型有哪些？答案：窗口是將無(wú)界數(shù)據(jù)流分段計(jì)算的機(jī)制。常見類型：①滾動(dòng)窗口（固定長(zhǎng)度、無(wú)重疊）；②滑動(dòng)窗口（固定長(zhǎng)度、有重疊）；③會(huì)話窗口（基于用戶活躍會(huì)話，無(wú)固定長(zhǎng)度）；④計(jì)數(shù)窗口（按消息數(shù)量分段）。3.簡(jiǎn)述Kafka的工作原理。答案：Kafka以Topic為核心，Topic分多個(gè)Partition。生產(chǎn)者向Topic發(fā)消息，按序存于Partition；消費(fèi)者從Partition拉取，消費(fèi)者組內(nèi)每個(gè)消費(fèi)者負(fù)責(zé)一個(gè)或多個(gè)Partition，保證分區(qū)內(nèi)順序。ZooKeeper用于Controller選舉和集群狀態(tài)管理，消息持久化到日志。4.Exactly-Once語(yǔ)義依賴哪些技術(shù)？答案：①消息源可重放（如Kafka偏移量）；②狀態(tài)快照（Checkpoint，記錄偏移量和狀態(tài)）；③兩階段提交（協(xié)調(diào)消息和狀態(tài)一致性）；④冪等操作（避免重復(fù)處理結(jié)果不一致）。六、討論題（每題5分，共10分）1.設(shè)計(jì)高吞吐量低延遲訂單系統(tǒng)，如何選擇流處理框架？答案：優(yōu)先選Flink。理由：①低延遲（事件驅(qū)動(dòng)，毫秒級(jí)）滿足實(shí)時(shí)訂單需求；②Exactly-Once保證訂單不重復(fù)丟失，避免賬務(wù)錯(cuò)誤；③強(qiáng)大狀態(tài)管理支持用戶訂單狀態(tài)存儲(chǔ)；④靈活窗口（滾動(dòng)窗口統(tǒng)計(jì)實(shí)時(shí)訂單量、會(huì)話窗口分析用戶下單行為）。若初期規(guī)模小，可考慮KafkaStreams（輕量集成Kafka），但Flink擴(kuò)展性更強(qiáng)