2025年大學《數(shù)據(jù)計算及應用》專業(yè)題庫——數(shù)據(jù)計算及應用專業(yè)數(shù)據(jù)流處理系統(tǒng)考試時間：______分鐘總分：______分姓名：______一、選擇題（每題2分，共20分。請將正確選項的字母填在題后的括號內。）1.與批處理相比，數(shù)據(jù)流處理的主要特點是（）。(A)處理靜態(tài)數(shù)據(jù)集(B)適用于離線分析(C)支持事件時間的處理(D)通常具有較低的延遲2.以下哪個選項不屬于典型的流處理系統(tǒng)架構組件？（）(A)數(shù)據(jù)源(B)流引擎(C)批處理框架(D)數(shù)據(jù)存儲/輸出3.在流處理中，TumblingWindow和SlidingWindow的主要區(qū)別在于（）。(A)窗口的大小(B)是否支持滑動(C)是否可以處理事件時間(D)窗口之間的重疊情況4.反壓（Backpressure）機制的主要目的是（）。(A)提高系統(tǒng)的吞吐量(B)降低系統(tǒng)的延遲(C)防止流處理引擎被過快的輸入數(shù)據(jù)淹沒(D)管理系統(tǒng)內存使用5.Watermark的主要作用是（）。(A)限制窗口大小(B)處理亂序事件，確保狀態(tài)一致性(C)提高數(shù)據(jù)處理速度(D)實現(xiàn)數(shù)據(jù)分區(qū)6.以下哪個場景最不適合使用實時流處理技術？（）(A)實時監(jiān)控用戶行為并觸發(fā)推薦(B)股票市場的實時交易量化分析(C)每日進行大規(guī)模日志聚合分析(D)實時檢測網(wǎng)絡入侵行為7.SparkStreaming使用的是哪種架構？（）(A)TrueStreaming(B)Micro-batching(C)Sampling(D)Batch-on-Stream8.ApacheFlink以其出色的（）能力而聞名。(A)批處理性能(B)事件時間處理和狀態(tài)管理(C)數(shù)據(jù)可視化(D)分布式存儲9.“事件時間”（EventTime）是指（）。(A)數(shù)據(jù)到達處理節(jié)點的時間(B)數(shù)據(jù)被寫入存儲系統(tǒng)的時間(C)事件發(fā)生的時間戳(D)處理系統(tǒng)開始處理數(shù)據(jù)的時間10.能夠處理窗口內所有事件，并產(chǎn)生單一結果或多個結果的流處理操作是（）。(A)聚合函數(shù)（如Sum,Count）(B)過濾操作（Filter）(C)映射操作（Map）(D)接收器（Sink）二、填空題（每空2分，共20分。請將答案填寫在橫線上。）1.數(shù)據(jù)流處理關注的是數(shù)據(jù)的流式處理，而批處理處理的是集成的數(shù)據(jù)。2.TrueStreaming的目標是盡可能低延遲地處理事件，它通常需要依賴狀態(tài)恢復機制來應對故障。3.在流處理中，為了處理事件時間的亂序問題，引入了水滴（Watermark）的概念。4.微批處理（Micro-batching）架構試圖在批處理和TrueStreaming之間取得平衡，它定期從流中提取一個小批次數(shù)據(jù)進行批處理。5.狀態(tài)管理是流處理系統(tǒng)設計的核心挑戰(zhàn)之一，常見的狀態(tài)持久化方案包括檢查點（Checkpoint）和滾動快照（RollingSavepoint）。6.窗口函數(shù)（WindowFunction）允許我們對流中的數(shù)據(jù)按照特定粒度（如時間窗口或計數(shù)窗口）進行分組和聚合處理。7.流處理系統(tǒng)需要具備良好的容錯性，以保證在節(jié)點或服務故障時能夠繼續(xù)運行。8.Kafka等消息隊列常被用作流處理系統(tǒng)的數(shù)據(jù)源和匯。9.流處理系統(tǒng)需要處理的數(shù)據(jù)通常是無限的，這對其狀態(tài)管理和資源管理提出了更高要求。10.事件驅動架構（EDA）是流處理技術的重要應用領域，它強調系統(tǒng)組件通過接收和發(fā)送事件來進行通信和協(xié)作。三、簡答題（每題5分，共15分。）1.簡述事件時間（EventTime）與處理時間（ProcessingTime）的主要區(qū)別及其在流處理中的重要性。2.簡要說明流處理系統(tǒng)中的反壓（Backpressure）機制是如何工作的，以及它為什么重要。3.列舉至少三種常見的流處理系統(tǒng)應用場景，并簡要說明選擇流處理的原因。四、論述題（10分。）假設你正在設計一個實時監(jiān)控系統(tǒng)，用于檢測服務器CPU使用率異常。該系統(tǒng)需要實時接收來自多個服務器的CPU使用率數(shù)據(jù)，當任何一臺服務器的CPU使用率在短時間內（例如1分鐘內）持續(xù)超過90%時，系統(tǒng)需要立即發(fā)出告警。請簡要描述你會如何設計這個流處理應用，包括：1.需要使用哪些核心組件或技術（如數(shù)據(jù)源、流引擎、窗口、時間處理等）？2.如何定義窗口和窗口時間？3.如何處理可能的數(shù)據(jù)亂序問題？4.如何實現(xiàn)告警的觸發(fā)邏輯？試卷答案一、選擇題1.(C)2.(C)3.(D)4.(C)5.(B)6.(C)7.(B)8.(B)9.(C)10.(A)二、填空題1.集2.狀態(tài)恢復3.水滴（Watermark）4.微批處理（Micro-batching）5.檢查點（Checkpoint）6.粒度7.容錯性8.源和匯9.無限10.事件三、簡答題1.事件時間（EventTime）記錄的是數(shù)據(jù)產(chǎn)生的時間戳，反映了事件發(fā)生的實際時間。處理時間（ProcessingTime）是指數(shù)據(jù)到達并被處理系統(tǒng)接收處理的時間。事件時間的重要性在于現(xiàn)實世界中的數(shù)據(jù)往往會產(chǎn)生、傳輸和處理之間存在延遲（亂序），使用處理時間可能導致分析結果不準確或告警滯后。事件時間配合Watermark機制，可以確保即使在數(shù)據(jù)亂序的情況下，也能基于事件發(fā)生的實際時間進行分析和判斷，得到更準確、更符合業(yè)務邏輯的結果。2.反壓（Backpressure）機制是指流處理系統(tǒng)通過某種機制，使其數(shù)據(jù)處理速度適應數(shù)據(jù)源產(chǎn)生的速度。當下游處理能力不足以處理上游數(shù)據(jù)時，反壓機制會通知上游減慢數(shù)據(jù)發(fā)送速率，防止數(shù)據(jù)處理引擎被過快的數(shù)據(jù)流淹沒，導致資源耗盡或系統(tǒng)崩潰。重要性在于它保證了流處理系統(tǒng)的穩(wěn)定性和可控性，使得系統(tǒng)能夠處理高速的數(shù)據(jù)流，避免了因數(shù)據(jù)速率過快而引發(fā)的處理瓶頸和系統(tǒng)故障。3.場景1：金融風控。原因：需要實時檢測交易行為是否異常（如短時間內大量交易、異地交易等），及時發(fā)現(xiàn)潛在風險，對可疑交易進行攔截。流處理能提供秒級甚至毫秒級的響應能力。場景2：物聯(lián)網(wǎng)設備監(jiān)控。原因：需要對來自大量設備的傳感器數(shù)據(jù)進行實時采集、分析，以便進行設備健康診斷、故障預警或環(huán)境監(jiān)測。流處理能處理高吞吐量的數(shù)據(jù)并快速響應。場景3：實時推薦系統(tǒng)。原因：需要根據(jù)用戶近期的瀏覽、點擊等行為，實時更新推薦結果。流處理能快速捕捉用戶興趣變化并動態(tài)調整推薦內容。四、論述題1.核心組件或技術：需要數(shù)據(jù)源（如服務器metricsAPI或消息隊列）、流處理引擎（如ApacheFlink或SparkStreaming）、窗口函數(shù)（用于在1分鐘內聚合CPU使用率）、狀態(tài)管理機制（用于存儲每個服務器的累計或峰值CPU使用率狀態(tài)）、以及告警輸出組件（如發(fā)送郵件、短信或記錄到告警系統(tǒng)）。2.窗口定義：使用滑動時間窗口（SlidingWindow），窗口大小設置為1分鐘，滑動步長也為1分鐘。這樣可以持續(xù)地檢查每臺服務器在過去1分鐘內的CPU使用情況。例如，每15秒計算一次過去1分鐘內（或向前滑動15秒）的CPU使用率。3.處理亂序：使用事件時間（服務器上報的CPU使用率數(shù)據(jù)的時間戳）和Watermark機制。設置一個適當?shù)腤atermark延遲（例如，允許最多5秒的亂序數(shù)據(jù)），確保即使數(shù)據(jù)到達較晚，也能被納入正確的窗口進行計算，避免因亂