2025年大學《信息與計算科學》專業(yè)題庫——云計算環(huán)境下的大規(guī)模數(shù)據處理考試時間：______分鐘總分：______分姓名：______一、簡答題（每題5分，共25分）1.請簡述IaaS、PaaS和SaaS三種云計算服務模型的主要區(qū)別。2.Hadoop生態(tài)系統(tǒng)中的HDFS和MapReduce各自的核心功能是什么？3.在云計算環(huán)境下進行大規(guī)模數(shù)據處理，相比傳統(tǒng)本地處理有哪些顯著優(yōu)勢？4.什么是云資源的彈性伸縮（AutoScaling）？它在大規(guī)模數(shù)據處理中起到什么作用？5.描述在大規(guī)模數(shù)據處理系統(tǒng)中，數(shù)據清洗和預處理的重要性。二、論述題（每題10分，共30分）6.云計算提供了多種存儲服務（如對象存儲、塊存儲、文件存儲、數(shù)據庫服務）。請結合大規(guī)模數(shù)據處理的場景，論述不同存儲服務的選擇依據和適用場景。7.以“利用云平臺進行電商用戶行為分析”為例，請論述在云計算環(huán)境下設計該大規(guī)模數(shù)據處理系統(tǒng)時，需要考慮的關鍵技術和架構設計要點。8.比較HadoopMapReduce和Spark在處理大規(guī)模數(shù)據時的主要優(yōu)缺點。在哪些場景下，你更傾向于選擇Spark？請說明理由。三、設計題（15分）9.假設你需要設計一個系統(tǒng)，用于實時處理來自物聯(lián)網（IoT）設備的海量傳感器數(shù)據（如溫度、濕度、光照等）。請簡述你會選擇的云平臺及其服務，并設計一個基本的數(shù)據處理流程，包括數(shù)據采集、存儲、處理和分析的關鍵環(huán)節(jié)。試卷答案一、簡答題1.答案：IaaS（InfrastructureasaService）提供虛擬化的計算、存儲和網絡資源，用戶負責操作系統(tǒng)、應用程序和數(shù)據；PaaS（PlatformasaService）提供運行應用程序的平臺（如數(shù)據庫、中間件），用戶負責應用程序和數(shù)據；SaaS（SoftwareasaService）提供通過互聯(lián)網訪問的軟件應用，用戶只需使用軟件功能，無需關心底層基礎設施和平臺。解析思路：考察對三種服務模型核心提供內容的理解。IaaS是底層硬件虛擬化；PaaS在IaaS之上提供開發(fā)運行環(huán)境；SaaS是應用層服務，即用即走。抓住“用戶負責什么”這個關鍵區(qū)別點。2.答案：HDFS（HadoopDistributedFileSystem）的核心功能是提供高容錯、高吞吐量的分布式文件存儲系統(tǒng)，特別適合存儲大規(guī)模文件。MapReduce的核心功能是提供一個分布式并行計算模型和處理框架，用于對存儲在HDFS上的大規(guī)模數(shù)據集進行高效的批處理計算。解析思路：分別回答HDFS和MapReduce的主要作用。HDFS解決海量數(shù)據存儲問題；MapReduce解決海量數(shù)據并行計算問題。強調其與對方的關系（HDFS是MapReduce的底層存儲）。3.答案：優(yōu)勢包括：按需付費，避免資源浪費；彈性伸縮，根據負載自動調整資源，應對數(shù)據峰值；高可用性，云平臺提供容災備份；豐富的云服務生態(tài)，提供托管式大數(shù)據處理框架，簡化開發(fā)和運維；全球分布，方便構建分布式處理集群。解析思路：從成本、彈性、可靠性、易用性、擴展性等角度闡述云環(huán)境處理大數(shù)據的優(yōu)勢。這些都是云計算和大數(shù)據結合帶來的典型好處。4.答案：彈性伸縮（AutoScaling）是指根據預設的規(guī)則或實時監(jiān)測到的負載情況（如CPU使用率、請求量），自動調整云資源（如虛擬機實例數(shù)量）的過程。它在大規(guī)模數(shù)據處理中作用是確保系統(tǒng)能夠動態(tài)適應數(shù)據處理的負載變化，保證處理任務的及時完成，同時優(yōu)化成本，避免在低負載時支付不必要的資源費用。解析思路：首先解釋彈性伸縮的定義（自動增減資源）。然后說明其核心作用：應對負載變化（高峰低谷）和優(yōu)化成本。將其與大規(guī)模數(shù)據處理的動態(tài)性聯(lián)系起來。5.答案：大規(guī)模數(shù)據往往來源多樣、格式各異、包含噪聲和錯誤，直接使用會導致分析結果偏差甚至錯誤。數(shù)據清洗（去除無關信息、糾正錯誤格式、處理缺失值）和預處理（數(shù)據集成、數(shù)據變換、數(shù)據規(guī)約）是確保數(shù)據質量、使數(shù)據符合分析模型要求的關鍵步驟，是提高后續(xù)分析準確性和有效性的基礎。解析思路：強調數(shù)據“臟”的問題在大數(shù)據中普遍存在。說明清洗和預處理的目的：提升數(shù)據質量、適配分析需求。將其定位為后續(xù)分析的基礎和關鍵環(huán)節(jié)。二、論述題6.答案：選擇依據主要考慮數(shù)據類型、訪問模式、性能要求、成本預算和開發(fā)維護復雜度。對象存儲（如S3/OSS）適合存儲大量不經常訪問的靜態(tài)文件或無結構數(shù)據，具有高擴展性和低廉成本；塊存儲適合需要低延遲隨機訪問的數(shù)據庫或應用；文件存儲適合存儲結構化或半結構化的文件，提供共享文件系統(tǒng)；數(shù)據庫服務（如RDS,DynamoDB）提供托管式的數(shù)據庫，簡化數(shù)據庫管理和運維，提供高可用和彈性。適用場景則分別對應上述數(shù)據類型和訪問模式的應用，例如海量圖片視頻采用對象存儲，核心業(yè)務數(shù)據庫采用托管數(shù)據庫服務。解析思路：首先提出選擇的關鍵維度。然后逐一分析不同存儲類型的核心特點及其最適合的應用場景。需要結合大規(guī)模數(shù)據處理的常見需求（如海量、多樣、高并發(fā)、低成本等）來解釋。7.答案：設計該系統(tǒng)時，關鍵技術和架構設計要點包括：選擇合適的云平臺（如AWS,Azure,GCP），利用其提供的托管大數(shù)據服務（如AWSEMR,AzureDatabricks,GCPDataproc）簡化集群管理和部署；采用實時數(shù)據流處理技術（如Kafka+Flink/SparkStreaming）處理用戶行為日志，實現(xiàn)秒級響應；使用分布式文件系統(tǒng)（如HDFS,S3）存儲原始日志和中間/結果數(shù)據；利用大數(shù)據分析引擎（如SparkSQL,Hive）進行批處理分析，挖掘用戶畫像和購物偏好；結合機器學習平臺（如SageMaker,AzureML）構建個性化推薦模型；設計彈性的資源伸縮策略以應對流量高峰；關注數(shù)據安全和隱私保護（如數(shù)據加密、訪問控制）。解析思路：從宏觀架構角度展開，覆蓋技術選型（平臺、服務）、數(shù)據處理鏈路（采集、存儲、流處理、批處理、分析）、關鍵技術（實時處理、分布式存儲、分析引擎、ML）、運行策略（彈性伸縮、安全）等關鍵方面。體現(xiàn)云計算的“服務化”和“平臺化”特點。8.答案：優(yōu)點：Spark性能更高（內存計算、更優(yōu)的調度算法）；支持更多數(shù)據源和格式；接口統(tǒng)一（RDD,DataFrame,SQL）；生態(tài)系統(tǒng)更豐富（MLlib,GraphX）；更適合交互式查詢和迭代算法；部署更靈活（如SparkStandalone,YARN,Kubernetes）。缺點：資源消耗相對較高（對內存要求高）；對于極簡單的批處理任務，MapReduce可能更直接；生態(tài)系統(tǒng)雖然豐富但也可能更復雜。更傾向于選擇Spark的場景：需要高吞吐量或低延遲交互式查詢；需要進行復雜的數(shù)據轉換和分析；需要利用其豐富的庫（如機器學習）；項目對性能和易用性要求高。理由是基于具體的應用需求和性能指標，Spark通常能提供更好的綜合體驗。解析思路：先分別列出兩者優(yōu)缺點，客觀比較。然后根據具體場景（應用需求、性能要求、功能需求）給出選擇傾向，并清晰闡述選擇理由，體現(xiàn)對技術的理解和判斷能力。三、設計題9.答案：云平臺選擇：AWS（利用其完善的IoT服務和大數(shù)據服務）。主要服務：使用AWSIoTCore采集和傳輸設備數(shù)據；使用S3存儲原始時序數(shù)據；使用KinesisDataStreams進行實時數(shù)據流的緩沖和傳輸；使用KinesisDataFirehose將數(shù)據加載到數(shù)據倉庫或湖（如S3,Redshift）；使用Glue進行數(shù)據目錄建設和ETL；使用EMR或Redshift進行數(shù)據批處理和分析；使用QuickSight進行可視化?；玖鞒蹋篒oT設備通過MQTT協(xié)議將傳感器數(shù)據發(fā)送到IoTCore；IoTCore對數(shù)據進行規(guī)則篩選和轉換，并將數(shù)據發(fā)送到KinesisDataStreams；Streams緩沖數(shù)據，然后通過Firehose自動加載到S3的數(shù)據湖或直接加載到Redshift數(shù)據倉庫；使用Glue發(fā)現(xiàn)數(shù)據schema并創(chuàng)建ETL任務；在EMR或Redshift上運行Spark或SQ