2025年大學《信息與計算科學》專業(yè)題庫——大數據分析與數據處理技術考試時間：______分鐘總分：______分姓名：______一、選擇題（每小題2分，共20分。請將正確選項的字母填在題后的括號內。）1.大數據通常指無法在一定時間范圍內用常規(guī)軟件工具進行捕捉、管理和處理的數據集合，其大小超出傳統(tǒng)數據庫軟件工具捕獲、存儲、管理、處理的能力。以下哪個選項不屬于大數據的典型“V”特征？A.Volume（海量性）B.Velocity（高速性）C.Variety（多樣性）D.Veracity（精確性）2.下列關于Hadoop生態(tài)系統(tǒng)的描述中，錯誤的是？A.HDFS（HadoopDistributedFileSystem）是Hadoop的核心組件之一，用于分布式存儲大數據。B.MapReduce是一種編程模型，用于在Hadoop集群上并行處理和生成大數據集。C.Hive是一個構建在Hadoop之上的數據倉庫工具，用于查詢和分析存儲在HDFS上的大規(guī)模數據集。D.YARN（YetAnotherResourceNegotiator）是Hadoop2.0引入的資源管理器，負責管理集群資源并為各種應用程序提供接口。3.在大數據處理中，批處理（BatchProcessing）和流處理（StreamProcessing）是兩種主要的數據處理模式。下列場景中，最適合采用流處理模式的是？A.定期處理大規(guī)模日志文件以生成用戶行為報告。B.實時監(jiān)控服務器CPU和內存使用情況，并在閾值被超過時發(fā)送警報。C.對存儲在數據倉庫中的銷售數據進行復雜的數據分析以支持決策。D.將多個大型數據集合并成一個統(tǒng)一的數據集進行后續(xù)分析。4.以下哪種技術通常用于處理結構化程度較低的數據，如文本、圖像和音頻？A.關系數據庫管理系統(tǒng)（RDBMS）B.NoSQL數據庫中的鍵值存儲（Key-ValueStore）C.NoSQL數據庫中的文檔數據庫（DocumentDatabase）D.NoSQL數據庫中的列式存儲（Column-FamilyStore）5.數據預處理是大數據分析流程中的關鍵步驟。以下哪項不屬于常見的數據預處理任務？A.數據清洗（處理缺失值、異常值、重復值）B.數據集成（合并來自不同數據源的數據）C.特征工程（創(chuàng)建新的特征或轉換現有特征以提升模型性能）D.數據可視化（將數據分析結果以圖形方式呈現）6.MapReduce模型中，Map階段的輸出（key-valuepairs）在ShuffleandSort階段后，會按照鍵進行排序，并傳遞給Reduce階段的輸入。這種排序的主要目的是？A.提高網絡傳輸效率B.滿足某些排序算法的需求C.確保相同鍵的數據被聚到同一個Reduce任務中進行處理D.增加系統(tǒng)的復雜度以提升性能7.ApacheSpark是一個快速、通用的大數據處理引擎。相較于HadoopMapReduce，Spark的主要優(yōu)勢之一是？A.僅適用于批處理任務B.僅適用于流處理任務C.提供了內存計算能力，可以顯著提高計算速度D.不需要存儲數據，直接在內存中處理8.以下關于數據倉庫（DataWarehouse）的描述中，錯誤的是？A.數據倉庫是面向主題的（Subject-Oriented）。B.數據倉庫是集成的（Integrated）。C.數據倉庫是穩(wěn)定的（Stable），數據更新頻率很高。D.數據倉庫主要用于存儲企業(yè)的運營數據（OLTP）。9.當需要存儲和查詢極其龐大且復雜的圖結構數據時，以下哪種類型的NoSQL數據庫可能最為合適？A.鍵值存儲（Key-ValueStore）B.文檔數據庫（DocumentDatabase）C.列式存儲（Column-FamilyStore）D.圖數據庫（GraphDatabase）10.“數據湖”（DataLake）與“數據倉庫”（DataWarehouse）相比，其主要特點之一是？A.通常存儲結構化數據B.通常存儲半結構化和非結構化數據C.強調數據的實時查詢和分析D.通常采用關系型數據庫管理系統(tǒng)進行管理二、填空題（每空2分，共20分。請將答案填在橫線上。）1.大數據的三大核心特征通常概括為：______、______和______。2.在Hadoop的MapReduce框架中，負責將Map階段的輸出進行排序和分組，并將相同鍵的數據發(fā)送給Reduce任務執(zhí)行的階段稱為______階段。3.Spark的核心抽象之一是______，它是一個不可變的、分治的、只讀的分布式數據集。4.對于需要高速寫入大量數據，并且后續(xù)查詢主要是單點查詢的場景，NoSQL數據庫中的______存儲通常是一個好的選擇。5.數據清洗是數據預處理的重要步驟，處理缺失數據常用的方法包括刪除、填充（如使用均值、中位數、眾數或模型預測）等。處理離群點（Outlier）常用的方法包括______、______等。6.采集網絡爬蟲數據時，需要遵守網站的robots.txt文件規(guī)定，這體現了數據采集過程中的______原則。7.傳統(tǒng)的數據庫系統(tǒng)主要支持OLTP（在線事務處理），而大數據技術更多地服務于OLAP（在線分析處理）和______應用。8.Hive通過將SQL查詢轉化為MapReduce程序（或Spark程序）來實現對大數據的分析，這種技術稱為______。9.在大數據處理架構中，Kappa模型通常認為比Lambda模型更簡單，它用______替代了Lambda模型中的批處理層。10.數據的集成過程可能面臨數據沖突問題，例如來自不同源的同名列名稱不同或數據類型不一致，這需要通過______和______等技術來解決。三、判斷題（每小題2分，共20分。請將“正確”填在題后的括號內，將“錯誤”填在括號內。）1.()HBase是一個面向列的存儲系統(tǒng)，適合存儲結構化數據，并提供隨機實時讀/寫訪問。2.()MapReduce編程模型天然適合處理流數據，能夠實現數據的實時處理。3.()數據倉庫中的數據通常是動態(tài)更新的，以反映最新的業(yè)務狀態(tài)。4.()相比于Hadoop，ApacheSpark在處理小數據集時性能優(yōu)勢并不明顯。5.()數據預處理過程是大數據分析中不可或缺的一步，其質量直接影響最終分析結果的準確性。6.()NoSQL數據庫完全取代了傳統(tǒng)的關系型數據庫，不再需要關系型數據庫。7.()數據采集通常指從網絡或特定系統(tǒng)中自動獲取原始數據的過程。8.()搖滾樂（RockMusic）通常被認為是一種非結構化數據。9.()在大數據處理中，數據的安全性和隱私保護是至關重要的考慮因素，但通常不是技術本身的核心關注點。10.()ApacheFlink是一個開源的流處理框架，它也提供了批處理能力，屬于統(tǒng)一處理引擎。四、簡答題（每小題5分，共15分。）1.簡述Hadoop生態(tài)系統(tǒng)中的HDFS和YARN各自的主要作用。2.簡要說明大數據的“高速性”（Velocity）特征帶來的挑戰(zhàn)以及相應的技術需求。3.列舉三種常見的NoSQL數據庫類型，并簡要說明它們各自的主要適用場景。五、綜合應用題（共25分。）1.假設你需要為一個電商網站構建一個系統(tǒng)，用于實時分析用戶訪問網頁的行為日志（日志格式大致為：用戶ID,時間戳,操作類型(瀏覽/加購/購買),商品ID)。請簡述你會考慮使用哪些大數據處理技術或工具（可以提及具體的組件或框架），并說明選擇這些技術或工具的主要原因。（10分）2.現在需要處理一個存儲在HDFS上的大型文本文件（大小約為10GB），目標是統(tǒng)計其中每個單詞出現的頻率，并輸出頻率最高的10個單詞。請簡述你可以使用HadoopMapReduce或Spark來完成這個任務的基本思路，包括主要的Map和Reduce（或Spark）操作步驟。（15分）試卷答案一、選擇題1.D2.D3.B4.C5.C6.C7.C8.D9.D10.B解析1.大數據的V特征通常指Volume（海量性）、Velocity（高速性）、Variety（多樣性）、Veracity（精確性）等。精確性Veracity強調數據的真實性和可信度，而非V特征本身。2.YARN是Hadoop2.0的資源管理器，負責管理集群資源和調度應用程序，包括MapReduce、Spark、Flink等，它本身不是Hadoop的核心計算組件（計算組件主要是MapReduce本身）。3.流處理適用于需要實時或近實時處理數據的場景，B選項實時監(jiān)控服務器狀態(tài)符合此需求。批處理適用于離線處理大量歷史數據。4.文檔數據庫（如MongoDB）適合存儲結構化程度較低、類似JSON的對象，靈活性高，適合處理Variety大的數據。5.特征工程是在數據預處理之后，模型訓練之前的步驟，目的是提升模型性能，屬于數據分析流程的一部分，而非預處理任務本身。6.MapReduce的ShuffleandSort階段對Map輸出進行排序，確保相同鍵的數據被發(fā)送到同一個Reduce任務，這是Reduce任務聚合數據的前提。7.Spark通過將計算任務緩存于內存中，避免了頻繁的磁盤I/O，相比MapReduce磁盤I/O少的計算模式，提供了顯著的性能提升，尤其是在迭代式算法和交互式查詢中。8.數據倉庫的數據是面向主題的、集成的、穩(wěn)定的，主要用于支持決策（OLAP），而不是存儲企業(yè)的日常運營事務數據（OLTP）。OLTP指的是在線事務處理系統(tǒng)。9.圖數據庫（如Neo4j）專門設計用于存儲和查詢圖結構數據，具有高效的節(jié)點和邊操作能力，最適合處理圖數據。10.數據湖通常采用扁平化的存儲結構，可以直接存儲各種格式（結構化、半結構化、非結構化）的數據，為后續(xù)分析提供靈活的基礎，而數據倉庫通常存儲結構化或經過處理的數據。二、填空題1.海量性,高速性,多樣性2.ShuffleandSort3.RDD(ResilientDistributedDataset)4.鍵值存儲(Key-ValueStore)5.約束刪除(ClusteringRemoval),分箱(Binning)6.合法性/合規(guī)性(Legality/Compliance)7.實時分析處理(Real-timeAnalyticsProcessing)8.查詢引擎(QueryEngine)/數據抽象層(DataAbstractionLayer)9.流處理(StreamProcessing)10.數據標準化(DataNormalization),數據類型轉換(DataTypeConversion)解析1.大數據的三大核心特征是Volume（海量性）、Velocity（高速性）、Variety（多樣性）。2.在MapReduce流程中，Map階段輸出ключ-значениеpairs后，ShuffleandSort階段負責排序和分組，為Reduce階段做準備。3.RDD是Spark的核心抽象，是分布在集群上的、只讀的、可容錯的數據集合。4.鍵值存儲簡單高效，適合快速讀寫鍵值對，尤其適合單點查詢場景。5.處理離群點的方法很多，約束刪除（剔除明顯錯誤的數據）和分箱（將數據映射到不同區(qū)間）是常見技術。6.數據采集需遵守法律法規(guī)和網站規(guī)定，如robots.txt是網站告知爬蟲哪些頁面可以訪問，哪些不可以，這是合法合規(guī)原則的體現。7.傳統(tǒng)數據庫主攻OLTP，大數據技術則常用于需要處理海量、高速、多源數據的OLAP和實時分析處理。8.Hive允許用戶使用類似SQL的語言（HiveQL）來查詢數據，它會將這些查詢轉化成底層的MapReduce或Spark作業(yè)執(zhí)行，實現了SQL查詢與大數據計算引擎的抽象。9.Kappa模型認為事件流本身就能代表所有數據，用流處理系統(tǒng)替代了Lambda模型中用于匯總結果的批處理層。10.數據集成時，不同源系統(tǒng)的列名可能不一致或數據類型不同，需要通過數據標準化（統(tǒng)一命名規(guī)范）和數據類型轉換（統(tǒng)一數據格式）來解決。三、判斷題1.正確2.錯誤3.錯誤4.錯誤5.正確6.錯誤7.正確8.正確9.錯誤10.正確解析1.HBase是Hadoop生態(tài)中的列式存儲數據庫，基于HDFS，提供隨機讀寫能力，適合存儲大規(guī)模稀疏數據，是NoSQL的一種，其設計支持高并發(fā)訪問。2.MapReduce是批處理模型，一次處理一個靜態(tài)的數據集，不適用于實時流數據。實時流處理通常使用如SparkStreaming,Flink,Storm等框架。3.數據倉庫的數據是經過清洗、轉換、整合的歷史數據，通常是靜態(tài)的，用于分析和報告，不強調實時更新。實時數據更新通常由OLTP系統(tǒng)處理。4.Spark在處理小數據集時，其啟動JVM的開銷可能使其表現不如輕量級工具（如Python的Pandas），但在大數據集上優(yōu)勢明顯。5.數據預處理是數據分析和模型構建的基礎，清洗、轉換等步驟的質量直接影響后續(xù)結果的可靠性和有效性。6.NoSQL數據庫提供了不同于關系型數據庫的模型和特性，在很多場景下是關系型數據庫的補充或替代，但關系型數據庫在事務處理、復雜查詢等方面仍有優(yōu)勢，兩者并存。7.數據采集的目的是從各種來源（網站、傳感器、數據庫等）獲取原始數據，自動化獲取是常見方式之一。8.非結構化數據指沒有固定格式或結構的數據，如文本、圖像、音頻、視頻等。搖滾樂是以聲音為主要載體的一種音樂形式，其數字表示（如MP3文件）屬于音頻數據，是典型的非結構化數據。9.數據安全與隱私保護在大數據時代至關重要，是技術設計、法規(guī)遵守和業(yè)務策略的核心組成部分，而非次要關注點。10.Flink是一個分布式處理框架，設計初衷就是為了流處理，但它也提供了強大的批處理能力（基于事件時間），可以實現流批一體化處理，屬于統(tǒng)一處理引擎。四、簡答題1.HDFS（HadoopDistributedFileSystem）是Hadoop的核心組件，提供高容錯、高吞吐量的分布式文件存儲服務，適用于存儲大規(guī)模數據集。YARN（YetAnotherResourceNegotiator）是Hadoop2.x引入的資源管理器，負責管理整個Hadoop集群的計算資源（CPU、內存），并將計算任務（如MapReduce、Spark）調度到集群中的節(jié)點上執(zhí)行。2.大數據的高速性（Velocity）特征帶來的挑戰(zhàn)包括：數據產生速度快，可能需要秒級甚至毫秒級地處理才能及時獲取價值；數據流可能持續(xù)不斷，需要持續(xù)的處理能力；傳統(tǒng)批處理系統(tǒng)無法滿足實時性要求。相應的技術需求包括：低延遲的數據攝入和處理能力；高效的流處理框架；能夠處理無限數據流的架構；實時數據存儲和查詢能力。3.常見的NoSQL數據庫類型有：鍵值存儲（Key-ValueStore），如Redis、Memcached，適用于快速讀寫鍵值對數據，場景如緩存、會話管理；文檔數據庫（DocumentDatabase），如MongoDB、Couchbase，存儲結構化或半結構化的文檔，場景如內容管理系統(tǒng)、用戶數據存儲；列式存儲（Column-FamilyStore），如HBase、Cassandra，適用于存儲大規(guī)模列式數據，支持高效的按列訪問，場景如時間序列數據、寬列存儲；圖數據庫（GraphDatabase），如Neo4j、JanusGraph，專門用于存儲和查詢圖結構數據，場景如社交網絡分析、知識圖譜。各自的適用場景主要取決于數據模型、訪問模式和對靈活性的需求。五、綜合應用題1.構建實時用戶行為日志分析系統(tǒng)，我會考慮使用ApacheSparkStreaming或ApacheFlink。SparkStreaming提供了靈活的API（如DataFrame/DatasetAPI），可以方便地對接Kafka等消息隊列獲取數據流，進行實時數據處理和轉換，并利用Spark的強大計算能力進行聚合分析。Flink在流處理領域以其低延遲、高吞吐量和精確一次（Exactly-once）語義處理而著稱，特別適合對實時性要求極高的場景。選擇這些工具的主要原因是它們都是成熟的大數據處理框架，能夠處理高吞吐量的數據流，提供了豐富的內置函數和窗口機制進行實時計算，并且有活躍的社區(qū)支持。根據具體業(yè)務需求和對延遲、吞吐量、容錯性的要求，可以選擇其中之一或結合使用。如果還需要進行復雜的批處理分析，可以考慮使用SparkB