計(jì)算機(jī)2025年計(jì)算機(jī)大數(shù)據(jù)技術(shù)專項(xiàng)考考試時(shí)間：______分鐘總分：______分姓名：______一、選擇題（每題2分，共20分。請將正確選項(xiàng)字母填入括號(hào)內(nèi)）1.下列哪一項(xiàng)不屬于大數(shù)據(jù)通常描述的“V3V”特征？A.Volume（海量性）B.Velocity（高速性）C.Variety（多樣性）D.Veracity（真實(shí)性）2.Hadoop分布式文件系統(tǒng)（HDFS）的設(shè)計(jì)原則之一是高容錯(cuò)性，這主要通過什么機(jī)制實(shí)現(xiàn)？A.實(shí)時(shí)鏡像備份B.數(shù)據(jù)塊（Block）的副本機(jī)制C.元數(shù)據(jù)校驗(yàn)和自動(dòng)恢復(fù)D.分布式鎖管理3.在MapReduce框架中，Map階段的輸出（IntermediateOutput）會(huì)存儲(chǔ)在哪里？A.最終輸出文件目錄（OutputDirectory）B.本節(jié)點(diǎn)的內(nèi)存中，隨后刷新到本地磁盤C.NameNode的內(nèi)存中D.DataNode的內(nèi)存中4.YARN（YetAnotherResourceNegotiator）在Hadoop生態(tài)中的核心作用是？A.存儲(chǔ)和處理大數(shù)據(jù)文件B.執(zhí)行MapReduce任務(wù)的具體計(jì)算C.管理和調(diào)度集群中的計(jì)算資源D.為HDFS提供高可用性5.相比于傳統(tǒng)的迭代式算法，Spark的核心優(yōu)勢在于？A.顯著降低了數(shù)據(jù)傳輸開銷B.能夠直接處理小數(shù)據(jù)集C.極大地提高了磁盤I/O效率D.通過內(nèi)存計(jì)算大幅提升了計(jì)算速度6.在Spark中，RDD（ResilientDistributedDataset）的“彈性”或“容錯(cuò)”特性主要依靠什么實(shí)現(xiàn)？A.數(shù)據(jù)自動(dòng)備份B.依賴邊的有向無環(huán)圖（DAG）C.檢查點(diǎn)（Checkpoint）機(jī)制D.事務(wù)日志記錄7.以下哪個(gè)組件是ApacheHive用于元數(shù)據(jù)管理的核心部分？A.HiveServer2B.HiveMetastoreC.HiveQL解釋器D.HDFSNameNode8.HBase是一個(gè)典型的？A.關(guān)系型數(shù)據(jù)庫管理系統(tǒng)B.分布式文件系統(tǒng)C.列式存儲(chǔ)數(shù)據(jù)庫D.內(nèi)存數(shù)據(jù)庫9.SparkSQL和DataFrames的主要優(yōu)勢在于？A.完全避免了Shuffle操作B.提供了更豐富的內(nèi)置函數(shù)和更優(yōu)化的查詢執(zhí)行計(jì)劃C.默認(rèn)存儲(chǔ)數(shù)據(jù)在內(nèi)存中D.只能處理結(jié)構(gòu)化數(shù)據(jù)10.以下哪種技術(shù)通常用于處理高速流入的數(shù)據(jù)流？A.ApacheHiveB.ApacheStormC.ApacheHBaseD.ApacheSqoop二、填空題（每空1分，共15分。請將答案填入橫線上）1.大數(shù)據(jù)處理的“3V”特征通常指__________、__________和__________。2.HDFS默認(rèn)的數(shù)據(jù)塊（Block）大小為__________字節(jié)。3.MapReduce模型中，Map階段的輸入是鍵值對（key-value），輸出也是鍵值對，其中間輸出的Key通常是__________。4.Spark支持兩種主要的運(yùn)行模式：____________模式和____________模式。5.Hive中的基本數(shù)據(jù)類型包括__________、__________、____________、__________和__________。6.HBase中，表（Table）由行（Row）組成，行由行鍵（RowKey）唯一標(biāo)識(shí)，每個(gè)行內(nèi)數(shù)據(jù)存儲(chǔ)在多個(gè)列族（ColumnFamily）中，列族內(nèi)的數(shù)據(jù)以（ColumnQualifier,__________）的形式存儲(chǔ)。7.實(shí)時(shí)大數(shù)據(jù)處理框架相比批處理框架，更強(qiáng)調(diào)__________和__________。三、判斷題（每題1分，共10分。請將“正確”或“錯(cuò)誤”填入括號(hào)內(nèi)）1.HadoopMapReduce適合處理所有類型的大規(guī)模數(shù)據(jù)集，包括交互式查詢。（）2.HDFS適合存儲(chǔ)大量小文件，因?yàn)樗梢猿浞掷肗ameNode的內(nèi)存。（）3.YARN架構(gòu)使得Hadoop集群可以運(yùn)行除了MapReduce之外的其他計(jì)算框架，如Spark、Flink等。（）4.SparkRDD是懶加載的，只有當(dāng)操作被觸發(fā)時(shí)，其依賴的數(shù)據(jù)才會(huì)被計(jì)算。（）5.SparkDataFrame是SparkRDD的升級(jí)版，它提供了更豐富的API，并且執(zhí)行效率更高，因?yàn)槠涞讓訒?huì)自動(dòng)進(jìn)行優(yōu)化。（）6.HiveQL（HadoopQueryLanguage）與SQL語言非常相似，可以方便地使用SQL進(jìn)行大數(shù)據(jù)分析。（）7.HBase是一個(gè)面向列的數(shù)據(jù)庫，其讀寫性能與表中數(shù)據(jù)的行數(shù)成正比。（）8.由于數(shù)據(jù)在傳輸過程中存在網(wǎng)絡(luò)開銷，MapReduce任務(wù)通常不適合處理需要大量數(shù)據(jù)間交互的計(jì)算。（）9.ApacheKafka通常被用作大數(shù)據(jù)處理生態(tài)系統(tǒng)中的消息隊(duì)列，它可以處理高吞吐量的數(shù)據(jù)流。（）10.機(jī)器學(xué)習(xí)算法通常需要處理大規(guī)模、高維度的數(shù)據(jù)，是大數(shù)據(jù)技術(shù)應(yīng)用的重要領(lǐng)域之一。（）四、簡答題（每題5分，共20分。請簡明扼要地回答下列問題）1.簡述Hadoop生態(tài)系統(tǒng)中HDFS和YARN各自的主要功能。2.解釋什么是Spark的“惰性求值”（LazyEvaluation）機(jī)制，并說明其優(yōu)點(diǎn)。3.列舉至少三個(gè)HiveQL的優(yōu)點(diǎn)。4.說明HBase適用于哪些類型的應(yīng)用場景，并簡述其原因。五、論述/設(shè)計(jì)題（共25分）1.（15分）設(shè)計(jì)一個(gè)基于Spark的大數(shù)據(jù)處理流程，用于分析用戶行為日志數(shù)據(jù)。該日志數(shù)據(jù)包含用戶ID、時(shí)間戳、頁面URL、操作類型（點(diǎn)擊、瀏覽、購買等）等信息。請簡述該流程的主要步驟，包括數(shù)據(jù)讀取、必要的清洗和轉(zhuǎn)換操作（例如，過濾無效記錄、提取小時(shí)信息、統(tǒng)計(jì)不同頁面的點(diǎn)擊次數(shù)）、以及最終結(jié)果（例如，按用戶統(tǒng)計(jì)購買頁面的Top10）的聚合和輸出。請說明選擇Spark進(jìn)行此任務(wù)的理由。2.（10分）比較MapReduce和Spark在處理大規(guī)模數(shù)據(jù)集時(shí)的主要區(qū)別（至少從三個(gè)方面進(jìn)行比較，例如：編程模型、執(zhí)行模型、內(nèi)存使用、容錯(cuò)機(jī)制、生態(tài)系統(tǒng)等），并分析Spark相比MapReduce的優(yōu)勢所在。六、編程題（共10分）請使用PySpark編寫一段代碼，實(shí)現(xiàn)以下功能：從一個(gè)名為`input_data`的SparkDataFrame中讀取數(shù)據(jù)，該DataFrame包含兩列：`user_id`（用戶ID，字符串類型）和`action`（用戶行為，字符串類型）。該代碼需要執(zhí)行以下操作：1.過濾掉`action`為`'logout'`的記錄。2.按照用戶ID(`user_id`)進(jìn)行分組。3.對每個(gè)用戶，統(tǒng)計(jì)其執(zhí)行了`'click'`行為的次數(shù)。4.將結(jié)果按照用戶執(zhí)行`'click'`行為的次數(shù)降序排列，并展示前10個(gè)用戶及其點(diǎn)擊次數(shù)。試卷答案一、選擇題1.A2.B3.B4.C5.D6.B7.B8.C9.B10.B二、填空題1.海量性,高速性,多樣性2.128MB3.Key4.本地模式,分布式模式5.字符串(String),整數(shù)(Integer),浮點(diǎn)數(shù)(Double),布爾值(Boolean),字符串(String)*(注：Hive基本類型通常不包含String)*或文本(Text)*(注：Hive中String通常映射為Text)*6.時(shí)間戳(Timestamp)或版本號(hào)Version7.低延遲,實(shí)時(shí)性三、判斷題1.錯(cuò)誤2.錯(cuò)誤3.正確4.正確5.正確6.正確7.錯(cuò)誤*(注：HBase讀寫性能主要與列族和數(shù)據(jù)分布有關(guān)，與行數(shù)非線性相關(guān))*8.錯(cuò)誤*(注：MapReduce需要數(shù)據(jù)交互，存在Shuffle開銷，但并非完全不適合)*9.正確10.正確四、簡答題1.HDFS主要功能是存儲(chǔ)大規(guī)模數(shù)據(jù)集，提供高容錯(cuò)、高吞吐量的數(shù)據(jù)訪問能力，管理文件系統(tǒng)的元數(shù)據(jù)。YARN主要功能是資源管理和任務(wù)調(diào)度，負(fù)責(zé)管理和分配集群中的計(jì)算資源，允許集群運(yùn)行多種計(jì)算框架。2.惰性求值是指Spark在執(zhí)行代碼時(shí)，并不會(huì)立即執(zhí)行Stage中的任務(wù)，而是將操作構(gòu)建成一個(gè)DirectedAcyclicGraph（DAG），只有在計(jì)算某個(gè)操作的結(jié)果（觸發(fā)Action，如collect、save等）時(shí)，才會(huì)對DAG中的任務(wù)進(jìn)行實(shí)際執(zhí)行和優(yōu)化。優(yōu)點(diǎn)包括：可以進(jìn)行查詢優(yōu)化（如謂詞下推、項(xiàng)目下推），減少不必要的計(jì)算和數(shù)據(jù)傳輸，提高執(zhí)行效率；延遲執(zhí)行使得代碼更易于編寫和調(diào)試。3.HiveQL的優(yōu)點(diǎn)：提供類似SQL的接口，降低了使用大數(shù)據(jù)技術(shù)的門檻，方便有SQL基礎(chǔ)的開發(fā)人員使用；將查詢編譯成MapReduce/Tez/Spark等物理執(zhí)行計(jì)劃，可以利用Hadoop生態(tài)的強(qiáng)大能力處理大規(guī)模數(shù)據(jù)；支持?jǐn)?shù)據(jù)倉庫的常見分析功能（如ETL、聚合、連接等）；易于進(jìn)行數(shù)據(jù)治理和元數(shù)據(jù)管理。4.HBase適用于需要隨機(jī)、實(shí)時(shí)讀寫訪問大量數(shù)據(jù)的場景，特別是對數(shù)據(jù)訪問模式要求高并發(fā)、低延遲的場景。原因：HBase是基于列式存儲(chǔ)的分布式數(shù)據(jù)庫，數(shù)據(jù)模型（行鍵、列族）天然支持快速的隨機(jī)讀寫；采用LSM樹結(jié)構(gòu)，寫入性能高；數(shù)據(jù)分布和分區(qū)機(jī)制優(yōu)化了并發(fā)訪問；支持?jǐn)?shù)據(jù)的版本管理，適合記錄變更數(shù)據(jù)；集成在Hadoop生態(tài)中，能處理海量數(shù)據(jù)。五、論述/設(shè)計(jì)題1.流程設(shè)計(jì)：a.數(shù)據(jù)讀取：使用Spark讀取存儲(chǔ)在HDFS或其他支持的存儲(chǔ)系統(tǒng)（如Kafka）中的用戶行為日志文件（例如，CSV或JSON格式），創(chuàng)建SparkDataFrame`input_df`。b.數(shù)據(jù)清洗與轉(zhuǎn)換：進(jìn)行數(shù)據(jù)過濾，去除空值、無效格式的記錄。提取日志中的時(shí)間戳，轉(zhuǎn)換為小時(shí)信息，創(chuàng)建新列`hour_of_day`。過濾掉`action`為`'logout'`的記錄。將`action`轉(zhuǎn)換為統(tǒng)一的小寫形式（如`'click'`,`'view'`,`'purchase'`）。c.數(shù)據(jù)聚合：按`user_id`和`hour_of_day`進(jìn)行分組，統(tǒng)計(jì)每個(gè)用戶在每個(gè)小時(shí)內(nèi)的不同`action`次數(shù)。d.結(jié)果計(jì)算：從上一步結(jié)果中，篩選出`action`為`'click'`的記錄，按`user_id`進(jìn)行分組，計(jì)算每個(gè)用戶總的`'click'`次數(shù)。e.結(jié)果排序與輸出：將結(jié)果按照`click_count`進(jìn)行降序排列，取前10個(gè)記錄。將結(jié)果存儲(chǔ)到HDFS或其他結(jié)果系統(tǒng)中，或使用SparkUI展示。選擇Spark理由：該任務(wù)涉及大規(guī)模數(shù)據(jù)集的處理，需要高效的分布式計(jì)算能力；Spark支持多種數(shù)據(jù)源讀取和輸出，易于集成；SparkSQL和DataFrame/DatasetAPI可以簡化數(shù)據(jù)處理邏輯的編寫；SparkStreaming（如果數(shù)據(jù)源是流）或SparkBatch（如果數(shù)據(jù)是文件）可以滿足不同數(shù)據(jù)接入方式的需求；Spark的內(nèi)存計(jì)算特性能加速數(shù)據(jù)處理和聚合操作。2.比較：a.編程模型：MapReduce使用基于Java的Map和Reduce函數(shù)的編程模型，較為底層和繁瑣；Spark提供更高級(jí)的API，如RDD、DataFrame、Dataset，抽象層次更高，更易于使用和維護(hù)。b.執(zhí)行模型：MapReduce是迭代式執(zhí)行模型，每個(gè)Map和Reduce任務(wù)執(zhí)行完成后才會(huì)執(zhí)行下一個(gè)；Spark是基于DAG的惰性執(zhí)行模型，操作構(gòu)建成圖后統(tǒng)一執(zhí)行，可以進(jìn)行優(yōu)化。c.內(nèi)存使用：MapReduce主要計(jì)算在磁盤上進(jìn)行，僅少量數(shù)據(jù)在Map任務(wù)中可能進(jìn)入內(nèi)存；Spark設(shè)計(jì)目標(biāo)是將計(jì)算和數(shù)據(jù)盡可能緩存到內(nèi)存中，實(shí)現(xiàn)內(nèi)存計(jì)算，顯著提升性能。d.容錯(cuò)機(jī)制：MapReduce通過重新計(jì)算丟失的Task實(shí)現(xiàn)容錯(cuò)；Spark通過RDD的lineage機(jī)制（恢復(fù)丟失數(shù)據(jù)）和持久化（恢復(fù)計(jì)算結(jié)果）實(shí)現(xiàn)更快速、更靈活的容錯(cuò)。e.生態(tài)系統(tǒng)：MapReduce是Hadoop的核心，生態(tài)相對較早；Spark擁有獨(dú)立的、更活躍的生態(tài)系統(tǒng)（如SparkSQL,MLlib,GraphX,SparkStreaming,StructuredStreaming），功能更全面。Spark優(yōu)勢：主要優(yōu)勢在于其內(nèi)存計(jì)算模型帶來的性能提升（數(shù)倍甚至數(shù)十倍），更高級(jí)的編程接口（易用性），更豐富的API（功能全面性），以及更靈活高效的容錯(cuò)機(jī)制。六、編程題```pythonfrompyspark.sqlimportSparkSession#初始化SparkSessionspark=SparkSession.builder\.appName("ClickCount")\.getOrCreate()#讀取數(shù)據(jù)，假設(shè)input_dataDataFrame已存在#df=spark.read.csv("path_to_input_data.csv",header=True,inferSchema=True)#示例讀取方式#df=spark.read.json("path_to_input_data.json")#示例讀取方式#此處假設(shè)input_data已經(jīng)準(zhǔn)備好#input_df=df#假設(shè)input_data就是傳入的DataFrame#假設(shè)input_dataDataFrame結(jié)構(gòu)如下：#+---------+-------+#|user_id|action|#+---------+-------+#|"user1"|"click"|#|"user1"|"view"|#|"us