2025年大數(shù)據(jù)系統(tǒng)筆試重點(diǎn)題及答案一、選擇題（每題2分，共20題）1.在Hadoop生態(tài)系統(tǒng)中，HDFS的全稱是什么？A.HadoopDistributedFileSystemB.HyperDataFileSystemC.High-PerformanceDataStorageD.HierarchicalDataStorage2.以下哪種數(shù)據(jù)庫(kù)最適合處理大規(guī)模數(shù)據(jù)集？A.關(guān)系型數(shù)據(jù)庫(kù)MySQLB.NoSQL數(shù)據(jù)庫(kù)CassandraC.SQLServerD.MongoDB3.MapReduce模型中，Map階段的輸出是什么？A.單個(gè)鍵值對(duì)B.多個(gè)鍵值對(duì)C.文件D.哈希表4.在Spark中，RDD的持久化級(jí)別有哪些？A.MemoryOnlyB.DiskOnlyC.MemoryAndDiskD.以上都是5.以下哪種技術(shù)可以用于實(shí)時(shí)數(shù)據(jù)流處理？A.HadoopMapReduceB.ApacheStormC.HiveD.HBase6.Hive中，以下哪種文件格式支持列式存儲(chǔ)？A.TextFileB.ORCC.AvroD.Parquet7.在Kafka中，分區(qū)的作用是什么？A.提高吞吐量B.實(shí)現(xiàn)數(shù)據(jù)備份C.限制并發(fā)D.以上都是8.以下哪種數(shù)據(jù)倉(cāng)庫(kù)模型是星型模型？A.SnowflakeB.GalaxyC.StarD.Fact9.在機(jī)器學(xué)習(xí)中的特征工程，以下哪種方法是常用的？A.數(shù)據(jù)清洗B.特征選擇C.數(shù)據(jù)標(biāo)準(zhǔn)化D.以上都是10.以下哪種算法是分類算法？A.線性回歸B.決策樹C.K-MeansD.PCA二、填空題（每空1分，共10空）1.Hadoop的核心組件包括________、________和________。2.Spark的RDD是________的，這意味著它們可以________。3.Kafka的消費(fèi)者組可以確保________。4.Hive中的元數(shù)據(jù)存儲(chǔ)在________中。5.數(shù)據(jù)湖的架構(gòu)主要包含________和________。6.機(jī)器學(xué)習(xí)中的過擬合現(xiàn)象可以通過________來緩解。7.數(shù)據(jù)挖掘的常用方法包括________、________和________。8.在數(shù)據(jù)倉(cāng)庫(kù)中，________是事實(shí)表。9.數(shù)據(jù)清洗的常見問題包括________、________和________。10.時(shí)間序列分析中的常用模型有________和________。三、簡(jiǎn)答題（每題5分，共5題）1.簡(jiǎn)述HDFS的寫入流程。2.解釋Spark中的廣播變量是什么及其用途。3.描述Kafka如何實(shí)現(xiàn)數(shù)據(jù)持久化。4.解釋數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖的區(qū)別。5.簡(jiǎn)述特征工程的步驟。四、計(jì)算題（每題10分，共2題）1.假設(shè)有1000萬條數(shù)據(jù)，每條數(shù)據(jù)包含10個(gè)字段。使用HadoopMapReduce進(jìn)行排序，假設(shè)每個(gè)Map任務(wù)處理100萬條數(shù)據(jù)，每個(gè)Reduce任務(wù)處理100條鍵值對(duì)。計(jì)算總的Map任務(wù)數(shù)和Reduce任務(wù)數(shù)。2.假設(shè)有一個(gè)數(shù)據(jù)流，每秒有1000條記錄。使用ApacheStorm處理這個(gè)數(shù)據(jù)流，假設(shè)有3個(gè)并行度為2的Spout和4個(gè)并行度為3的Bolt。計(jì)算每秒處理的記錄數(shù)。五、論述題（每題15分，共2題）1.論述HadoopMapReduce的優(yōu)缺點(diǎn)。2.論述Spark與HadoopMapReduce的對(duì)比。答案一、選擇題1.A2.B3.B4.D5.B6.B7.D8.C9.D10.B二、填空題1.HDFS、YARN、MapReduce2.彈性的、不可變的3.嚴(yán)格的消息傳遞4.HiveMetastore5.數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理6.正則化7.關(guān)聯(lián)分析、聚類分析、分類分析8.事實(shí)表9.缺失值、異常值、重復(fù)值10.ARIMA、指數(shù)平滑三、簡(jiǎn)答題1.HDFS的寫入流程：-客戶端向NameNode請(qǐng)求寫入文件。-NameNode分配一個(gè)DataNode作為主副本，并選擇其他DataNode作為備份副本。-客戶端向主副本DataNode發(fā)送數(shù)據(jù)塊。-主副本DataNode將數(shù)據(jù)塊寫入磁盤，并通知備份副本DataNode同步數(shù)據(jù)塊。-寫入完成后，客戶端通知NameNode。2.Spark中的廣播變量是只讀變量，可以在所有節(jié)點(diǎn)間高效傳遞。廣播變量的用途是減少網(wǎng)絡(luò)傳輸開銷，當(dāng)同一個(gè)大變量需要在多個(gè)節(jié)點(diǎn)間共享時(shí)，使用廣播變量可以避免重復(fù)傳輸。3.Kafka通過以下方式實(shí)現(xiàn)數(shù)據(jù)持久化：-數(shù)據(jù)在寫入時(shí)會(huì)被寫入到日志中，日志會(huì)以追加方式寫入。-每個(gè)分區(qū)都有Leader和Follower副本，Leader負(fù)責(zé)處理寫請(qǐng)求，F(xiàn)ollower從Leader處同步數(shù)據(jù)。-數(shù)據(jù)在寫入后會(huì)被持久化到磁盤，即使Broker宕機(jī)，數(shù)據(jù)也不會(huì)丟失。4.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)湖的區(qū)別：-數(shù)據(jù)倉(cāng)庫(kù)是結(jié)構(gòu)化的數(shù)據(jù)存儲(chǔ)，用于分析決策，數(shù)據(jù)經(jīng)過清洗和處理。-數(shù)據(jù)湖是非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)，數(shù)據(jù)直接存儲(chǔ)，未經(jīng)過處理。5.特征工程的步驟：-數(shù)據(jù)清洗：處理缺失值、異常值、重復(fù)值。-特征選擇：選擇重要特征，去除冗余特征。-特征轉(zhuǎn)換：對(duì)特征進(jìn)行標(biāo)準(zhǔn)化、歸一化等操作。-特征構(gòu)造：創(chuàng)建新的特征，提高模型性能。四、計(jì)算題1.總的Map任務(wù)數(shù)：1000萬/100萬=10個(gè)總的Reduce任務(wù)數(shù)：1000萬/100=100個(gè)2.每秒處理的記錄數(shù)：-Spout每秒產(chǎn)生記錄數(shù)：1000條-Spout并行度：3個(gè)-每秒總記錄數(shù)：1000*3=3000條-Bolt并行度：4個(gè)-每秒總記錄數(shù)：3000*4=12000條五、論述題1.HadoopMapReduce的優(yōu)缺點(diǎn)：-優(yōu)點(diǎn)：-可擴(kuò)展性強(qiáng)：可以處理大規(guī)模數(shù)據(jù)集。-容錯(cuò)性高：數(shù)據(jù)在多個(gè)節(jié)點(diǎn)上備份，即使部分節(jié)點(diǎn)宕機(jī)，數(shù)據(jù)處理仍然繼續(xù)。-成本低：使用廉價(jià)的商用硬件。-缺點(diǎn)：-處理延遲高：適合批處理，不適用于實(shí)時(shí)數(shù)據(jù)處理。-內(nèi)存使用率高：需要大量?jī)?nèi)存來存儲(chǔ)中間數(shù)據(jù)。-配置復(fù)雜：需要手動(dòng)配置集群參數(shù)。2.Spark與HadoopMapReduce的對(duì)比：-性能：Spark使用內(nèi)存計(jì)算，比MapReduc