大數(shù)據(jù)開(kāi)發(fā)工程師考試試卷一、選擇題（每題3分，共30分）以下哪種分布式文件系統(tǒng)是Hadoop生態(tài)中常用的？（）A.NTFSB.FAT32C.HDFSD.ext4Spark中用于處理結(jié)構(gòu)化數(shù)據(jù)的核心組件是？（）A.SparkCoreB.SparkSQLC.SparkStreamingD.MLlib下列哪項(xiàng)不屬于NoSQL數(shù)據(jù)庫(kù)類(lèi)型？（）A.關(guān)系型數(shù)據(jù)庫(kù)B.文檔型數(shù)據(jù)庫(kù)C.鍵值對(duì)數(shù)據(jù)庫(kù)D.圖數(shù)據(jù)庫(kù)Kafka的消息存儲(chǔ)在（）中。A.主題（Topic）B.分區(qū)（Partition）C.消費(fèi)者組（ConsumerGroup）D.生產(chǎn)者（Producer）Hive中用于創(chuàng)建表的語(yǔ)句是？（）A.CREATETABLEB.INSERTINTOC.SELECTD.UPDATEFlink的計(jì)算模型是基于（）。A.批處理B.流處理C.批流一體D.以上都不對(duì)在Hadoop中，負(fù)責(zé)資源管理和任務(wù)調(diào)度的組件是？（）A.NameNodeB.DataNodeC.ResourceManagerD.NodeManager以下哪種數(shù)據(jù)壓縮格式在Hadoop生態(tài)中具有較好的切片支持？（）A.GzipB.Bzip2C.SnappyD.LZO數(shù)據(jù)倉(cāng)庫(kù)的主要特征不包括（）。A.面向事務(wù)B.集成C.相對(duì)穩(wěn)定D.隨時(shí)間變化下列哪項(xiàng)是數(shù)據(jù)清洗的主要操作？（）A.數(shù)據(jù)轉(zhuǎn)換B.數(shù)據(jù)集成C.處理缺失值D.數(shù)據(jù)挖掘二、填空題（每題3分，共30分）Hadoop的核心組件包括HDFS和___________。Spark的任務(wù)調(diào)度模式有粗粒度模式和___________。常用的ETL工具包括___________（寫(xiě)出一個(gè)即可）。在Kafka中，消息的偏移量（offset）用于記錄___________。Hive的元數(shù)據(jù)存儲(chǔ)在___________中。Flink的時(shí)間語(yǔ)義包括事件時(shí)間、處理時(shí)間和___________。NoSQL數(shù)據(jù)庫(kù)中，MongoDB屬于___________類(lèi)型數(shù)據(jù)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)的三層架構(gòu)包括數(shù)據(jù)源層、___________層和應(yīng)用層。在MapReduce中，Reducer階段的輸入是___________階段的輸出。數(shù)據(jù)質(zhì)量的評(píng)估維度包括準(zhǔn)確性、完整性、___________等。三、判斷題（每題2分，共20分）HDFS不適合存儲(chǔ)大量小文件。（）SparkStreaming是真正意義上的流處理框架。（）Kafka只能用于消息隊(duì)列，不能用于數(shù)據(jù)存儲(chǔ)。（）Hive是基于Hadoop的數(shù)據(jù)倉(cāng)庫(kù)工具，主要用于離線數(shù)據(jù)分析。（）Flink的窗口操作只能基于時(shí)間窗口。（）關(guān)系型數(shù)據(jù)庫(kù)比NoSQL數(shù)據(jù)庫(kù)更適合處理海量非結(jié)構(gòu)化數(shù)據(jù)。（）在Hadoop中，NameNode負(fù)責(zé)存儲(chǔ)實(shí)際的數(shù)據(jù)塊。（）數(shù)據(jù)清洗的目的是提高數(shù)據(jù)的質(zhì)量，為后續(xù)分析提供可靠的數(shù)據(jù)。（）SparkSQL只能處理結(jié)構(gòu)化數(shù)據(jù)，不能處理半結(jié)構(gòu)化數(shù)據(jù)。（）數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是實(shí)時(shí)更新的。（）四、簡(jiǎn)答題（每題10分，共20分）請(qǐng)簡(jiǎn)述Hadoop的HDFS架構(gòu)及其各組件的主要功能。闡述SparkStreaming與Flink在流處理方面的主要區(qū)別。大數(shù)據(jù)開(kāi)發(fā)工程師考試試卷答案一、選擇題答案1.C2.B3.A4.B5.A6.C7.C8.D9.A10.C二、填空題答案1.MapReduce2.細(xì)粒度模式3.Kettle（或其他合理答案）4.消費(fèi)者消費(fèi)消息的位置5.數(shù)據(jù)庫(kù)（如MySQL等）6.攝入時(shí)間7.文檔型8.數(shù)據(jù)倉(cāng)庫(kù)9.Map10.一致性三、判斷題答案1.√2.×3.×4.√5.×6.×7.×8.√9.×10.×四、簡(jiǎn)答題答案Hadoop的HDFS架構(gòu)采用主從結(jié)構(gòu)，主要組件包括NameNode、DataNode和SecondaryNameNode。NameNode是HDFS的主節(jié)點(diǎn)，負(fù)責(zé)管理文件系統(tǒng)的命名空間，維護(hù)文件與數(shù)據(jù)塊的映射關(guān)系等元數(shù)據(jù)信息；DataNode是從節(jié)點(diǎn)，負(fù)責(zé)實(shí)際數(shù)據(jù)塊的存儲(chǔ)和讀寫(xiě)操作；SecondaryNameNode輔助NameNode工作，定期合并編輯日志與命名空間鏡像，防止日志過(guò)大，在一定程度上保障系統(tǒng)的穩(wěn)定性和性能。SparkStreaming與Flink在流處理方面的主要區(qū)別如下：在處理模型上，SparkStreaming采用微批處理模型，將數(shù)據(jù)流劃分為一個(gè)個(gè)小的批次進(jìn)行處理，本質(zhì)上是近實(shí)時(shí)處理；Flink采用真正的流處理模型，基于事件驅(qū)動(dòng)，對(duì)每個(gè)事件進(jìn)行實(shí)時(shí)處理。時(shí)間語(yǔ)義方面，SparkStreaming主要支持處理時(shí)間；Flink支持事件時(shí)間、處理時(shí)間和攝入時(shí)間，能更精準(zhǔn)地處理亂序事件。狀態(tài)管理上，SparkStreaming的狀態(tài)管理