大數(shù)據(jù)技術(shù)期末考試題及答案

一、單項(xiàng)選擇題（每題2分，共20分）1.以下哪種數(shù)據(jù)存儲格式適合大規(guī)模分布式數(shù)據(jù)存儲？（）A.CSVB.JSONC.ParquetD.XML2.大數(shù)據(jù)的4V特性不包括以下哪一項(xiàng)？（）A.VolumeB.VarietyC.ValueD.Veracity3.以下哪個是Hadoop分布式文件系統(tǒng)？（）A.HDFSB.MapReduceC.YARND.Spark4.Spark中對彈性分布式數(shù)據(jù)集（RDD）進(jìn)行轉(zhuǎn)換操作的函數(shù)是（）A.collectB.filterC.countD.take5.以下哪種數(shù)據(jù)庫適合存儲非結(jié)構(gòu)化數(shù)據(jù)？（）A.MySQLB.OracleC.MongoDBD.SQLServer6.Kafka主要用于（）A.數(shù)據(jù)存儲B.數(shù)據(jù)處理C.消息隊列D.數(shù)據(jù)挖掘7.以下哪個工具常用于數(shù)據(jù)清洗？（）A.HiveB.PigC.FlumeD.DataCleaner8.機(jī)器學(xué)習(xí)中，線性回歸屬于（）A.監(jiān)督學(xué)習(xí)B.無監(jiān)督學(xué)習(xí)C.半監(jiān)督學(xué)習(xí)D.強(qiáng)化學(xué)習(xí)9.在Hive中，創(chuàng)建表的關(guān)鍵字是（）A.CREATETABLEB.INSERTINTOC.SELECTD.UPDATE10.以下哪個不是數(shù)據(jù)可視化工具？（）A.TableauB.MatplotlibC.KafkaD.Echarts二、多項(xiàng)選擇題（每題2分，共20分）1.大數(shù)據(jù)處理流程一般包括（）A.數(shù)據(jù)采集B.數(shù)據(jù)存儲C.數(shù)據(jù)處理D.數(shù)據(jù)分析E.數(shù)據(jù)可視化2.以下屬于NoSQL數(shù)據(jù)庫的有（）A.RedisB.CassandraC.Neo4jD.PostgreSQLE.HBase3.以下哪些是Spark的組件（）A.SparkCoreB.SparkSQLC.SparkStreamingD.MllibE.GraphX4.Hadoop生態(tài)系統(tǒng)包含以下哪些組件（）A.HDFSB.MapReduceC.YARND.HiveE.Pig5.數(shù)據(jù)采集的方式有（）A.網(wǎng)絡(luò)爬蟲B.傳感器采集C.數(shù)據(jù)庫導(dǎo)入D.日志文件收集E.人工錄入6.數(shù)據(jù)挖掘的常用算法有（）A.決策樹B.支持向量機(jī)C.聚類算法D.關(guān)聯(lián)規(guī)則挖掘E.神經(jīng)網(wǎng)絡(luò)7.以下哪些屬于數(shù)據(jù)預(yù)處理操作（）A.數(shù)據(jù)清洗B.數(shù)據(jù)集成C.數(shù)據(jù)變換D.數(shù)據(jù)歸約E.數(shù)據(jù)標(biāo)注8.消息隊列的作用有（）A.解耦B.異步處理C.流量削峰D.日志處理E.數(shù)據(jù)緩存9.數(shù)據(jù)可視化的作用包括（）A.快速理解數(shù)據(jù)B.發(fā)現(xiàn)數(shù)據(jù)規(guī)律C.輔助決策D.展示數(shù)據(jù)之美E.提高數(shù)據(jù)安全性10.以下哪些是分布式計算框架（）A.HadoopB.SparkC.FlinkD.StormE.TensorFlow三、判斷題（每題2分，共20分）1.大數(shù)據(jù)就是數(shù)據(jù)量特別大的數(shù)據(jù)。（×）2.HDFS適合存儲大量的小文件。（×）3.Spark比MapReduce計算效率更高。（√）4.所有的數(shù)據(jù)都需要進(jìn)行清洗。（√）5.無監(jiān)督學(xué)習(xí)不需要標(biāo)記數(shù)據(jù)。（√）6.Kafka只能處理少量數(shù)據(jù)。（×）7.Hive是基于Hadoop的數(shù)據(jù)倉庫工具。（√）8.數(shù)據(jù)可視化可以隨意選擇圖表類型。（×）9.分布式計算框架一定能提高計算速度。（×）10.機(jī)器學(xué)習(xí)算法可以直接處理原始數(shù)據(jù)。（×）四、簡答題（每題5分，共20分）1.簡述大數(shù)據(jù)4V特性的含義。答：Volume（大量）指數(shù)據(jù)量巨大；Variety（多樣）指數(shù)據(jù)類型多樣，如結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化；Velocity（高速）指數(shù)據(jù)產(chǎn)生和處理速度快；Value（價值）指數(shù)據(jù)蘊(yùn)含巨大價值，但密度低。2.簡述Hadoop三大組件的功能。答：HDFS用于分布式存儲海量數(shù)據(jù)；MapReduce是分布式計算框架，負(fù)責(zé)數(shù)據(jù)處理；YARN負(fù)責(zé)資源管理和調(diào)度，為HDFS和MapReduce提供資源支持。3.簡述數(shù)據(jù)清洗的主要任務(wù)。答：主要任務(wù)包括處理缺失值，可采用刪除、填充等方法；處理重復(fù)數(shù)據(jù)，去除完全重復(fù)或部分重復(fù)的數(shù)據(jù)；處理噪聲數(shù)據(jù)，如通過平滑技術(shù)減少異常值影響；糾正錯誤數(shù)據(jù)，依據(jù)規(guī)則修正錯誤記錄。4.簡述Spark的優(yōu)點(diǎn)。答：Spark計算速度快，基于內(nèi)存計算，減少磁盤I/O；編程模型簡潔，支持多種編程語言；具有豐富的組件庫，如SparkSQL、Streaming等，可處理多種類型任務(wù)；可擴(kuò)展性強(qiáng)，能在大規(guī)模集群上運(yùn)行。五、討論題（每題5分，共20分）1.討論大數(shù)據(jù)技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用及面臨的挑戰(zhàn)。答：應(yīng)用有輔助疾病診斷、疾病預(yù)測、藥物研發(fā)等。挑戰(zhàn)包括數(shù)據(jù)隱私和安全問題，醫(yī)療數(shù)據(jù)敏感性高；數(shù)據(jù)質(zhì)量參差不齊，格式多樣；不同醫(yī)療機(jī)構(gòu)數(shù)據(jù)難以整合，存在數(shù)據(jù)孤島現(xiàn)象。2.探討分布式計算框架在大數(shù)據(jù)處理中的重要性。答：重要性在于可利用集群資源處理海量數(shù)據(jù)，提高計算效率和可擴(kuò)展性。能并行處理數(shù)據(jù)，縮短處理時間，應(yīng)對大數(shù)據(jù)的高速特性。還能容錯，部分節(jié)點(diǎn)故障不影響整體運(yùn)行，保障大數(shù)據(jù)處理任務(wù)的穩(wěn)定執(zhí)行。3.分析數(shù)據(jù)可視化在大數(shù)據(jù)分析中的作用及要點(diǎn)。答：作用是將復(fù)雜數(shù)據(jù)直觀展示，便于理解和發(fā)現(xiàn)規(guī)律，輔助決策。要點(diǎn)是選擇合適圖表類型準(zhǔn)確呈現(xiàn)數(shù)據(jù)關(guān)系；避免過度可視化，保持簡潔；標(biāo)注清晰，確保數(shù)據(jù)可解讀；色彩搭配合理，增強(qiáng)視覺效果