云大數(shù)據(jù)處理實(shí)踐評(píng)估試題及答案考試時(shí)長(zhǎng)：120分鐘滿分：100分試卷名稱：云大數(shù)據(jù)處理實(shí)踐評(píng)估試題考核對(duì)象：信息技術(shù)專(zhuān)業(yè)學(xué)生、行業(yè)從業(yè)者（中等級(jí)別）題型分值分布：-判斷題（10題，每題2分）總分20分-單選題（10題，每題2分）總分20分-多選題（10題，每題2分）總分20分-案例分析（3題，每題6分）總分18分-論述題（2題，每題11分）總分22分總分：100分---一、判斷題（每題2分，共20分）1.云大數(shù)據(jù)處理平臺(tái)必須依賴物理服務(wù)器硬件才能運(yùn)行。2.Hadoop生態(tài)系統(tǒng)中的HDFS和YARN是同一層級(jí)的組件。3.大數(shù)據(jù)處理的3V特征不包括“實(shí)時(shí)性”。4.SparkSQL可以無(wú)縫兼容HiveQL進(jìn)行數(shù)據(jù)查詢。5.數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)是同一概念，只是命名不同。6.分布式文件系統(tǒng)（DFS）天然具備高容錯(cuò)性。7.云大數(shù)據(jù)服務(wù)中，Elasticsearch主要用于實(shí)時(shí)日志分析。8.MapReduce模型中，Map階段和Reduce階段可以并行執(zhí)行。9.數(shù)據(jù)脫敏是大數(shù)據(jù)安全存儲(chǔ)的必要環(huán)節(jié)。10.微服務(wù)架構(gòu)下，大數(shù)據(jù)處理任務(wù)必須集中部署。二、單選題（每題2分，共20分）1.下列哪種技術(shù)最適合處理超大規(guī)模稀疏矩陣運(yùn)算？A.MapReduceB.SparkMLlibC.HBaseD.Redis2.云大數(shù)據(jù)平臺(tái)中，Kafka主要用于：A.數(shù)據(jù)存儲(chǔ)B.實(shí)時(shí)消息隊(duì)列C.圖計(jì)算D.數(shù)據(jù)可視化3.Hadoop生態(tài)中，負(fù)責(zé)資源管理的組件是：A.HiveB.YARNC.SparkD.Flume4.以下哪種存儲(chǔ)格式最適合SparkSQL優(yōu)化查詢？A.JSONB.ParquetC.AvroD.CSV5.大數(shù)據(jù)實(shí)時(shí)處理框架Flink的核心優(yōu)勢(shì)是：A.高吞吐量B.低延遲C.高容錯(cuò)性D.以上都是6.數(shù)據(jù)湖架構(gòu)中，數(shù)據(jù)存儲(chǔ)前通常不需要：A.格式統(tǒng)一B.元數(shù)據(jù)管理C.預(yù)處理D.數(shù)據(jù)清洗7.下列哪種場(chǎng)景最適合使用Presto進(jìn)行數(shù)據(jù)查詢？A.實(shí)時(shí)流處理B.交互式分析C.事務(wù)型存儲(chǔ)D.圖數(shù)據(jù)挖掘8.云大數(shù)據(jù)服務(wù)中，S3存儲(chǔ)的典型應(yīng)用是：A.內(nèi)存緩存B.對(duì)象存儲(chǔ)C.分布式計(jì)算D.數(shù)據(jù)庫(kù)索引9.大數(shù)據(jù)ETL流程中，數(shù)據(jù)清洗環(huán)節(jié)通常位于：A.數(shù)據(jù)采集后B.數(shù)據(jù)存儲(chǔ)后C.數(shù)據(jù)分析后D.數(shù)據(jù)可視化后10.以下哪種技術(shù)不屬于分布式計(jì)算范疇？A.SparkB.FlinkC.HadoopD.MongoDB三、多選題（每題2分，共20分）1.大數(shù)據(jù)處理的典型應(yīng)用場(chǎng)景包括：A.用戶畫(huà)像分析B.金融風(fēng)控C.物聯(lián)網(wǎng)監(jiān)控D.靜態(tài)報(bào)表生成2.Hadoop生態(tài)中的組件可能涉及：A.HDFSB.HiveC.KafkaD.TensorFlow3.云大數(shù)據(jù)平臺(tái)的安全措施可能包含：A.數(shù)據(jù)加密B.訪問(wèn)控制C.容器化部署D.網(wǎng)絡(luò)隔離4.Spark的核心特性有：A.內(nèi)存計(jì)算B.生態(tài)集成C.低延遲D.分布式存儲(chǔ)5.數(shù)據(jù)湖架構(gòu)的優(yōu)勢(shì)包括：A.成本低B.靈活性高C.數(shù)據(jù)一致性強(qiáng)D.支持多種格式6.實(shí)時(shí)大數(shù)據(jù)處理框架可能涉及：A.StormB.SparkStreamingC.HBaseD.Elasticsearch7.云大數(shù)據(jù)服務(wù)中，數(shù)據(jù)治理可能包括：A.元數(shù)據(jù)管理B.數(shù)據(jù)血緣追蹤C(jī).數(shù)據(jù)質(zhì)量監(jiān)控D.機(jī)器學(xué)習(xí)模型部署8.分布式文件系統(tǒng)的常見(jiàn)特性有：A.容錯(cuò)性B.可擴(kuò)展性C.高并發(fā)D.單點(diǎn)故障9.大數(shù)據(jù)ETL工具可能包含：A.ApacheNiFiB.TalendC.InformaticaD.KafkaConnect10.云大數(shù)據(jù)平臺(tái)的服務(wù)模式可能包括：A.IaaSB.PaaSC.SaaSD.BaaS四、案例分析（每題6分，共18分）1.場(chǎng)景：某電商平臺(tái)需處理每日10GB用戶行為日志，要求1小時(shí)內(nèi)完成用戶活躍度分析，數(shù)據(jù)存儲(chǔ)在HDFS上，需支持SQL查詢。請(qǐng)問(wèn)：（1）應(yīng)選擇哪種大數(shù)據(jù)處理框架？簡(jiǎn)述理由。（2）若需優(yōu)化查詢性能，可采取哪些技術(shù)手段？2.場(chǎng)景：某金融公司部署了云大數(shù)據(jù)平臺(tái)，使用Kafka收集交易流水，通過(guò)Spark實(shí)時(shí)計(jì)算異常交易，并存儲(chǔ)至Elasticsearch供風(fēng)控系統(tǒng)調(diào)用。請(qǐng)問(wèn)：（1）該架構(gòu)中，Kafka和Elasticsearch分別承擔(dān)什么角色？（2）若交易數(shù)據(jù)量突增，可能導(dǎo)致哪些性能瓶頸？如何緩解？3.場(chǎng)景：某企業(yè)需構(gòu)建數(shù)據(jù)湖，存儲(chǔ)結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)，要求支持多團(tuán)隊(duì)協(xié)作開(kāi)發(fā)分析任務(wù)。請(qǐng)問(wèn)：（1）數(shù)據(jù)湖與數(shù)據(jù)倉(cāng)庫(kù)有何區(qū)別？（2）為保障數(shù)據(jù)質(zhì)量，應(yīng)實(shí)施哪些治理措施？五、論述題（每題11分，共22分）1.試述SparkSQL相較于傳統(tǒng)SQL-on-Hadoop的優(yōu)勢(shì)，并分析其適用場(chǎng)景。2.結(jié)合實(shí)際案例，論述云大數(shù)據(jù)平臺(tái)在中小企業(yè)數(shù)字化轉(zhuǎn)型中的應(yīng)用價(jià)值及挑戰(zhàn)。---標(biāo)準(zhǔn)答案及解析一、判斷題1.×（云大數(shù)據(jù)可基于虛擬化資源，無(wú)需物理服務(wù)器）2.×（HDFS是存儲(chǔ)層，YARN是資源管理層）3.×（3V：Volume、Velocity、Variety）4.√5.×（數(shù)據(jù)湖非結(jié)構(gòu)化，數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)化）6.√7.√8.√9.√10.×（可微服務(wù)化部署）二、單選題1.B（MLlib專(zhuān)為分布式計(jì)算設(shè)計(jì)）2.B3.B4.B（Parquet支持列式存儲(chǔ)優(yōu)化）5.D6.A（數(shù)據(jù)湖存儲(chǔ)前無(wú)需格式統(tǒng)一）7.B（Presto支持交互式分析）8.B9.A10.D（MongoDB是NoSQL數(shù)據(jù)庫(kù)）三、多選題1.ABC2.ABC3.ABD4.ABD5.ABD6.ABD7.ABCD8.ABC9.ABCD10.ABC四、案例分析1.（1）應(yīng)選擇Spark，因其支持內(nèi)存計(jì)算，適合實(shí)時(shí)分析；（2）優(yōu)化手段：使用DataFrame/DatasetAPI、調(diào)整shuffle策略、增加分區(qū)數(shù)。2.（1）Kafka：消息隊(duì)列，緩沖實(shí)時(shí)數(shù)據(jù)；Elasticsearch：搜索分析引擎，支持風(fēng)控查詢；（2）瓶頸：Kafka吞吐量、Spark內(nèi)存；緩解：增加Broker副本、使用Flink替代Spark。3.（1）數(shù)據(jù)湖：非結(jié)構(gòu)化存儲(chǔ)，靈活性高；數(shù)據(jù)倉(cāng)庫(kù)：結(jié)構(gòu)化，主題式存儲(chǔ)；（2）治理措施：元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量規(guī)則、血緣追蹤。五、論述題