聯(lián)通創(chuàng)新人才認(rèn)證(大數(shù)據(jù))考試題庫(kù)(附答案)一、單項(xiàng)選擇題（共20題，每題2分，共40分）1.以下關(guān)于HDFS（HadoopDistributedFileSystem）的描述中，錯(cuò)誤的是（）A.HDFS默認(rèn)塊大小為128MBB.NameNode負(fù)責(zé)管理文件元數(shù)據(jù)和數(shù)據(jù)塊位置信息C.數(shù)據(jù)塊副本數(shù)可通過(guò)dfs.replication參數(shù)設(shè)置，默認(rèn)值為3D.HDFS適合存儲(chǔ)大量小文件答案：D解析：HDFS設(shè)計(jì)初衷是處理大文件，小文件會(huì)占用NameNode內(nèi)存，影響元數(shù)據(jù)管理效率。2.Spark中RDD（ResilientDistributedDatasets）的特性不包括（）A.不可變性（Immutable）B.分區(qū)性（Partitioned）C.惰性計(jì)算（LazyEvaluation）D.實(shí)時(shí)性（Realtime）答案：D解析：RDD是彈性分布式數(shù)據(jù)集，支持離線計(jì)算和批處理，實(shí)時(shí)性由SparkStreaming（基于微批處理）或Flink實(shí)現(xiàn)。3.在Kafka中，以下哪個(gè)概念用于標(biāo)識(shí)消息的分組，消費(fèi)者通過(guò)它訂閱消息？（）A.TopicB.PartitionC.OffsetD.ConsumerGroup答案：D解析：ConsumerGroup是消費(fèi)者的邏輯分組，同一組內(nèi)的消費(fèi)者共同消費(fèi)Topic的分區(qū)，避免重復(fù)消費(fèi)。4.Hive中，以下哪種文件格式不支持事務(wù)和ACID操作？（）A.ORCB.ParquetC.TextFileD.Avro答案：C解析：Hive的ACID特性需要ORC或Parquet格式支持，TextFile為純文本，不支持事務(wù)。5.關(guān)于Flink的時(shí)間類型，以下描述正確的是（）A.事件時(shí)間（EventTime）是數(shù)據(jù)生成的時(shí)間，需依賴水?。╓atermark）處理亂序數(shù)據(jù)B.處理時(shí)間（ProcessingTime）是數(shù)據(jù)到達(dá)算子的時(shí)間，無(wú)需水印機(jī)制C.攝入時(shí)間（IngestionTime）是數(shù)據(jù)進(jìn)入Flink流的時(shí)間，精度高于事件時(shí)間D.以上均正確答案：D解析：事件時(shí)間依賴水印處理亂序，處理時(shí)間基于算子本地時(shí)間，攝入時(shí)間介于事件時(shí)間和處理時(shí)間之間，三者描述均正確。6.數(shù)據(jù)倉(cāng)庫(kù)建模中，星型模型與雪花模型的主要區(qū)別是（）A.星型模型只有事實(shí)表和維度表，雪花模型對(duì)維度表進(jìn)一步規(guī)范化B.星型模型支持更多維度，雪花模型維度表更少C.星型模型適用于實(shí)時(shí)分析，雪花模型適用于離線分析D.星型模型存儲(chǔ)成本更高，雪花模型查詢效率更高答案：A解析：雪花模型通過(guò)規(guī)范化維度表減少冗余，但增加了查詢時(shí)的連接復(fù)雜度；星型模型維度表未規(guī)范化，查詢更快。7.以下不屬于數(shù)據(jù)清洗主要任務(wù)的是（）A.處理缺失值B.糾正數(shù)據(jù)格式錯(cuò)誤C.合并重復(fù)記錄D.增加數(shù)據(jù)維度答案：D解析：數(shù)據(jù)清洗是提高數(shù)據(jù)質(zhì)量的過(guò)程，包括去重、填補(bǔ)缺失、糾正錯(cuò)誤等；增加維度屬于數(shù)據(jù)變換或特征工程。8.在HBase中，RowKey的設(shè)計(jì)原則不包括（）A.散列性：避免熱點(diǎn)寫(xiě)B(tài).長(zhǎng)度越短越好：減少存儲(chǔ)和IO開(kāi)銷C.有序性：支持范圍查詢D.隨機(jī)性：完全隨機(jī)分布答案：D解析：HBase基于RowKey排序存儲(chǔ)，完全隨機(jī)的RowKey會(huì)導(dǎo)致數(shù)據(jù)分散，影響范圍查詢效率。9.以下哪項(xiàng)不是Kafka生產(chǎn)者的關(guān)鍵參數(shù)？（）A.acksB.retriesC.group.idD.batch.size答案：C解析：group.id是消費(fèi)者參數(shù)，用于標(biāo)識(shí)消費(fèi)者組；生產(chǎn)者參數(shù)包括acks（確認(rèn)機(jī)制）、retries（重試次數(shù)）、batch.size（批次大?。?。10.關(guān)于數(shù)據(jù)湖（DataLake）與數(shù)據(jù)倉(cāng)庫(kù)（DataWarehouse）的對(duì)比，錯(cuò)誤的是（）A.數(shù)據(jù)湖存儲(chǔ)原始數(shù)據(jù)（RawData），數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)結(jié)構(gòu)化的清洗數(shù)據(jù)B.數(shù)據(jù)湖支持多類型數(shù)據(jù)（結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化），數(shù)據(jù)倉(cāng)庫(kù)以結(jié)構(gòu)化為主C.數(shù)據(jù)湖的分析工具更靈活（如Spark、Presto），數(shù)據(jù)倉(cāng)庫(kù)依賴SQLD.數(shù)據(jù)湖的適用場(chǎng)景更偏向OLTP（在線事務(wù)處理）答案：D解析：數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)均面向分析（OLAP），OLTP是數(shù)據(jù)庫(kù)的典型場(chǎng)景。11.Spark中，以下操作屬于轉(zhuǎn)換（Transformation）的是（）A.collect()B.count()C.reduce()D.map()答案：D解析：map()是轉(zhuǎn)換操作（惰性執(zhí)行），collect()、count()、reduce()是行動(dòng)（Action）操作（觸發(fā)計(jì)算）。12.以下哪項(xiàng)是Hive的元數(shù)據(jù)存儲(chǔ)組件？（）A.ZooKeeperB.MySQLC.HBaseD.HDFS答案：B解析：Hive元數(shù)據(jù)（如表結(jié)構(gòu)、分區(qū)信息）默認(rèn)存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)（如MySQL、Derby）中。13.在Flink的窗口（Window）操作中，滾動(dòng)窗口（TumblingWindow）與滑動(dòng)窗口（SlidingWindow）的主要區(qū)別是（）A.滾動(dòng)窗口無(wú)重疊，滑動(dòng)窗口有重疊B.滾動(dòng)窗口基于時(shí)間，滑動(dòng)窗口基于計(jì)數(shù)C.滾動(dòng)窗口支持事件時(shí)間，滑動(dòng)窗口僅支持處理時(shí)間D.滾動(dòng)窗口窗口大小固定，滑動(dòng)窗口窗口大小可變答案：A解析：滾動(dòng)窗口（Tumbling）的窗口之間無(wú)重疊，滑動(dòng)窗口（Sliding）通過(guò)滑動(dòng)間隔控制重疊程度。14.數(shù)據(jù)挖掘中，Kmeans算法的核心步驟是（）A.計(jì)算數(shù)據(jù)點(diǎn)與質(zhì)心的距離，重新分配簇，更新質(zhì)心，迭代至收斂B.構(gòu)建決策樹(shù)，通過(guò)信息增益選擇分裂屬性C.計(jì)算支持度、置信度，挖掘關(guān)聯(lián)規(guī)則D.計(jì)算樣本間相似度，層次聚類答案：A解析：Kmeans是聚類算法，通過(guò)迭代更新質(zhì)心和簇分配實(shí)現(xiàn)聚類。15.以下關(guān)于ClickHouse的描述，錯(cuò)誤的是（）A.適合實(shí)時(shí)OLAP查詢B.支持行式存儲(chǔ)C.采用MPP（大規(guī)模并行處理）架構(gòu)D.支持分布式表引擎答案：B解析：ClickHouse是列式存儲(chǔ)數(shù)據(jù)庫(kù)，行式存儲(chǔ)是傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)（如MySQL）的特性。16.數(shù)據(jù)治理的核心目標(biāo)是（）A.提高數(shù)據(jù)處理速度B.確保數(shù)據(jù)質(zhì)量、安全性和可管理性C.增加數(shù)據(jù)存儲(chǔ)容量D.簡(jiǎn)化數(shù)據(jù)分析流程答案：B解析：數(shù)據(jù)治理涵蓋數(shù)據(jù)質(zhì)量、安全、元數(shù)據(jù)管理、合規(guī)性等，目標(biāo)是實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的有效管理。17.在HadoopYARN中，負(fù)責(zé)資源管理和任務(wù)調(diào)度的組件是（）A.NameNodeB.ResourceManagerC.NodeManagerD.ApplicationMaster答案：B解析：ResourceManager是YARN的全局資源管理器，NodeManager管理節(jié)點(diǎn)資源，ApplicationMaster負(fù)責(zé)單個(gè)應(yīng)用的任務(wù)協(xié)調(diào)。18.以下哪種場(chǎng)景最適合使用實(shí)時(shí)計(jì)算框架（如Flink）？（）A.每日用戶行為日志的批量分析B.實(shí)時(shí)監(jiān)控用戶下單后的支付狀態(tài)（延遲<1秒）C.歷史銷售數(shù)據(jù)的季度報(bào)表生成D.數(shù)據(jù)倉(cāng)庫(kù)的全量數(shù)據(jù)加載答案：B解析：實(shí)時(shí)計(jì)算框架適用于低延遲、高并發(fā)的流數(shù)據(jù)處理，如支付狀態(tài)監(jiān)控。19.數(shù)據(jù)脫敏的常用方法不包括（）A.替換（如將真實(shí)姓名替換為“用戶A”）B.加密（如AES加密手機(jī)號(hào)）C.去標(biāo)識(shí)化（移除身份證號(hào)等敏感字段）D.數(shù)據(jù)抽樣（隨機(jī)選取部分?jǐn)?shù)據(jù)）答案：D解析：數(shù)據(jù)抽樣是減少數(shù)據(jù)量的方法，不涉及敏感信息保護(hù)；脫敏需確保敏感數(shù)據(jù)不可恢復(fù)。20.關(guān)于分布式計(jì)算中的一致性哈希（ConsistentHashing），以下描述正確的是（）A.解決分布式系統(tǒng)中節(jié)點(diǎn)動(dòng)態(tài)增減時(shí)數(shù)據(jù)重新分布的高成本問(wèn)題B.要求所有節(jié)點(diǎn)哈希值嚴(yán)格相等C.僅適用于鍵值對(duì)存儲(chǔ)系統(tǒng)（如Redis）D.哈希環(huán)的節(jié)點(diǎn)數(shù)量必須為2的冪次方答案：A解析：一致性哈希通過(guò)哈希環(huán)和虛擬節(jié)點(diǎn)，減少節(jié)點(diǎn)增減時(shí)的數(shù)據(jù)遷移量，提高系統(tǒng)擴(kuò)展性。二、判斷題（共10題，每題1分，共10分）1.HBase是一種列式數(shù)據(jù)庫(kù)，適合存儲(chǔ)半結(jié)構(gòu)化或非結(jié)構(gòu)化的海量數(shù)據(jù)。（）答案：√2.SparkStreaming的最小處理單位是DStream（離散化流），基于微批處理實(shí)現(xiàn)準(zhǔn)實(shí)時(shí)計(jì)算。（）答案：√3.Kafka的消息一旦被消費(fèi)者消費(fèi)，就會(huì)從日志中刪除。（）答案：×解析：Kafka消息根據(jù)保留策略（如時(shí)間或大?。┳詣?dòng)刪除，與是否被消費(fèi)無(wú)關(guān)。4.數(shù)據(jù)倉(cāng)庫(kù)的ETL（抽取、轉(zhuǎn)換、加載）流程中，“轉(zhuǎn)換”步驟通常包括數(shù)據(jù)清洗、規(guī)范化和聚合。（）答案：√5.Flink的Checkpoint（檢查點(diǎn)）機(jī)制用于故障恢復(fù)，需要依賴持久化存儲(chǔ)（如HDFS）。（）答案：√6.關(guān)聯(lián)規(guī)則挖掘中的支持度（Support）表示規(guī)則的可信度，置信度（Confidence）表示規(guī)則的普遍程度。（）答案：×解析：支持度是規(guī)則覆蓋的事務(wù)比例（普遍程度），置信度是規(guī)則前件成立時(shí)后件成立的概率（可信度）。7.Hive的分區(qū)（Partition）和分桶（Bucket）都是為了優(yōu)化查詢性能，分區(qū)按列值劃分目錄，分桶按哈希取模劃分文件。（）答案：√8.實(shí)時(shí)數(shù)據(jù)湖（RealtimeDataLake）要求支持流數(shù)據(jù)的快速寫(xiě)入和實(shí)時(shí)查詢，通常結(jié)合DeltaLake、Hudi或Iceberg等技術(shù)。（）答案：√9.數(shù)據(jù)傾斜（DataSkew）在分布式計(jì)算中會(huì)導(dǎo)致部分節(jié)點(diǎn)負(fù)載過(guò)高，可通過(guò)加鹽（SkewKey）、預(yù)處理或調(diào)整并行度解決。（）答案：√10.機(jī)器學(xué)習(xí)中的監(jiān)督學(xué)習(xí)（SupervisedLearning）需要訓(xùn)練數(shù)據(jù)包含標(biāo)簽（Label），無(wú)監(jiān)督學(xué)習(xí)（UnsupervisedLearning）則不需要。（）答案：√三、簡(jiǎn)答題（共5題，每題6分，共30分）1.簡(jiǎn)述Hadoop生態(tài)中HDFS、YARN、MapReduce的分工與協(xié)作關(guān)系。答案：HDFS負(fù)責(zé)海量數(shù)據(jù)的分布式存儲(chǔ)，提供高容錯(cuò)性和高吞吐量；YARN（YetAnotherResourceNegotiator）負(fù)責(zé)資源管理和任務(wù)調(diào)度，包括ResourceManager（全局資源管理）和NodeManager（節(jié)點(diǎn)資源監(jiān)控）；MapReduce是分布式計(jì)算框架，基于YARN申請(qǐng)資源，將任務(wù)拆分為Map（映射）和Reduce（歸約）階段，利用HDFS存儲(chǔ)中間結(jié)果和最終輸出。三者協(xié)作：用戶提交MapReduce作業(yè)到Y(jié)ARN，YARN分配資源給ApplicationMaster（AM），AM啟動(dòng)Map和Reduce任務(wù)，任務(wù)讀寫(xiě)HDFS數(shù)據(jù)完成計(jì)算。2.說(shuō)明Kafka的ISR（InSyncReplicas）機(jī)制及其作用。答案：ISR（同步副本集合）是Kafka中與Leader副本保持同步的Follower副本集合。當(dāng)Producer發(fā)送消息到Leader時(shí)，Leader寫(xiě)入本地日志后，F(xiàn)ollower會(huì)從Leader拉取消息并同步。只有同步到一定進(jìn)度（由replica.lag.time.max.ms參數(shù)控制）的Follower才會(huì)被包含在ISR中。當(dāng)Leader故障時(shí)，Kafka會(huì)從ISR中選擇新的Leader，確保數(shù)據(jù)一致性。ISR機(jī)制平衡了數(shù)據(jù)可靠性（避免全副本同步導(dǎo)致的高延遲）和故障恢復(fù)能力（僅同步ISR副本）。3.對(duì)比SparkRDD和DataFrame的區(qū)別，并說(shuō)明DataFrame的優(yōu)勢(shì)。答案：區(qū)別：RDD是低層次的分布式數(shù)據(jù)集，僅包含數(shù)據(jù)本身，無(wú)結(jié)構(gòu)信息；DataFrame是帶Schema的分布式數(shù)據(jù)集，類似關(guān)系型數(shù)據(jù)庫(kù)的表，包含列名和數(shù)據(jù)類型。優(yōu)勢(shì)：①性能優(yōu)化：DataFrame通過(guò)Catalyst優(yōu)化器進(jìn)行邏輯計(jì)劃和物理計(jì)劃的優(yōu)化（如謂詞下推、列剪枝），執(zhí)行效率高于RDD；②易用性：支持SQL和DSL（如Python/Scala的DataFrameAPI），降低開(kāi)發(fā)門(mén)檻；③內(nèi)存效率：DataFrame使用列式存儲(chǔ)（如Tungsten引擎），減少內(nèi)存占用；④跨語(yǔ)言支持：DataFrameAPI在Scala、Python、Java中統(tǒng)一，RDD需針對(duì)語(yǔ)言單獨(dú)實(shí)現(xiàn)。4.數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中，什么是“緩慢變化維（SlowlyChangingDimension，SCD）”？常見(jiàn)的處理方式有哪些？答案：緩慢變化維指維度表中的數(shù)據(jù)隨時(shí)間發(fā)生緩慢變化（如用戶的地址變更、產(chǎn)品價(jià)格調(diào)整），需要在數(shù)據(jù)倉(cāng)庫(kù)中記錄這些變化以保證歷史數(shù)據(jù)的準(zhǔn)確性。常見(jiàn)處理方式：①SCD1（覆蓋更新）：直接用新值覆蓋舊值，不保留歷史；②SCD2（保留歷史版本）：為每個(gè)變化生成新記錄，通過(guò)生效時(shí)間（StartDate）和失效時(shí)間（EndDate）標(biāo)識(shí)有效區(qū)間；③SCD3（記錄最近幾次變化）：在維度表中增加字段存儲(chǔ)舊值（如“原地址”），僅保留最新和前一版本；④SCD4（使用歷史表）：主維度表存儲(chǔ)當(dāng)前值，歷史變化存儲(chǔ)在單獨(dú)的歷史表中。5.簡(jiǎn)述Flink的水印（Watermark）機(jī)制及其在事件時(shí)間處理中的作用。答案：水印是Flink中用于處理事件時(shí)間亂序的機(jī)制。水印隨數(shù)據(jù)流傳遞，標(biāo)記“當(dāng)前時(shí)間之前的所有數(shù)據(jù)已到達(dá)”。當(dāng)算子接收到水印t時(shí)，認(rèn)為所有事件時(shí)間≤t的數(shù)據(jù)已到達(dá)，可觸發(fā)窗口計(jì)算（如時(shí)間窗口）。作用：①解決亂序數(shù)據(jù)問(wèn)題：允許數(shù)據(jù)延遲到達(dá)，通過(guò)水印設(shè)置最大延遲時(shí)間（如允許延遲5秒），在水印超過(guò)窗口結(jié)束時(shí)間+延遲時(shí)間后關(guān)閉窗口；②控制窗口觸發(fā)時(shí)機(jī)：避免無(wú)限等待延遲數(shù)據(jù)，保證計(jì)算結(jié)果的及時(shí)性；③結(jié)合事件時(shí)間語(yǔ)義：確?；谑录r(shí)間的計(jì)算（如按用戶行為發(fā)生時(shí)間統(tǒng)計(jì)）的準(zhǔn)確性。四、應(yīng)用題（共3題，每題10分，共30分）1.場(chǎng)景：某運(yùn)營(yíng)商需分析用戶5G套餐使用情況，要求實(shí)時(shí)監(jiān)控用戶當(dāng)日流量消耗（單位：GB），并統(tǒng)計(jì)每小時(shí)Top10高流量用戶。請(qǐng)?jiān)O(shè)計(jì)數(shù)據(jù)處理方案，包括：（1）數(shù)據(jù)來(lái)源與采集方式；（2）實(shí)時(shí)計(jì)算框架選擇及原因；（3）關(guān)鍵技術(shù)點(diǎn)（如窗口類型、去重、排序）。答案：（1）數(shù)據(jù)來(lái)源與采集：用戶流量使用日志由5G基站或核心網(wǎng)生成，格式為JSON（如用戶ID、時(shí)間戳、流量增量），通過(guò)KafkaTopic（如“5g_flow_log”）實(shí)時(shí)采集，確保低延遲和高吞吐量。（2）實(shí)時(shí)計(jì)算框架：選擇ApacheFlink，原因：支持事件時(shí)間處理（準(zhǔn)確統(tǒng)計(jì)當(dāng)日流量）、低延遲（毫秒級(jí)）、支持狀態(tài)管理（累加用戶當(dāng)日流量）、內(nèi)置窗口函數(shù)（小時(shí)級(jí)窗口）。（3）關(guān)鍵技術(shù)點(diǎn)：①事件時(shí)間與水印：使用事件時(shí)間（數(shù)據(jù)生成時(shí)間戳），設(shè)置水印最大延遲30秒（容忍日志上報(bào)延遲）；②狀態(tài)管理：用Flink的KeyedState（如ValueState）存儲(chǔ)每個(gè)用戶當(dāng)日累計(jì)流量，避免重復(fù)計(jì)算；③窗口類型：滑動(dòng)窗口（SlidingWindow）或滾動(dòng)窗口（TumblingWindow），若統(tǒng)計(jì)每小時(shí)整點(diǎn)數(shù)據(jù)，用滾動(dòng)窗口（窗口大小1小時(shí)，無(wú)重疊）；④去重：用戶ID作為Key，避免同一用戶多條日志重復(fù)累加；⑤排序：每小時(shí)窗口觸發(fā)后，將用戶流量按降序排序，取前10名（用Flink的ProcessFunction或WindowFunction實(shí)現(xiàn)）。2.SQL題：某電商用戶行為表（user_behavior）包含字段：user_id（用戶ID）、item_id（商品ID）、behavior（行為類型，如'pv'瀏覽、'cart'加購(gòu)、'buy'購(gòu)買(mǎi)）、timestamp（行為時(shí)間，格式為'2023100112:00:00'）。要求用HiveSQL計(jì)算：（1）2023年10月每個(gè)用戶的總購(gòu)買(mǎi)次數(shù)；（2）2023年10月購(gòu)買(mǎi)用戶中，從瀏覽到購(gòu)買(mǎi)的平均時(shí)間間隔（僅計(jì)算首次瀏覽后7天內(nèi)購(gòu)買(mǎi)的用戶）。答案：（1）總購(gòu)買(mǎi)次數(shù)：```sqlSELECTuser_id,COUNT()AStotal_buyFROMuser_behaviorWHEREbehavior='buy'ANDtimestamp>='2023100100:00:00'ANDtimestamp<'2023110100:00:00'GROUPBYuser_id;```（2）首次瀏覽到購(gòu)買(mǎi)的平均時(shí)間間隔（7天內(nèi)）：```sqlWITHfirst_pvAS(首次瀏覽時(shí)間SELECTuser_id,MIN(timestamp)ASfirst_pv_timeFROMuser_behaviorWHEREbehavior='pv'ANDtimestamp>='2023100100:00:00'ANDtimestamp<'2023110100:00:00'GROUPBYuser_id),buy_eventsAS(購(gòu)買(mǎi)時(shí)間（且在首次瀏覽后7天內(nèi)）SELECTub.user_id,ub.timestampASbuy_time,fp.first_pv_timeFROMuser_behaviorubJOINfirst_pvfpONub.user_id=fp.user_idWHEREub.behavior='buy'ANDub.timestamp>='2023100100:00:00'ANDub.timestamp<'2023110100:00:00'ANDunix_timestamp(ub.timestamp)unix_timestamp(fp.first_pv_time)<=7864007天=604800秒)SELECTAVG(unix_timestamp(buy_time)unix_timestamp(first_pv_time))ASavg_in