2025年大數(shù)據(jù)與人工智能應(yīng)用考試試題及答案一、單項(xiàng)選擇題（每題2分，共20分）1.在Hadoop生態(tài)中，負(fù)責(zé)資源管理與任務(wù)調(diào)度的組件是A.HDFS?B.YARN?C.MapReduce?D.Hive答案：B2.下列哪種激活函數(shù)在x=0處不可導(dǎo)A.Sigmoid?B.Tanh?C.ReLU?D.LeakyReLU答案：C3.在Spark中，RDD的默認(rèn)分區(qū)器是A.HashPartitioner?B.RangePartitioner?C.GridPartitioner?D.None答案：A4.聯(lián)邦學(xué)習(xí)框架FATE采用的安全聚合協(xié)議是A.DiffieHellman?B.Paillier同態(tài)加密?C.RSA?D.AES答案：B5.若某GBDT模型共訓(xùn)練500棵樹(shù)，學(xué)習(xí)率0.05，則其最終預(yù)測(cè)值為A.初始預(yù)測(cè)值+0.05×500棵樹(shù)輸出累加?B.初始預(yù)測(cè)值+單棵樹(shù)輸出×0.05?C.初始預(yù)測(cè)值+0.05×每棵樹(shù)輸出累加?D.500棵樹(shù)輸出直接平均答案：C6.在Transformer中，ScaledDotProductAttention的縮放因子為A.1/d_k?B.sqrt(d_k)?C.d_k?D.1/sqrt(d_k)答案：D7.下列哪項(xiàng)不是Kafka的核心概念A(yù).Topic?B.Partition?C.Segment?D.Container答案：D8.使用LSTM進(jìn)行時(shí)間序列預(yù)測(cè)時(shí)，若輸入序列長(zhǎng)度大于預(yù)設(shè)time_step，合理的處理方式是A.直接截?cái)辔膊?B.直接截?cái)囝^部?C.滑動(dòng)窗口切分?D.補(bǔ)零至固定長(zhǎng)度答案：C9.在Python的Pandas中，對(duì)DataFramedf按列col升序排序并返回索引的語(yǔ)句是A.df.sort_values('col').index?B.df.sort_index('col')?C.df.argsort('col')?D.df['col'].reindex()答案：A10.若某深度學(xué)習(xí)模型在訓(xùn)練集準(zhǔn)確率達(dá)99.9%，驗(yàn)證集僅70%，首要應(yīng)考慮的策略是A.增加網(wǎng)絡(luò)深度?B.減小學(xué)習(xí)率?C.加入Dropout?D.增大BatchSize答案：C二、多項(xiàng)選擇題（每題3分，共15分；多選少選均不得分）11.下列屬于HDFS寫(xiě)數(shù)據(jù)流程中客戶(hù)端行為的有A.向NameNode申請(qǐng)Block位置?B.直接與DataNode建立Pipeline?C.對(duì)每個(gè)Packet進(jìn)行校驗(yàn)和計(jì)算?D.在NameNode上寫(xiě)入真實(shí)數(shù)據(jù)答案：A、B、C12.關(guān)于BERT模型，下列說(shuō)法正確的有A.采用雙向Transformer編碼器?B.預(yù)訓(xùn)練任務(wù)包含NSP?C.使用LayerNorm在注意力之后?D.位置編碼為可學(xué)習(xí)參數(shù)答案：A、B、D13.在構(gòu)建實(shí)時(shí)推薦系統(tǒng)時(shí)，以下哪些技術(shù)組合可用于解決冷啟動(dòng)A.內(nèi)容標(biāo)簽+TFIDF?B.知識(shí)圖譜嵌入?C.強(qiáng)化學(xué)習(xí)探索?D.批量矩陣分解答案：A、B、C14.下列哪些指標(biāo)可用于評(píng)估二分類(lèi)模型在樣本不平衡場(chǎng)景下的性能A.F1score?B.AUCROC?C.Cohen’sKappa?D.準(zhǔn)確率答案：A、B、C15.關(guān)于Flink的Checkpoint機(jī)制，正確的有A.基于ChandyLamport算法?B.對(duì)齊型屏障會(huì)阻塞部分?jǐn)?shù)據(jù)?C.ExactlyOnce需依賴(lài)狀態(tài)后端?D.開(kāi)啟Checkpoint后一定保證毫秒級(jí)延遲答案：A、B、C三、填空題（每空2分，共20分）16.在PythonSklearn中，使用StandardScaler對(duì)特征X做標(biāo)準(zhǔn)化后，其均值≈____，方差≈____。答案：0；117.若某決策樹(shù)采用C4.5算法，其劃分標(biāo)準(zhǔn)為_(kāi)___。答案：信息增益率18.在深度卷積網(wǎng)絡(luò)中，若輸入為224×224×3，卷積核大小3×3，步長(zhǎng)2，填充1，輸出通道64，則輸出特征圖尺寸為_(kāi)___×____×____。答案：112；112；6419.Kafka中，消費(fèi)者組再均衡的觸發(fā)條件之一是____發(fā)生變化。答案：分區(qū)數(shù)或消費(fèi)者實(shí)例數(shù)20.在PyTorch中，若模型參數(shù)凍結(jié)，需設(shè)置requires_grad=____。答案：False21.使用PageRank算法時(shí)，阻尼系數(shù)通常取值為_(kāi)___。答案：0.8522.在HBase中，RowKey設(shè)計(jì)需避免____熱點(diǎn)，常用的散列策略有____哈希。答案：Region；反轉(zhuǎn)或前綴23.若某Spark任務(wù)提交參數(shù)為executormemory4gnumexecutors20，則集群為該任務(wù)分配的最大堆內(nèi)存為_(kāi)___GB。答案：8024.聯(lián)邦學(xué)習(xí)中，參與方本地更新后上傳____參數(shù)，而非原始數(shù)據(jù)。答案：梯度或模型權(quán)重25.在深度強(qiáng)化學(xué)習(xí)DDPG算法中，負(fù)責(zé)策略輸出的是____網(wǎng)絡(luò)。答案：Actor四、判斷題（每題1分，共10分；正確打“√”，錯(cuò)誤打“×”）26.使用KMeans時(shí)，聚類(lèi)中心數(shù)量k越大，SSE一定越小。答案：√27.在梯度提升樹(shù)中，學(xué)習(xí)率越大模型越不容易過(guò)擬合。答案：×28.Flink的EventTime需依賴(lài)Watermark機(jī)制處理亂序數(shù)據(jù)。答案：√29.在Word2Vec中，SkipGram模型比CBOW更適合小規(guī)模語(yǔ)料。答案：×30.使用Dropout時(shí)，測(cè)試階段仍需以概率p隨機(jī)丟棄神經(jīng)元。答案：×31.HDFS的NameNode單點(diǎn)故障問(wèn)題可通過(guò)HAQJM方案解決。答案：√32.在Python中，NumPy數(shù)組的切片返回的是原數(shù)據(jù)的視圖而非復(fù)制。答案：√33.當(dāng)GPU顯存不足時(shí)，減小BatchSize必然導(dǎo)致訓(xùn)練時(shí)間縮短。答案：×34.ARIMA模型中的I表示差分階數(shù)，用于將非平穩(wěn)序列轉(zhuǎn)化為平穩(wěn)序列。答案：√35.在Kafka中，Partition數(shù)量一旦創(chuàng)建便不可修改。答案：×五、簡(jiǎn)答題（封閉型，每題6分，共18分）36.簡(jiǎn)述MapReduce中Shuffle階段的數(shù)據(jù)本地性?xún)?yōu)化策略。答案：（1）Map端將中間結(jié)果寫(xiě)入本地磁盤(pán)而非HDFS，減少網(wǎng)絡(luò)傳輸；（2）Combiner在Map端本地聚合，降低溢寫(xiě)到磁盤(pán)的數(shù)據(jù)量；（3）Reduce端通過(guò)心跳向AM請(qǐng)求盡量調(diào)度到存有Map輸出副本的節(jié)點(diǎn)；（4）NodeManager在分配Container時(shí)優(yōu)先選擇本地或機(jī)架本地節(jié)點(diǎn)；（5）通過(guò)shortcircuitread讓Reduce直接拉取本地磁盤(pán)數(shù)據(jù)，跳過(guò)網(wǎng)絡(luò)棧。37.寫(xiě)出使用PyTorch實(shí)現(xiàn)自定義Dataset時(shí)必須重寫(xiě)的兩個(gè)方法及其作用。答案：__len__：返回?cái)?shù)據(jù)集大小，供DataLoader計(jì)算迭代次數(shù)；__getitem__：接收索引idx，返回樣本特征與標(biāo)簽，實(shí)現(xiàn)按需加載與數(shù)據(jù)增強(qiáng)。38.說(shuō)明在深度學(xué)習(xí)訓(xùn)練過(guò)程中使用混合精度（FP16+FP32）的三項(xiàng)收益與兩項(xiàng)注意事項(xiàng)。答案：收益：1.顯存占用減半，可增大BatchSize；2.計(jì)算吞吐量提升，尤其TensorCore加速；3.通信帶寬需求降低，分布式訓(xùn)練提速。注意事項(xiàng)：1.需使用LossScaling防止梯度下溢；2.在模型權(quán)重更新階段需保持FP32主副本以保證精度。六、簡(jiǎn)答題（開(kāi)放型，每題8分，共16分）39.某電商公司“618”大促期間，實(shí)時(shí)訂單流達(dá)每秒80萬(wàn)條，需在大促開(kāi)始后30分鐘內(nèi)動(dòng)態(tài)檢測(cè)異常品牌（銷(xiāo)量突降>30%）。請(qǐng)給出技術(shù)選型、數(shù)據(jù)鏈路、核心算法與擴(kuò)展性方案，并說(shuō)明如何評(píng)估檢測(cè)效果。答案：技術(shù)選型：Kafka→Flink→Redis→Grafana告警；數(shù)據(jù)鏈路：訂單日志→Canal→KafkaTopicorder_event（80partitions）→FlinkJob并行度80→滑動(dòng)窗口5min，步長(zhǎng)1min→品牌粒度聚合→對(duì)比前一周同期基線(xiàn)（存儲(chǔ)于Redis，使用品牌日級(jí)別銷(xiāo)量×?xí)r段系數(shù)）→突降>30%觸發(fā)告警寫(xiě)入RedisList→APIServer推送給運(yùn)營(yíng)；核心算法：指數(shù)加權(quán)移動(dòng)平均（EWMA）維護(hù)基線(xiàn)，動(dòng)態(tài)閾值=基線(xiàn)×(10.3ε)，ε為置信區(qū)間；擴(kuò)展性：Kafka分區(qū)可動(dòng)態(tài)擴(kuò)容；Flink使用RockDBStateBackend+增量Checkpoint；評(píng)估：離線(xiàn)回放大促數(shù)據(jù)，計(jì)算Precision@Alert、Recall@Brand、平均檢測(cè)延遲；人工標(biāo)注異常品牌作為GroundTruth；通過(guò)調(diào)整窗口長(zhǎng)度與閾值獲得F1最優(yōu)。40.某市政府計(jì)劃構(gòu)建“城市級(jí)聯(lián)邦學(xué)習(xí)平臺(tái)”整合醫(yī)院、交通、運(yùn)營(yíng)商數(shù)據(jù)，實(shí)現(xiàn)跨域疫情風(fēng)險(xiǎn)預(yù)測(cè)。請(qǐng)闡述平臺(tái)架構(gòu)、隱私合規(guī)、模型聚合、激勵(lì)機(jī)制及潛在風(fēng)險(xiǎn)。答案：架構(gòu)：邊緣節(jié)點(diǎn)（醫(yī)院/交通/運(yùn)營(yíng)商）部署FATE本地訓(xùn)練容器→通過(guò)政務(wù)外網(wǎng)TLS雙向認(rèn)證→中心協(xié)調(diào)節(jié)點(diǎn)（市大數(shù)據(jù)局）管理元數(shù)據(jù)與模型生命周期→使用FATEFlow調(diào)度訓(xùn)練任務(wù)；隱私合規(guī)：遵循《個(gè)人信息保護(hù)法》，采用差分隱私ε=1、同態(tài)加密Paillier、安全多方求交PSI；模型聚合：橫向聯(lián)邦（醫(yī)院間癥狀預(yù)測(cè)）與縱向聯(lián)邦（醫(yī)院+運(yùn)營(yíng)商軌跡）混合，采用SecureBoost與SplitNN；中心節(jié)點(diǎn)僅收集加密梯度，使用FedAvg聚合；激勵(lì)機(jī)制：按數(shù)據(jù)質(zhì)量（缺失率<5%）、樣本量、模型貢獻(xiàn)度（ShapleyValue）分配政務(wù)云資源抵扣券；潛在風(fēng)險(xiǎn)：節(jié)點(diǎn)搭便車(chē)（上傳虛假小梯度）→引入梯度一致性檢驗(yàn)與聲譽(yù)機(jī)制；成員推理攻擊→限制模型參數(shù)訪(fǎng)問(wèn)，僅返回加密預(yù)測(cè)；法規(guī)變動(dòng)→設(shè)置數(shù)據(jù)可撤銷(xiāo)通道，支持“遺忘權(quán)”一鍵刪除。七、計(jì)算題（共25分）41.（8分）給定二維數(shù)據(jù)集X={(1,2),(2,3),(3,3),(6,8),(7,9),(8,9)}，使用KMeans初始化質(zhì)心為(1,2)、(6,8)，請(qǐng)手寫(xiě)計(jì)算第一次迭代后的質(zhì)心坐標(biāo)（歐氏距離，使用Mat公式）。答案：步驟1：計(jì)算距離(1,2)到c1=0，到c2=sqrt[(61)^2+(82)^2]=sqrt(25+36)=sqrt(61)≈7.81→簇1(2,3)到c1=sqrt(1+1)=sqrt(2)≈1.41，到c2=sqrt(16+25)=sqrt(41)≈6.40→簇1(3,3)到c1=sqrt(4+1)=sqrt(5)≈2.24，到c2=sqrt(9+25)=sqrt(34)≈5.83→簇1(6,8)到c1=sqrt(61)，到c2=0→簇2(7,9)到c1=sqrt(36+49)=sqrt(85)≈9.22，到c2=sqrt(1+1)=sqrt(2)≈1.41→簇2(8,9)到c1=sqrt(49+49)=sqrt(98)≈9.90，到c2=sqrt(4+1)=sqrt(5)≈2.24→簇2步驟2：更新質(zhì)心簇1均值x=(1+2+3)/3=2，y=(2+3+3)/3=8/3≈2.67→新質(zhì)心(2,8/3)簇2均值x=(6+7+8)/3=7，y=(8+9+9)/3=26/3≈8.67→新質(zhì)心(7,26/3)42.（8分）某GBDT二分類(lèi)任務(wù)使用Logloss，當(dāng)前第m棵樹(shù)擬合的負(fù)梯度為殘差r_i=y_ip_i，其中p_i為前m1棵樹(shù)輸出的概率。已知樣本3個(gè)：真實(shí)標(biāo)簽y=[1,0,1]，當(dāng)前p=[0.8,0.3,0.7]，請(qǐng)計(jì)算第m棵樹(shù)擬合的目標(biāo)值（即殘差），并寫(xiě)出Mat公式。答案：殘差r_i=y_ip_ir1=10.8=0.2r2=00.3=0.3r3=10.7=0.3目標(biāo)向量r=[0.2,0.3,0.3]43.（9分）某卷積神經(jīng)網(wǎng)絡(luò)層參數(shù)如下：輸入特征圖14×14×256，卷積核3×3，步長(zhǎng)1，填充1，輸出通道512，使用分組卷積group=32。（1）計(jì)算輸出特征圖尺寸（Mat公式）；（2）計(jì)算該層FLOPs（乘加次數(shù)，給出Mat推導(dǎo)）；（3）若采用深度可分離卷積（先depthwise再pointwise），求FLOPs下降比例。答案：（1）輸出高=輸出寬=(14+2×13)/1+1=14→14×14×512（2）分組卷積每group輸入通道=256/32=8，輸出通道=512/32=16每group計(jì)算量：14×14×3×3×8×16=14×14×9×128=317520總FLOPs=317520×32=10160640（3）深度可分離：depthwise：14×14×3×3×256=14×14×9×256=451584pointwise：14×14×1×1×256×512=14×14×256×512=26013440總FLOPs=451584+26013440=26465024下降比例=126465024/(10160640+14×14×256×512)原普通卷積FLOPs=14×14×3×3×256×512=926969856下降比例=126465024/926969856≈97.1%八、綜合分析題（共26分）44.（12分）某短視頻平臺(tái)每日新增視頻千萬(wàn)級(jí)，需構(gòu)建實(shí)時(shí)個(gè)性化推薦系統(tǒng)。給定場(chǎng)景：用戶(hù)平均刷視頻時(shí)長(zhǎng)30min，刷新間隔1.5s，峰值QPS80k，特征維度5k（稀疏），模型為深度雙塔（DSSM）。請(qǐng)回答：（1）給出在線(xiàn)推斷服務(wù)架構(gòu)圖（文字描述即可），并說(shuō)明如何做到P99延遲<120ms；（2）說(shuō)明負(fù)采樣策略與實(shí)時(shí)修正方案；（3）給出模型增量訓(xùn)練的數(shù)據(jù)管道與參數(shù)更新機(jī)制；（4）若新視頻在30min內(nèi)無(wú)曝光，如何快速冷啟動(dòng)？答案：（1）架構(gòu)：用戶(hù)行為→Kafka→FlinkCEP提取實(shí)時(shí)特征→寫(xiě)入RedisCluster（分片2k）→推薦服務(wù)Go+Gin，接收用戶(hù)請(qǐng)求→并行召回（FaissIVF4096，GPU版）→粗排（輕量FM，CPU5ms）→精排（TensorRTFP16，GPUbatch=512，P9980ms）→重排（多樣性規(guī)則+業(yè)務(wù)策略）→返回Top20；延遲優(yōu)化：本地Cache用戶(hù)近50次曝光過(guò)濾→減少Faiss查詢(xún)；GPU批處理動(dòng)態(tài)攢批最大2ms；使用gRPCHTTP/2+連接池；RedisPipeline批量取特征；CDN預(yù)熱熱門(mén)視頻封面。（2）負(fù)采樣：全局隨機(jī)負(fù)例+同標(biāo)簽熱門(mén)負(fù)例+hard負(fù)例（精排打分接近正例但非點(diǎn)擊）比例4:3:3；實(shí)時(shí)修正：Flink滑動(dòng)窗口5min統(tǒng)計(jì)點(diǎn)擊率，若某視頻CTR<0.5×同檔位均值，則加入hard負(fù)例池。（3）增量訓(xùn)練：KafkaTopicuser_feedback→Flink清洗→每小時(shí)生成增量樣本Parquet→S3→啟動(dòng)增量訓(xùn)練（TF2.x，learning_rate=0.001，warmup）→只更新UserTower參數(shù)，ItemTower參數(shù)凍結(jié)→通過(guò)TensorFlowServing熱加載；參數(shù)服務(wù)器使用PS+Worker，異步更新，一致性協(xié)議為BSP，步長(zhǎng)1000。（4）冷啟動(dòng)：內(nèi)容側(cè)使用視頻幀ResNet50提取512維向量→文本BERT提取256維→拼接后PCA降維到128→寫(xiě)入Faiss臨時(shí)索引；利用探索流量5%隨機(jī)曝光，收集點(diǎn)擊后再進(jìn)入正常召回；若30min內(nèi)仍無(wú)點(diǎn)擊，則降低探索權(quán)重，轉(zhuǎn)入長(zhǎng)尾池。45.（14分）某市交通信號(hào)燈優(yōu)化項(xiàng)目需融合浮動(dòng)車(chē)GPS、路口攝像頭、天氣、節(jié)假日四類(lèi)數(shù)據(jù)源，預(yù)測(cè)未來(lái)15min各路口平均車(chē)速，進(jìn)而動(dòng)態(tài)調(diào)整信號(hào)燈周期。數(shù)據(jù)規(guī)模：GPS每秒100萬(wàn)條、攝像頭每秒30萬(wàn)幀結(jié)構(gòu)化識(shí)別結(jié)果。請(qǐng)完成：（1）給出數(shù)據(jù)治理與特征工程方案；（2）設(shè)計(jì)時(shí)空預(yù)測(cè)模型（需含網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、評(píng)價(jià)指標(biāo)），并說(shuō)明為何優(yōu)于傳統(tǒng)ARIMA；（3）給出在線(xiàn)推斷與信號(hào)控制閉環(huán)流程，要求控制延遲<120s；（4）說(shuō)明如何評(píng)估對(duì)真實(shí)交通效率的提升，并給出統(tǒng)計(jì)檢驗(yàn)方法。答案：（1）數(shù)據(jù)治理：GPS過(guò)濾速度>180km/h、精度>15m異