2025人工智能考試題及答案一、單項(xiàng)選擇題（每題2分，共20分）1.在Transformer架構(gòu)中，用于捕捉序列中任意兩個(gè)位置之間依賴關(guān)系的核心機(jī)制是A.卷積窗口滑動(dòng)B.自注意力（SelfAttention）C.池化降維D.殘差連接答案：B解析：自注意力通過Query、Key、Value計(jì)算任意位置間的權(quán)重，實(shí)現(xiàn)全局依賴建模；卷積與池化均為局部操作，殘差連接僅緩解梯度消失，不直接建模依賴。2.聯(lián)邦學(xué)習(xí)場景下，客戶端上傳的“模型更新”通常指A.原始訓(xùn)練數(shù)據(jù)B.梯度或權(quán)重差分C.完整模型參數(shù)D.損失函數(shù)值答案：B解析：為保護(hù)隱私，客戶端只上傳梯度或權(quán)重變化量，服務(wù)器聚合后再下發(fā)，避免原始數(shù)據(jù)泄露。3.下列關(guān)于StableDiffusion的描述，正確的是A.擴(kuò)散過程在像素空間完成B.采用潛空間（LatentSpace）擴(kuò)散以降低計(jì)算量C.只能生成256×256圖像D.無需文本編碼器答案：B解析：StableDiffusion先將圖像壓縮到潛空間，再進(jìn)行擴(kuò)散與去噪，顯著減少內(nèi)存；像素空間擴(kuò)散計(jì)算量巨大，生成分辨率可高達(dá)1024×1024，且依賴CLIP文本編碼器。4.在深度強(qiáng)化學(xué)習(xí)中，造成“過度估計(jì)”現(xiàn)象的主要原因是A.策略熵過低B.使用目標(biāo)網(wǎng)絡(luò)C.最大化操作引起的正偏差D.經(jīng)驗(yàn)回放答案：C解析：DQN在計(jì)算目標(biāo)Q時(shí)取max，導(dǎo)致對動(dòng)作值系統(tǒng)性地高估；DoubleDQN通過解耦選擇與評估緩解該問題。5.下列激活函數(shù)中，二階導(dǎo)數(shù)在x=0處不連續(xù)的是A.GELUB.SwishC.ReLUD.Mish答案：C解析：ReLU在0處一階導(dǎo)數(shù)跳躍，二階導(dǎo)數(shù)為狄拉克δ函數(shù)，嚴(yán)格說不連續(xù)；其余函數(shù)在0處高階可導(dǎo)。6.在VisionTransformer中，位置編碼通常采用A.可學(xué)習(xí)1D向量B.固定2D正弦曲線C.相對位置偏置D.無需位置編碼答案：A解析：ViT默認(rèn)使用可學(xué)習(xí)的一維位置嵌入，簡單有效；2D正弦或相對偏置為后續(xù)改進(jìn)方案。7.關(guān)于混合專家模型（MoE）的稀疏門控，以下說法錯(cuò)誤的是A.門控網(wǎng)絡(luò)輸出為概率分布B.僅激活Topk專家C.專家容量因子可動(dòng)態(tài)調(diào)整D.所有專家必須共享參數(shù)答案：D解析：MoE核心即參數(shù)分離，各專家獨(dú)立；共享參數(shù)會喪失稀疏擴(kuò)展意義。8.在LLM推理加速中，“投機(jī)解碼”（SpeculativeDecoding）利用A.大模型并行生成多個(gè)候選B.小模型草稿+大模型并行驗(yàn)證C.降低浮點(diǎn)精度D.動(dòng)態(tài)批處理答案：B解析：小模型快速生成草稿序列，大模型一次前向驗(yàn)證，接受匹配部分，實(shí)現(xiàn)無損加速。9.下列評價(jià)指標(biāo)中，對類別不平衡最不敏感的是A.準(zhǔn)確率（Accuracy）B.MacroF1C.微平均F1D.平衡準(zhǔn)確率（BACC）答案：A解析：Accuracy受多數(shù)類主導(dǎo)，極不平衡時(shí)失真；MacroF1、BACC均考慮各類別權(quán)重。10.在DiffusionModel訓(xùn)練階段，對噪聲調(diào)度系數(shù)的常見設(shè)計(jì)原則是A.線性遞增βtB.線性遞減βtC.余弦遞增αtD.固定βt=0.5答案：A解析：線性遞增βt（0.0001→0.02）為DDPM原始設(shè)計(jì)，使噪聲逐步增強(qiáng)；余弦調(diào)度針對αt，非βt。二、多項(xiàng)選擇題（每題3分，共15分，多選少選均不得分）11.以下技術(shù)可直接用于緩解LLM“幻覺”（Hallucination）A.檢索增強(qiáng)生成（RAG）B.強(qiáng)化學(xué)習(xí)人類反饋（RLHF）C.增加模型層數(shù)D.事實(shí)一致性獎(jiǎng)勵(lì)模型答案：A、B、D解析：RAG引入外部知識，RLHF與獎(jiǎng)勵(lì)模型對齊人類偏好；單純加深模型反而可能放大幻覺。12.關(guān)于自監(jiān)督學(xué)習(xí)中的“對比學(xué)習(xí)”，正確的是A.需要人工標(biāo)注B.InfoNCE損失降低互信息下界C.負(fù)樣本數(shù)量越多越優(yōu)D.增強(qiáng)策略影響表征質(zhì)量答案：B、D解析：InfoNCE最大化正樣本互信息下界；負(fù)樣本過多引入假負(fù)例，增強(qiáng)策略是關(guān)鍵。13.在模型壓縮領(lǐng)域，屬于“結(jié)構(gòu)化剪枝”的是A.通道剪枝B.神經(jīng)元剪枝C.權(quán)重矩陣低秩分解D.注意力頭剪枝答案：A、B、D解析：結(jié)構(gòu)化剪枝移除規(guī)則單元，保持硬件友好；低秩分解屬于矩陣分解，非剪枝。14.下列操作會改變Transformer殘差流統(tǒng)計(jì)特性的是A.PreNorm改為PostNormB.使用RMSNorm替代LayerNormC.添加深度縮放因子D.使用ALiBi位置編碼答案：A、B、C解析：Pre/PostNorm影響梯度與激活分布；RMSNorm去除均值，縮放因子改變方差；ALiBi僅修改注意力偏置，不改變殘差流統(tǒng)計(jì)。15.關(guān)于NeRF（神經(jīng)輻射場）的加速版本，正確的是A.InstantNGP采用多分辨率哈希編碼B.MipNeRF解決抗鋸齒C.Plenoxels用稀疏體素+球諧函數(shù)D.NeRF無需體積渲染答案：A、B、C解析：NeRF核心即體積渲染，D錯(cuò)誤；其余均為經(jīng)典加速或改進(jìn)方案。三、填空題（每空2分，共20分）16.在PyTorch2.x中，編譯動(dòng)態(tài)圖的核心技術(shù)是________，其通過捕獲________圖實(shí)現(xiàn)算子融合。答案：TorchDynamo；FXGraph解析：TorchDynamo將Python字節(jié)碼轉(zhuǎn)為FX中間表示，供后端優(yōu)化與融合。17.擴(kuò)散模型中，若前向過程滿足q(xt|x0)=N(xt;√αtx0,(1?αt)I)，則去噪網(wǎng)絡(luò)通常預(yù)測________，損失函數(shù)為________。答案：噪聲ε；MSE(εθ(xt,t)?ε)解析：預(yù)測噪聲簡化網(wǎng)絡(luò)輸出，損失直接回歸真實(shí)噪聲。18.LLM推理時(shí)，KVCache的顯存復(fù)雜度與________、________成正比。答案：序列長度；層數(shù)×隱藏維度×頭數(shù)×2（Key+Value）解析：每token每層需存儲Key、Value向量，顯存隨長度線性增長。19.在聯(lián)邦學(xué)習(xí)中，若服務(wù)器采用FedAvg，客戶端本地訓(xùn)練3輪，學(xué)習(xí)率η，則全局更新等價(jià)于對本地梯度進(jìn)行________平均，其等效學(xué)習(xí)率為________。答案：加權(quán)；ηK/N，其中K=3，N為客戶端總數(shù)解析：FedAvg等價(jià)于對本地梯度加權(quán)平均，等效學(xué)習(xí)率隨本地步數(shù)線性放大。20.VisionTransformer若將圖像切分為14×14補(bǔ)丁，輸入224×224，則補(bǔ)丁大小為________，序列長度為________。答案：16×16；196解析：224/14=16，序列長度14×14=196。四、判斷題（每題1分，共10分，正確打“√”，錯(cuò)誤打“×”）21.使用混合精度訓(xùn)練時(shí)，損失縮放（LossScaling）是為了防止梯度下溢。答案：√解析：FP16下溢閾值約6×10?8，放大損失可提升梯度有效位。22.Transformer的注意力權(quán)重矩陣一定為方陣。答案：×解析：交叉注意力中Q來自解碼器，K、V來自編碼器，維度可不同。23.DiffusionModel的反向過程可以視為逐步去噪的馬爾可夫鏈。答案：√解析：DDPM反向鏈pθ(xt?1|xt)為馬爾可夫，逐步恢復(fù)數(shù)據(jù)。24.在DPO（DirectPreferenceOptimization）中，需要訓(xùn)練額外的獎(jiǎng)勵(lì)模型。答案：×解析：DPO直接利用偏好數(shù)據(jù)優(yōu)化策略，無需顯式獎(jiǎng)勵(lì)模型，簡化RLHF流程。25.LoRA微調(diào)時(shí)，秩r越大，引入可訓(xùn)練參數(shù)量越少。答案：×解析：秩r越大，低秩矩陣尺寸增大，參數(shù)量增加。26.使用GroupNorm時(shí)，批量大小可以設(shè)置為1。答案：√解析：GroupNorm按通道分組歸一化，與批量無關(guān)，適用于小批量或在線學(xué)習(xí)。27.在自監(jiān)督學(xué)習(xí)中，BYOL無需負(fù)樣本。答案：√解析：BYOL通過預(yù)測器與停止梯度避免崩潰，無需負(fù)樣本或隊(duì)列。28.NeRF的體積渲染公式中，透明度Ti與累積透射率呈指數(shù)衰減關(guān)系。答案：√解析：Ti=exp(?∫t0σ(s)ds)，呈指數(shù)衰減。29.對于多模態(tài)模型CLIP，圖像與文本編碼器輸出向量維度必須相同。答案：√解析：CLIP使用對比學(xué)習(xí)，需在同一嵌入空間計(jì)算余弦相似度。30.使用FlashAttention時(shí)，顯存復(fù)雜度從O(n2)降至O(n)。答案：√解析：FlashAttention通過分塊與重計(jì)算，將顯存降為線性。五、簡答題（每題8分，共24分）31.描述“檢索增強(qiáng)生成”（RAG）在LLM中的工作流程，并指出其緩解幻覺的核心原因。答案：流程：1)離線階段：將知識庫文檔切分、向量化，存入向量數(shù)據(jù)庫；2)在線階段：用戶查詢q經(jīng)Embedding模型編碼為向量eq；3)檢索器用eq在向量庫中召回Topk文檔片段{d1,…,dk}；4)拼接“q+d1+…+dk”作為上下文輸入LLM；5)LLM生成帶引用的回答。核心原因：提供實(shí)時(shí)、可驗(yàn)證的外部知識，使生成基于檢索到的真實(shí)片段，降低模型依賴內(nèi)部參數(shù)記憶，從而抑制幻覺。32.解釋“梯度累積”如何在有限顯存下實(shí)現(xiàn)大batch訓(xùn)練，并給出PyTorch代碼片段。答案：原理：將大批次拆分為N個(gè)小步，每步計(jì)算損失并反向傳播，但暫不更新權(quán)重，而是累積梯度；N步后統(tǒng)一執(zhí)行優(yōu)化器更新，等效batchsize擴(kuò)大N倍。代碼：```pythonaccum_steps=4model.zero_grad()fori,(x,y)inenumerate(dataloader):loss=model(x,y)/accum_stepsloss.backward()if(i+1)%accum_steps==0:optimizer.step()model.zero_grad()```解析：通過延遲更新，顯存僅保存單步圖，等效擴(kuò)大批次，提升收斂穩(wěn)定性。33.對比“PostNorm”與“PreNorm”在Transformer中的差異，并說明PreNorm為何能緩解訓(xùn)練深度模型時(shí)的梯度消失。答案：差異：PostNorm：子層→殘差加→LayerNorm，即LayerNorm在殘差之后；PreNorm：LayerNorm→子層→殘差加，即LayerNorm在子層輸入前。梯度緩解：PreNorm將主干路徑變?yōu)椤昂愕扔成洹?，梯度可直接沿殘差路徑回傳，不受LayerNorm縮放影響；深度堆疊時(shí)，梯度尺度保持穩(wěn)定，避免逐層衰減，從而支持訓(xùn)練百層以上模型。六、計(jì)算與推導(dǎo)題（共31分）34.（10分）給定一個(gè)兩類別線性分類問題，訓(xùn)練集線性可分，支持向量機(jī)（硬間隔）得到?jīng)Q策邊界w?x+b=0。若對正類樣本x+進(jìn)行x′=x++δ，其中δ=?ρw?（ρ>0），求x′到邊界的帶符號距離，并判斷其類別。答案：距離公式：d=(w?·x′+b)/‖w?‖代入x′：w?·x′+b=w?·(x+?ρw?)+b=(w?·x++b)?ρ‖w?‖2因x+為正類支持向量，w?·x++b=1（函數(shù)間隔）故d=(1?ρ‖w?‖2)/‖w?‖=1/‖w?‖?ρ‖w?‖帶符號距離為負(fù)，且|d|隨ρ增大而增大，因此x′位于負(fù)類區(qū)域，類別判為負(fù)。35.（10分）在DDPM中，已知αt=1?βt，βt線性從0.0001到0.02，T=1000。推導(dǎo)采樣階段xt的分布q(xt|x0)的均值μt與方差σt2，并計(jì)算x0=0、ε~N(0,I)時(shí)xt的期望與方差。答案：重參數(shù)：xt=√αtx0+√(1?αt)ε，其中αt=∏i=1t(1?βi)均值μt=√αtx0方差σt2=1?αt代入x0=0：E[xt]=0，Var[xt]=1?αt當(dāng)t=1000，αt≈0.0064，Var[xt]≈0.9936，接近標(biāo)準(zhǔn)高斯，驗(yàn)證前向擴(kuò)散有效性。36.（11分）考慮一個(gè)注意力頭，維度dk=64，輸入Q∈Rn×dk，K∈Rn×dk，V∈Rn×dv，n=2048。計(jì)算標(biāo)準(zhǔn)點(diǎn)積注意力的FLOPs，并分析FlashAttention如何將HBMIO復(fù)雜度從O(n2)降至O(n)。答案：FLOPs：1)QK^T：n×dk×n=20482×64≈2.68×10?2)Softmax：exp+reduce≈3n2=1.26×10?3)Attention×V：n×n×dv，設(shè)dv=64，同2.68×10?總計(jì)≈5.4×10?FLOPsHBMIO：標(biāo)準(zhǔn)實(shí)現(xiàn)需寫入n×n注意力矩陣≈16M元素，F(xiàn)P16即32MB，隨n2增長。FlashAttention：分塊大小Bc=Br=256，將QKV加載到SRAM，計(jì)算塊內(nèi)注意力，立即輸出O的塊，無需存儲完整注意力矩陣；IO復(fù)雜度變?yōu)镺(n×d×Bc)，線性于n，顯著減少顯存帶寬需求。七、綜合應(yīng)用題（共20分）37.某電商公司需構(gòu)建多模態(tài)商品檢索系統(tǒng)，輸入為用戶拍攝的商品圖，輸出為Top10相似商品ID。技術(shù)棧：ViTB/16圖像編碼器、BERTbase文本編碼器、Faiss向量檢索?，F(xiàn)有問題：1)圖像與文本特征維度不同（768vs768），但需統(tǒng)一度量空間；2)商品圖存在背景干擾；3)庫存商品圖均為白底，用戶圖復(fù)雜。請給出完整技術(shù)方案，包括數(shù)據(jù)預(yù)處理、模型訓(xùn)練、損失函數(shù)、推理優(yōu)化、評估指標(biāo)，并解釋每一步如何解決問題。答案：方案：1)數(shù)據(jù)預(yù)處理：用戶圖：使