2025人工智能考試題庫及答案一、單項選擇題（每題2分，共20分）1.在Transformer架構(gòu)中，ScaledDotProductAttention的計算公式為A.softmax(QK^T)VB.softmax(QK^T/√d_k)VC.softmax(QK^T/√d_v)VD.softmax(KQ^T/√d_k)V答案：B解析：為防止d_k較大時softmax進(jìn)入飽和區(qū)，需除以√d_k做縮放，保持梯度穩(wěn)定。2.聯(lián)邦學(xué)習(xí)場景下，客戶端上傳的梯度被惡意替換為全零向量，服務(wù)器端最可能檢測到的異常指標(biāo)是A.權(quán)重方差驟降B.更新范數(shù)趨近于零C.訓(xùn)練損失突然上升D.學(xué)習(xí)率自動衰減答案：B解析：全零梯度導(dǎo)致更新范數(shù)≈0，與歷史更新分布顯著偏離，觸發(fā)異常檢測。3.在StableDiffusion中，文本條件通過哪種方式注入UNet去噪網(wǎng)絡(luò)？A.交叉注意力層B.自注意力層C.殘差連接D.GroupNorm縮放答案：A解析：文本編碼器輸出通過交叉注意力與UNet中間特征交互，實現(xiàn)條件生成。4.下列哪項技術(shù)最直接緩解LLM“幻覺”現(xiàn)象？A.RLHFB.LoRA微調(diào)C.知識蒸餾D.混合精度訓(xùn)練答案：A解析：RLHF引入人類偏好獎勵模型，抑制模型生成無依據(jù)內(nèi)容。5.在AlphaGoZero中，MCTS選擇子節(jié)點的PUCT公式里，c_puct系數(shù)的作用是A.控制探索與利用權(quán)衡B.調(diào)整學(xué)習(xí)率C.限制網(wǎng)絡(luò)深度D.正則化權(quán)重答案：A解析：c_puct越大，越傾向選擇訪問次數(shù)少的節(jié)點，鼓勵探索。6.當(dāng)使用8bit量化LLM時，出現(xiàn)顯著精度退化，最優(yōu)先驗證的指標(biāo)是A.權(quán)重熵B.激活異常值比例C.梯度L2范數(shù)D.批歸一化參數(shù)答案：B解析：激活異常值被截斷導(dǎo)致信息丟失，是INT8量化誤差主因。7.在DiffusionModel訓(xùn)練階段，對t~Uniform(1,T)采樣時間步的主要目的是A.降低方差B.增加數(shù)據(jù)增強(qiáng)C.使損失函數(shù)各時間步等權(quán)重D.加速采樣答案：C解析：均勻采樣保證每個時間步對損失貢獻(xiàn)一致，避免某些步被忽視。8.下列關(guān)于MoE（MixtureofExperts）稀疏門控的描述，正確的是A.所有專家始終參與計算B.Top2門控可提升負(fù)載均衡C.專家容量因子小于1一定導(dǎo)致丟tokenD.門控網(wǎng)絡(luò)不使用Softmax答案：B解析：Top2允許次要專家參與，緩解單一專家過載，改善均衡。9.在CV領(lǐng)域，ConvNeXt通過以下哪項設(shè)計取代傳統(tǒng)ViT的自注意力？A.大核深度可分離卷積B.動態(tài)卷積C.Deformable卷積D.分組卷積答案：A解析：7×7深度卷積提供類似自注意力的全局感受野，且計算高效。10.當(dāng)在邊緣設(shè)備部署Transformer時，采用KVcache壓縮技術(shù)，主要減少的是A.計算量B.顯存占用C.權(quán)重大小D.通信帶寬答案：B解析：KVcache存儲歷史鍵值，壓縮后降低顯存峰值，不影響計算量。二、多項選擇題（每題3分，共15分）11.關(guān)于LoRA微調(diào)，下列說法正確的是A.凍結(jié)原模型權(quán)重B.引入低秩矩陣BAC.推理階段可合并BA至原權(quán)重D.只適用于Transformer注意力層答案：A、B、C解析：LoRA可插入任何權(quán)重矩陣，非僅限注意力；推理合并消除額外延遲。12.以下哪些方法可直接提升LLM上下文長度外推能力？A.RoPE位置編碼B.ALiBi偏置C.滑動窗口注意力D.旋轉(zhuǎn)位置編碼插值答案：A、B、D解析：滑動窗口限制感受野，反而降低外推；RoPE與ALiBi通過編碼設(shè)計支持更長序列。13.在自動駕駛感知系統(tǒng)中，多相機(jī)特征融合采用BEVFormer時，其優(yōu)勢包括A.無需顯式深度估計B.支持時序信息C.使用可學(xué)習(xí)查詢向量D.依賴激光雷達(dá)答案：A、B、C解析：BEVFormer純視覺方案，不依賴LiDAR；時序融合通過歷史BEV特征。14.關(guān)于NeRF的體渲染方程，下列變量直接影響顏色的是A.體密度σB.光線方向dC.采樣點位置xD.累積透射率T答案：A、B、C、D解析：σ決定衰減，d與x影響視角相關(guān)顏色，T控制權(quán)重。15.在強(qiáng)化學(xué)習(xí)中，造成Q值高估的原因有A.最大化偏差B.函數(shù)近似誤差C.探索不足D.獎勵稀疏答案：A、B解析：DoubleDQN解決最大化偏差；函數(shù)近似引入過估計。三、判斷題（每題1分，共10分）16.GAN的判別器輸出使用Sigmoid時，生成器損失采用最小化log(1D(G(z)))一定比最大化log(D(G(z)))更穩(wěn)定。答案：錯解析：前者早期梯度飽和，實際常用后者或標(biāo)簽平滑。17.在VisionTransformer中，位置編碼去除后模型仍能保持平移不變性。答案：錯解析：無位置編碼將喪失順序信息，平移不變性不成立。18.使用FlashAttention時，顯存復(fù)雜度從O(n2)降至O(n)。答案：對解析：通過分塊softmax，將平方顯存優(yōu)化為線性。19.在擴(kuò)散模型DDIM采樣中，確定性采樣軌跡可逆。答案：對解析：DDIM定義非馬爾可夫過程，逆過程存在確定映射。20.聯(lián)邦平均算法FedAvg在客戶端數(shù)據(jù)非獨立同分布時必然發(fā)散。答案：錯解析：適當(dāng)降低本地epoch與學(xué)習(xí)率可收斂，但精度下降。21.使用INT4量化時，groupwise量化粒度越小，精度越高。答案：對解析：更細(xì)粒度減少離群值影響，降低量化誤差。22.在LLM推理階段，采用speculativedecoding需要額外訓(xùn)練小模型。答案：對解析：草稿模型需提前訓(xùn)練，用于生成候選token。23.對比學(xué)習(xí)損失InfoNCE中，溫度系數(shù)τ越大，負(fù)樣本懲罰越弱。答案：對解析：τ→∞時softmax趨近均勻分布，負(fù)樣本梯度減小。24.在AlphaFold2中，Evoformer模塊直接預(yù)測三維坐標(biāo)。答案：錯解析：Evoformer輸出pair與MSA表示，后續(xù)StructureModule才回歸坐標(biāo)。25.使用ReLU激活的神經(jīng)網(wǎng)絡(luò)，損失曲面一定非凸。答案：錯解析：單隱層線性輸出可保持凸性，但深層非凸。四、填空題（每空2分，共20分）26.在Transformer中，多頭注意力機(jī)制將d_model拆分為h個頭部，每個頭維度為________。答案：d_model/h解析：保持總計算量不變，拆分后維度縮小h倍。27.DDPM前向過程第t步的噪聲調(diào)度通常采用________方差計劃。答案：線性或cosine解析：線性簡單，cosine在低密度區(qū)域更平滑。28.在MoE訓(xùn)練中，輔助損失AuxiliaryLoadBalancingLoss的系數(shù)一般設(shè)置為________量級。答案：1e2解析：過大導(dǎo)致門控崩潰，過小無均衡效果。29.使用GroupNorm時，默認(rèn)分組數(shù)G=________適用于大部分視覺模型。答案：32解析：ImageNet實驗表明G=32在多種寬度下穩(wěn)定。30.在LLM量化中，SmoothQuant通過將量化難度從激活遷移到________，實現(xiàn)INT8權(quán)重+激活量化。答案：權(quán)重解析：引入平滑因子α，將離群值縮放至權(quán)重側(cè)。31.ConvNeXtT的stage比例C2:C3:C4:C5=________。答案：3:3:9:3解析：對應(yīng)[3,3,9,3]block數(shù)，與Res50類似。32.在Imagenet預(yù)訓(xùn)練中，DeiT使用________蒸餾token提升無卷積教師性能。答案：distillation解析：額外token與classtoken并行，學(xué)習(xí)教師輸出。33.在RLHF中，PPOclip的ε超參默認(rèn)取________。答案：0.2解析：實驗表明0.2在多數(shù)任務(wù)平衡穩(wěn)定與探索。34.在BEV感知中，LSS（LiftSplatShoot）將圖像特征通過________變換生成BEV特征。答案：顯式深度分布解析：預(yù)測離散熱力圖，加權(quán)投影至BEV體素。35.在語音合成VITS中，隨機(jī)時長預(yù)測器采用________分布建模音素時長。答案：NormalizingFlow解析：通過逆變換采樣可微，支持變分推理。五、簡答題（每題8分，共24分）36.描述FlashAttention如何通過分塊技術(shù)降低顯存占用，并給出復(fù)雜度分析。答案：FlashAttention將softmax按行分塊，在GPUSRAM中完成局部歸一化，避免存儲完整n×n注意力矩陣。分塊大小為M×N，顯存從O(n2)降至O(n+M×N)，計算量保持O(n2)。解析：傳統(tǒng)實現(xiàn)需存儲P、S、O三塊矩陣，F(xiàn)lashAttention通過在線softmax更新，僅需當(dāng)前塊緩存。37.解釋RLHF中RewardModel過擬合的表現(xiàn)及三種緩解策略。答案：表現(xiàn)：訓(xùn)練損失極低但人類評分不一致，策略模型利用RM漏洞獲得高獎勵。策略：1)數(shù)據(jù)增強(qiáng)，收集更多對比對；2)引入正則化，如dropout、權(quán)重衰減；3)使用集成RM，投票降低單模型偏差。解析：RM對分布外樣本敏感，需提升泛化。38.對比NeRF與3DGS（3DGaussianSplatting）在渲染速度與質(zhì)量上的差異。答案：NeRF需數(shù)百次MLP查詢，渲染單幀秒級；3DGS使用各向異性高斯，光柵化毫秒級。質(zhì)量方面，NeRF在復(fù)雜光照更真實，3DGS在邊緣細(xì)節(jié)可能出現(xiàn)高斯偽影。解析：3DGS顯式存儲參數(shù)，適合實時；NeRF隱式連續(xù)，適合離線高質(zhì)量。六、計算與推導(dǎo)題（共31分）39.（10分）給定Transformer自注意力輸入Q∈R^(n×d_k)，K∈R^(n×d_k)，V∈R^(n×d_v)，n=4，d_k=2，d_v=3，Q=[[1,0],[0,1],[1,1],[0,0]]，K=[[1,0],[0,1],[1,1],[0,0]]，V=[[1,0,0],[0,1,0],[0,0,1],[1,1,1]]。計算ScaledDotProductAttention輸出O∈R^(4×3)，并寫出步驟。答案：Step1:S=QK^T=[[1,0,1,1],[0,1,1,1],[1,1,2,1],[0,0,0,0]]Step2:縮放S/√d_k=S/√2Step3:softmax按行，得P=[[0.32,0.21,0.32,0.15],[0.21,0.32,0.32,0.15],[0.21,0.21,0.42,0.15],[0.25,0.25,0.25,0.25]]Step4:O=PV=[[0.32,0.21,0.47],[0.21,0.32,0.47],[0.21,0.21,0.63],[0.25,0.25,0.5]]解析：手工softmax保留兩位小數(shù)，驗證每行和為1。40.（10分）在擴(kuò)散模型中，給定線性調(diào)度β_t=0.1t，T=5，推導(dǎo)q(x_t|x_0)的閉式均值μ_t與方差σ_t2，并計算x_0=1時x_3的分布。答案：α_t=1?β_t，α?_t=∏_{s=1}^tα_st=3:α?_3=(0.9)(0.8)(0.7)=0.504μ_t=√α?_tx_0=0.71×1=0.71σ_t2=1?α?_3=0.496故x_3~N(0.71,0.496)解析：利用重參數(shù)化技巧，x_t=√α?_tx_0+√(1?α?_t)ε。41.（11分）考慮一個二維MoE門控網(wǎng)絡(luò)，輸入x∈R2，專家數(shù)E=3，門控g(x)=softmax(Wx)，W∈R^(3×2)。給定x=[1,2]，W=[[1,0],[0,1],[1,1]]，計算Top2門控權(quán)重及負(fù)載均衡輔助損失，設(shè)f_i為專家i被分配的概率，容量因子C=1，批大小B=1。答案：Wx=[1,2,3]，softmax后g=[0.09,0.24,0.67]Top2:專家3(0.67)，專家2(0.24)負(fù)載損失L_aux=α∑_{i=1}^Ef_iP_i，其中f_i為批次內(nèi)平均門控，P_i為實際分配比例。B=1，f=[0.09,0.24,0.67]，P=[0,1,1]（Top2）L_aux=0.001×(0.09×0+0.24×1+0.67×1)=0.00091，取α=1e2解析：輔助損失鼓勵均勻分布，防止專家3壟斷。七、綜合設(shè)計題（共30分）42.某醫(yī)院需在本地服務(wù)器部署LLM用于病歷摘要，要求單機(jī)A100(80GB)支持最大上下文32k，模型參數(shù)量70B，請給出壓縮與推理方案，包括量化、KVcache、并行策略及顯存預(yù)算，并評估摘要質(zhì)量下降風(fēng)險。答案：1)量化：采用SmoothQuantINT8權(quán)重+激活，顯存從140GB降至70GB；對FFN二次量化至INT4，再降35GB。2)KVcache：32k×12