2025年人工智能基礎知識考試試題及答案一、單項選擇題（每題2分，共30分）1.在深度學習中，若將ReLU激活函數(shù)替換為LeakyReLU，其主要目的是A.降低顯存占用B.緩解神經(jīng)元“死亡”現(xiàn)象C.加速反向傳播收斂D.提高卷積核感受野答案：B。LeakyReLU在負半軸保留微小梯度，可避免梯度為零導致的神經(jīng)元永久失活。2.下列關于Transformer位置編碼的說法正確的是A.絕對位置編碼無法外推到更長序列B.相對位置編碼必須引入額外可學習參數(shù)C.RoPE編碼在復數(shù)域完成旋轉操作D.ALiBi位置編碼對注意力得分加以指數(shù)衰減答案：A。絕對正余弦編碼公式固定，超出訓練長度時頻率分量不再匹配。3.在聯(lián)邦學習場景下，客戶端上傳梯度而非原始數(shù)據(jù)，主要防范的安全威脅是A.模型逆向攻擊B.成員推理攻擊C.投毒攻擊D.旁道攻擊答案：A。梯度可泄露訓練樣本，但相比直接傳輸原始數(shù)據(jù)，逆向難度顯著增加。4.若使用混合精度訓練，LossScaling的初始值通常選擇A.動態(tài)范圍最大值B.2的冪次且接近梯度最大量級C.1.0D.學習率乘以0.01答案：B。經(jīng)驗上取2^k，使最小梯度乘以scale后超出FP16下溢區(qū)間。5.在DDPM擴散模型中，q(x_{t-1}|x_t)被稱為A.前向核B.反向核C.變分后驗D.證據(jù)下界答案：B。反向過程通過神經(jīng)網(wǎng)絡擬合該核，實現(xiàn)逐步去噪。6.下列關于Mamba狀態(tài)空間模型的描述，錯誤的是A.采用選擇性機制壓縮序列B.卷積視圖下等效于全局因果卷積C.訓練階段可并行化D.推理階段復雜度與序列長度呈線性答案：D。Mamba通過掃描算法將推理復雜度降至O(N)，而非線性。7.在RLHF中，獎勵模型訓練通常采用A.MSE回歸B.交叉熵分類C.排序損失如Bradley-TerryD.策略梯度答案：C。對比人類偏好對，使用成對排序損失。8.若將BatchNorm替換為GroupNorm，下列說法正確的是A.對小batch更魯棒B.引入通道間相關性C.需要保存運行均值方差D.僅適用于全連接層答案：A。GroupNorm計算與batch無關，適合batch=1的在線推理。9.在自監(jiān)督視覺預訓練中，SimSiam避免崩潰的關鍵是A.動量編碼器B.停止梯度操作C.對比負樣本D.聚類分配答案：B。停止梯度切斷對稱路徑，防止模型退化為常數(shù)輸出。10.下列關于LoRA微調(diào)的說法，錯誤的是A.僅訓練低秩矩陣B.可插入任意線性層C.推理時需合并原權重D.顯存占用高于全參數(shù)微調(diào)答案：D。LoRA通過低秩分解顯著降低激活顯存。11.在LLM推理階段，采用speculativedecoding的主要收益是A.降低功耗B.提升單樣本延遲C.減少采樣隨機性D.增加顯存占用答案：B。小模型并行生成草稿，大模型并行驗證，顯著降低延遲。12.若使用A搜索求解RL環(huán)境最優(yōu)策略，啟發(fā)函數(shù)h需滿足A.可采納且一致B.大于真實代價C.非負即可D.與g值無關答案：A?？刹杉{保證不遺漏最優(yōu)路徑，一致保證單調(diào)性。13.在神經(jīng)輻射場(NeRF)中，位置編碼γ(x)采用A.正余弦級聯(lián)B.可學習線性投影C.球諧函數(shù)D.小波基答案：A。高頻映射增強MLP對細節(jié)擬合能力。14.下列關于GNNOver-Smoothing的描述，正確的是A.隨著層數(shù)增加，節(jié)點表示趨于正交B.可通過DropEdge緩解C.僅出現(xiàn)在無向圖D.與特征維度無關答案：B。隨機丟棄邊可減緩信息過度平均。15.在AutoML中，Early-Stopping的patience參數(shù)若設置過大，可能導致A.欠擬合B.過擬合C.搜索加速D.顯存下降答案：B。驗證指標已惡化但繼續(xù)訓練，模型記憶訓練集噪聲。二、多項選擇題（每題3分，共30分）16.下列哪些技術可提升VisionTransformer在中小數(shù)據(jù)集上的精度A.數(shù)據(jù)增強如RandAugmentB.蒸餾至CNN教師C.使用PatchMerge降采樣D.引入局部窗口注意力答案：A、D。增強與局部偏置均可緩解數(shù)據(jù)不足。17.關于對比學習損失InfoNCE，以下說法正確的是A.溫度系數(shù)τ越小，分布越尖銳B.負樣本數(shù)量增加會降低梯度方差C.與互信息下界相關D.等價于交叉熵答案：A、C、D。負樣本增多實際增加方差，但提高下界緊度。18.在LLM安全對齊中，RLAIF相比RLHF的優(yōu)勢包括A.降低人類標注成本B.可擴展更多語言C.消除獎勵黑客可能D.支持細粒度規(guī)則更新答案：A、B、D。AI反饋仍可能黑客，故C錯誤。19.下列關于DiffusionTransformer(DiT)的說法，正確的是A.將U-Net卷積塊替換為Transformer塊B.使用AdaLN調(diào)節(jié)時間步C.在ImageNet256上FID優(yōu)于LDMD.訓練采用VQGAN編碼器答案：A、B、C。DiT直接操作像素空間，無需VQGAN。20.在邊緣設備部署INT8量化模型時，可能引入的誤差來源有A.激活溢出B.權重量化尺度粒度C.偏置未量化D.層融合順序答案：A、B、D。偏置通常以INT32累加，不引入新誤差。21.下列關于MoE(MixtureofExperts)稀疏激活的描述，正確的是A.專家容量因子影響負載均衡B.SwitchTransformer采用Top-1路由C.專家dropout可防止過擬合D.推理時顯存隨專家數(shù)線性增加答案：A、B、C。推理僅加載被激活專家，顯存不線性增加。22.在NeRF加速訓練中，以下哪些做法有效A.體素八叉樹剪空B.重要性采樣空域C.哈希編碼位置特征D.降低射線采樣精度答案：A、B、C。降低采樣精度會引入噪點，反而降低收斂速度。23.關于多模態(tài)CLIP模型，以下說法正確的是A.圖像編碼器可使用VisionTransformerB.文本編碼器最后一層后加L2歸一化C.對比損失溫度參數(shù)可學習D.零樣本分類無需任何標簽答案：A、B、C、D。CLIP在推理時通過提示模板即可分類。24.在強化學習PPO算法中，下列超參數(shù)對訓練穩(wěn)定性影響顯著的是A.裁剪系數(shù)εB.價值函數(shù)損失系數(shù)C.熵獎勵系數(shù)D.回滾片段長度答案：A、B、C、D。四項均顯著影響策略更新幅度與探索。25.下列關于深度學習優(yōu)化器AdaFactor的說法，正確的是A.不保存平方梯度矩陣B.按行歸一化二階矩C.適用于大模型微調(diào)D.等價于AdamW答案：A、B、C。AdaFactor通過低秩近似省去平方矩陣，與AdamW不等價。三、填空題（每空2分，共20分）26.在Transformer自注意力中，QK^T除以√d_k是為了防止________。答案：梯度消失或梯度爆炸，維持數(shù)值穩(wěn)定性。27.若使用cosineannealing學習率調(diào)度，其周期通常設置為________個epoch。答案：總訓練epoch數(shù)，實現(xiàn)單周期余弦退火。28.在DDIM采樣中，若將噪聲調(diào)度系數(shù)σ_t設為0，則退化為________過程。答案：確定性隱式采樣，方差為零。29.將FP32權重轉為BF16時，尾數(shù)精度從23位降至________位。答案：7。BF16總16位，1符號8指數(shù)7尾數(shù)。30.在MAML元學習中，任務特定梯度更新步長稱為________參數(shù)。答案：內(nèi)環(huán)或內(nèi)層，inner-loop。31.若使用K-Means對CLIP視覺特征聚類，初始中心選擇采用________++算法可加速收斂。答案：K-Means++。32.在語音合成VITS中，文本先驗編碼器輸出________分布參數(shù)，用于隨機時長模型。答案：正態(tài)或對角高斯，均值與方差。33.在目標檢測YOLOv8中，CIoU損失同時考慮重疊面積、中心點距離與________。答案：長寬比一致性。34.若使用DeepSpeedZero-3，優(yōu)化器狀態(tài)、梯度與參數(shù)均被________到各GPU。答案：分片，shard。35.在圖神經(jīng)網(wǎng)絡中，若聚合函數(shù)為均值，則節(jié)點表示近似對應隨機游走的________分布。答案：平穩(wěn)或穩(wěn)態(tài)。四、判斷題（每題1分，共10分）36.使用ReZero初始化可以讓殘差分支輸出初始為零，從而加速深層網(wǎng)絡收斂。答案：正確。ReZero引入可縮放置零初始殘差。37.在擴散模型中，增加擴散步數(shù)T一定能降低采樣FID。答案：錯誤。步數(shù)過多會累積神經(jīng)網(wǎng)絡誤差，反而升高FID。38.將LayerNorm替換為RMSNorm可減少約7%訓練顯存。答案：正確。RMSNorm去掉均值統(tǒng)計，節(jié)省激活緩存。39.在LLM推理中，KV-Cache壓縮技術如StreamingLLM會丟失初始token信息。答案：正確?；瑒哟翱趤G棄早期key-value。40.使用GroupConvolution一定比標準卷積參數(shù)少。答案：錯誤。當groups=1時二者等價；groups>1且輸入輸出通道不匹配時參數(shù)可能增加。41.在聯(lián)邦學習FedAvg中，客戶端本地epoch越多，全局模型收斂越快。答案：錯誤。本地epoch過大導致客戶端漂移，減慢收斂。42.對比學習中的硬負樣本挖掘可通過增大batchsize隱式實現(xiàn)。答案：正確。大batch提供更多負樣本，增加硬負概率。43.在VisionTransformer中，去掉clstoken改用全局平均池化會降低ImageNet精度。答案：錯誤。當前多數(shù)實現(xiàn)二者精度相當，甚至GAP略高。44.使用FlashAttention的主要目的是減少計算復雜度從O(N2)到O(N)。答案：錯誤。FlashAttention通過分塊減少顯存讀寫，計算量仍為O(N2)，但常數(shù)減小。45.在NeRF中，若僅優(yōu)化顏色網(wǎng)絡而不優(yōu)化密度網(wǎng)絡，則幾何形狀無法恢復。答案：正確。密度決定不透明度，缺失則無法重建幾何。五、簡答題（每題10分，共30分）46.描述LoRA在LLM微調(diào)中的數(shù)學原理，并說明為何能顯著降低顯存。答案：設原權重W∈?^{d×k}，LoRA引入低秩分解W'=W+BA，其中B∈?^{d×r},A∈?^{r×k},r?min(d,k)。訓練時凍結W，僅優(yōu)化A、B，梯度需保存的激活顯存從O(dk)降至O(dr+rk)。由于r常取4~64，遠小于d,k（如4096），顯存節(jié)省可達30%~50%。推理階段可合并W'=W+BA，不引入額外延遲。47.解釋擴散模型中Classifier-FreeGuidance的公式及其對生成質量的影響。答案：設無條件得分ε_θ(x_t,?)，條件得分ε_θ(x_t,c)，引導后得分ε?=ε_θ(x_t,c)+w·(ε_θ(x_t,c)?ε_θ(x_t,?))，其中w為引導系數(shù)。當w>1時，生成樣本更貼合條件c，但w過大將降低多樣性并引入模式崩塌。實驗表明ImageNet256最優(yōu)w≈3~5，F(xiàn)ID先降后升。48.對比分析CNN、Transformer、Mamba在長序列建模中的復雜度與顯存占用。答案：CNN局部卷積核復雜度O(N)，但感受野線性增長，需深層捕獲長程；顯存O(N)與通道數(shù)成正比。Transformer自注意力計算O(N2)，顯存O(N2)存取QK^T，限制長序列。Mamba通過選擇性狀態(tài)空間掃描，計算O(N)，顯存O(N)僅保存狀態(tài)向量，支持超長序列單卡推理。三者權衡：CNN局部歸納偏置強，Transformer全局但昂貴，Mamba線性且保持全局，但缺乏視覺局部先驗，需更多數(shù)據(jù)彌補。六、綜合應用題（共30分）49.某團隊需在邊緣GPU（6GB顯存）上部署7B參數(shù)LLM，要求推理延遲<100ms/token?，F(xiàn)有方案：A.使用INT4權重量化+KV-CacheINT8；B.采用投機解碼（草稿模型1.3B，接受率0.75）；C.使用FlashAttention-2；D.啟用DeepSpeedZero-3推理模式。請評估各方案可行性，給出組合策略并計算峰值顯存與延遲。答案：1)顯存估算：7B參數(shù)INT4占3.5GB；KV-Cache按序列長2048、batch=1、頭維128、層32、96頭，緩存總量=2×2048×96×128×32×1Byte≈1.5GB；激活用FlashAttention-2，峰值≈0.8GB；總計≈5.8GB<6GB，方案A+C可行。2)投機解碼：草稿模型1.3BINT4占0.65GB，與主模型共存需額外緩存，峰值升至6.45GB溢出。采用分時加載：草稿推理后卸載，主模型驗證時重載，增加延遲10ms，但接受率0.75使平均步長1.33，等效延遲=90/1.33≈67ms<100ms，方案B可折中。3)Zero-3推理用于多卡，單卡無收益且增加通信，排除D。4)最終策略：INT4+KV-CacheINT8+FlashAttention-2+投機解碼（分時加載），峰值顯存5.8GB，平均延遲67ms，滿足要求。50.給定一個二值分類數(shù)據(jù)集，正負樣本比1:99，模型輸出概率p。請設計一個基于FocalLoss的改進損失，使易分負樣本權重進一步下降，并給出梯度形式。答案：設標準FocalLossFL=?α(1?p)^γlogp，對負樣本p→0權重為α。為進一步抑制，引入雙曲衰減因子cosh(βp)，當p接近0時cosh≈1，p增大迅速上升。改進損失L=?yα(1?p)^γ/cosh(βp)·logp?(1?y)αp^γ/cosh(