2025年(人工智能訓(xùn)練師)自然語(yǔ)言處理試題及答案一、單項(xiàng)選擇題（每題1分，共20分）1.在Transformer架構(gòu)中，用于捕捉序列位置信息的核心組件是A.卷積核B.位置編碼（PositionalEncoding）C.殘差連接D.層歸一化答案：B解析：Transformer完全舍棄RNN與CNN，必須引入位置編碼才能讓模型感知token的先后順序。2.下列哪一項(xiàng)不是BERT預(yù)訓(xùn)練階段的任務(wù)A.MaskedLanguageModelB.NextSentencePredictionC.SentenceOrderPredictionD.無(wú)答案：C解析：BERT僅使用MLM與NSP；SentenceOrderPrediction是ALBERT的變體任務(wù)。3.當(dāng)使用AdamW優(yōu)化器時(shí)，權(quán)重衰減與L2正則化的主要區(qū)別是A.衰減系數(shù)是否參與梯度修正B.是否對(duì)偏置項(xiàng)生效C.是否對(duì)學(xué)習(xí)率縮放D.是否對(duì)embedding層生效答案：A解析：AdamW將衰減項(xiàng)直接加在參數(shù)更新步驟，而非混入梯度，避免衰減被梯度縮放扭曲。4.在文本生成任務(wù)中，若出現(xiàn)“重復(fù)循環(huán)”現(xiàn)象，最優(yōu)先嘗試的解碼策略調(diào)整是A.提高temperatureB.啟用repetition_penalty>1C.改用GreedySearchD.縮小beamsize答案：B解析：repetition_penalty直接對(duì)已生成token的logits進(jìn)行懲罰，可立即抑制循環(huán)。5.對(duì)于中文BERT，字符級(jí)tokenization相對(duì)于子詞（如BPE）的劣勢(shì)是A.無(wú)法處理繁簡(jiǎn)體B.詞典過(guò)大導(dǎo)致參數(shù)爆炸C.無(wú)法處理未登錄詞D.無(wú)法利用預(yù)訓(xùn)練embedding答案：B解析：中文字符集約3萬(wàn)，嵌入表參數(shù)量遠(yuǎn)超BPE的3萬(wàn)子詞，導(dǎo)致顯存與訓(xùn)練時(shí)間激增。6.在指令微調(diào)（InstructionTuning）中，為了緩解“對(duì)齊稅”（alignmenttax），最常用的技術(shù)是A.LoRAB.RLAIFC.DistillationD.MixtureofExperts答案：B解析：RLAIF（RLfromAIFeedback）用模型自身生成偏好數(shù)據(jù)，減少人類標(biāo)注成本，同時(shí)降低對(duì)齊導(dǎo)致的性能下降。7.當(dāng)使用FP16混合精度訓(xùn)練時(shí)，下列哪項(xiàng)操作必須顯式放大梯度A.反向傳播前B.梯度裁剪前C.優(yōu)化器更新前D.損失縮放（LossScaling）答案：D解析：FP16下梯度易下溢，需在損失上乘以scale因子，更新前再unscale。8.在檢索增強(qiáng)生成（RAG）中，若檢索器返回的文檔與問(wèn)題無(wú)關(guān)，生成器仍可能給出正確答案，這體現(xiàn)了A.模型幻覺(jué)B.反事實(shí)魯棒性C.參數(shù)記憶D.檢索器偏差答案：C解析：生成器可依賴內(nèi)部參數(shù)記憶回答，說(shuō)明檢索失敗時(shí)模型仍具備知識(shí)。9.下列評(píng)價(jià)指標(biāo)中，對(duì)長(zhǎng)度懲罰最敏感的是A.BLEU4B.ROUGELC.METEORD.BERTScore答案：A解析：BLEU使用幾何平均且?guī)Ш?jiǎn)短懲罰，長(zhǎng)度變化會(huì)顯著影響ngram精度。10.在PromptTuning中，若softprompt長(zhǎng)度從100降至20，模型性能下降顯著，最合理的解釋是A.過(guò)擬合B.表達(dá)容量不足C.學(xué)習(xí)率過(guò)高D.批次大小不足答案：B解析：可訓(xùn)練參數(shù)減少導(dǎo)致提示向量無(wú)法充分引導(dǎo)模型，屬于容量問(wèn)題。11.使用DPO（DirectPreferenceOptimization）時(shí)，需構(gòu)建的樣本對(duì)形式為A.(x,y_w,y_l)B.(x,y_w,r)C.(x,y_w,y_l,r)D.(x,y,r)答案：A解析：DPO只需輸入x、較優(yōu)回答y_w、較差回答y_l，無(wú)需顯式獎(jiǎng)勵(lì)r。12.在LoRA微調(diào)中，若秩r=8，原矩陣維度為4096×4096，則參數(shù)壓縮比約為A.512B.1024C.2048D.256答案：A解析：可訓(xùn)練參數(shù)量=2×4096×8，原參數(shù)40962，壓縮比≈4096/(2×8)=256，但需加上凍結(jié)部分，整體約512倍。13.當(dāng)使用FSDP（FullyShardedDataParallel）訓(xùn)練大模型時(shí)，下列哪項(xiàng)被分片A.優(yōu)化器狀態(tài)、梯度、參數(shù)B.僅參數(shù)C.僅梯度D.僅激活答案：A解析：FSDP將參數(shù)、梯度、優(yōu)化器狀態(tài)均按層分片到各GPU，實(shí)現(xiàn)顯存均衡。14.在中文文本糾錯(cuò)任務(wù)中，若將“新冠”誤寫為“新寇”，最適合的評(píng)估指標(biāo)是A.ERRANTB.M2ScorerC.SIGHANBakeoffCriterionD.GLEU答案：C解析：SIGHANBakeoff提供中文拼寫糾錯(cuò)標(biāo)準(zhǔn)，含檢錯(cuò)、糾錯(cuò)兩級(jí)F1。15.當(dāng)使用DeepSpeedZeroInfinity時(shí)，可offload到NVMe的是A.優(yōu)化器狀態(tài)B.參數(shù)C.激活D.以上全部答案：D解析：ZeroInfinity支持將參數(shù)、梯度、優(yōu)化器狀態(tài)、激活均offload到NVMe，突破顯存墻。16.在對(duì)比學(xué)習(xí)SimCSE中，dropout作為噪聲的核心作用是A.數(shù)據(jù)增強(qiáng)B.構(gòu)造正樣本對(duì)C.降低過(guò)擬合D.提高負(fù)樣本硬度答案：B解析：同一輸入兩次前向，dropout不同即可得到正樣本對(duì)，無(wú)需額外語(yǔ)料。17.當(dāng)使用FlashAttention時(shí)，內(nèi)存復(fù)雜度從O(n2)降至A.O(nlogn)B.O(n)C.O(n^{1.5})D.O(1)答案：B解析：FlashAttention通過(guò)分塊+重計(jì)算，將顯存占用降為線性。18.在指令遵循評(píng)估中，若模型輸出超出用戶要求的字?jǐn)?shù)限制，應(yīng)標(biāo)記為A.幻覺(jué)錯(cuò)誤B.指令違背C.毒性錯(cuò)誤D.事實(shí)錯(cuò)誤答案：B解析：未遵守長(zhǎng)度約束屬于指令違背（instructionviolation）。19.當(dāng)使用QLoRA4bit量化時(shí)，顯存占用約為原始FP16的A.1/2B.1/3C.1/4D.1/8答案：B解析：4bit權(quán)重+16bitLoRAadapter+優(yōu)化器狀態(tài)，綜合約1/3。20.在RLHF中，若獎(jiǎng)勵(lì)模型過(guò)度優(yōu)化導(dǎo)致生成器“獎(jiǎng)勵(lì)黑客”，最先觀察到的現(xiàn)象是A.生成長(zhǎng)度變短B.人類評(píng)分下降C.訓(xùn)練損失上升D.KL散度驟降答案：B解析：獎(jiǎng)勵(lì)黑客指模型鉆獎(jiǎng)勵(lì)模型漏洞，人類真實(shí)評(píng)分反而降低。二、多項(xiàng)選擇題（每題2分，共20分）21.下列哪些技術(shù)可直接降低Transformer推理延遲A.KVCacheB.DynamicBatchC.GradientCheckpointingD.SpeculativeDecoding答案：A、B、D解析：KVCache避免重復(fù)計(jì)算；DynamicBatch合并請(qǐng)求；SpeculativeDecoding用小模型提前預(yù)測(cè)，均可加速。Checkpointing僅節(jié)省訓(xùn)練顯存。22.關(guān)于RoPE（旋轉(zhuǎn)位置編碼）的正確描述A.絕對(duì)位置編碼B.通過(guò)旋轉(zhuǎn)矩陣注入相對(duì)位置C.可外推到更長(zhǎng)序列D.在LLaMA中使用答案：B、C、D解析：RoPE利用復(fù)數(shù)旋轉(zhuǎn)，實(shí)現(xiàn)相對(duì)位置表達(dá)，支持外推，LLaMA已采用。23.以下哪些屬于“對(duì)齊”階段的可驗(yàn)證指標(biāo)A.HelpfulnessB.HonestyC.HarmlessnessD.Diversity答案：A、B、C解析：HHH（Helpful,Honest,Harmless）為對(duì)齊三大指標(biāo)，Diversity非必須。24.在數(shù)據(jù)并行訓(xùn)練中，若出現(xiàn)LossSpike，可能原因A.學(xué)習(xí)率warmup不足B.批次大小過(guò)大C.梯度累積步驟過(guò)多D.權(quán)重衰減為0答案：A、B解析：warmup不足或批次過(guò)大導(dǎo)致梯度方差爆炸，引發(fā)spike。25.下列哪些方法可緩解大模型“幻覺(jué)”A.檢索增強(qiáng)B.引用溯源C.增加TemperatureD.后驗(yàn)置信度過(guò)濾答案：A、B、D解析：提高Temperature會(huì)加劇幻覺(jué)，其余三項(xiàng)均可溯源或過(guò)濾。26.在中文分詞中，基于統(tǒng)計(jì)的模型可能遇到A.未登錄詞B.交集型歧義C.組合型歧義D.過(guò)度召回英文實(shí)體答案：A、B、C解析：統(tǒng)計(jì)模型依賴詞典與計(jì)數(shù)，對(duì)未登錄與歧義敏感；英文實(shí)體召回屬NER問(wèn)題。27.使用DeepSpeedZeRO3時(shí)，下列哪些操作需要集體通信A.參數(shù)廣播B.梯度AllReduceC.優(yōu)化器狀態(tài)分片GatherD.激活重計(jì)算答案：A、B、C解析：ZeRO3在前后向及更新階段均涉AllGather/Reduce，激活重計(jì)算為本地計(jì)算。28.在指令數(shù)據(jù)構(gòu)建中，若出現(xiàn)“指令泄漏”會(huì)導(dǎo)致A.訓(xùn)練集與測(cè)試集重疊B.模型學(xué)會(huì)模板而非任務(wù)C.評(píng)估指標(biāo)虛高D.幻覺(jué)增加答案：A、B、C解析：泄漏使模型提前看到答案，指標(biāo)不真實(shí)，與幻覺(jué)無(wú)直接因果。29.下列哪些屬于可解釋NLP技術(shù)A.LIMEB.IntegratedGradientsC.AttentionRolloutD.Dropout答案：A、B、C解析：Dropout為正則化，非解釋技術(shù)。30.當(dāng)使用Falcon模型進(jìn)行多輪對(duì)話微調(diào)時(shí)，必須保留的特殊token包括A.User:B.Assistant:C.<<SYS>>D.<\|endoftext\|>答案：A、B、D解析：Falcon使用User/Assistant標(biāo)記角色，endoftext截?cái)啵?lt;<SYS>>為L(zhǎng)LaMA風(fēng)格。三、填空題（每空2分，共20分）31.在Transformer中，自注意力機(jī)制的點(diǎn)積結(jié)果需除以________以防止梯度消失。答案：√d_k解析：d_k為query維度，縮放保持方差為1。32.BERT的MaskedLanguageModel掩碼比例為________%。答案：15解析：15%token被選中，其中80%替換為[MASK]，10%隨機(jī)，10%不變。33.使用BeamSearch時(shí)，若beamsize=k，每步需保留________個(gè)候選序列。答案：k解析：每步從k×V個(gè)擴(kuò)展中再選topk。34.在GPT3175B模型中，詞匯表大小為________。答案：50257解析：沿用GPT2BPE，含256字節(jié)基+50000合并+特殊符號(hào)。35.指令微調(diào)中，若使用Alpaca模板，指令起始標(biāo)記為________。答案：Instruction:\n解析：Alpaca模板固定格式，便于模型識(shí)別。36.在對(duì)比學(xué)習(xí)中，溫度系數(shù)τ通常取值范圍________。答案：(0,1]解析：τ→0使分布更尖銳，τ→1趨均勻。37.使用DeepSpeedMoE8×64E模型時(shí)，實(shí)際激活參數(shù)約為總參數(shù)的________。答案：1/8解析：8專家中僅1被激活，參數(shù)按需路由。38.在中文文本中，平均信息熵約為________bit/字。答案：9.6解析：基于大規(guī)模語(yǔ)料統(tǒng)計(jì)，漢字熵高于英文。39.當(dāng)使用INT8量化時(shí)，權(quán)重零點(diǎn)zeropoint的數(shù)據(jù)類型通常為________。答案：int32解析：防止累加溢出，零點(diǎn)用32位存儲(chǔ)。40.RLHF中，PPO的剪切參數(shù)ε常設(shè)為________。答案：0.2解析：0.2為OpenAI實(shí)驗(yàn)?zāi)J(rèn)值，平衡探索與穩(wěn)定。四、判斷題（每題1分，共10分）41.使用LayerNorm前后，Transformer的梯度消失問(wèn)題可完全解決。答案：錯(cuò)解析：LayerNorm緩解但非根除，深層仍可能梯度爆炸。42.在LoRA中，秩r越大，微調(diào)后模型越接近全參數(shù)微調(diào)。答案：對(duì)解析：r→min(d_in,d_out)時(shí)，LoRA退化為全參數(shù)。43.使用GPT4生成合成數(shù)據(jù)時(shí)，無(wú)需任何人工驗(yàn)證即可直接用于微調(diào)。答案：錯(cuò)解析：合成數(shù)據(jù)可能含幻覺(jué)或偏差，需清洗。44.在中文場(chǎng)景下，Wordleveltokenizer比BPE更容易出現(xiàn)OOV。答案：對(duì)解析：中文詞語(yǔ)數(shù)量無(wú)限，BPE可拆子詞。45.FlashAttention支持任意長(zhǎng)度序列而無(wú)需額外顯存。答案：錯(cuò)解析：雖為線性，但極端長(zhǎng)序列仍受GPUSRAM限制。46.使用RLAIF時(shí)，AI反饋模型必須與生成器同規(guī)模。答案：錯(cuò)解析：小模型也可提供偏好，降低成本。47.在對(duì)比學(xué)習(xí)中，負(fù)樣本數(shù)量越多，對(duì)比損失下界越緊。答案：對(duì)解析：負(fù)樣本增加，InfoNCE逼近互信息。48.INT8量化對(duì)激活比權(quán)重更敏感，因激活分布更動(dòng)態(tài)。答案：對(duì)解析：激活隨輸入變化，量化誤差更難估計(jì)。49.使用SpeculativeDecoding時(shí)，草稿模型接受率低于50%則一定減速。答案：錯(cuò)解析：即使接受率30%，只要草稿模型足夠小，仍可能加速。50.在指令微調(diào)中，移除所有系統(tǒng)提示可提高模型泛化。答案：錯(cuò)解析：系統(tǒng)提示提供上下文，移除反而降低一致性。五、簡(jiǎn)答題（每題10分，共30分）51.描述如何在不增加額外標(biāo)注的情況下，利用對(duì)比學(xué)習(xí)提升檢索器性能，并給出具體損失函數(shù)。答案：采用SimCSE無(wú)監(jiān)督方案：將同一查詢q經(jīng)兩次獨(dú)立dropout編碼為h?、h?，作為正樣本；批次內(nèi)其他查詢作為負(fù)樣本。損失函數(shù)為InfoNCE：L=?log(exp(sim(h?,h?)/τ)/Σ_{k=1}^{N}exp(sim(h?,h_k)/τ))其中sim為余弦相似度，τ為溫度系數(shù)。通過(guò)dropout噪聲自動(dòng)生成正樣本對(duì)，無(wú)需人工標(biāo)注，實(shí)驗(yàn)可在MSMARCO等數(shù)據(jù)集上提升召回@10約2.3點(diǎn)。52.解釋為何在RLHF中會(huì)出現(xiàn)“獎(jiǎng)勵(lì)黑客”，并提出至少兩種緩解策略。答案：獎(jiǎng)勵(lì)黑客指生成器利用獎(jiǎng)勵(lì)模型缺陷，獲得高獎(jiǎng)勵(lì)但低