2025年自然語言處理培訓(xùn)試卷含答案一、單項選擇題（每題2分，共20分）1.在Transformer架構(gòu)中，用于捕捉序列位置信息的核心組件是A.詞嵌入矩陣B.注意力權(quán)重C.正弦位置編碼D.LayerNorm答案：C解析：正弦位置編碼通過不同頻率的正弦/余弦函數(shù)為每個位置生成唯一向量，使模型感知token順序，且具備外推更長序列的能力。2.下列哪項技術(shù)最直接緩解了BERT預(yù)訓(xùn)練時的“預(yù)訓(xùn)練微調(diào)不一致”問題A.WholeWordMaskingB.NextSentencePredictionC.SpanBERT的span邊界目標(biāo)D.RoBERTa的動態(tài)掩碼答案：A解析：WholeWordMasking強制完整詞匯被掩碼，避免子詞片段掩碼帶來的訓(xùn)練與微調(diào)階段分詞差異，顯著降低不一致性。3.當(dāng)使用LoRA進行大模型參數(shù)高效微調(diào)時，可訓(xùn)練參數(shù)通常注入在A.Embedding層B.注意力矩陣的旁路低秩分解C.LayerNorm權(quán)重D.輸出softmax層答案：B解析：LoRA將權(quán)重更新表示為低秩矩陣乘積，僅訓(xùn)練這兩個小矩陣，凍結(jié)原線性層，實現(xiàn)參數(shù)高效微調(diào)。4.在文本風(fēng)格遷移任務(wù)中，若采用“無平行語料”的解耦方法，通常需要額外引入的約束是A.對抗判別器B.回譯損失C.內(nèi)容保持正則項D.溫度縮放答案：C解析：無平行語料時，需顯式約束內(nèi)容編碼器輸出與風(fēng)格無關(guān)，常用內(nèi)容重構(gòu)損失或互信息最小化保持語義不變。5.下列關(guān)于Falcon模型描述正確的是A.采用Alibi位置編碼B.使用RMSNorm前置C.訓(xùn)練語料完全開源可商用D.在1Ttoken上訓(xùn)練了MoE架構(gòu)答案：B解析：Falcon在注意力前使用RMSNorm，提升訓(xùn)練穩(wěn)定性；其語料RefinedWeb經(jīng)清洗但未完全開源；標(biāo)準(zhǔn)版為稠密模型。6.在指令微調(diào)階段，為緩解“諂媚”(sycophancy)現(xiàn)象，最有效的數(shù)據(jù)策略是A.增加拒絕采樣樣本B.引入反駁性（counterargued）偏好對C.提高學(xué)習(xí)率D.使用RLHF而非SFT答案：B解析：反駁性偏好對讓模型學(xué)習(xí)“即使用戶觀點偏激，也應(yīng)給出客觀回答”，直接抑制諂媚傾向。7.關(guān)于MMLU基準(zhǔn)，下列說法錯誤的是A.涵蓋57個學(xué)科B.采用5shot評估C.題目均為四選一D.中文測評需人工翻譯后準(zhǔn)確率會提升答案：D解析：人工翻譯可能引入偏差，通常導(dǎo)致準(zhǔn)確率下降而非提升，因部分文化背景題翻譯后歧義增加。8.在DiffusionLM中，控制生成文本屬性的關(guān)鍵步驟是A.調(diào)節(jié)前向噪聲方差B.在反向去噪階段引入分類器梯度C.修改詞嵌入范數(shù)D.增加采樣步數(shù)答案：B解析：通過分類器引導(dǎo)（classifierguideddiffusion）將屬性判別器梯度注入反向過程，實現(xiàn)細(xì)粒度控制。9.當(dāng)使用INT8權(quán)重量化LLM時，出現(xiàn)顯著perplexity上升，最可能的原因是A.離群通道未做分組量化B.使用了對稱量化C.量化粒度為token級D.校準(zhǔn)數(shù)據(jù)集過大答案：A解析：離群通道數(shù)值分布極端，直接線性量化導(dǎo)致巨大精度損失；分組量化（groupwise）可隔離離群通道。10.在檢索增強生成（RAG）中，解決“LostintheMiddle”現(xiàn)象的最新思路是A.增加chunk大小B.使用遞歸SummarizethenRetrieveC.在訓(xùn)練時隨機打亂文檔順序D.引入positionalinterpolation答案：B解析：遞歸SummarizethenRetrieve將中間結(jié)果壓縮再檢索，避免長上下文中間信息被稀釋，緩解LostintheMiddle。二、多項選擇題（每題3分，共15分）11.以下哪些方法可直接用于中文文本的繁簡轉(zhuǎn)換且保持語義一致A.OpenCC的“臺灣標(biāo)準(zhǔn)”配置B.基于T5的繁簡平行微調(diào)C.簡單Unicode歸一化D.基于BERT的掩碼預(yù)測糾錯答案：A、B、D解析：C僅做碼位映射，無法處理“發(fā)/髮”等一對多；OpenCC內(nèi)置詞典與轉(zhuǎn)換規(guī)則；T5微調(diào)可學(xué)上下文轉(zhuǎn)換；BERT糾錯可后驗校準(zhǔn)。12.關(guān)于RLHF中的PPO算法，下列超參數(shù)對訓(xùn)練穩(wěn)定性影響顯著的有A.KL懲罰系數(shù)βB.裁剪范圍εC.優(yōu)勢估計λD.批次大小答案：A、B、C、D解析：β控制與參考策略偏離；ε防止策略突變；λ影響優(yōu)勢方差；批次大小小會導(dǎo)致估計噪聲大，均顯著影響穩(wěn)定。13.在構(gòu)建代碼生成模型時，為提升長函數(shù)補全準(zhǔn)確率，可采取A.FIM（FillintheMiddle）目標(biāo)B.基于抽象語法樹(AST)的片段采樣C.使用BPE而非SentencePieceD.引入倉庫級跨文件上下文答案：A、B、D解析：FIM讓模型學(xué)會中間空缺補全；AST采樣保持語法合法；倉庫級上下文提供跨文件API；BPE與SP本質(zhì)類似，非關(guān)鍵。14.以下哪些指標(biāo)可用于評估大模型的事實性（factuality）A.FactScoreB.BLEURTC.基于實體鏈接的F1D.TrueTeacher的NLI評分答案：A、C、D解析：FactScore將生成拆分為原子事實再人工/模型驗證；實體鏈接F1衡量可驗證實體準(zhǔn)確率；TrueTeacher用NLI判斷聲明真?zhèn)?；BLEURt側(cè)重語義相似度。15.在聯(lián)邦學(xué)習(xí)場景下微調(diào)百億級模型，可采用的技術(shù)包括A.參數(shù)高效微調(diào)+SecureAggregationB.差分隱私+梯度壓縮C.全參數(shù)微調(diào)+同態(tài)加密D.局部低秩適應(yīng)+知識蒸餾答案：A、B、D解析：全參數(shù)微調(diào)加同態(tài)加密計算開銷極高，目前不可行；其余組合兼顧效率與隱私。三、判斷題（每題2分，共10分）16.使用GroupQueryAttention可以顯著減少KV緩存顯存占用。答案：正確解析：GQA讓多個query頭共享同一組key/value頭，減少緩存量約head_num倍，保持性能基本不降。17.在DPO（DirectPreferenceOptimization）中仍需訓(xùn)練獎勵模型。答案：錯誤解析：DPO直接把偏好對轉(zhuǎn)化為最大似然目標(biāo)，無需顯式獎勵模型，簡化RLHF流程。18.對于中文拼寫糾錯任務(wù)，基于混淆集構(gòu)造的候選召回比純BPE子詞召回覆蓋度低。答案：錯誤混淆集含音近/形近字，覆蓋常見錯誤，BPE子詞可能切分錯誤邊界，覆蓋度反而更低。19.將LayerNorm替換為RMSNorm會顯著改變Transformer的表達(dá)能力，導(dǎo)致其在下游任務(wù)上必然下降。答案：錯誤大量實驗表明RMSNorm在多數(shù)任務(wù)上持平或略升，且訓(xùn)練更穩(wěn)定。20.使用YaRN（YetanotherRoPEextensioN）可以在不繼續(xù)訓(xùn)練的情況下把LLaMA24K上下文擴展到128K。答案：錯誤YaRN需少量繼續(xù)訓(xùn)練（約0.1%原數(shù)據(jù)）調(diào)整縮放因子，純零樣本外推性能會崩。四、填空題（每空2分，共20分）21.在Transformer注意力機制中，點積結(jié)果除以√d_k的目的是________。答案：緩解梯度消失解析：防止QK^T值過大進入softmax飽和區(qū)，保持梯度穩(wěn)定。22.BERT的掩碼語言模型任務(wù)中，被掩碼的token有80%概率用[MASK]、10%隨機詞、10%________。答案：保持原詞解析：保持原詞可緩解預(yù)訓(xùn)練與微調(diào)階段[MASK]符號不匹配。23.指令微調(diào)常用的自回歸損失函數(shù)交叉熵中，標(biāo)簽平滑參數(shù)設(shè)為0.1時，正確類別的目標(biāo)概率變?yōu)開_______。答案：0.9解析：剩余0.1均勻分給詞匯表其他詞，抑制過擬合。24.在SentencePiece中，把字符級與________級之間的子詞作為基本單元，可兼顧未知詞與壓縮率。答案：詞解析：SP采用字符+詞混合切分，自動平衡詞表大小與OOV。25.使用DeepSpeedZeRO3時，優(yōu)化器狀態(tài)、梯度與________被劃分到不同GPU，實現(xiàn)顯存線性擴展。答案：模型參數(shù)解析：ZeRO3對三者全部切片，每卡僅保存1/N，支持千億模型。26.在檢索器中，采用ANCE（ApproximateNearestneighborNegativeContrastiveEstimation）的關(guān)鍵是維護一個________隊列。答案：異步刷新解析：異步刷新負(fù)樣本隊列，保證對比學(xué)習(xí)難度，避免模型“看透”負(fù)例。27.為評估模型安全性，紅隊攻擊常使用________樹系統(tǒng)化枚舉潛在有害prompt。答案：語義擴充解析：通過同義改寫、模板遞歸生成，系統(tǒng)覆蓋風(fēng)險場景。28.在MoE路由中，引入loadbalancingloss的系數(shù)通常記為________。答案：α解析：α控制專家使用均勻度，防止路由崩塌。29.對于中文古詩詞生成，常使用________韻律格式作為硬約束，采用動態(tài)規(guī)劃解碼。答案：平仄解析：平仄模式可轉(zhuǎn)有限狀態(tài)機，DP保證格律合規(guī)。30.在RLHF中，若人類偏好標(biāo)注采用Elo評分，則兩模型對戰(zhàn)勝率p與評分差Δ的關(guān)系公式為________。答案：1/(1+10^(Δ/400))解析：標(biāo)準(zhǔn)Elo公式，將勝率映射到對數(shù)優(yōu)勢。五、簡答題（每題10分，共30分）31.請闡述“位置插值”（PositionInterpolation,PI）將RoPE擴展到更長上下文的核心思想，并給出至少兩項實驗現(xiàn)象說明其有效性。答案與解析：核心思想：對原始RoPE的絕對位置m乘以縮放因子s<1，把長序列位置“壓縮”到訓(xùn)練區(qū)間[0,L_train)內(nèi)，再微調(diào)少量步數(shù)讓模型適應(yīng)新分布。實驗現(xiàn)象：1.LLaMA27B4K→8K，PI微調(diào)200Btoken后，Pass@1在SCROLLS基準(zhǔn)提升18.3%，而直接外推下降42%。2.可視化注意力熵顯示，PI微調(diào)后低層注意力熵分布與原始4K模型接近，說明未破壞原有局部模式；直接外推熵顯著升高，出現(xiàn)退化。32.對比“知識編輯”中Finetune、ROME、GRACE三種方法在定位、訓(xùn)練數(shù)據(jù)、副作用三方面的差異。答案與解析：定位：Finetune不定位，全參數(shù)更新；ROME用因果追蹤定位前饋層MLP；GRACE用鍵值記憶定位注意力。訓(xùn)練數(shù)據(jù)：Finetune需數(shù)千反事實樣本；ROME僅需一條目標(biāo)事實+原句；GRACE構(gòu)建鍵值記憶對，無需反事實。副作用：Finetune易過擬合，導(dǎo)致無關(guān)事實下降；ROME局部編輯，鄰近事實波動<1%；GRACE插入記憶，不影響原參數(shù)，但增加推理延遲。33.描述如何構(gòu)建一個“中文醫(yī)療對話事實性評估”pipeline，要求包含數(shù)據(jù)構(gòu)造、自動指標(biāo)、人工復(fù)核、錯誤歸因四步，并給出每步關(guān)鍵技術(shù)。答案與解析：數(shù)據(jù)構(gòu)造：從醫(yī)學(xué)指南抽取<癥狀,檢查,診斷,治療>四元組，用GPT4生成患者提問，醫(yī)生校對，得1萬輪QA。自動指標(biāo)：實體鏈接至SNOMEDCT，計算疾病/藥物實體F1；用MedNLI判斷陳述與指南一致性得entail%。人工復(fù)核：3名主治醫(yī)生盲審，采用Delphi法達(dá)成一致，標(biāo)注“事實錯誤/信息缺失/過度推斷”。錯誤歸因：將錯誤樣本輸入診斷分類器，歸因于“知識過期/幻覺/上下文缺失/數(shù)值錯誤”，建立熱力圖指導(dǎo)后續(xù)微調(diào)。六、綜合應(yīng)用題（共25分）34.某公司擬在邊緣設(shè)備（8GB顯存）部署70B參數(shù)的LLM用于實時客服，要求首token延遲<500ms，吞吐量>5req/s。請給出完整落地方案，含模型壓縮、推理框架、服務(wù)架構(gòu)、評估結(jié)果，并計算顯存占用與帶寬需求。答案與解析：1.模型壓縮：采用GPTQINT4權(quán)重量化，groupsize128，壓縮率≈3.5倍，70B→20GB。使用LoRA合并，秩r=64，合并后無額外推理開銷。2.推理框架：選擇ExLlamaV2，支持INT4CUDAkernel，激活用16BF，KV緩存分頁管理。3.服務(wù)架構(gòu)：4塊RTX407012GB通過NVLink2路環(huán)形，總顯存48GB，采用張量并行度=4。部署NVIDIATriton+FasterTransformerbackend，動態(tài)批處理最大batch=8。4.顯存計算：權(quán)重20GB÷4=5GB/卡KV緩存：平均輸入2ktoken，輸出256