2026年自然語言處理NLP進階練習題一、填空題（每題2分，共10題）1.在BERT模型中，通過預訓練實現(xiàn)了語言______和______的能力。2.語義角色標注（SRL）中，"施事者"通常用______表示，"受事者"通常用______表示。3.機器翻譯中，BLEU指標的值越接近______，翻譯質量越高。4.在命名實體識別（NER）任務中，BIO標注體系中的"B-"表示______，"I-"表示______。5.預訓練語言模型（PLM）通常采用______和______兩種主要預訓練任務。6.在文本分類任務中，邏輯回歸模型屬于______模型，而BERT屬于______模型。7.對抗性攻擊中，通過微調目標模型，使得攻擊樣本在目標模型上的預測結果與真實標簽______。8.語義相似度計算中，余弦相似度常用于比較______向量的相似程度。9.在問答系統(tǒng)中，retriever模塊負責______，generator模塊負責______。10.語義角色標注（SRL）中，"關系者"通常用______表示。答案與解析1.理解；生成解析：BERT通過掩碼語言模型（MLM）和下一句預測（NSP）預訓練，實現(xiàn)語言理解和生成能力。2.AGENT；PATIENT解析：SRL中，AGENT對應施事者，PATIENT對應受事者，其他角色如EXPERIENCER（經驗者）、PREDICATE（謂語）、BENEFICIARY（受益者）等。3.1解析：BLEU的最大值為1，表示完全匹配。4.Begin；Inside解析：BIO標注體系，B-表示詞是實體的開頭，I-表示詞是實體的內部部分。5.語言模型（LM）；掩碼語言模型（MLM）解析：PLM預訓練主要任務包括LM和MLM，BERT采用MLM，GPT采用LM。6.監(jiān)督學習；深度學習解析：邏輯回歸屬于線性監(jiān)督學習模型，BERT是深度學習模型。7.相反解析：對抗性攻擊通過修改輸入樣本，使模型輸出與真實標簽相反。8.詞嵌入（WordEmbedding）解析：余弦相似度用于比較詞向量或句子向量在向量空間中的夾角。9.檢索候選答案；生成答案解析：問答系統(tǒng)分為retriever（檢索）和generator（生成）兩階段。10.檢索與用戶問題最相關的文檔片段；根據(jù)片段生成答案解析：SRL中，關系者指實體間的關系，如"給予""移動"等。二、選擇題（每題3分，共10題）1.下列哪種模型不屬于基于Transformer的預訓練語言模型？（）A.BERTB.GPTC.ELMoD.T52.在命名實體識別（NER）中，"I-PER"表示？（）A.實體開頭B.實體內部C.實體結尾D.實體無關3.下列哪種指標適用于評估機器翻譯的流暢性？（）A.BLEUB.ROUGEC.METEORD.TER4.語義角色標注（SRL）中，"時間者"通常用哪種角色表示？（）A.AGENTB.LOCATIONC.TIMED.Manner5.在文本分類任務中，以下哪種方法不屬于深度學習方法？（）A.CNNB.RNNC.SVMD.BERT6.對抗性攻擊中，"FGSM"屬于哪種攻擊方法？（）A.零樣本攻擊B.白盒攻擊C.黑盒攻擊D.數(shù)據(jù)投毒7.語義相似度計算中，"Word2Vec"屬于哪種模型？（）A.基于規(guī)則B.基于向量C.基于深度學習D.基于統(tǒng)計8.在問答系統(tǒng)中，以下哪個模塊不涉及自然語言處理技術？（）A.分詞B.實體識別C.情感分析D.圖像處理9.機器翻譯中，"長度懲罰"主要解決什么問題？（）A.語義丟失B.句子長度不匹配C.語法錯誤D.詞匯沖突10.語義角色標注（SRL）中，"工具者"通常用哪種角色表示？（）A.INSTRUMENTB.AGENTC.LOCATIOND.MANNER答案與解析1.C解析：ELMo是深度學習模型，但非Transformer架構，其他選項均為Transformer模型。2.B解析：I-表示實體內部部分，B-開頭，E-結尾。3.B解析：ROUGE主要評估摘要生成和機器翻譯的流暢性，BLEU側重準確率。4.C解析：TIME對應時間者，其他選項：AGENT施事者，LOCATION地點者，Manner方式者。5.C解析：SVM屬于傳統(tǒng)機器學習方法，其他均為深度學習模型。6.B解析：FGSM（快速梯度符號法）屬于白盒攻擊，通過梯度信息生成對抗樣本。7.B解析：Word2Vec基于分布式向量表示，其他選項：基于規(guī)則的如詞典匹配，深度學習的如BERT，統(tǒng)計的如TF-IDF。8.D解析：圖像處理不屬于NLP范疇，其他均涉及NLP技術。9.B解析：長度懲罰解決機器翻譯中源文本與目標文本長度差異問題。10.A解析：INSTRUMENT對應工具者，其他選項：AGENT施事者，LOCATION地點者，MANNER方式者。三、簡答題（每題5分，共6題）1.簡述BERT模型中掩碼語言模型（MLM）的預訓練過程。2.機器翻譯中，BLEU指標的不足之處是什么？如何改進？3.語義角色標注（SRL）的主要挑戰(zhàn)有哪些？4.對抗性攻擊有哪些常見類型？如何防御？5.在文本分類任務中，如何評估模型的泛化能力？6.問答系統(tǒng)中，retriever和generator的優(yōu)化方向有何不同？答案與解析1.BERT預訓練的MLM過程解析：MLM隨機遮蓋輸入序列中的部分詞（如80%），然后訓練模型預測被遮蓋詞的原始詞。具體步驟：-輸入序列中隨機選擇15%的詞，用"[MASK]"替換；-另15%隨機選擇原詞保留；剩余70%直接刪除；-訓練模型預測"[MASK]"詞或保留的原詞，同時保留未被遮蓋詞的原始預測。2.BLEU指標的不足與改進解析：BLEU的不足：-忽略詞序；-對短句過度懲罰；-無法處理重排序和未知詞。改進方法：-使用n-gram編輯距離（如chrF）；-引入長度懲罰（如BLEU-12，限制長度比）；-結合其他指標（如TER、METEOR）。3.SRL的挑戰(zhàn)解析：-多義性：詞性不同導致角色不同（如"吃"可以是施事或受事）；-隱性關系：部分關系需結合上下文推斷（如"他高興"中的高興者）；-長距離依賴：實體間關系可能跨越多詞（如"醫(yī)生救了病人"中的醫(yī)生→病人關系）。4.對抗性攻擊類型與防御解析：攻擊類型：-白盒攻擊（已知模型參數(shù)）；-黑盒攻擊（未知模型參數(shù)）；-數(shù)據(jù)投毒（污染訓練數(shù)據(jù)）。防御方法：-魯棒性訓練（對抗訓練）；-輸入擾動（如隨機噪聲）；-模型集成（集成多個模型降低誤判）。5.文本分類泛化能力評估解析：方法：-交叉驗證；-多領域測試；-留一法測試；-警惕過擬合（如驗證集損失持續(xù)上升）。6.問答系統(tǒng)模塊優(yōu)化方向解析：retriever優(yōu)化方向：-提高召回率（如BM25）；-降低召回速度（如倒排索引）；-多粒度檢索（段落+句子）。generator優(yōu)化方向：-提高答案準確性（如模板匹配）；-增強流暢性（如解碼策略）；-處理多答案情況（如排序）。四、論述題（每題10分，共2題）1.論述預訓練語言模型（PLM）在中文自然語言處理中的優(yōu)勢與局限性。2.結合實際應用場景，分析對抗性攻擊對機器翻譯系統(tǒng)的影響及應對策略。答案與解析1.PLM在中文NLP中的優(yōu)勢與局限性解析：優(yōu)勢：-擅長中文分詞（如BERT的tokenization）；-支持多任務遷移（如情感分析+NER）；-解決低資源問題（如少量標注數(shù)據(jù)+預訓練模型微調）。局限性：-對長文本處理能力有限（如BERT最大512詞）；-需要大量計算資源（如GPU集群）；-可能引入領域偏差（如互聯(lián)網(wǎng)語料預訓練）。2.對抗性攻擊對機器翻譯的影響與應對解