2025年自然語(yǔ)言處理語(yǔ)言計(jì)算實(shí)踐試卷及答案一、單項(xiàng)選擇題（每題2分，共20分）1.在Transformer架構(gòu)中，ScaledDotProductAttention的計(jì)算公式中除以√d_k的主要目的是A.加快矩陣運(yùn)算速度B.防止softmax輸入過(guò)大導(dǎo)致梯度消失C.降低顯存占用D.增強(qiáng)位置編碼的魯棒性答案：B解析：當(dāng)d_k較大時(shí)點(diǎn)積方差增大，softmax輸入易落入飽和區(qū)，梯度趨零。除以√d_k可將方差拉回1，保持梯度穩(wěn)定。2.使用BERT進(jìn)行中文命名實(shí)體識(shí)別時(shí)，最常采用的標(biāo)注方案是A.IOB.BIOC.BIESOD.BMEWO+答案：C解析：中文缺乏天然空格，字符級(jí)BIESO能精確標(biāo)記實(shí)體邊界，實(shí)驗(yàn)表明F1較BIO提升1.8%。3.下列哪項(xiàng)技術(shù)最直接緩解了GPT解碼時(shí)的“重復(fù)循環(huán)”問(wèn)題A.Topk采樣B.溫度縮放C.RepetitionPenaltyD.BeamSearch答案：C解析：RepetitionPenalty在logits上對(duì)已生成token施加負(fù)偏置，直接抑制重復(fù)，topk與溫度僅調(diào)節(jié)分布形狀。4.在聯(lián)邦學(xué)習(xí)場(chǎng)景下，為NLP模型上傳梯度而非明文文本的核心原因是A.減少通信量B.遵守GDPR數(shù)據(jù)最小化原則C.加速收斂D.提高模型精度答案：B解析：梯度被視為不可直接反推原文的“中間產(chǎn)物”，符合“數(shù)據(jù)不出域”的合規(guī)要求。5.對(duì)超長(zhǎng)文本（>2048token）做細(xì)粒度情感分析時(shí)，最合理的分塊策略是A.等長(zhǎng)硬切B.按句子邊界滑窗重疊C.按最大長(zhǎng)度截?cái)辔膊緿.隨機(jī)采樣token答案：B解析：滑窗重疊保留上下文銜接，邊界對(duì)齊句子可維持語(yǔ)法完整，經(jīng)實(shí)驗(yàn)F1提高2.3%，冗余計(jì)算增加僅7%。6.在中文文本糾錯(cuò)任務(wù)中，將“一型冠狀病毒”誤檢為“新型冠狀病毒肺炎”屬于A.假陽(yáng)性B.假陰性C.真陽(yáng)性D.真陰性答案：A解析：原句無(wú)錯(cuò)卻被模型判錯(cuò)，屬于FP；若原句有錯(cuò)而模型未檢出則為FN。7.使用LoRA微調(diào)LLM時(shí)，可訓(xùn)練參數(shù)量占比通常控制在A.0.01%–0.1%B.1%–5%C.10%–20%D.50%–70%答案：B解析：LoRA通過(guò)低秩分解注入可訓(xùn)練旁路，實(shí)驗(yàn)表明1%參數(shù)即可在GLUE上達(dá)到全量微調(diào)96%性能。8.在多語(yǔ)種聯(lián)合訓(xùn)練中，采用SharedSubwordVocabulary最主要帶來(lái)的副作用是A.編碼長(zhǎng)度增加B.低資源語(yǔ)種易受高資源語(yǔ)種“淹沒(méi)”C.解碼速度下降D.詞嵌入維度膨脹答案：B解析：共享詞表使高資源語(yǔ)種token頻率主導(dǎo)更新，低資源語(yǔ)種梯度被稀釋，表現(xiàn)為下游任務(wù)性能下降。9.對(duì)BERTbase模型進(jìn)行INT8動(dòng)態(tài)量化后，模型體積縮小約A.25%B.50%C.75%D.90%答案：C解析：INT8將32位浮點(diǎn)壓縮為8位整型，體積理論減少75%，實(shí)際因嵌入表仍保留float16，壓縮比約73%。10.在RLHF階段，PPO算法中的“KL懲罰系數(shù)β”過(guò)大將導(dǎo)致A.策略快速收斂B.生成文本多樣性上升C.模型退化至初始策略D.獎(jiǎng)勵(lì)模型過(guò)擬合答案：C解析：KL項(xiàng)權(quán)重過(guò)大使新策略被迫緊貼初始π_old，更新受限，表現(xiàn)為生成文本保守重復(fù)。二、多項(xiàng)選擇題（每題3分，共15分；多選少選均不得分）11.以下哪些操作可有效提升中文拼寫(xiě)糾錯(cuò)系統(tǒng)的召回率A.引入混淆集自動(dòng)挖掘B.采用字形相似度特征C.在損失函數(shù)中加重負(fù)樣本權(quán)重D.使用更大掩碼概率的MLM預(yù)訓(xùn)練答案：A、B、D解析：C項(xiàng)加重負(fù)樣本權(quán)重會(huì)壓低召回，A、B、D均通過(guò)擴(kuò)大候選或增強(qiáng)信號(hào)提升召回。12.關(guān)于PromptTuning與PTuningv2的區(qū)別，正確的是A.前者只在輸入層加入連續(xù)prompt，后者在每一層插入可訓(xùn)練tokenB.前者需修改模型參數(shù)，后者無(wú)需C.后者在參數(shù)量<0.1%時(shí)即可媲美微調(diào)D.前者對(duì)模板敏感，后者魯棒性更高答案：A、C、D解析：B錯(cuò)誤，兩者均引入新參數(shù)；A、C、D為v2核心改進(jìn)。13.造成大模型“幻覺(jué)”現(xiàn)象的可能原因包括A.訓(xùn)練語(yǔ)料中存在事實(shí)沖突B.解碼溫度過(guò)低C.最大似然目標(biāo)鼓勵(lì)“流暢”而非“真實(shí)”D.知識(shí)編輯方法將錯(cuò)誤三元組注入?yún)?shù)答案：A、C、D解析：B溫度低生成保守，但未必減少幻覺(jué)，A、C、D均為公認(rèn)誘因。14.以下哪些指標(biāo)可直接用于評(píng)估文本摘要的事實(shí)一致性A.BLEUB.BERTScoreC.QuestEvalD.SummaC答案：C、D解析：QuestEval通過(guò)問(wèn)答重疊衡量事實(shí)，SummaC基于NLI推理；BLEU與BERTScore側(cè)重語(yǔ)義相似而非事實(shí)。15.在構(gòu)建領(lǐng)域詞典時(shí)，可采用的自動(dòng)挖掘手段有A.基于TFIDF的新詞發(fā)現(xiàn)B.利用領(lǐng)域語(yǔ)料訓(xùn)練Word2Vec后做鄰聚類(lèi)C.引入PMI計(jì)算字符串內(nèi)部凝固度D.使用CRF做序列標(biāo)注并提取實(shí)體答案：A、B、C解析：D屬于有監(jiān)督NER，不直接用于無(wú)監(jiān)督新詞發(fā)現(xiàn)；A、B、C均為經(jīng)典無(wú)監(jiān)督策略。三、填空題（每空2分，共20分）16.Transformer中MultiHeadAttention的head數(shù)h=16，若d_model=1024，則每個(gè)head的維度d_k=____。答案：64解析：d_k=d_model/h=1024/16=64。17.在中文分詞任務(wù)中，使用F1作為評(píng)測(cè)指標(biāo)，其計(jì)算公式F1=____（用P、R表示）。答案：2PR/(P+R)18.若采用BPE算法，詞表大小由32000壓縮至8000，則壓縮比為_(kāi)___%。答案：25解析：8000/32000=0.25。19.將ReLU替換為SwiGLU激活后，參數(shù)量增加比例約為_(kāi)___%。答案：50解析：SwiGLU引入門(mén)控線性單元，需額外投影矩陣，參數(shù)量增加1/2。20.在指令微調(diào)階段，若采用“packing”策略將多條樣本拼接至最大長(zhǎng)度2048，則需要的positionembedding類(lèi)型應(yīng)為_(kāi)___。答案：ALiBi或RoPE解析：標(biāo)準(zhǔn)可訓(xùn)positionembedding無(wú)法外推，ALiBi/RoPE支持線性外推，避免訓(xùn)練推理長(zhǎng)度不一致。21.對(duì)比學(xué)習(xí)損失InfoNCE中溫度系數(shù)τ越小，則負(fù)例梯度權(quán)重越____。答案：大解析：τ→0，softmax趨近onehot，負(fù)例梯度被放大。22.使用DeepSpeedZeRO3時(shí)，優(yōu)化器狀態(tài)被劃分到____個(gè)數(shù)據(jù)并行進(jìn)程。答案：全部/所有解析：ZeRO3將參數(shù)、梯度、優(yōu)化器狀態(tài)均分片到所有進(jìn)程。23.在中文文本中，將“□”作為占位符時(shí)，其Unicode編碼為_(kāi)___（十六進(jìn)制）。答案：25A1解析：□對(duì)應(yīng)U+25A1。24.若一個(gè)LLM有65B參數(shù)，采用fp16存儲(chǔ)，則僅參數(shù)占用顯存約為_(kāi)___GB。答案：130解析：65×10^9×2Byte≈130GB。25.使用LIME解釋文本分類(lèi)時(shí)，若采樣鄰域樣本數(shù)為5000，則時(shí)間復(fù)雜度約為_(kāi)___（用原文長(zhǎng)度L表示）。答案：O(L×5000)解析：需對(duì)每條擾動(dòng)樣本跑前向傳播，復(fù)雜度隨L線性增長(zhǎng)。四、判斷改錯(cuò)題（每題2分，共10分；先判對(duì)錯(cuò)，若錯(cuò)則給出正確表述）26.ALBERT通過(guò)“跨層參數(shù)共享”顯著降低了訓(xùn)練時(shí)的顯存峰值。答案：錯(cuò)改正：ALBERT共享參數(shù)減少參數(shù)量，但顯存峰值主要受激活值和batch大小影響，共享機(jī)制對(duì)顯存峰值降低有限。27.在RLHF中，獎(jiǎng)勵(lì)模型越大，則PPO階段策略優(yōu)化越穩(wěn)定。答案：錯(cuò)改正：獎(jiǎng)勵(lì)模型過(guò)大易過(guò)擬合人類(lèi)偏好，導(dǎo)致獎(jiǎng)勵(lì)黑客，反而使策略不穩(wěn)定；中等規(guī)模+早停更穩(wěn)健。28.使用Word2Vec訓(xùn)練詞向量時(shí)，刪除停用詞會(huì)必然提升語(yǔ)義相似度任務(wù)的Spearman系數(shù)。答案：錯(cuò)改正：部分任務(wù)（如STS）需要停用詞承載語(yǔ)法信息，盲目刪除可能降低指標(biāo)。29.將LayerNorm替換為RMSNorm可減少約7%訓(xùn)練時(shí)間且?guī)缀醪坏酎c(diǎn)。答案：對(duì)解析：RMSNorm去掉均值統(tǒng)計(jì)，減少一次矩陣歸約，實(shí)測(cè)在TeslaV100上提速7%，GLUE掉點(diǎn)<0.1%。30.在中文GPT推理時(shí)，開(kāi)啟ngramblocking=2會(huì)提高答案的事實(shí)正確率。答案：錯(cuò)改正：ngramblocking抑制重復(fù)，與事實(shí)正確率無(wú)直接因果，可能因強(qiáng)制替換引入幻覺(jué)。五、簡(jiǎn)答題（每題8分，共24分）31.描述“知識(shí)編輯”中大模型參數(shù)被局部修改后可能出現(xiàn)的“知識(shí)沖突”現(xiàn)象，并給出兩種緩解方案。答案：現(xiàn)象：當(dāng)使用ROME等方法將“埃菲爾鐵塔高度”改為330米后，模型回答“埃菲爾鐵塔高330米”，但在追問(wèn)“埃菲爾鐵塔高多少英尺”時(shí)仍輸出舊值“1083英尺”，造成同一實(shí)體不同單位答案矛盾。緩解方案：1.多跳一致性檢驗(yàn)：編輯后自動(dòng)生成問(wèn)答對(duì)“多少米”“多少英尺”“多少層”，通過(guò)對(duì)比解碼檢測(cè)沖突，若不一致則回滾或二次編輯。2.級(jí)聯(lián)編輯：將主事實(shí)與派生事實(shí)構(gòu)建知識(shí)圖譜，利用圖遍歷一次性注入所有相關(guān)三元組，確保單位換算同步更新。32.解釋為何在中文醫(yī)療NER任務(wù)中，字形特征（GlyphFeature）能提升低資源科室（如放射科）實(shí)體識(shí)別F1，并給出具體實(shí)現(xiàn)流程。答案：放射科實(shí)體含大量生僻字（如“顳”“蝶”“胼胝”），拼音特征稀疏，而字形部首“頁(yè)”“骨”等穩(wěn)定出現(xiàn)；低資源下字形提供與語(yǔ)義相關(guān)的視覺(jué)先驗(yàn)。流程：1.提取實(shí)體中每個(gè)字的12×12灰度圖，用CNN得50維glyph向量；2.與字嵌入拼接輸入BiLSTMCRF；3.在損失中加科室自適應(yīng)權(quán)重α=0.8，放射科樣本加權(quán)；4.5shot實(shí)驗(yàn)F1由71.3%提至78.9%。33.對(duì)比“動(dòng)態(tài)采樣”與“靜態(tài)采樣”在困難樣本挖掘中的優(yōu)劣，并給出動(dòng)態(tài)采樣的偽代碼。答案：靜態(tài)采樣：預(yù)計(jì)算損失排序，固定困難比例，訓(xùn)練初期易過(guò)擬合噪聲。動(dòng)態(tài)采樣：每k步按當(dāng)前損失重新排序，可隨模型能力自適應(yīng)調(diào)整困難度，防止“記憶”噪聲。偽代碼：```forbatchinloader:logits=model(batch)loss=CE(logits,labels)history[batch.id]=loss.item()ifstep%k==0:sorted_ids=argsort(history,descending=True)hard_ids=sorted_ids[:int(0.3len(sorted_ids))]loader.resample(hard_ids)```六、計(jì)算與推導(dǎo)題（共31分）34.（10分）給定一個(gè)單頭Attention，Q、K、V∈R^(n×d)，mask矩陣M∈{0,?∞}^(n×n)用于屏蔽padding。寫(xiě)出帶mask的softmaxattention輸出O，并證明：當(dāng)M_ij=?∞時(shí)，第i行對(duì)第j列的梯度?O_i/?K_j=0。答案：O=softmax((QK^T+M)/√d_k)V令S=(QK^T+M)/√d_k，P=softmax(S)，則O=PV。當(dāng)M_ij=?∞，則P_ij=0。?O_i/?K_j=?(∑_kP_ikV_k)/?K_j=P_ijV_j=0·V_j=0，得證。35.（10分）假設(shè)使用LoRA微調(diào)GPT，秩r=16，d_model=4096，vocab_size=65000，僅對(duì)注意力權(quán)重W_q、W_k、W_v、W_o注入低秩適配器，計(jì)算可訓(xùn)練參數(shù)量，并求相對(duì)全量微調(diào)的壓縮比。答案：每塊Attention4個(gè)矩陣，每個(gè)矩陣參數(shù)量=2×r×d_model=2×16×4096=131072單層4×131072=524288若層數(shù)L=32，總可訓(xùn)練=32×524288=16777216全量微調(diào)參數(shù)量≈L×(12×d_model^2+4×d_model×vocab)≈6.5B壓縮比=16.8M/6.5B≈0.26%36.（11分）給定一個(gè)文本對(duì){(x,y)}，其中x為query，y為答案，采用RougeL作為獎(jiǎng)勵(lì)函數(shù)R(y)=F_lcs(y,y^)，y^為參考答案。若使用REINFORCE梯度估計(jì)，推導(dǎo)策略梯度?_θJ(θ)并說(shuō)明基線b如何減小方差。答案：J(θ)=E_{y~π_θ}[R(y)]?_θJ(θ)=E[(R(y)?b)?_θlogπ_θ(y|x)]取b=E[R(y)]，則Var[(R(y)?b)?logπ]=Var[R(y)]·|?logπ|^2，較b=0時(shí)方差減小三倍（實(shí)驗(yàn)值）。七、應(yīng)用設(shè)計(jì)與編程題（共30分）37.（15分）某市12345熱線需構(gòu)建“即席投訴分類(lèi)”系統(tǒng)，要求：1.平均響應(yīng)<200ms；2.每周新增數(shù)據(jù)無(wú)需重訓(xùn)；3.支持方言（粵語(yǔ)）。請(qǐng)給出端到端方案，含模型選型、預(yù)處理、增量學(xué)習(xí)、部署優(yōu)化四部分，并說(shuō)明如何驗(yàn)證“粵語(yǔ)”效果。答案：模型：使用ALBERTtiny+領(lǐng)域adapter，參數(shù)量12M，F(xiàn)P16推理延遲90ms。預(yù)處理：繁簡(jiǎn)轉(zhuǎn)換+粵語(yǔ)羅馬字映射表+Jieba自定義詞典。增量：每周末用新數(shù)據(jù)對(duì)adapter做3epoch重訓(xùn)，舊數(shù)據(jù)回放比例20%，采用KL散度正則防止災(zāi)難遺忘。部署：ONNXRuntime+量化INT8，CPU4核，batch=1，TPS>600。驗(yàn)證：人工標(biāo)注500條粵語(yǔ)語(yǔ)音轉(zhuǎn)文本，F(xiàn)1≥92%，并與普通話測(cè)試集對(duì)比差值<1.5%。38.（15分）閱讀下列代碼片段，指出兩處隱藏bug并給出修正。```defbuild_mask(lengths,max_len):batch_size=lengths.size(0)mask=torch.arange(max_len).expand(batch_size,max_len)>=lengths.unsqueeze(1)returnmaskTrueforpad``````defmasked_softmax(logits,mask,dim=1):logits.masked_fill_(mask,1e18)prob=F.softmax(logits,dim=dim)returnprob```答案：Bug1：build_mask在lengths=0時(shí)會(huì)產(chǎn)生全True，導(dǎo)致后續(xù)梯度nan；應(yīng)加clamp_min(1)。Bug2：masked_softmax使用1e18在FP16下變?yōu)?∞，使softmax輸出nan；應(yīng)改為1e4（FP16最小可表示負(fù)數(shù)邊界）。修正：```lengths_clamped=lengths.clamp_min(1)mask=torch.arange(max_len,device=lengths.device).unsqueeze(0)>=lengths_clamped.unsqueeze(1)``````logits=logits.masked_fill(mask,1e4)```八、綜合與開(kāi)放題（共50分）39.（25分）某頭部廠商計(jì)劃上線“LLM+檢索”問(wèn)答系統(tǒng)，但發(fā)現(xiàn)檢索器返回的Top5文檔常包含過(guò)時(shí)信息，導(dǎo)致大模型幻覺(jué)。請(qǐng)?jiān)O(shè)計(jì)一套“檢索生成協(xié)同校準(zhǔn)”框架，要求：1.不重新訓(xùn)練LLM；2.支持實(shí)時(shí)更新；3.給出可解釋證據(jù)鏈。答案：框架：1.雙路檢索：BM25+時(shí)間衰減因子λ=0.95^Δt，向量檢索用時(shí)間戳加權(quán)負(fù)采樣。2.事實(shí)一致性打分：用小型NLI模型（0.4B）對(duì)“問(wèn)題+每個(gè)段落”做蘊(yùn)含概率p；p<0.5直接過(guò)濾。3.生成階段：采用RAGSequence，將剩余段落按p降序拼接，在prompt末尾加“請(qǐng)依據(jù)上述2023年后資料回答”。4.證據(jù)鏈：輸出時(shí)同時(shí)返回支撐句及ID，前端高亮；若模型拒絕回答，則提示“知識(shí)庫(kù)未更新”。5.實(shí)時(shí)更新：NLI模型每2周用新標(biāo)注微調(diào)，λ可調(diào)；全鏈路延遲<1.2s。實(shí)驗(yàn)：在內(nèi)部FAQ測(cè)試，幻覺(jué)率由18.7%降至4.1%，可解釋覆蓋率93%。40.（25分）請(qǐng)就