自然語言處理基礎(chǔ)試題及答案一、單項(xiàng)選擇題（每題2分，共20分）1.以下哪項(xiàng)不屬于自然語言處理（NLP）的核心任務(wù)？A.機(jī)器翻譯B.圖像分類C.情感分析D.命名實(shí)體識別2.中文分詞中的“歧義切分”主要分為兩種類型，以下正確的是？A.交集型歧義與組合型歧義B.正向歧義與逆向歧義C.長詞歧義與短詞歧義D.顯性歧義與隱性歧義3.關(guān)于詞袋模型（Bag-of-Words）的描述，錯誤的是？A.忽略詞序和語法信息B.通常用向量表示文本C.能捕捉詞語間的語義關(guān)聯(lián)D.計(jì)算簡單，適用于初步文本分類4.隱馬爾可夫模型（HMM）中，“狀態(tài)”與“觀測”的關(guān)系是？A.狀態(tài)是可觀測的，觀測是隱含的B.狀態(tài)是隱含的，觀測是可觀測的C.狀態(tài)與觀測均為隱含變量D.狀態(tài)與觀測均為可觀測變量5.以下哪種詞向量表示方法屬于上下文無關(guān)的靜態(tài)詞向量？A.Word2VecB.ELMoC.BERTD.GPT6.句法分析中的“依存句法分析”主要關(guān)注？A.句子的層次結(jié)構(gòu)（如主謂賓）B.詞語間的依賴關(guān)系（如“動詞-賓語”）C.句子的語義角色（如施事、受事）D.詞語的形態(tài)變化（如時態(tài)、單復(fù)數(shù)）7.在條件隨機(jī)場（CRF）中，與HMM的主要區(qū)別是？A.CRF是生成模型，HMM是判別模型B.CRF假設(shè)觀測變量之間獨(dú)立，HMM不假設(shè)C.CRF能處理長距離依賴，HMM僅能處理局部依賴D.CRF的狀態(tài)轉(zhuǎn)移概率是固定的，HMM需學(xué)習(xí)8.以下哪項(xiàng)不是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的主要缺陷？A.長序列梯度消失/爆炸B.無法并行計(jì)算C.難以捕捉長期依賴關(guān)系D.對詞序不敏感9.Transformer模型中，“多頭注意力”（Multi-HeadAttention）的主要作用是？A.減少計(jì)算量B.從不同子空間捕捉特征C.增強(qiáng)模型的記憶能力D.替代前饋神經(jīng)網(wǎng)絡(luò)10.情感分析任務(wù)中，“細(xì)粒度情感分析”與“粗粒度情感分析”的核心區(qū)別是？A.前者分析句子級情感，后者分析篇章級情感B.前者關(guān)注具體方面（如“手機(jī)電池”）的情感，后者關(guān)注整體情感C.前者使用傳統(tǒng)機(jī)器學(xué)習(xí)，后者使用深度學(xué)習(xí)D.前者處理短文本，后者處理長文本二、填空題（每空2分，共20分）1.自然語言處理的核心挑戰(zhàn)包括歧義性、__和__（任意兩點(diǎn)）。2.中文分詞的主要方法可分為基于規(guī)則的方法、基于統(tǒng)計(jì)的方法和__（如基于深度學(xué)習(xí)的方法）。3.TF-IDF中，“TF”指__，“IDF”指__。4.HMM的三個基本問題是：__（已知模型參數(shù)求觀測序列概率）、__（已知觀測序列求最可能的狀態(tài)序列）、__（已知觀測序列估計(jì)模型參數(shù)）。5.LSTM（長短期記憶網(wǎng)絡(luò)）通過__、__和__三個門控機(jī)制控制信息的傳遞。三、簡答題（每題8分，共40分）1.簡述詞向量（WordEmbedding）的作用，并對比Word2Vec與GloVe的異同。2.解釋“句法分析”與“語義分析”的區(qū)別，并舉例說明。3.為什么循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）難以處理長距離依賴？LSTM是如何緩解這一問題的？4.對比生成模型（如HMM）與判別模型（如CRF）的核心差異，并說明各自的適用場景。5.簡述Transformer模型中“自注意力機(jī)制”（Self-Attention）的計(jì)算過程，并說明其優(yōu)勢。四、算法與計(jì)算題（每題10分，共20分）1.給定以下語料（已標(biāo)注詞性，“/”后為詞性）：語料1：我/代詞愛/動詞自然/名詞語言/名詞處理/名詞語料2：自然/名詞語言/名詞處理/名詞很/副詞有趣/形容詞假設(shè)用HMM建模詞性標(biāo)注任務(wù)，狀態(tài)為詞性（代詞、動詞、名詞、副詞、形容詞），觀測為詞語。請計(jì)算：（1）狀態(tài)轉(zhuǎn)移概率P(名詞→名詞)；（2）發(fā)射概率P(“自然”|名詞)。2.假設(shè)某句子的分詞候選路徑及轉(zhuǎn)移概率如下（“B”表示詞首，“M”表示詞中，“E”表示詞尾，“S”表示單字詞）：路徑1：B(我)→E(愛)→B(自然)→E(語言)→S(處理)，轉(zhuǎn)移概率乘積為0.002；路徑2：B(我)→S(愛)→B(自然)→M(語言)→E(處理)，轉(zhuǎn)移概率乘積為0.005；路徑3：S(我)→B(愛)→E(自然)→B(語言)→E(處理)，轉(zhuǎn)移概率乘積為0.001；請用維特比算法（ViterbiAlgorithm）找出最優(yōu)分詞路徑，并說明理由。五、綜合應(yīng)用題（20分）假設(shè)需要開發(fā)一個“中文新聞標(biāo)題分類系統(tǒng)”（任務(wù)：將新聞標(biāo)題分類為“體育”“科技”“娛樂”“財(cái)經(jīng)”四類），請?jiān)O(shè)計(jì)技術(shù)方案，要求包含以下步驟：（1）數(shù)據(jù)收集與預(yù)處理；（2）特征提取與表示；（3）模型選擇與訓(xùn)練；（4）效果評估與優(yōu)化。答案一、單項(xiàng)選擇題1.B2.A3.C4.B5.A6.B7.C8.D9.B10.B二、填空題1.非結(jié)構(gòu)性、上下文依賴性（或“模糊性”等合理答案）2.混合方法（或“深度學(xué)習(xí)方法”）3.詞頻（TermFrequency）、逆文檔頻率（InverseDocumentFrequency）4.評估問題（概率計(jì)算）、解碼問題（狀態(tài)序列預(yù)測）、學(xué)習(xí)問題（參數(shù)估計(jì)）5.輸入門、遺忘門、輸出門三、簡答題1.詞向量作用：將詞語映射到低維連續(xù)向量空間，捕捉詞語間的語義相似性（如同義詞、上下位詞），解決“維數(shù)災(zāi)難”并提升模型性能。Word2Vec與GloVe對比：-相同點(diǎn)：均基于共現(xiàn)信息學(xué)習(xí)詞向量，目標(biāo)是使語義相似的詞語在向量空間中距離相近。-不同點(diǎn)：Word2Vec是局部窗口模型（如Skip-gram或CBOW），通過預(yù)測上下文詞學(xué)習(xí)向量；GloVe是全局矩陣分解模型，基于整個語料的共現(xiàn)矩陣優(yōu)化對數(shù)概率差，同時考慮局部和全局信息。2.區(qū)別：句法分析關(guān)注句子的結(jié)構(gòu)（如短語層次、詞語依賴關(guān)系），解決“如何構(gòu)成句子”；語義分析關(guān)注句子的含義（如詞語的指代、事件的邏輯），解決“句子表達(dá)什么”。舉例：對句子“小明吃蘋果”，句法分析輸出“主謂賓”結(jié)構(gòu)（小明-吃，吃-蘋果）；語義分析輸出“施事（小明）→動作（吃）→受事（蘋果）”的語義角色。3.RNN長距離依賴問題：RNN通過鏈?zhǔn)浇Y(jié)構(gòu)傳遞信息，但反向傳播時梯度經(jīng)過多次矩陣乘法會指數(shù)級衰減（梯度消失）或爆炸（梯度爆炸），導(dǎo)致模型難以捕捉長序列中的遠(yuǎn)距依賴。LSTM的改進(jìn)：引入細(xì)胞狀態(tài)（CellState）作為信息傳遞的“主干道”，通過遺忘門（決定保留/丟棄舊信息）、輸入門（控制新信息的輸入）、輸出門（決定輸出多少細(xì)胞狀態(tài)信息），選擇性地保留長期記憶，緩解梯度消失問題。4.核心差異：生成模型學(xué)習(xí)聯(lián)合概率P(X,Y)（同時建模輸入和輸出），判別模型學(xué)習(xí)條件概率P(Y|X)（直接建模輸出給定輸入的條件）。適用場景：生成模型適用于需要生成數(shù)據(jù)（如文本生成）或小樣本場景（可利用聯(lián)合分布的先驗(yàn)信息）；判別模型適用于分類、標(biāo)注等任務(wù)（直接優(yōu)化預(yù)測性能，避免生成模型的復(fù)雜計(jì)算）。5.自注意力計(jì)算過程：（1）對輸入序列的每個詞向量，計(jì)算查詢（Q）、鍵（K）、值（V）矩陣（通常通過線性變換得到）；（2）計(jì)算Q與K的點(diǎn)積，得到注意力分?jǐn)?shù)；（3）對分?jǐn)?shù)進(jìn)行縮放（除以√dk，dk為向量維度）并通過Softmax歸一化，得到注意力權(quán)重；（4）用權(quán)重對V加權(quán)求和，得到每個詞的上下文表示。優(yōu)勢：并行計(jì)算（無序列依賴）、捕捉長距離依賴（直接關(guān)聯(lián)任意位置的詞語）、動態(tài)調(diào)整詞的重要性（通過注意力權(quán)重）。四、算法與計(jì)算題1.（1）狀態(tài)轉(zhuǎn)移概率P(名詞→名詞)：語料中名詞（N）出現(xiàn)的轉(zhuǎn)移情況：語料1：代詞→動詞→名詞→名詞→名詞（轉(zhuǎn)移：動詞→名詞，名詞→名詞，名詞→名詞）語料2：名詞→名詞→名詞→副詞→形容詞（轉(zhuǎn)移：名詞→名詞，名詞→名詞，名詞→副詞）總名詞→名詞的轉(zhuǎn)移次數(shù)=2（語料1）+2（語料2）=4次；名詞作為前一狀態(tài)的總轉(zhuǎn)移次數(shù)：語料1中名詞出現(xiàn)3次（第3、4、5詞），其中第3→4詞是名詞→名詞，第4→5詞是名詞→名詞；語料2中名詞出現(xiàn)3次（第1、2、3詞），其中第1→2詞是名詞→名詞，第2→3詞是名詞→名詞，第3→4詞是名詞→副詞。因此，名詞作為前一狀態(tài)的總轉(zhuǎn)移次數(shù)=（3-1）+（3-1）=2+2=4次（每個狀態(tài)序列長度為n時，轉(zhuǎn)移次數(shù)為n-1）。但更準(zhǔn)確的統(tǒng)計(jì)方式是遍歷所有相鄰狀態(tài)對：語料1的狀態(tài)序列：代詞→動詞→名詞→名詞→名詞→轉(zhuǎn)移對：代→動，動→名，名→名，名→名（共4-1=4個轉(zhuǎn)移）語料2的狀態(tài)序列：名詞→名詞→名詞→副詞→形容詞→轉(zhuǎn)移對：名→名，名→名，名→副，副→形（共5-1=4個轉(zhuǎn)移）其中，名詞→名詞的轉(zhuǎn)移對在語料1中有2個（動→名后是名→名、名→名），語料2中有2個（名→名、名→名），總計(jì)4次。名詞作為前一狀態(tài)的總轉(zhuǎn)移次數(shù)：語料1中“動→名”后有2次名→名；語料2中前3個狀態(tài)是名詞，因此有2次名→名（名1→名2，名2→名3）和1次名3→副?？偣灿校ㄕZ料1的名→名次數(shù)）+（語料2的名→名次數(shù)）=2+2=4次？不，正確統(tǒng)計(jì)是所有前一狀態(tài)為名詞的轉(zhuǎn)移次數(shù)：語料1中，狀態(tài)序列為[代,動,名,名,名]，轉(zhuǎn)移對為（代,動）、（動,名）、（名,名）、（名,名）→前一狀態(tài)為名詞的轉(zhuǎn)移對是（名,名）、（名,名）→2次。語料2中，狀態(tài)序列為[名,名,名,副,形]，轉(zhuǎn)移對為（名,名）、（名,名）、（名,副）、（副,形）→前一狀態(tài)為名詞的轉(zhuǎn)移對是（名,名）、（名,名）、（名,副）→3次。因此，前一狀態(tài)為名詞的總轉(zhuǎn)移次數(shù)=2+3=5次；其中名詞→名詞的轉(zhuǎn)移次數(shù)=2（語料1）+2（語料2的前兩個名→名）=4次（因?yàn)檎Z料2的第三個轉(zhuǎn)移是名→副，不算）。所以P(名詞→名詞)=4/5=0.8。（2）發(fā)射概率P(“自然”|名詞)：名詞狀態(tài)下的觀測詞包括：語料1中的“自然”“語言”“處理”；語料2中的“自然”“語言”“處理”。名詞的總出現(xiàn)次數(shù)：語料1有3次（第3、4、5詞），語料2有3次（第1、2、3詞）→共6次。其中觀測為“自然”的次數(shù)：語料1中“自然”是名詞（第3詞），語料2中“自然”是名詞（第1詞）→2次。因此P(“自然”|名詞)=2/6=1/3≈0.333。2.最優(yōu)路徑：路徑2（概率0.005）。維特比算法選擇概率最大的路徑，比較三條路徑的轉(zhuǎn)移概率乘積：0.005（路徑2）>0.002（路徑1）>0.001（路徑3），因此路徑2為最優(yōu)。五、綜合應(yīng)用題技術(shù)方案設(shè)計(jì)：（1）數(shù)據(jù)收集與預(yù)處理：-數(shù)據(jù)收集：通過新聞網(wǎng)站API（如新浪新聞、騰訊新聞）爬取已分類的新聞標(biāo)題（確保類別平衡，每類至少1萬條）；人工補(bǔ)充少量標(biāo)注數(shù)據(jù)，避免類別失衡。-預(yù)處理：-清洗：去除特殊符號（如“”“@”）、超鏈接、重復(fù)標(biāo)題；-分詞：使用結(jié)巴分詞或LAC（百度分詞工具）進(jìn)行中文分詞，保留名詞、動詞、形容詞等核心詞，過濾停用詞（如“的”“了”）；-標(biāo)準(zhǔn)化：統(tǒng)一簡繁體（轉(zhuǎn)為簡體），處理大小寫（英文部分轉(zhuǎn)為小寫）。（2）特征提取與表示：-傳統(tǒng)特征：TF-IDF（計(jì)算詞的重要性）、詞頻統(tǒng)計(jì)（高頻詞作為特征）；-深度學(xué)習(xí)特征：使用預(yù)訓(xùn)練模型（如ERNIE-1.0、RoBERTa-wwm）提取標(biāo)題的上下文向量（取[CLS]位置的輸出作為全局表示）；-融合特征：將TF-IDF向量與預(yù)訓(xùn)練模型輸出的向量拼接，提升特征豐富性。（3）模型選擇與訓(xùn)練：-基線模型：邏輯回歸（LR）或支持向量機(jī)（SVM），使用TF-IDF特征，快速驗(yàn)證任務(wù)可行性；-深度學(xué)習(xí)模型：-輕量級模型：TextCNN（卷積神經(jīng)網(wǎng)絡(luò)，捕捉局部關(guān)鍵短語）；-進(jìn)階模型：BiLSTM（雙向長短期記憶網(wǎng)絡(luò)，捕捉詞序依賴）+注意力機(jī)制（聚焦關(guān)鍵信息）；-最優(yōu)模型：基于預(yù)訓(xùn)練的分類模型（如BERT-wwm+全連接層），利用遷移學(xué)習(xí)提升小樣本下的性能；-訓(xùn)練配置：劃分訓(xùn)練集（70%）、驗(yàn)證集（20%）、測試集（10%）；使用交叉熵?fù)p失函數(shù)，Adam優(yōu)化器（學(xué)習(xí)率