2025年大學(xué)《信息與計算科學(xué)》專業(yè)題庫——信息與計算科學(xué)中的自然語言識別考試時間：______分鐘總分：______分姓名：______一、名詞解釋（每小題3分，共15分）1.自然語言識別2.語言模型3.詞向量4.隱馬爾可夫模型（HMM）5.語義分析二、填空題（每空2分，共20分）1.自然語言識別的主要任務(wù)包括分詞、__________、句法分析、語義分析等。2.N-gram模型通過計算文本中相鄰N個詞的聯(lián)合概率來表示文本的統(tǒng)計特性，其中1-gram模型也稱為__________。3.在詞性標注中，使用條件隨機場（CRF）模型可以捕捉詞語之間更復(fù)雜的__________依賴關(guān)系。4.循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）特別適合處理具有__________特征的序列數(shù)據(jù)，如文本。5.Word2Vec模型通過訓(xùn)練學(xué)習(xí)到詞語的向量表示，使得語義相似的詞語在向量空間中的距離__________。6.評估文本分類模型性能的常用指標包括精確率、召回率和__________。7.基于規(guī)則的方法在處理規(guī)范、確定性的語言現(xiàn)象時效果較好，但其缺點是難以處理自然語言的__________和多樣性。8.語言模型的核心任務(wù)是對給定的n-1個詞預(yù)測下一個詞的概率P(w_t|w_{t-n+1},...,w_{t-1})。9.在信息檢索中，自然語言識別技術(shù)可用于理解用戶查詢的__________，提高檢索的準確性。10.深度學(xué)習(xí)模型，如Transformer，通過引入__________機制有效地捕捉了文本中的長距離依賴關(guān)系。三、簡答題（每小題5分，共25分）1.簡述HMM模型在句法分析中的應(yīng)用原理。2.解釋什么是詞嵌入（WordEmbedding），并說明其相比傳統(tǒng)one-hot向量的優(yōu)勢。3.什么是語言模型的困惑度（Perplexity）？其值越小表示模型越好，為什么？4.簡述自然語言識別中“歧義性”的主要表現(xiàn)形式及其主要來源。5.比較樸素貝葉斯分類器和支持向量機（SVM）在文本分類任務(wù)中的基本思想及其優(yōu)缺點。四、計算題（每小題10分，共20分）1.假設(shè)一個簡短文本包含5個詞：[貓,坐,在,桌子,上]。使用簡單的bigram語言模型計算句子“貓坐在桌子上”的概率。假設(shè)已知bigram概率P(坐|貓)=0.6,P(在|坐)=0.7,P(桌子上|在)=0.8，以及所有單詞的先驗概率P(貓)=0.2,P(坐)=0.15,P(在)=0.25,P(桌子)=0.1,P(上)=0.1，句子起始詞的先驗概率P(起始)=0.1。請給出計算過程和結(jié)果。2.假設(shè)一個二分類問題，有4個樣本，其真實標簽和模型預(yù)測結(jié)果如下：*樣本1：真實標簽=正，預(yù)測=正*樣本2：真實標簽=負，預(yù)測=負*樣本3：真實標簽=負，預(yù)測=正*樣本4：真實標簽=正，預(yù)測=負計算該模型的精確率（Precision）、召回率（Recall）和F1分數(shù)。五、論述題（15分）結(jié)合自然語言識別的具體任務(wù)（如分詞、情感分析、機器翻譯等），論述深度學(xué)習(xí)技術(shù)（特別是神經(jīng)網(wǎng)絡(luò)）相比傳統(tǒng)統(tǒng)計方法或規(guī)則方法在處理自然語言方面的優(yōu)勢，并分析當前深度學(xué)習(xí)在自然語言識別領(lǐng)域仍然面臨的主要挑戰(zhàn)。試卷答案一、名詞解釋1.自然語言識別：將人類語言（通常是文本或語音）轉(zhuǎn)換為計算機能夠理解和處理的形式（如結(jié)構(gòu)化數(shù)據(jù)、語義表示）的過程。2.語言模型：一種統(tǒng)計模型，用于描述一個句子或文本序列出現(xiàn)的概率，是自然語言處理中的基礎(chǔ)模型。3.詞向量：將詞語表示為高維空間中的實數(shù)向量，使得語義相似的詞語在向量空間中距離相近。4.隱馬爾可夫模型（HMM）：一種統(tǒng)計模型，用于描述一個系統(tǒng)隨時間變化的狀態(tài)序列，每個狀態(tài)可能發(fā)出一個觀察到的符號，常用于處理序列數(shù)據(jù)，如語音識別和句法分析。5.語義分析：自然語言處理任務(wù)，旨在理解句子或短語的字面意義和隱含意義，包括識別主謂賓關(guān)系、核心實體、以及句子間的邏輯關(guān)系等。二、填空題1.詞性標注2.樸素模型（或單詞模型）3.局部（或鄰域）4.長時依賴5.更小（或越?。?.F1值（或F1分數(shù)）7.不確定性（或模糊性）8.轉(zhuǎn)移9.意圖（或含義）10.注意力（或Attention）三、簡答題1.HMM在句法分析中，將句法結(jié)構(gòu)視為一個隱藏的狀態(tài)序列，每個狀態(tài)對應(yīng)一個句法成分（如名詞短語、動詞短語），觀測到的是詞語序列。HMM通過學(xué)習(xí)詞語發(fā)射概率和狀態(tài)轉(zhuǎn)移概率，利用維特比算法解碼出最可能產(chǎn)生觀測詞序列的狀態(tài)序列，從而得到句法分析結(jié)果。2.詞嵌入是將詞匯表中的每個詞映射到一個低維稠密向量空間中。相比one-hot向量（高維稀疏），詞嵌入能夠捕捉詞語間的語義關(guān)系，具有更好的壓縮性，能夠處理詞匯歧義（如“銀行”指金融機構(gòu)或河岸），是深度學(xué)習(xí)在NLP中廣泛應(yīng)用的基礎(chǔ)。3.困惑度（Perplexity）衡量語言模型預(yù)測下一個詞的“平均不確定性”或“平均錯誤程度”。其計算方式為困惑度=2^(-交叉熵/詞匯量)。困惑度值越小，表示模型對測試集數(shù)據(jù)的預(yù)測越準確，即模型越“困惑”，預(yù)測越準。它將概率值轉(zhuǎn)換為更直觀的衡量標準，困惑度為1表示模型預(yù)測完美。4.自然語言識別中的歧義性主要表現(xiàn)為同一詞語或句子結(jié)構(gòu)在不同語境下可能有多種解釋。主要來源包括：詞匯歧義（一詞多義，如“蘋果”指水果或公司）、句法歧義（句子結(jié)構(gòu)多種分析方式，如“我看見她打籃球”主語是“我”還是“她”）、語義歧義（詞語或句子含義依賴于上下文，如“禿頭”）。5.樸素貝葉斯分類器基于“特征獨立”假設(shè)，計算每個類別的后驗概率P(類別|特征)，選擇后驗概率最大的類別。優(yōu)點是簡單、快速、所需訓(xùn)練數(shù)據(jù)少、對缺失值不敏感。缺點是“樸素”假設(shè)往往不成立，特征間可能存在依賴關(guān)系；模型性能受特征獨立性影響大。SVM是一種基于間隔的分類器，通過尋找一個最優(yōu)超平面將不同類別的樣本分開，并使分類間隔最大。優(yōu)點是能處理高維數(shù)據(jù)、對非線性問題通過核技巧解決、魯棒性強。缺點是計算復(fù)雜度較高（尤其大規(guī)模數(shù)據(jù)）、對參數(shù)和核函數(shù)選擇敏感、模型解釋性較差。四、計算題1.計算句子“貓坐在桌子上”的概率：P(句子)=P(起始)*P(貓|起始)*P(坐|貓)*P(在|坐)*P(桌子|在)*P(上|桌子)P(句子)=0.1*0.2*0.6*0.7*0.8*P(上|桌子)由于未給出P(上|桌子)，假設(shè)P(上|桌子)可以使用其先驗概率P(上)=0.1（或根據(jù)上下文有更優(yōu)估計，此處用先驗）。P(句子)=0.1*0.2*0.6*0.7*0.8*0.1P(句子)=0.000864所以句子“貓坐在桌子上”的概率為0.000864。解析思路：根據(jù)HMM模型，句子概率是起始概率、各狀態(tài)轉(zhuǎn)移概率（或詞語發(fā)射概率）的乘積。根據(jù)題目給出的bigram概率和先驗概率，逐項相乘即可得到結(jié)果。注意起始概率和發(fā)射概率的區(qū)分與使用。2.計算精確率、召回率和F1分數(shù)：*真正例（TP）：模型預(yù)測為正且真實標簽為正的樣本數(shù)=2*假正例（FP）：模型預(yù)測為正但真實標簽為負的樣本數(shù)=1*真負例（TN）：模型預(yù)測為負且真實標簽為負的樣本數(shù)=1*假負例（FN）：模型預(yù)測為負但真實標簽為正的樣本數(shù)=1*精確率（Precision）=TP/(TP+FP)=2/(2+1)=2/3≈0.6667*召回率（Recall）=TP/(TP+FN)=2/(2+1)=2/3≈0.6667*F1分數(shù)=2*(Precision*Recall)/(Precision+Recall)=2*((2/3)*(2/3))/((2/3)+(2/3))=2*(4/9)/(4/3)=8/12=2/3≈0.6667解析思路：根據(jù)混淆矩陣的定義，先統(tǒng)計TP,FP,TN,FN的值。然后根據(jù)精確率、召回率、F1分數(shù)的定義公式進行計算。在這個特定例子中，由于TP=FN=2，F(xiàn)P=TN=1，導(dǎo)致三個指標值相等。五、論述題深度學(xué)習(xí)技術(shù)在自然語言識別領(lǐng)域相比傳統(tǒng)統(tǒng)計方法或規(guī)則方法具有顯著優(yōu)勢。首先，深度學(xué)習(xí)模型（尤其是神經(jīng)網(wǎng)絡(luò)）具有強大的自動特征提取能力，能夠從原始文本數(shù)據(jù)中學(xué)習(xí)到層次化的語義表示，無需人工設(shè)計復(fù)雜的特征，克服了傳統(tǒng)方法對特征工程的高度依賴。其次，深度學(xué)習(xí)模型能有效捕捉文本中的長距離依賴關(guān)系和上下文信息，這對于理解句法結(jié)構(gòu)和語義含義至關(guān)重要，而傳統(tǒng)統(tǒng)計方法（如n-gram）往往受限于窗口大小，難以處理長距離交互。此外，深度學(xué)習(xí)模型在許多任務(wù)上（如文本分類、情感分析、機器翻譯）展現(xiàn)了超越傳統(tǒng)方法的性能，尤其是在處理大規(guī)模、復(fù)雜數(shù)據(jù)時。例如，卷積神經(jīng)網(wǎng)絡(luò)（CNN）適合捕捉局部文本模式，循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）及其變體（LSTM,GRU）能處理序列順序信息，Transformer模型通過自注意力機制進一步提升了模型對全局上下文的理解能力。然而，深度學(xué)習(xí)在