第三章統(tǒng)計語言模型3.1概述

3.2N-gram模型

3.3平滑技術(shù)

3.3.1加一平滑

1.3.2其他平滑

目錄語言模型（LanguageModel,LM）：一種用于計算詞序列（如：短語、句子、段落等）概率分布的模型。模型用于評估詞序列的合理性。3.1概述例

思考:哪個句子更像一個合理的句子？如何量化估計這句話的“合理程度”？3.1概述統(tǒng)計語言模型（StatisticLanguageModel,SLM）：通過大規(guī)模文本數(shù)據(jù)的統(tǒng)計分析來描述詞語、語句甚至整個文檔的概率分布，用于評估句子或詞序列是否符合自然語言的規(guī)范。1.主要內(nèi)容:利用大型計算機和大規(guī)模的文本語料庫進行統(tǒng)計建模，分析詞語之間的搭配和出現(xiàn)頻率，從而推導(dǎo)出詞語的概率分布。

2.優(yōu)勢：不依賴于人為定義的語法規(guī)則，從實際語料中學(xué)習(xí)和推斷自然語言的規(guī)律，處理自然語言復(fù)雜性和動態(tài)性。3.2N-gram模型思考1:語言模型的計算復(fù)雜度？

基于N?1階馬爾可夫鏈的統(tǒng)計語言模型：假設(shè)當(dāng)前詞的出現(xiàn)的概率與其前N?1個連續(xù)的詞相關(guān)N元文法（N-gram）模型3.2N-gram模型

當(dāng)N=1時，稱為一元文法（Unigram或Monogram），每個詞出現(xiàn)的概率只與其自身的詞頻相關(guān)當(dāng)N=2時，稱為二元文法（Bigram），其基于1階馬爾可夫鏈構(gòu)造當(dāng)N=3時，稱為三元文法（Trigram），其基于2階馬爾可夫鏈構(gòu)造

對于二元模型，每個詞都與它左邊的最近的一個詞有關(guān)聯(lián)，也就是對于P(A,B,C)=P(A)P(B|A)P(C|B)

比如語句：“貓，跳上，椅子”，P(A="貓"，B="跳上"，C="椅子")=P("貓")P(“跳上”)P("椅子")；其中各個詞的數(shù)量數(shù)語料庫M中統(tǒng)計的數(shù)量比如語句：“貓，跳上，椅子”，P(A="貓"，B="跳上"，C="椅子")=P("貓")P(“跳上”|“貓”)P("椅子"|“跳上”)；其中各個詞的數(shù)量數(shù)語料庫M中統(tǒng)計的數(shù)量

依據(jù)這些圖表一和圖表二就可以求出P(A,B,C),也就是這個句子的合理的概率.例3.2N-gram模型給定句子“Marrysingsasong”，計算該句子的概率。利用基于Bigram模型計算上述句子的概率為：上，椅子”，P(A="貓"，B="跳上"，C="椅子")=P("貓")P(“跳上”)P("椅子")；其中各個詞的數(shù)量數(shù)語料庫M中統(tǒng)計的數(shù)量例3.2N-gram模型

根據(jù)上述文本，用極大似然估計計算后驗概率:，椅子”，P(A="貓"，B="跳上"，C="椅子")=P("貓")P(“跳上”)P("椅子")；其中各個詞的數(shù)量數(shù)語料庫M中統(tǒng)計的數(shù)量例3.2N-gram模型“隨著人工智能技術(shù)的不斷發(fā)展，通用人工智能和數(shù)字經(jīng)濟領(lǐng)域的融合與交叉已成為科研和產(chǎn)業(yè)發(fā)展的重要趨勢。通用人工智能與數(shù)字經(jīng)濟創(chuàng)新團隊依托金融智能與金融工程四川省重點實驗室，面向國家“智改數(shù)轉(zhuǎn)”重大戰(zhàn)略需求，聚焦行業(yè)大模型研究，致力于探索大模型技術(shù)在數(shù)字經(jīng)濟領(lǐng)域的應(yīng)用潛力，推動人工智能技術(shù)與數(shù)字經(jīng)濟產(chǎn)業(yè)的創(chuàng)新發(fā)展?！?/p>

數(shù)據(jù)稀疏問題：統(tǒng)計語言模型中，訓(xùn)練數(shù)據(jù)中某些詞或短語可能從未出現(xiàn)，或其上下文信息不足，導(dǎo)致模型在估計這些詞序列概率時可能出現(xiàn)零概率問題3.3平滑技術(shù)

在上面的場景中，由于部分單詞對出現(xiàn)的概率為0，導(dǎo)致最終兩句話出現(xiàn)的概率均為0。但實際上，s1=“今天沒有訓(xùn)練營”比s2=“今天訓(xùn)練營沒有”更符合語法習(xí)慣，我們也更希望計算出來的P(s1)大于P(s2)。為了解決上述問題，考慮引入平滑處理的技術(shù)，來修正計算過程中的概率值，避免某一項概率為0導(dǎo)致整個句子的概率為0。例平滑技術(shù)：為那些在訓(xùn)練數(shù)據(jù)中未出現(xiàn)或出現(xiàn)次數(shù)極少的單詞或短語提供一個非零的概率估計，從而使模型預(yù)測更為合理。主要的平滑技術(shù)加一平滑加K平滑古德-圖靈平滑插值平滑回退平滑絕對值平滑3.3平滑技術(shù)加一平滑（Add-oneSmoothing）：通過將每個事件的觀察次數(shù)增加一個小常數(shù)（通常為1）來減小高頻事件的概率估計，然后將結(jié)果分配給低頻事件，以平滑概率估計。例如，對于Unigram，設(shè)w1,w2,w3

三個詞，概率分別為：1/3,0,2/3，加1后情況？引入加一平滑

例如，前面Bigram的例子：3.3平滑技術(shù)：加一平滑基本思想:每一種情況出現(xiàn)的次數(shù)加1。加K平滑（Add-KSmoothing）：加一平滑的泛化形式。每個統(tǒng)計單元的頻率計數(shù)增加了一個預(yù)定的常數(shù)K，而非單獨增加1。數(shù)學(xué)表達如下：3.3平滑技術(shù)：加K平滑加K平滑能夠更靈活地調(diào)整平滑程度以適應(yīng)不同的數(shù)據(jù)分布。具體來說，通過合適地選擇K的值，可以在減少過度平滑與保持數(shù)據(jù)穩(wěn)健性之間達到更好的平衡。Discounting（折扣）：通過減少常見事件的估計概率來提高對不常見事件的關(guān)注度Interpolation（插值）：將多個語言模型組合在一起，通過分配權(quán)重和組合各個模型的概率來平滑概率估計，以提高語言模型的性能和泛化能力。Back-off（后退）：是用于n-gram語言模型的一種平滑技術(shù)。在處理稀疏數(shù)據(jù)時，通過回退到較低階的n-gram來估計概率3.3平滑技術(shù)：插值平滑插值平滑（InterpolationSmoothing）：利用不同階數(shù)的N-gram模型來估算概率。具體來說，插值平滑將各階數(shù)模型的概率進行線性加權(quán)平均：

Discounting（折扣）：通過減少常見事件的估計概率來提高對不常見事件的關(guān)注度Interpolation（插值）：將多個語言模型組合在一起，通過分配權(quán)重和組合各個模型的概率來平滑概率估計，以提高語言模型的性能和泛化能力。Back-off（后退）：是用于n-gram語言模型的一種平滑技術(shù)。在處理稀疏數(shù)據(jù)時，通過回退到較低階的n-gram來估計概率3.3平滑技術(shù)：絕對值平滑絕對值平滑（AbsoluteDiscounting）：直接從每個N元文法事件的觀察頻率中減去一個固定的值d，之后將剩余的概率質(zhì)量分配給未見或低頻事件。其