第4章殘差連接與逐層歸一化本章主要內(nèi)容：1.逐層歸一化2.殘差與殘差分析3.殘差模塊4.殘差連接在LLM中的應(yīng)用

4.1逐層歸一化BN方法就是在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中使每層神經(jīng)網(wǎng)絡(luò)的輸入都保持相同的分布。因?yàn)樯顚由窠?jīng)網(wǎng)絡(luò)在進(jìn)行非線性變換前的輸入值（y=Wx+b，x是輸入，b為偏置項(xiàng)）隨著網(wǎng)絡(luò)深度加深或者在訓(xùn)練過程中，其分布逐漸發(fā)生偏移或變動(dòng)。之所以訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)收斂越來越慢，一般是因?yàn)檎w分布逐漸向非線性函數(shù)的取值區(qū)間的上下限兩端靠近，導(dǎo)致反向傳播時(shí)低層神經(jīng)網(wǎng)絡(luò)的梯度消失。BN方法就是通過一定的規(guī)范化手段，將每層神經(jīng)網(wǎng)絡(luò)任意神經(jīng)元的輸入值的分布拉回到均值為0、方差為1的標(biāo)準(zhǔn)正態(tài)分布，其實(shí)就是將越來越偏的分布強(qiáng)制拉回到比較標(biāo)準(zhǔn)的分布。這樣就使激活輸入值落在非線性函數(shù)對(duì)輸入比較敏感的區(qū)域，網(wǎng)絡(luò)的輸出就可以得到比較大的梯度，避免梯度消失問題，而且梯度變大表明學(xué)習(xí)收斂速度快，能加快訓(xùn)練速度。

4.1.1

BN的主要步驟

輸入：批量數(shù)據(jù)：B={x1,…,xm}學(xué)習(xí)參數(shù)：β，γ輸出：BN步驟主要分為4步：（1）計(jì)算每一批訓(xùn)練數(shù)據(jù)的均值；（2）計(jì)算每一批訓(xùn)練數(shù)據(jù)的方差；（3）使用求得的均值和方差對(duì)該批次的訓(xùn)練數(shù)據(jù)做規(guī)范化。其中ε是為了避免除數(shù)為0時(shí)所使用的微小正數(shù)；.（4）尺度變換和偏移：將乘以γ調(diào)整數(shù)值大小，再加上β增加偏移后得到y(tǒng)i，γ是尺度因子，β是平移因子。這一步是BN的精髓，由于歸一化后的xi基本被限制在正態(tài)分布下，使得網(wǎng)絡(luò)的表達(dá)能力下降。進(jìn)行平移和縮放處理引入了γ和β兩個(gè)參數(shù)，這是可學(xué)習(xí)重構(gòu)參數(shù)γ、β，讓網(wǎng)絡(luò)可以學(xué)習(xí)恢復(fù)出原始網(wǎng)絡(luò)所要學(xué)習(xí)的特征分布。變換重構(gòu)，引入了可學(xué)習(xí)參數(shù)γ、β，這算法關(guān)鍵之處：因此引入了這個(gè)可學(xué)習(xí)重構(gòu)參數(shù)γ、β，讓網(wǎng)絡(luò)可以學(xué)習(xí)恢復(fù)出原始網(wǎng)絡(luò)所要學(xué)習(xí)的特征分布。3.BN層的作用:解決內(nèi)部協(xié)變量偏移、使得梯度變平緩、優(yōu)化激活函數(shù)、增強(qiáng)優(yōu)化器作用、解決梯度消失問題和使模型具有正則化效果。BN層的作用是對(duì)不同樣本的同一特征做歸一化。主要作用如下：（1）加快網(wǎng)絡(luò)的訓(xùn)練和收斂的速度

（2）控制梯度爆炸防止梯度消失（3）防止過擬合

BN層一般用在線性層和卷積層后面，而不是放在非線性單元后。因?yàn)榉蔷€性單元的輸出分布形狀將在訓(xùn)練過程中變化，歸一化無法消除他的方差偏移，相反，全連接和卷積層的輸出一般是一個(gè)對(duì)稱、非稀疏的分布，更加類似高斯分布，對(duì)它們進(jìn)行歸一化可產(chǎn)生更加穩(wěn)定的分布。例如，像Relu這樣的激活函數(shù)，如果輸入的數(shù)據(jù)是一個(gè)高斯分布，經(jīng)過變換出來的數(shù)據(jù)能是小于0的被抑制，也就是分布小于0的部分直接變成0，這樣就更加類似高斯分布4.2殘差與殘差分析1.殘差定義殘差是模型已經(jīng)擬合后，觀測(cè)值與通過模型預(yù)測(cè)的值之間的差異。殘差是可觀測(cè)的，因?yàn)樗腔趯?shí)際數(shù)據(jù)和模型預(yù)測(cè)計(jì)算得出的。殘差用于評(píng)估模型對(duì)數(shù)據(jù)的擬合程度：如果一個(gè)模型的殘差較小，通常認(rèn)為該模型擬合得較好。如果殘差較大或者呈現(xiàn)某種規(guī)律性（比如隨著預(yù)測(cè)值的增加而系統(tǒng)性地增加或減少），則說明模型可能不夠準(zhǔn)確或需要改進(jìn)。2.殘差與誤差的主要區(qū)別（1）定義·誤差：真實(shí)值與模型預(yù)測(cè)值之間的差異?！埐睿河^測(cè)值與模型預(yù)測(cè)值之間的差異。（2）可觀測(cè)性·誤差：通常是不可觀測(cè)的，因?yàn)槲覀儾恢勒鎸?shí)值?！埐睿菏强捎^測(cè)的，因?yàn)樗腔趯?shí)際數(shù)據(jù)和模型預(yù)測(cè)計(jì)算得出的。（3）應(yīng)用·誤差：用于理論分析和模型設(shè)計(jì)，幫助我們理解模型的偏差和方差?！埐睿河糜谀Ｐ驮u(píng)估，幫助我們判斷模型擬合的好壞。.在實(shí)際應(yīng)用中，通過最小化殘差來嘗試減少誤差，從而獲得更準(zhǔn)更準(zhǔn)確的模型。然而，即使殘差很小，也不意味著誤差就一定小，因?yàn)槟Ｐ涂赡艽嬖谖从^測(cè)到的偏差。因此，在模型選擇和評(píng)估過程中，需要綜合考慮殘差分析和交叉驗(yàn)證等多種方法來評(píng)估模型的性能。在數(shù)理統(tǒng)計(jì)中，殘差是指實(shí)際觀測(cè)值與估計(jì)值（擬合值）之間的差，殘差蘊(yùn)含了有關(guān)模型基本假設(shè)的重要信息。如果回歸模型正確的話，可以將殘差看作誤差的觀測(cè)值。將多次重復(fù)測(cè)量的各次測(cè)得值與平均值（數(shù)學(xué)期望）之差稱之為殘差。殘差是因變量的觀測(cè)值yi’與根據(jù)估計(jì)的回歸方程求出的預(yù)測(cè)yi之差，用e表示。反映了用估計(jì)的回歸方程去預(yù)測(cè)yi’而引起的誤差。第i個(gè)觀察值的殘差為：ei=yi’-yi

殘差（或殘差平方和）反映數(shù)據(jù)的離散程度。2.殘差分析殘差應(yīng)符合模型的假設(shè)條件，且具有誤差的一些性質(zhì)。殘差分析是指利用殘差所提供的信息，來考察模型假設(shè)的合理性及數(shù)據(jù)的可靠性。顯然，有多少對(duì)數(shù)據(jù)，就有多少個(gè)殘差。殘差分析就是通過殘差所提供的信息，分析出數(shù)據(jù)的可靠性、周期性或其它干擾。.殘差蘊(yùn)含了有關(guān)模型基本假設(shè)的重要信息。如果回歸模型正確，則可以將殘差看作誤差的觀測(cè)值。它應(yīng)符合模型的假設(shè)條件，且具有誤差的一些性質(zhì)。以某種殘差為縱坐標(biāo)，其它變量為橫坐標(biāo)作散點(diǎn)圖，即為殘差圖，它是殘差分析的重要工具之一，通常橫坐標(biāo)的選擇有三種：(1)因變量的擬合值；(2)自變量；(3)當(dāng)因變量的觀測(cè)值為一時(shí)間序列時(shí)，橫坐標(biāo)可取觀測(cè)時(shí)間或觀測(cè)序號(hào)。殘差圖的分布趨勢(shì)可以幫助判明所擬合的線性模型是否滿足有關(guān)假設(shè)，殘差圖是以殘差為縱坐標(biāo)，以任何其它指定的量為橫坐標(biāo)的散點(diǎn)圖，殘差圖的示意圖如圖4-1所示。

4.3殘差模塊4.2.1殘差模塊結(jié)構(gòu)1.殘差模塊的基本組成神經(jīng)網(wǎng)絡(luò)模塊如所示，X為輸入、H(X)為輸出。殘差模塊的結(jié)構(gòu)如所示。

圖4-2圖4-3（1）殘差模塊比普通模塊增加了右邊的曲線，這條曲線為快捷方式連接或身份映射。（2）H(x)=F(x,w)+x（3）模型需要學(xué)習(xí)的是F(x,w)這個(gè)殘差，而不是普通模塊的H(x)，公式則可以變換為：F(x,w)=H(x)?x（4）F(x)與x是直接相加，而不是在某個(gè)維度拼接，所以要求F(x)與x的形狀相同。（5）殘差學(xué)習(xí)模塊的輸出結(jié)果是在F(x)+x

之后再加Relu激活函數(shù)，而不是對(duì)F(x)進(jìn)行激活函數(shù)作用之后再加x，也就是F(x)+x在Relu激活函數(shù)之前。.對(duì)于普通模塊，任意堆疊的兩層網(wǎng)絡(luò)，希望找到的是一個(gè)映射H(x)對(duì)應(yīng)的殘差元，添加一個(gè)快捷連接，從輸入到輸出，這里的快捷連接默認(rèn)為恒等映射，此時(shí)的問題就從尋找映射H（x）到F(x)；這類似于在數(shù)學(xué)上，直接去解一個(gè)方程較為復(fù)雜，就把它分解成兩個(gè)簡單問題和的形式，分別去解決。如所示。

圖4-4對(duì)應(yīng)于殘差的初始定義，在統(tǒng)計(jì)學(xué)中，為實(shí)際觀測(cè)值與估計(jì)值（擬合值）的差值，這里則是直接的映射H(x)與快捷連接x的差值。當(dāng)沒有從x到?的快捷連接時(shí)，殘差學(xué)習(xí)模塊就是一個(gè)普通的兩層網(wǎng)絡(luò)。殘差模塊中的網(wǎng)絡(luò)可以是全連接層。設(shè)第二層網(wǎng)絡(luò)在激活函數(shù)之前的輸出為H(x)。如果在兩層網(wǎng)絡(luò)中，最優(yōu)的輸出就是輸入x，那么對(duì)于沒有捷徑連接的網(wǎng)絡(luò)，就需要將其優(yōu)化成H(x)=x。對(duì)于有捷徑連接的網(wǎng)絡(luò)，即殘差模塊，如果最優(yōu)輸出是x，則只需要將優(yōu)化為:F(x)=H(x)?x=0顯然，后者的優(yōu)化比前者更簡單，這也是殘差的由來。

.F(x)是求和前網(wǎng)絡(luò)映射，H(x)是從輸入到求和后的網(wǎng)絡(luò)映射。例如，如果將5映射到5.1，那么引入殘差前是F’(5)=5.1，引入殘差后是H(5)=5.1,H(5)=H(5)-5,F(5)=0.1。這里的F’和F都表示網(wǎng)絡(luò)參數(shù)映射，引入殘差后的映射對(duì)輸出的變化更敏感。例如，輸出從5.1變到5.2，映射F’的輸出增加了1/5=2%，而對(duì)于殘差結(jié)構(gòu)輸出從5.1到5.2，映射F是從0.1到0.2，增加了100%。明顯后者輸出變化對(duì)權(quán)重的調(diào)整作用更大，所以效果更好。殘差的思想都是去掉相同的主體部分，從而突出微小的變化。可以對(duì)多堆疊層采用殘差學(xué)習(xí)。殘差模塊可以解決深層神經(jīng)網(wǎng)絡(luò)準(zhǔn)確率下降的問題。對(duì)于一個(gè)神經(jīng)網(wǎng)絡(luò)模型，如果該模型是最優(yōu)的，那么訓(xùn)練就很容易將殘差映射優(yōu)化到0，此時(shí)只剩下身份映射，那么無論怎么增加深度，理論上網(wǎng)絡(luò)將一直處于最優(yōu)狀態(tài)。因?yàn)橄喈?dāng)于后面所有增加的網(wǎng)絡(luò)都將沿著身份映射（自身）進(jìn)行信息傳輸，可以理解為最優(yōu)網(wǎng)絡(luò)后面的層數(shù)都是廢掉的（不具備特征提取的能力），實(shí)際上沒起什么作用。這樣，網(wǎng)絡(luò)的性能也就不隨著深度的增加而降低。

.2.捷徑連接在殘差網(wǎng)絡(luò)中有很多的旁路將輸入直接連接到后面的層，這種結(jié)構(gòu)也稱為捷徑連接或者跳過連接。捷徑連接又分為

實(shí)線連接和虛線連接。·實(shí)線連接如果F和x維度相同，可以直接相加，不增加網(wǎng)絡(luò)的參數(shù)以及計(jì)算復(fù)雜度，計(jì)算公式如下：y=F(x,{Wi})+x在這種情況下的捷徑連接的圖形表示采用實(shí)線連接?！ぬ摼€連接如果x和F的維度不同，需要先將x做一個(gè)變換，使特征矩陣形狀相同，然后再相加。虛線部分前后塊前后的維度不一致，則體現(xiàn)在兩個(gè)方面上·空間不一致在跳接部分給輸入的x加上線性映射W·深度不一致如果深度不一致，則全0填充。例4-1，虛線連接。

圖4-4跳接時(shí)加1×1卷積層升維，如圖4-4所示，注意使用了虛線。實(shí)線的殘差連接就是正常的直接相加，虛線表示在右側(cè)邊分支內(nèi)增加了一個(gè)1x1卷積核的卷積操作。利用1x1卷積核的卷積操作可以升維或者降維，在這里使用升維，從63維升到128維，這樣使得主分支與捷徑連接的輸出維數(shù)相同。

4.2.2殘差模塊的類型.

殘差學(xué)習(xí)模塊分為基本型和瓶頸型兩種?；拘蜌埐钅K由兩個(gè)3x3的卷積網(wǎng)絡(luò)串接在一起組成的一個(gè)殘差模塊，瓶頸型殘差模塊是1x1、3x3、1x1的三個(gè)卷積網(wǎng)絡(luò)串接在一起組成的一個(gè)殘差模塊。如圖4-5所示。1.基本型殘差模塊

（1）3x3卷積可以替代更大尺寸的卷積

在構(gòu)建CNN時(shí)常使用3x3的卷積，而不是5x5，7x7等更大尺寸的卷積。這是由于在保證具有同樣大小的輸出和感受野前提下，用3x3卷積可以替代更大尺寸的卷積。兩個(gè)3x3的卷積可以代替一個(gè)5x5的卷積；三個(gè)3x3的卷積可以代替一個(gè)7x7的卷積。所以Vgg系列網(wǎng)絡(luò)中全部使用了3x3的卷積構(gòu)成。

假設(shè)圖像大小為nxn，如果采用5x5卷積核的方案，stride=1，padding=0，其輸出維度為(n-5)/1+1=n-4。.采用3x3卷積的方案，同樣圖像大小為n*n，第1次3x3卷積后輸出維度為：（n-3)/1+1=n-2第2次3x3卷積后輸出維度為：（n-2-3）/1+1=n-4?？梢钥闯?，采用一個(gè)5x5卷積核和兩個(gè)3x3卷積核，它們卷積后的輸出維度相同，輸出的每一個(gè)像素的感受野也相等。這表明兩個(gè)3x3的卷積可以代替一個(gè)5x5的卷積。（2）使用兩個(gè)3x3卷積代替一個(gè)5x5卷積的優(yōu)勢(shì)分析·兩個(gè)3x3卷積可以代替一個(gè)5x5卷積網(wǎng)絡(luò)，導(dǎo)致層數(shù)增加，也增加了網(wǎng)絡(luò)的非線性表達(dá)能力?！蓚€(gè)3x3卷積可以代替一個(gè)5x5卷積網(wǎng)絡(luò)，使得參數(shù)減少。兩個(gè)3x3和一個(gè)5x5的參數(shù)比例為3×3×2/(5×5)=0.72，同樣的三個(gè)3×3和一個(gè)7×7參數(shù)比例為3×3×3/(7×7)=0.55，將近一倍的壓縮，這是很大提升?？紤]這兩點(diǎn)，殘差網(wǎng)絡(luò)中多數(shù)采用了兩個(gè)3x3的卷積的結(jié)構(gòu)構(gòu)成基本型殘差模塊，如圖4-4（1）所示。

.

2.瓶頸型殘差模塊瓶頸型殘差模塊由1x1、3x3、1x1的三個(gè)卷積網(wǎng)絡(luò)串接在一起組成。（1）1x1卷積的作用1x1卷積又稱為網(wǎng)中網(wǎng)，在殘差模塊中，經(jīng)常使用1x1卷積，如圖4-4（2）所示。由兩個(gè)1x1卷積和一個(gè)3x3卷積可構(gòu)成瓶頸殘差模塊。在殘差網(wǎng)中1x1卷積表面看起來無作用，但是，其作用頗多，總結(jié)如下?！?shí)現(xiàn)跨通道的特征整合與信息交互如果當(dāng)前層和下一層都只有一個(gè)通道，那么1×1卷積核確實(shí)沒有什么作用。例如，輸入6x6x1的矩陣，這里的1x1卷積形式為1x1x1，卷積核中的元素為3，經(jīng)過1x1卷積，輸出結(jié)果也是6x6x1的矩陣。但輸出矩陣中的每個(gè)元素值是輸入矩陣中每個(gè)元素值乘以3的結(jié)果，僅改變了原內(nèi)容，如圖4-6所示。

跨通道信息交互是通過通道的變換。使用1x1卷積核實(shí)現(xiàn)降維和升維的操作其實(shí)就是通道間信息的線性組合變化，3x3x64通道的卷積核后面添加一個(gè)1x1x28通道的卷積核，就變成了3x3x28通道的卷積核，原來的64個(gè)通道就可以理解為跨通道線性組合變成了28通道，只是在通道維度上做線性組合，W和H上是共享權(quán)值的滑動(dòng)窗口。這就是利用通道間的變換完成了信息交互。.

·降維或升維但是，如果它們分別為m層和n層，1×1卷積可以起到一個(gè)跨通道聚合的作用，也可以起到降維（或者升維）的作用、改變參數(shù)量。 由于1×1并不改變高度和寬度，改變通道的直觀的結(jié)果，就是可以將原本的數(shù)據(jù)量進(jìn)行增加或者減少。改變的只是高度×寬度×通道中的通道這一個(gè)維度的大小而已。降維或升維的表示如圖4-7所示。使用1x1卷積核，實(shí)現(xiàn)降維和升維的操作其實(shí)就是通道間信息的線性組合變化。例4-2，通道間的信息交互。3x3x64通道的卷積核后面添加一個(gè)1x1x28通道的卷積核，就變成了3x3x28通道的卷積核，原來的64個(gè)通道就可以理解為跨通道線性組合變成了28通道，這就是通道間的信息交互?！ぴ黾臃蔷€性一個(gè)卷積核對(duì)應(yīng)卷積后得到一個(gè)特征圖，不同的卷積核具有不同的權(quán)重和偏置，卷積以后得到不同的特征圖，提取了不同的特征。1x1卷積核可以在保持特征圖尺度不變的（即不損失分辨率）的前提下，利用后接的非線性激活函數(shù)，大幅增加非線性特性，同時(shí)網(wǎng)絡(luò)也能做的越來越深。

在ResNet模塊中，假設(shè)輸入的特征圖的維度是wh256,并且最后要輸出的也是256個(gè)特征圖，則可以通過1x1、3x3、1x1的三個(gè)卷積網(wǎng)絡(luò)串接完成。4.3.3殘差模塊的優(yōu)勢(shì)1.殘差學(xué)習(xí)模塊的主要作用（1）加了殘差結(jié)構(gòu)后，給了輸入x一個(gè)多的選擇。如果神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到這層的參數(shù)是冗余的時(shí)，它可以選擇直接走這條“跳接”曲線（快捷方式連接），跳過這個(gè)冗余層，而不需要再去擬合參數(shù)使得輸出H(x)等于x。（2）學(xué)習(xí)殘差的計(jì)算量比學(xué)習(xí)輸出等于輸入要小。假設(shè)普通網(wǎng)絡(luò)為A，殘差網(wǎng)絡(luò)為B，輸入為2，輸出為2（輸入和輸出一樣是為了模擬冗余層需要恒等映射的情況），那么普通網(wǎng)絡(luò)就是A(2)=2，而殘差網(wǎng)絡(luò)就是B(2)=F(2)+2=2，顯然殘差網(wǎng)絡(luò)中的F(2)=0。網(wǎng)絡(luò)中權(quán)重一般初始化為0附近的數(shù)，則可很容易理解，為什么讓F(2)（經(jīng)過權(quán)重矩陣）擬合0比擬合A(2)=2更容易。（3）ReLU能夠?qū)⒇?fù)數(shù)激活為0，而正數(shù)輸入等于輸出。這相當(dāng)于過濾了負(fù)數(shù)的線性變化，讓F(2)=0變得更加容易。（4）殘差網(wǎng)絡(luò)可以表示成H(x)=F(x)+x，這就說明了在求輸出H(x)對(duì)輸入x的倒數(shù)（梯度），也就是在反向傳播的時(shí)，H(x)′=F(x)′+1，殘差結(jié)構(gòu)的這個(gè)常數(shù)1也能保證在求梯度的時(shí)梯度不會(huì)消失。.2.殘差模塊的優(yōu)點(diǎn)（1）用恒等映射與殘差相加，并沒有增加模型的參數(shù)量，也沒有增加計(jì)算復(fù)雜度；（2）增加殘差模塊后模型的收斂速度加快，即誤差下降的梯度更大；（3）可以解決退化問題，至少不比沒有加深網(wǎng)絡(luò)差；（4）加了殘差模塊，網(wǎng)絡(luò)就可以實(shí)現(xiàn)很深；（5）準(zhǔn)確率也有了很大的提升。

4.4逐層歸一化與殘差鏈接在LLM中的應(yīng)用

在LLM中，殘差鏈接和逐層歸一化是兩種重要的技術(shù)，它們有助于提高模型的訓(xùn)練效果和性能。4.4.1逐層歸一化在LLM中的應(yīng)用逐層歸一化是一種在每一層中對(duì)激活進(jìn)行歸一化的技術(shù)，與批量歸一化相比，它不依賴于小批量數(shù)據(jù)的大小，因此在動(dòng)態(tài)批量大小或者在某些情況下更為適用。在LLM中的應(yīng)用主要包括如下。1.穩(wěn)定訓(xùn)練過程通過歸一化每層的激活，逐層歸一化有助于減少內(nèi)部協(xié)變量偏移，從而使得訓(xùn)練過程更加穩(wěn)定。

2.提高學(xué)習(xí)效率歸一化可以加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，因?yàn)樗拗屏思せ钪档姆秶?，使得?yōu)化算法可以更快地收斂。3.適應(yīng)不同數(shù)據(jù)大小由于逐層歸一化不依賴于批次大小，