模型的欠擬合與過擬合（上）02模型欠擬合和過擬合欠擬合和過擬合產(chǎn)生原因圖片來源：[1]《動手學深度學習》

AstonZhang誤差（error）一般是指學習器根據(jù)模型計算得到的結(jié)果與樣本真實值之間的差異。訓練誤差（training

error）一般是指學習器計算結(jié)果與訓練集中樣本真實值之間的差異。測試誤差（test

error）一般是指學習器計算結(jié)果與測試集中樣本真實值之間的差異。泛化誤差（generalizationerror）一般是指學習器在新的樣本上的誤差。例：對二次函數(shù)??

=

??

+

??1??

+

??2??2

進行擬合，其中擬合結(jié)果如下面三幅圖所示，分別為欠擬合、合適和過擬合的可視化結(jié)果。欠擬合 合適 過擬合模型欠擬合和過擬合02圖片來源：[2]

《機器學習

》周志華為了在未見樣本上表現(xiàn)得很好，應(yīng)盡可能的學習出適用于未知樣本的“普遍規(guī)律”，當把訓練樣本學得“太好”時，會存在把訓練樣本自身的特有性質(zhì)當作樣本總體的普遍性質(zhì)，導致泛化性能下降，這樣的現(xiàn)象稱為過擬合。與過擬合相對應(yīng)的就是欠擬合。欠擬合是指對于訓練好的模型，數(shù)據(jù)的擬合程度不高，與擬合曲線相差較大；或指模型沒有很好地捕捉到數(shù)據(jù)特征，不能夠很好地擬合數(shù)據(jù)。欠擬合同樣會導致泛化性能下降。。02模型欠擬合和過擬合欠擬合和過擬合區(qū)別欠擬合與過擬合在本質(zhì)上都是模型對事物本質(zhì)規(guī)律表達上的偏差。但兩者的形成原因不同，欠擬合主要是由于模型太簡單，不能表達復(fù)雜關(guān)系。而過擬合可能是模型太復(fù)雜，也可能是樣本不典型。欠擬合與過擬合的表現(xiàn)不同，欠擬合在訓練集和測試集上的性能都較差，而過擬合往往在訓練集上有好的表現(xiàn)，而在測試集上的性能較差。模型欠擬合和過擬合02欠擬合解決辦法過擬合和欠擬合都是機器學習算法要考慮的問題，其中欠擬合的情況比較容易克服，常見解決方法有：增加新特征，可以考慮加入特征組合、高次特征，來增大表達能力；添加多項式特征，這個在機器學習算法里面用的很普遍，例如將線性模型通過添加二次項或者三次項使模型泛化能力更強；使用非線性模型，比如SVM

、決策樹、深度學習等模型?？傊?，欠擬合的解決辦法通常是提高模型的表達能力。但在深度學習中比較少見，因為，深層網(wǎng)絡(luò)的表現(xiàn)能力一般都足夠強。

模型的欠擬合與過擬合（下）03模型擬合問題解決辦法過擬合的緩解辦法一些過擬合的緩解辦法：增加典型數(shù)據(jù)

，從數(shù)據(jù)源頭獲取更多數(shù)據(jù)；數(shù)據(jù)增強（DataAugmentation）：又名數(shù)據(jù)擴增，在不影響數(shù)據(jù)實質(zhì)的情況下，讓有限的數(shù)據(jù)產(chǎn)生更多的價值；。Dropout，在訓練過程中，每次臨時刪除模型中的部分節(jié)點對其余節(jié)點進行訓練，不斷重復(fù)此過程。簡化模型，減少網(wǎng)絡(luò)的層數(shù)、神經(jīng)元個數(shù)等均可以限制網(wǎng)絡(luò)的擬合能力。正則化，添加懲罰項，對復(fù)雜度高的模型進行“懲罰”，限制權(quán)值變大。限制訓練時間(early

stoptraining)，設(shè)置閾值，限制訓練時間。數(shù)據(jù)清洗(data

cleaning/Pruning)：將錯誤的label

糾正或者刪除錯誤的數(shù)據(jù)。結(jié)合多種模型，

用不同的模型擬合不同部分的訓練集。03模型擬合問題解決辦法數(shù)據(jù)增強（Data

Augmentation）數(shù)據(jù)增強相關(guān)方法Translation：移位；Horizontal/Vertical

Flip：水平/垂直翻轉(zhuǎn)；RandomScale：尺度變換；Rotation：旋轉(zhuǎn)變換；Noise：高斯噪聲、模糊處理；Random

Crop：采用隨機圖像差值方式，對圖像進行裁剪；包括尺度和長寬比增強變換；ColorJittering：對顏色的數(shù)據(jù)增強：圖像亮度、飽和度、對比度變化；PCA

Jittering：首先按照RGB三個顏色通道計算均值和標準差，再在整個訓練集上計算協(xié)方差矩陣，進行特征分解，得到特征向量和特征值，用來做PCAJittering；模型擬合問題解決辦法03數(shù)據(jù)增強（Data

Augmentation）--

移位（Translation）移位只涉及沿X或Y方向（或兩者）移動圖像。在下面的示例中，我們假設(shè)圖像在其邊界之外具有黑色背景，并且被適當?shù)匾莆?。這種增強方法非常有用，因為大多數(shù)對象幾乎可以位于圖像的任何位置。這使你的卷積神經(jīng)網(wǎng)絡(luò)看到所有角落。原

圖水平移位水平和垂直同時移位03模型擬合問題解決辦法數(shù)據(jù)增強（Data

Augmentation）--

水平/垂直翻轉(zhuǎn)（

Horizontal/Vertical

Flip

）可以對圖片進行水平和垂直翻轉(zhuǎn)。一些框架不提供垂直翻轉(zhuǎn)功能。但是，一個垂直反轉(zhuǎn)的圖片等同于圖片的180度旋轉(zhuǎn)，然后再執(zhí)行水平翻轉(zhuǎn)。下面是我們的圖片翻轉(zhuǎn)的例子。垂直翻轉(zhuǎn)水平翻轉(zhuǎn)原圖03模型擬合問題解決辦法數(shù)據(jù)增強（Data

Augmentation）--

尺度變換（

Scale

）尺度變換就是圖像縮放，對圖像按照指定的尺度因子,進行放大或縮小。以下是圖像縮放的示例。原圖按比例縮放03模型擬合問題解決辦法數(shù)據(jù)增強（Data

Augmentation）--

旋轉(zhuǎn)變換（Rotation

）原圖旋轉(zhuǎn)變換值得注意的是，旋轉(zhuǎn)變換往往需要配合尺度變換，否則容易使得我們的目標圖像超出我們的邊界。在部分框架中旋轉(zhuǎn)變化在函數(shù)會自帶縮放相關(guān)的參數(shù)。旋轉(zhuǎn)變換表示旋轉(zhuǎn)圖像一定角度，改變圖像內(nèi)容的朝向旋轉(zhuǎn)。如圖展示了原圖經(jīng)過旋轉(zhuǎn)變換的示例圖。03模型擬合問題解決辦法數(shù)據(jù)增強（Data

Augmentation）-- 噪聲（

Noise

）高斯噪聲（Gaussian

Noise

），是指圖像中的噪聲服從高斯分布。也就是大多數(shù)像素點都與無噪聲圖像中的對應(yīng)點相差不大，相差越大的情況越少。椒鹽噪聲也稱為脈沖噪聲，是指圖像中隨機出現(xiàn)全亮點和全暗點的情況，看起來就像是往圖像中撒了黑色胡椒和白色的鹽。原圖高斯噪聲椒鹽噪聲03模型擬合問題解決辦法數(shù)據(jù)增強（Data

Augmentation）--

抖動JitteringColor

Jittering

色彩抖動：色彩抖動是指對圖像的亮度、飽和度（saturation）和色調(diào)（hue）進行隨機變化形成不同光照及顏色的圖片，達到數(shù)據(jù)增強的目的，盡可能使得模型能夠使用不同光照條件的情形，提高模型泛化能力。PCA

Jittering：PCA

Jittering是實際上對RGB顏色空間添加擾動，從而達到對RGB顏色添加噪聲的目的，具體為對RGB空間做PCA，然后做一個(0,

0.1)的高斯擾動。最早使用是在2012年的AlexNet，從論文實驗中可以看出，PCA

jittering對于分類的性能提升比較顯著。原圖Color

JitteringPCA

Jittering03模型擬合問題解決辦法Dropout介紹Dropout的思想其實非常簡單：對于網(wǎng)絡(luò)的每一層，隨機的丟棄一些單元。正是因為在每一層隨機地丟棄了一些單元，所以相當于訓練出來的網(wǎng)絡(luò)要比正常的網(wǎng)絡(luò)小的多，在一定程度避免過擬合的問題。如下圖所示的一個簡單網(wǎng)絡(luò)，因為每一個節(jié)點都有可能被丟棄，所以整個網(wǎng)絡(luò)不會把某個節(jié)點的權(quán)重值賦很大，類似于L2正則化，能夠起到減輕過擬合的作用。[1]Dropout:ASimpleWaytoPreventNeuralNetworksfrom

Overtting03模型擬合問題解決辦法Dropout工作流程及使用使用Dropout之后，過程變成如下：首先隨機（臨時）刪掉網(wǎng)絡(luò)中一半的隱藏神經(jīng)元，輸入輸出神經(jīng)元保持不變?nèi)缓蟀演斎離通過修改后的網(wǎng)絡(luò)前向傳播，然后把得到的損失結(jié)果通過修改的網(wǎng)絡(luò)反向傳播。