最優(yōu)化算法（下）02常見的最優(yōu)化算法隨機(jī)梯度下降算法隨機(jī)梯度下降利用單個(gè)樣本計(jì)算損失函數(shù)，直接用反向傳播算法更新模型參數(shù)。

隨機(jī)梯度下降的優(yōu)點(diǎn)：（1）在學(xué)習(xí)過程中加入了噪聲，提高了泛化誤差。（2）由于不是在全部訓(xùn)練數(shù)據(jù)上的損失函數(shù)，而是在每輪迭代中，隨機(jī)優(yōu)化某一條訓(xùn)練數(shù)據(jù)上的損失函數(shù)，這樣每一輪參數(shù)的更新速度大大加快。

隨機(jī)梯度下降的缺點(diǎn)：（1）不能在一個(gè)樣本中使用矩陣計(jì)算，不能并行操作，學(xué)習(xí)過程變得很慢。（2）單個(gè)樣本并不能代表全體樣本的趨勢。在pytorch中，隨機(jī)梯度下降算法的類名稱為torch.optim.SGD。

02常見的最優(yōu)化算法小批量梯度下降算法（平均隨機(jī)梯度下降算法）小批量梯度下降，是對批量梯度下降以及隨機(jī)梯度下降的一個(gè)折中辦法。隨機(jī)梯度下降算法中模型參數(shù)的更新方向不穩(wěn)定和，我們常采用平均隨機(jī)梯度下降算法。其計(jì)算梯度不同的是，不是每得一個(gè)梯度就更新一次參數(shù)，而是得到幾個(gè)梯度后，對其求平均，然后確定參數(shù)的更新值。批量梯度下降算法隨機(jī)梯度下降算法小批量梯度下降算法更新方向穩(wěn)定不穩(wěn)定相對穩(wěn)定梯度更新所需樣本全部樣本單個(gè)樣本小批量（自定義）能否并行可以不可以可以02牛頓梯度下降算法常見的最優(yōu)化算法圖片來源：https:///p/e426c3eca226?? ?? ?

?? ??0 +(??

?

??0)??′ ??0求

?? ?? =0根據(jù)泰勒公式的數(shù)值解將??

??

=0??′0代入得??(??0)?? ???0?

??因?yàn)橥购瘮?shù)的優(yōu)化問題，就是求導(dǎo)數(shù)為0的位置。我們將上述f(x)用f(x)的導(dǎo)數(shù)代替，就可以快速求出f(x)的導(dǎo)數(shù)為0的點(diǎn)。牛頓梯度下降算法要優(yōu)于最速梯度下降算法，但是它需要計(jì)算海森矩陣（Hessian

matrix）。02常見的最優(yōu)化算法動(dòng)量梯度下降算法引入動(dòng)量的梯度下降算法中，參數(shù)的更新量不僅與梯度有關(guān)，還與原來的更新量有關(guān)。也就是在原來的更新表達(dá)式中加入了上一次更新與其權(quán)重的乘積項(xiàng)。從而促使參數(shù)更新更穩(wěn)定地向最優(yōu)點(diǎn)方向移動(dòng)。????+1=???????

??????(????)????+1=????

+

????+1式中v為參數(shù)的更新量，t為迭代的次數(shù)，θ為模型參數(shù)，f為目標(biāo)函數(shù)，?為梯度，α和μ都為常量。02常見的最優(yōu)化算法Nesterov動(dòng)量梯度下降算法然而，引入動(dòng)量的梯度下降算法也存在缺陷，那就是在低曲率的地方，也就是梯度很小的地方，更新量主要表現(xiàn)為原來的更新量，不懂得轉(zhuǎn)彎。為克服上述問題，常采用1983年Nesterov提出的方法，常稱為Nesterov動(dòng)量。與經(jīng)典動(dòng)量方法不同的是，它先調(diào)整梯度的方向，再改變大小，從而避免了低曲率的地方，更新方向不容易更改的問題。????+1=?????????????(????+

??????)????+1=????

+

????+1式中v為參數(shù)的更新量，t為迭代的次數(shù)，θ為模型參數(shù)，f為目標(biāo)函數(shù)，?為梯度，α和μ都為常量。02常見的最優(yōu)化算法ADAGRAD自適應(yīng)學(xué)習(xí)率算法學(xué)習(xí)率的設(shè)置是一個(gè)兩難選擇：其值過高可能導(dǎo)致在接近極值附近來回振蕩，而不收斂；過低又可能引起在接近極值時(shí)，更新量趨近0，從而導(dǎo)致學(xué)習(xí)速度慢。基于上述想法，美國加州大學(xué)John

Duchi等2011年提出ADAGRAD。在pytorch中，該方法的類名稱為torch.optim.Adagrad。式中v為參數(shù)的更新量，t為迭代的次數(shù)，θ為模型參數(shù)，f為目標(biāo)函數(shù)，?為梯度，α為學(xué)習(xí)率。02常見的最優(yōu)化算法ADADELTA自適應(yīng)學(xué)習(xí)率算法ADAGRAD方法隨著迭代次數(shù)增加，導(dǎo)致分母的累計(jì)值越來越大，經(jīng)過多次迭代后最終趨近于0而停止參數(shù)更新。為克服上述問題，為此，2012年，紐約大學(xué)的Matthew

D.

Zeiler提出了自適應(yīng)學(xué)習(xí)率方法ADADELTA。在pytorch中，該方法的類名稱為torch.optim.Adadelta式中分母為前W次梯度的平方的平均值的平方根，分子為前W次更新值的平方的平均值的平方根

。常見的最優(yōu)化算法02圖片來源：https://www.cnblogs.com/tornadomeet/p/3430312.html最優(yōu)化算法

–

DropConnectDropOut與DropConnect的區(qū)別：DropConnect與Dropout不同的地方是在訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型過程中，它不是隨機(jī)的將隱層節(jié)點(diǎn)的輸出變成0，而是將節(jié)點(diǎn)中的每個(gè)與其相連的輸入權(quán)值變成0。（DropOut是針對輸出時(shí)變?yōu)?，而DropConnect是針對輸入時(shí)變化）常見的最優(yōu)化算法02停止標(biāo)準(zhǔn)有三種第二類停止標(biāo)準(zhǔn)：當(dāng)泛化損失和進(jìn)程（如迭代次數(shù)）的商大于指定的值時(shí)就停止。最優(yōu)化算法

–

早停法（Early

Stopping）在訓(xùn)練的過程中，如果迭代次數(shù)太少，算法容易欠擬合，而迭代次數(shù)太多，算法容易過擬合。早停法可以限制模型最小化代價(jià)函數(shù)所需的訓(xùn)練迭代次數(shù)。早停法通常用于防止訓(xùn)練中過度表達(dá)的模型泛化性能差。第一類停止標(biāo)準(zhǔn)：當(dāng)泛化損失超過一定的閾值時(shí)，停止訓(xùn)練。第三類停止標(biāo)準(zhǔn)：完全依賴于泛化錯(cuò)誤的變化，即當(dāng)泛化錯(cuò)誤在連續(xù)S個(gè)周期內(nèi)增長的時(shí)候停止。常見的最優(yōu)化算法02最優(yōu)化算法

–

早停法Early

Stopping開始時(shí),將訓(xùn)練的數(shù)據(jù)分為訓(xùn)練集和驗(yàn)證集。每個(gè)批次結(jié)束后（或每N個(gè)批次