第六節(jié)

不同優(yōu)化器對比神經(jīng)網(wǎng)絡的學習目的是找到使損失函數(shù)的值盡可能小的參數(shù)，這是尋找最優(yōu)參數(shù)的問題，解決這個問題的過程稱為最優(yōu)化。優(yōu)化器是用來更新和計算模型參數(shù)以最小化損失函數(shù)的工具。有許多不同的優(yōu)化器，包括最基本的梯度下降(SGD)、帶動量的梯度下降、RMSProp、Adam等。參數(shù)的更新第六節(jié)

不同優(yōu)化器對比有一個性情古怪的探險家。他在廣袤的干旱地帶旅行，堅持尋找幽深的山谷。他的目標是要到達最深的谷底(他稱之為“至深之地”)。并且，他給自己制定了兩個嚴格的“規(guī)定”：一個是不看地圖；另一個是把眼睛蒙上。因此，他并不知道最深的谷底在這個廣袤的大地的何處，而且什么也看不見。在這么嚴苛的條件下，這位探險家如何前往“至深之地”呢?他要如何邁步，才能迅速找到“至深之地”呢?探險家的故事第六節(jié)

不同優(yōu)化器對比探險家雖然看不到周圍的情況，但是能夠知道當前所在位置的坡度（通過腳底感受地面的傾斜情況）。于是，朝著當前所在位置的坡度最大的方向前進，就是SGD的策略。勇敢的探險家心里可能想著只要重復這一策略，總有一天可以到達“至深之地”。探險家的故事第六節(jié)

不同優(yōu)化器對比SGD(StochasticGradientDescent)：最基本的梯度下降方法，每次更新都使用一部分樣本(一個或多個)來計算梯度。SGD第六節(jié)

不同優(yōu)化器對比每一輪迭代使用的訓練數(shù)據(jù)一般是小批量的，沒有使用全部的訓練數(shù)據(jù)，因此更新方向會發(fā)生鋸齒狀甚至隨機震蕩狀；某些梯度分量的值比另外一些分量的值要大的多，導致個別分量主導了梯度的更新方向，而期望的梯度更新方向卻行進的非常緩慢。SGD的缺點第六節(jié)

不同優(yōu)化器對比Momentum：一種帶動量的梯度下降方法，它在更新參數(shù)時不僅考慮當前的梯度，還考慮上一次的梯度方向，這樣可以加速收斂，并有可能跳過局部最小值。將一段時間內(nèi)的梯度向量進行了加權平均，一定程度上消除了更新過程中的不確定性因素（如擺動現(xiàn)象），使得梯度更新朝著一個越來越明確的方向前進。Momentum第六節(jié)

不同優(yōu)化器對比RMSProp：一種自適應學習率的方法，它通過調(diào)整每個參數(shù)的學習率來加速訓練。RMSProp第六節(jié)

不同優(yōu)化器對比Adam(AdaptiveMomentEstimation)：結合了Momentum和RMSProp的思想，既考慮了過去的梯度的指數(shù)衰減平均值，也考慮了過去的平方梯度的指數(shù)衰減平均值。Adam以下是一個簡單的使用SGD的例子：importtorch.optimasoptimmodel=...

#createyourmodel#createyouroptimizeroptimizer=optim.SGD(model.parameters(),lr=0.01)#inyourtrainingloop:optimizer.zero_grad()#zerothegradientbuffersoutput=model(input)loss=criterion(output,target)loss.backward()optimizer.step()#Doestheupdate#createyouroptimizeroptimizer=optim.Adam(model.parameters(),lr=0.01)第六節(jié)

不同優(yōu)化器對比以下是一個簡單的使用SGD的例子：importtorch.optimasoptimmodel=...

#createyourmodel#createyouroptimizeroptimizer=optim.SGD(model.parameters(),lr=0.01)#inyourtrainingloop:optimizer.zero_grad()#zerothegradientbuffersoutput=model(input)loss=criterion(output,target)loss.backward()optimizer.step()#Doestheupdate#createyouroptimizeroptimizer=optim.Adam(model.parameters(),lr=0.01)第六節(jié)

不同優(yōu)化器對比以下是一個簡單的使用SGD的例子：importtorch.optimasoptimmodel=...

#createyourmodel#createyouroptimizeroptimizer=optim.SGD(model.parameters(),lr=0.01)#inyourtrainingloop:optimizer.zero_grad()#zerothegradientbuffersoutput=model(input)loss=criterion(output,target)loss.backward()optimizer.step()#Doestheupdate#createyouroptimizeroptimizer=optim.Adam(model.parameters(),lr=0.01)第六節(jié)

不同優(yōu)化器對比以下是一個簡單的使用SGD的例子：importtorch.optimasoptimmodel=...

#createyourmodel#createyouroptimizeroptimizer=optim.SGD(model.parameters(),lr=0.01)#inyourtrainingloop:optimizer.zero_grad()#zerothegradientbuffersoutput=model(input)loss=criterion(output,target)loss.backward()optimizer.step()#Doestheupdate#createyouroptimizeroptimizer=optim.Adam(model.parameters(),lr=0.01)第六節(jié)

不同優(yōu)化器對比以下是一個簡單的使用SGD的例子：importtorch.optimasoptimmodel=...

#createyourmodel#createyouroptimizeroptimizer=optim.SGD(model.parameters(),lr=0.01)#inyourtrainingloop:optimizer.zero_grad()#zerothegradientbuffersoutput=model(input)loss=criterio