深度學(xué)習(xí)涉及內(nèi)容概述目錄TOC\o"1-3"\h\u8041深度學(xué)習(xí)涉及內(nèi)容概述 1120361.1.1batch梯度下降 137041.1.2iterations迭代 178061.1.3epoch輪數(shù) 260691.1.4激活函數(shù) 2212221.1.5One-hot編碼 212201.1.6Adam優(yōu)化器 3batch梯度下降梯度下降是深度學(xué)習(xí)的優(yōu)化算法，每輪參數(shù)的更新有三種方法。一種是，通過(guò)全部數(shù)據(jù)集后計(jì)算一次損失函數(shù)，之后計(jì)算損失函數(shù)其針對(duì)模型里各參數(shù)的梯度，我們?nèi)缓笤龠M(jìn)行梯度更新。這樣的方式在每次更新參數(shù)時(shí)，都要將所有數(shù)據(jù)集樣本遍歷一遍，計(jì)算量大而且計(jì)算速度慢。這樣的方法我們叫做批梯度下降。還有一種方式，每通過(guò)一個(gè)樣本后，就計(jì)算對(duì)應(yīng)的損失函數(shù)，求梯度更新參數(shù)。這一種方式我們叫做隨機(jī)梯度下降。此種方式的計(jì)算速度比較快，然而其收斂性能來(lái)說(shuō)就不太妙了，有些時(shí)候會(huì)在最優(yōu)點(diǎn)的附近徘徊，尋找不到最優(yōu)點(diǎn)。有些時(shí)候，兩次參數(shù)更新會(huì)互相抵消，從而造成了目標(biāo)函數(shù)的劇烈震蕩。目前我們采用的方法主要是第三種，它是一種折中的方式，調(diào)和了前兩種方式的優(yōu)缺點(diǎn)，叫做小批的梯度下降。它通過(guò)將數(shù)據(jù)分成許多個(gè)批次，以批次來(lái)更新參數(shù)，這樣來(lái)講，一個(gè)批次中的一組樣本，它們共同決定了本次訓(xùn)練中梯度的更新方向，減少了隨機(jī)性，效果得到保障。另一方面來(lái)說(shuō)，因?yàn)橐粋€(gè)批次的圖像數(shù)量與整個(gè)數(shù)據(jù)集相對(duì)比小很多，其計(jì)算量適中。我們采用的梯度下降法是mini-batch的，深度學(xué)習(xí)框架的batch_size，指的是這個(gè)批次。iterations迭代循環(huán)遍歷的過(guò)程就是迭代，每一次迭代都是一次權(quán)重更新，需要batch_size個(gè)數(shù)據(jù)進(jìn)行前向運(yùn)算，計(jì)算損失函數(shù)，再使用BP算法更新參數(shù)。1次迭代使用批量batchsize個(gè)樣本數(shù)據(jù)對(duì)模型網(wǎng)絡(luò)進(jìn)行訓(xùn)練，是一次參數(shù)更新的過(guò)程。epoch輪數(shù)使用訓(xùn)練集中全部數(shù)據(jù)對(duì)網(wǎng)絡(luò)模型進(jìn)行的一次完整訓(xùn)練。epochs被定義為一個(gè)完整的數(shù)據(jù)集里所有數(shù)據(jù)通過(guò)了使用的神經(jīng)網(wǎng)絡(luò)一次并且返回了一次，所有訓(xùn)練樣本在神經(jīng)網(wǎng)絡(luò)中都進(jìn)行了一次正向傳播和一次反向傳播。簡(jiǎn)單來(lái)說(shuō)，epochs指的就是訓(xùn)練過(guò)程中數(shù)據(jù)的訓(xùn)練輪數(shù)。激活函數(shù)多層神經(jīng)網(wǎng)絡(luò)要使用激活函數(shù)。為什么要使用激活函數(shù)？如果不使用激活函數(shù)，則神經(jīng)網(wǎng)絡(luò)的效果只相當(dāng)于只有輸入層與輸出層兩層，設(shè)置多少層中間層也沒有用。激活函數(shù)LeakyRELU是RELU的一個(gè)變形，把x小于零的部分賦予一個(gè)很小的參數(shù)值，這樣就可以將負(fù)值進(jìn)行等比壓縮?？梢孕拚覀兊臄?shù)據(jù)分布域，然后保留一些負(fù)軸上面的值，使其并不會(huì)全部丟失。其公式如下（2.4）Sigmoid是常用的非線性激活函數(shù)，可以把輸入連續(xù)實(shí)值壓縮到0和1之間。如果針對(duì)非常大的負(fù)數(shù)，輸出為0；如果是針對(duì)非常大的正數(shù)，輸出為1。數(shù)學(xué)公式如下：（2.5）One-hot編碼在數(shù)據(jù)中，有些特征并不是連續(xù)值，而是一些分類值，是離散的，這在機(jī)器學(xué)習(xí)中不好直接進(jìn)行處理。由于分類器的輸入數(shù)據(jù)是連續(xù)且有序的，即使我們把特征離散值用數(shù)字來(lái)表示，也不能直接用在分類模型中。針對(duì)這個(gè)問(wèn)題的解決方法是，采用一位有效編碼（One-Hot編碼）。編碼中只有一個(gè)位是有效的。其原理大致為，利用了寄存器的位數(shù)對(duì)狀態(tài)進(jìn)行編碼。在它的原理中，單個(gè)狀態(tài)有獨(dú)立的寄存器位，M位狀態(tài)寄存器-M個(gè)狀態(tài)。one-hot編碼的具體做法，是使每個(gè)樣本中，單個(gè)特征只有一位處于1狀態(tài)，其他都為0狀態(tài)。如下面的例圖，假設(shè)A特征有兩類，可以用1、0表示；B特征有三類，可以用0、1、2表示；C特征有四類，可以用0、1、2、3表示。某一條測(cè)試數(shù)據(jù)對(duì)應(yīng)的特征為[0，1，3]，對(duì)這條特征進(jìn)行one-hot編碼的結(jié)果如下，只有對(duì)應(yīng)的狀態(tài)位為1有效，其余為0。圖STYLEREF1\s2.SEQ圖\*ARABIC\s15one-hot編碼示例每一個(gè)樣本都可以被映射到歐式空間中，用于計(jì)算特征之間的距離與相似度等，可以用于各種機(jī)器學(xué)習(xí)算法。One-hot編碼的優(yōu)點(diǎn)：(1)解決了分類器不能直接處理離散數(shù)據(jù)的問(wèn)題。在機(jī)器學(xué)習(xí)算法里，特征之間距離計(jì)算或相似度計(jì)算是基于歐式空間進(jìn)行的。使用one-hot編碼后，離散特征值擴(kuò)展到了歐式空間，取值就對(duì)應(yīng)歐式空間的點(diǎn)，讓特征之間的計(jì)算更加合理。(2)在某些程度上擴(kuò)充了特征。比如性別本身是一個(gè)特征，經(jīng)過(guò)onehot編碼以后，就變成了男或女兩個(gè)特征。One-hot編碼的缺點(diǎn)：當(dāng)特征類別較多時(shí)，數(shù)據(jù)經(jīng)過(guò)one-hot編碼得到的特征數(shù)據(jù)過(guò)于離散稀疏。Adam優(yōu)化器機(jī)器學(xué)習(xí)任務(wù)的進(jìn)行就是要優(yōu)化參數(shù)，使其達(dá)到最合適的數(shù)據(jù)，即為讓損失函數(shù)達(dá)到最小。損失函數(shù)的定義為目標(biāo)函數(shù)值與真實(shí)數(shù)值的差值這樣一個(gè)函數(shù)，是關(guān)于欲優(yōu)化參數(shù)的一個(gè)函數(shù)。優(yōu)化器的任務(wù)就是，在訓(xùn)練過(guò)程中計(jì)算損失函數(shù)的梯度，由此來(lái)更新參數(shù)。Adam為自適應(yīng)矩估計(jì)，在2014年，由Kingma和LeiBa兩位學(xué)者提出，對(duì)梯度的一階矩估計(jì)（即梯