1、.,卷積神經(jīng)網(wǎng)絡(luò)(CNN)原理推導(dǎo),阿育王626 2016.3.6,.,說明：,先導(dǎo)知識：CNN網(wǎng)絡(luò)結(jié)構(gòu)、BP網(wǎng)絡(luò)學(xué)習(xí)算法 參考文獻(xiàn)：Notes on Convolutional Neural Networks,.,典型的CNN網(wǎng)絡(luò)結(jié)構(gòu)中，包含： 卷積層、下采樣層、全連接層,.,1.全連接層學(xué)習(xí)算法,1.1工作信號正向傳播 1.2誤差信號反向傳播,.,全連接層網(wǎng)絡(luò)結(jié)構(gòu)圖,.,2.1工作信號正向傳播,(1)當(dāng)前第l層的輸出xl： 先求ul：第l-1層的輸出xl-1（第l層的輸入）與其對應(yīng)權(quán)值Wl相乘，再加上基bl 再利用激活函數(shù)f(.) 得xl：sigmoid或Relu,.,逐層 傳播，直至得到

2、最終輸出層結(jié)果 利用網(wǎng)絡(luò)輸出值與真實(shí)值之間的誤差，進(jìn)行反向傳播，調(diào)整權(quán)值。 參數(shù)：c表示分類數(shù)目，N表示訓(xùn)練樣本數(shù) tnk表示第n個(gè)樣本真實(shí)值的第k維 ynk表示第n個(gè)樣本輸出值的第k維,.,(2)誤差 第n個(gè)樣本的誤差：每類（共c類）誤差的和 總誤差：每個(gè)樣本（共N個(gè)）誤差的和,.,2.2誤差信號反向傳播,反向傳播回來的誤差可以看做是每個(gè)神經(jīng)元的基的靈敏度 靈敏度的意思就是基b變化多少，誤差會變化多少 也就是誤差對基的變化率，即導(dǎo)數(shù)（公式1）,.,(1)反向計(jì)算各層靈敏度,輸出層第L層靈敏度： 全連接層第l層靈敏度（公式2）：,.,(2)權(quán)值調(diào)整,導(dǎo)數(shù)： 權(quán)值更新（公式3）： 對于每一個(gè)權(quán)值

3、Wij都有 一個(gè)特定的學(xué)習(xí)率Ij,.,2.卷積層學(xué)習(xí)算法,2.1工作信號正向傳播 2.2誤差信號反向傳播,.,卷積層典型結(jié)構(gòu)圖,卷積層,輸入層,.,子采樣層典型結(jié)構(gòu)圖,卷積層,子采樣層,假定每個(gè)卷積層l都會接一個(gè)下采樣層l+1,.,2.1工作信號正向傳播,(1)當(dāng)前第l層的第j個(gè)輸出xlj： 先從第l-1層的特征圖里，選擇若干個(gè)組成第l層輸入特征圖集合Mj； 再利用卷積核Klij分別與輸入特征圖中的每個(gè)map即xl-1i進(jìn)行卷積，并求和； 最后加上基blj，使用激活函數(shù)f即可。,.,(2)確定需要更新的權(quán)值 基b 卷積核k 說明：此時(shí)需要分別計(jì)算誤差對它們的變化率 和,.,2.2誤差信號反向傳

4、播,(1)計(jì)算基的梯度 上采樣第l+1層第j個(gè)靈敏度map： 說明：第l+1層為下采樣層，其中一個(gè)像素對應(yīng)的靈敏度對應(yīng)于第l層卷積層的輸出map的一塊像素（采樣窗口大小），因此，上采樣使其靈敏度map大小與卷積層的map大小一致,.,求第I層第j個(gè)靈敏度map（公式2可得）： 說明：在下采樣層map的權(quán)值W都取一個(gè)相同值，而且是一個(gè)常數(shù)。 第l層靈敏度l：對第l層中的靈敏度map中所有節(jié)點(diǎn)進(jìn)行求和，由公式1可知，得到基的梯度。,.,(2)計(jì)算卷積核的梯度 對于一個(gè)給定的權(quán)值，對所有共享該權(quán)值的連接對該點(diǎn)求梯度； 然后對這些梯度進(jìn)行求和。 說明： 是 中的在卷積的時(shí)候與 逐元素相乘的patch,

5、.,.,3.子采樣層學(xué)習(xí)算法,3.1工作信號正向傳播 3.2誤差信號反向傳播,.,3.1工作信號正向傳播,(1)當(dāng)前第l層的第j個(gè)輸出xlj： down(.)表示一個(gè)下采樣函數(shù)。 有N個(gè)輸入maps，就有N個(gè)輸出maps，只是每個(gè)輸出map都變小n*n倍。 每個(gè)輸出map都對應(yīng)一個(gè)屬于自己的乘性基和一個(gè)加性基b。,.,(2)確定需要更新的權(quán)值 加性基b 乘性基 說明：此時(shí)需要分別計(jì)算誤差對它們的變化率 和,.,3.2誤差信號反向傳播,計(jì)算加性基的梯度 計(jì)算第I層第j個(gè)靈敏度map 加性基的梯度：,.,(2)計(jì)算乘性基的梯度 保存正向傳播時(shí)下采樣層的特征map： 乘性基的梯度,.,.,4. 特征圖組合,人工選擇 網(wǎng)絡(luò)選擇,.,第l層第j個(gè)輸出特征