大數(shù)據(jù)解析與應(yīng)用導(dǎo)論Introduction

to

Big

Data

Analytics

and

Application第九章自編碼器自編碼器簡介1.去噪自編器2.稀疏自編碼器3.變分自編碼器4.9.4變分自編碼器自編碼器（AE）的局限性

AE分為兩個(gè)部分：編碼器和解碼器。編碼器可以是多層感知機(jī)、卷積神經(jīng)網(wǎng)絡(luò)。

輸入經(jīng)過編碼器得到潛變量，類似于降維，得到輸入的主

要成分，然后再通過解碼網(wǎng)

絡(luò)恢復(fù)出原始輸入。AE模型的潛變量不滿足特定的分布?。?）變分自編碼器的結(jié)構(gòu)9.4變分自編碼器變分自編碼器(Variational

auto-encoder，VAE)[1]是一類重要的生成模型（generative

model），它由Diederik

P.Kingma和Max

Welling提出。[1]

D.

P.

Kingma

and

M.

Welling,

“Auto-Encoding

Variational

Bayes,”

arXiv:1312.6114

[cs,

stat],

May

2014,

Accessed:

Dec.

03,2020.

[Online].

Available:

/abs/1312.6114.zxN大致了解了嶺回歸算法的定義，我們來從數(shù)學(xué)的角度對這個(gè)算法進(jìn)行更深層次的認(rèn)識(shí)。同最小二乘法一致，嶺回歸分析的最終目標(biāo)也是為了更好的擬合樣本點(diǎn)，使得擬合方差最小，這里的目標(biāo)函數(shù)分為兩個(gè)部分，第一部分是模型的方差，另一部分是參數(shù)的二次正則化懲罰項(xiàng)，求解使得這兩部分之和最小的參數(shù)即為最佳選擇。對上述目標(biāo)函數(shù)求偏導(dǎo)，令偏導(dǎo)等于零得到參數(shù)的求解公式。我們可以看到，在右圖中紫色線代表最小二乘回歸結(jié)果，綠色代表嶺回歸結(jié)果，在數(shù)據(jù)共線性的情況下嶺回歸效果更平衡。經(jīng)過對比，總結(jié)起來就是嶺回歸通過引入二次項(xiàng)參數(shù)○∥○∥

^2作為正則懲罰項(xiàng)，起到收縮參數(shù)，降低誤差的作用，而整體的參數(shù)選擇與模型效果還取決于參數(shù)值λ。（3）變分自編碼器的數(shù)學(xué)推導(dǎo)9.4變分自編碼器（3.1）（3.2）大致了解了嶺回歸算法的定義，我們來從數(shù)學(xué)的角度對這個(gè)算法進(jìn)行更深層次的認(rèn)識(shí)。同最小二乘法一致，嶺回歸分析的最終目標(biāo)也是為了更好的擬合樣本點(diǎn)，使得擬合方差最小，這里的目標(biāo)函數(shù)分為兩個(gè)部分，第一部分是模型的方差，另一部分是參數(shù)的二次正則化懲罰項(xiàng)，求解使得這兩部分之和最小的參數(shù)即為最佳選擇。對上述目標(biāo)函數(shù)求偏導(dǎo)，令偏導(dǎo)等于零得到參數(shù)的求解公式。我們可以看到，在右圖中紫色線代表最小二乘回歸結(jié)果，綠色代表嶺回歸結(jié)果，在數(shù)據(jù)共線性的情況下嶺回歸效果更平衡。經(jīng)過對比，總結(jié)起來就是嶺回歸通過引入二次項(xiàng)參數(shù)○∥○∥

^2作為正則懲罰項(xiàng)，起到收縮參數(shù)，降低誤差的作用，而整體的參數(shù)選擇與模型效果還取決于參數(shù)值λ。9.4變分自編碼器（3）變分自編碼器的數(shù)學(xué)推導(dǎo)于是我們得到：（3.3）大致了解了嶺回歸算法的定義，我們來從數(shù)學(xué)的角度對這個(gè)算法進(jìn)行更深層次的認(rèn)識(shí)。同最小二乘法一致，嶺回歸分析的最終目標(biāo)也是為了更好的擬合樣本點(diǎn)，使得擬合方差最小，這里的目標(biāo)函數(shù)分為兩個(gè)部分，第一部分是模型的方差，另一部分是參數(shù)的二次正則化懲罰項(xiàng)，求解使得這兩部分之和最小的參數(shù)即為最佳選擇。對上述目標(biāo)函數(shù)求偏導(dǎo)，令偏導(dǎo)等于零得到參數(shù)的求解公式。我們可以看到，在右圖中紫色線代表最小二乘回歸結(jié)果，綠色代表嶺回歸結(jié)果，在數(shù)據(jù)共線性的情況下嶺回歸效果更平衡。經(jīng)過對比，總結(jié)起來就是嶺回歸通過引入二次項(xiàng)參數(shù)○∥○∥

^2作為正則懲罰項(xiàng)，起到收縮參數(shù)，降低誤差的作用，而整體的參數(shù)選擇與模型效果還取決于參數(shù)值λ。9.4變分自編碼器（3）變分自編碼器的數(shù)學(xué)推導(dǎo)此外變分下界還可以寫為：可以反映生成模型的重建誤差近似后驗(yàn)分布先驗(yàn)分布（3.4）大致了解了嶺回歸算法的定義，我們來從數(shù)學(xué)的角度對這個(gè)算法進(jìn)行更深層次的認(rèn)識(shí)。同最小二乘法一致，嶺回歸分析的最終目標(biāo)也是為了更好的擬合樣本點(diǎn)，使得擬合方差最小，這里的目標(biāo)函數(shù)分為兩個(gè)部分，第一部分是模型的方差，另一部分是參數(shù)的二次正則化懲罰項(xiàng)，求解使得這兩部分之和最小的參數(shù)即為最佳選擇。對上述目標(biāo)函數(shù)求偏導(dǎo)，令偏導(dǎo)等于零得到參數(shù)的求解公式。我們可以看到，在右圖中紫色線代表最小二乘回歸結(jié)果，綠色代表嶺回歸結(jié)果，在數(shù)據(jù)共線性的情況下嶺回歸效果更平衡。經(jīng)過對比，總結(jié)起來就是嶺回歸通過引入二次項(xiàng)參數(shù)○∥○∥

^2作為正則懲罰項(xiàng)，起到收縮參數(shù)，降低誤差的作用，而整體的參數(shù)選擇與模型效果還取決于參數(shù)值λ。9.4變分自編碼器（3）變分自編碼器的數(shù)學(xué)推導(dǎo)在實(shí)際的訓(xùn)練中，期望的計(jì)算通過蒙特卡洛采樣實(shí)現(xiàn)：，其中同時(shí)為了保證梯度的回傳，

VAE采取了重參數(shù)技巧：（3.5）（4）變分自編碼器的網(wǎng)絡(luò)框架9.4變分自編碼器μσεz（4）變分自編碼器的網(wǎng)絡(luò)框架9.4變分自編碼器μσεz（5）VAE的實(shí)例9.4變分自編碼器EncoderLayerSizeBias

Batch

Norm

ActivationC1Linear

[784,100]

TrueFalseReLUC2Linear

[100,100]

TrueFalseReLUμ-layerLayerSizeBiasBatch

NormActivationC1Linear[100,2]TrueFalseNoneσ-layerLayerSizeBiasBatch

NormActivationC1Linear[100,2]TrueFalseNoneDecoderLayerSizeBiasBatch

NormActivationC1Linear[2,100]True