生成式視覺模型

原理與實(shí)踐9:16:08下午1第3章

變分自編碼器9:16:08下午2主要內(nèi)容預(yù)備知識自編碼器極大似然估計(jì)總體思路模型結(jié)構(gòu)9:16:08下午3理論目標(biāo)訓(xùn)練算法后驗(yàn)/先驗(yàn)采樣條件VAE實(shí)現(xiàn)代碼1.預(yù)備知識I：自編碼器降維在機(jī)器學(xué)習(xí)中，降維是減少描述數(shù)據(jù)的特征數(shù)量的過程。降維可以被理解為數(shù)據(jù)壓縮，包含一個(gè)抽象的編碼器和一個(gè)抽象的解碼器。編碼器壓縮數(shù)據(jù)，解碼器則用于解壓縮。9:16:08下午41.預(yù)備知識I：自編碼器自編碼器（Autoencoder）用神經(jīng)網(wǎng)絡(luò)來作為編碼器和解碼器，并使用迭代優(yōu)化學(xué)習(xí)最佳的編碼-解碼方案。9:16:08下午5隱空間的維度一般遠(yuǎn)小于數(shù)據(jù)空間的維度1.預(yù)備知識I：自編碼器

9:16:08下午61.預(yù)備知識I：自編碼器問題：自編碼器是否是生成模型？為什么？9:16:08下午7復(fù)習(xí)：什么是生成式建模？9:16:08下午8

復(fù)習(xí)：密度估計(jì)的方法9:16:08下午9

1.預(yù)備知識I：自編碼器根據(jù)以上定義，自編碼器不是生成模型！9:16:08下午101.預(yù)備知識II：極大似然估計(jì)9:16:08下午11

1.預(yù)備知識II：極大似然估計(jì)9:16:08下午12

1.預(yù)備知識II：極大似然估計(jì)9:16:08下午13

極大似然估計(jì)（MaximumLikelihoodFunction,MLE），屬于點(diǎn)估計(jì)法

通俗理解極大似然估計(jì)就是一個(gè)猜參數(shù)的方法。我們看哪個(gè)參數(shù)值能讓觀測到的數(shù)據(jù)出現(xiàn)的可能性最大，就認(rèn)為它是真實(shí)參數(shù)的估計(jì)值。1.預(yù)備知識II：極大似然估計(jì)9:16:08下午14

1.預(yù)備知識II：極大似然估計(jì)

9:16:08下午152.總體思路

9:16:08下午162.總體思路

9:16:08下午17什么是隱變量？2.總體思路變分自編碼器（VariationalAutoencoder,VAE）是一種含有隱變量的生成模型。顯變量（ObservableVariable）可直接觀測隱變量（LatentVariable）不可直接觀測9:16:08下午18變分自編碼器在編碼過程中引入了一個(gè)隱變量，使得模型能夠?qū)W習(xí)到數(shù)據(jù)的潛在分布。通過優(yōu)化潛在變量的變分下界，變分自編碼器能夠生成與原始數(shù)據(jù)分布相似的新樣本。9:16:08下午192.總體思路2.總體思路

9:16:08下午202.總體思路：如何建模？

9:16:08下午21一個(gè)直觀想法（Na?veidea）2.總體思路：如何建模？

9:16:08下午222.總體思路：聯(lián)合分布的分解

9:16:08下午23分解一：分解二：2.總體思路：一些定義與假設(shè)

9:16:08下午24分解一：分解二：定義&假設(shè)：2.總體思路：一些定義與假設(shè)9:16:08下午25分解一：分解二：定義&假設(shè)：用推斷網(wǎng)絡(luò)建模

用生成網(wǎng)絡(luò)建模變分分布

2.總體思路：最大化證據(jù)下界9:16:08下午26

2.總體思路：總結(jié)9:16:08下午279:16:08下午283.模型結(jié)構(gòu)

9:16:08下午29

3.模型結(jié)構(gòu)

9:16:08下午303.模型結(jié)構(gòu)

9:16:08下午313.模型結(jié)構(gòu)自編碼器和變分自編碼器在模型結(jié)構(gòu)上有什么區(qū)別？9:16:08下午324.理論目標(biāo)：證據(jù)下界對分解二等號兩側(cè)取對數(shù)，可得移項(xiàng)，可得9:16:08下午33分解二：對數(shù)似然函數(shù)4.理論目標(biāo)：證據(jù)下界

9:16:08下午34接下來，我們來推導(dǎo)證據(jù)下界（ELBO）的具體表達(dá)式！4.理論目標(biāo)：證據(jù)下界9:16:08下午354.理論目標(biāo)：證據(jù)下界9:16:08下午364.理論目標(biāo)：證據(jù)下界9:16:08下午374.理論目標(biāo)：證據(jù)下界9:16:08下午384.理論目標(biāo)：證據(jù)下界9:16:08下午394.理論目標(biāo)：證據(jù)下界9:16:08下午404.理論目標(biāo)：證據(jù)下界9:16:08下午414.理論目標(biāo)：證據(jù)下界9:16:08下午424.理論目標(biāo)：證據(jù)下界9:16:08下午434.理論目標(biāo)：證據(jù)下界9:16:08下午444.理論目標(biāo)：證據(jù)下界證據(jù)下界具有如下形式：9:16:08下午454.理論目標(biāo)：證據(jù)下界9:16:08下午46當(dāng)且僅當(dāng)時(shí)，對數(shù)似然等于ELBO。這也意味著，當(dāng)變分分布越接近后驗(yàn)分布，ELBO對對數(shù)似然的替代性越強(qiáng)。注意：4.理論目標(biāo)：琴生不等式

9:16:08下午474.理論目標(biāo)：更簡潔的推導(dǎo)應(yīng)用琴生不等式，可得9:16:08下午484.理論目標(biāo)：最大化ELBO

9:16:08下午494.理論目標(biāo)：最大化ELBO根據(jù)分解一，可得9:16:08下午50分解一：4.理論目標(biāo)：先驗(yàn)匹配項(xiàng)先驗(yàn)匹配項(xiàng)已假設(shè)變分分布已假設(shè)先驗(yàn)分布則先驗(yàn)匹配項(xiàng)有顯式表達(dá)式9:16:08下午514.理論目標(biāo)：先驗(yàn)匹配項(xiàng)注意：高斯分布之間的KL散度具有顯示表達(dá)式9:16:08下午524.理論目標(biāo)：重構(gòu)項(xiàng)

9:16:08下午53

4.理論目標(biāo)：重構(gòu)項(xiàng)

9:16:08下午544.理論目標(biāo)：重參數(shù)化

9:16:08下午554.理論目標(biāo)：重參數(shù)化

9:16:08下午564.理論目標(biāo)：重參數(shù)化那么,我們可以將原始目標(biāo)函數(shù)改寫9:16:08下午57改寫估計(jì)

4.理論目標(biāo)：重參數(shù)化

9:16:08下午58對應(yīng)元素相乘4.理論目標(biāo)：擴(kuò)展至整個(gè)分布

9:16:08下午595.訓(xùn)練算法：理論損失函數(shù)對理論目標(biāo)函數(shù)取負(fù)，可得到理論損失函數(shù)（TheoreticalLossFunction），即9:16:08下午605.訓(xùn)練算法：經(jīng)驗(yàn)損失函數(shù)

9:16:08下午615.訓(xùn)練算法：經(jīng)驗(yàn)損失函數(shù)經(jīng)驗(yàn)損失可以進(jìn)一步化簡為：9:16:08下午62假設(shè)：化簡5.訓(xùn)練算法：經(jīng)驗(yàn)損失函數(shù)

9:16:08下午635.訓(xùn)練算法：總體流程9:16:08下午649:16:08下午656.采樣

9:16:08下午66復(fù)習(xí)：模型結(jié)構(gòu)

9:16:08下午676.采樣：后驗(yàn)采樣9:16:08下午686.采樣：后驗(yàn)采樣9:16:08下午696.采樣：先驗(yàn)采樣9:16:08下午706.采樣：先驗(yàn)采樣9:16:08下午717.條件VAE條件變分自編碼器（ConditionalVariationalAutoencoder,CVAE）是變分自編碼器的變體模型，它可以對條件分布進(jìn)行估計(jì)，并根據(jù)給定條件進(jìn)行圖像生成。9:16:08下午727.條件VAE將條件輸入到變分自編碼器中的方式有多種，此處我們介紹基于線性投影（LinearProjection）的方法。9:16:08下午738.代碼示例：數(shù)據(jù)集

9:16:08下午748.代碼示例：載入Python包9:16:08下午758.代碼示例：參數(shù)設(shè)置9:16:08下午768.代碼示例：數(shù)據(jù)載入9:16:08下午778.代碼示例：定義VAE類9:16:08下午789:16:08下午799:16:08下午809:16:08下午819:16:08下午82