神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)第8章深度生成模型8.1判別模型與生成模型8.2自編碼器8.2.1自編碼器的結(jié)構(gòu)與原理8.2.2自編碼器的應(yīng)用8.3變分自編碼器8.3.1變分自編碼器的結(jié)構(gòu)與原理8.3.2變分自編碼器的應(yīng)用8.4生成對抗網(wǎng)絡(luò)8.4.1生成對抗網(wǎng)絡(luò)的結(jié)構(gòu)與原理8.4.2CycleGAN8.4.3利用CycleGAN實現(xiàn)圖像風(fēng)格遷移8.1判別模型與生成模型判別模型（discriminativemodel）一般用于對現(xiàn)有樣本點進行分類（例如“蜜蜂”和“螞蟻”的圖像分為各自的類別），主要屬于監(jiān)督學(xué)習(xí)。生成模型（generativemodel）試圖理解數(shù)據(jù)集結(jié)構(gòu)并生成類似的示例（例如創(chuàng)建“蜜蜂”和“螞蟻”的逼真圖像)，它大多屬于無監(jiān)督和半監(jiān)督學(xué)習(xí)。8.1判別模型與生成模型

是否有翅膀（a）判別模型身體直徑

是否有翅膀（b）生成模型身體直徑

8.1判別模型與生成模型

是否有翅膀（a）判別模型身體直徑

是否有翅膀（b）生成模型身體直徑

8.2自編碼器自編碼器的結(jié)構(gòu)與原理自編碼器通過接收數(shù)據(jù)、壓縮和編碼（coding）數(shù)據(jù)，然后再從編碼表示中重構(gòu)數(shù)據(jù)來實現(xiàn)數(shù)據(jù)編碼和解碼（decoding）操作；通過對模型進行無監(jiān)督訓(xùn)練，使損失最小化，重構(gòu)結(jié)果能精確地再現(xiàn)數(shù)據(jù)，從而使模型最終可以學(xué)習(xí)到數(shù)據(jù)的重要特征。8.2自編碼器自編碼器的結(jié)構(gòu)與原理一個自編碼器由編碼器（coder）、編碼（code）和解碼器（decoder）三部分組成。編碼部分寬度最小，所以一般又叫瓶頸（bottleneck），通常也稱為潛變量、隱變量或者潛在表示。將編碼看作向量，將其張成的空間叫隱空間，或者潛在空間。

編碼器encoder編碼code解碼器decoder輸入層輸出層8.2自編碼器自編碼器的結(jié)構(gòu)與原理編碼器部分通常是前饋、密集連接的網(wǎng)絡(luò)，其目的是獲取輸入數(shù)據(jù)并將其壓縮為隱空間表示，從而生成具有降低維數(shù)的數(shù)據(jù)的新表示。編碼處理數(shù)據(jù)的壓縮表示形式，該部分經(jīng)過精心設(shè)計，以確定觀察到的是數(shù)據(jù)中最相關(guān)的部分，或者對于對數(shù)據(jù)重建最重要的特征。其目標是確定需要保留數(shù)據(jù)的哪些方面，丟棄哪些方面。

編碼器encoder編碼code解碼器decoder輸入層輸出層8.2自編碼器自編碼器的結(jié)構(gòu)與原理解碼器負責(zé)獲取壓縮數(shù)據(jù)并將其轉(zhuǎn)換回與原始未更改數(shù)據(jù)具有相同維度的表示形式，編碼器與解碼器在結(jié)構(gòu)上對稱。整個自動編碼器最基本的架構(gòu)是前饋架構(gòu)，學(xué)習(xí)通過使用反向傳播進行，模型的損失函數(shù)一般通過重構(gòu)數(shù)據(jù)和原始數(shù)據(jù)的差異程度度量，稱為重構(gòu)誤差。

編碼器encoder編碼code解碼器decoder輸入層輸出層8.2自編碼器自編碼器的應(yīng)用在MNIST數(shù)據(jù)集上精心編碼和解碼重構(gòu)。編碼器共3層，按照784

512

2的順序降低數(shù)據(jù)的維度，其中輸入節(jié)點數(shù)為784（=28*28），這些節(jié)點在隱空間中編碼為2個結(jié)點。解碼器則按照和編碼器正好相反的順序增加數(shù)據(jù)維度，直至原始輸入大小，具體為2

512

784，其中輸入是2結(jié)點隱空間表示，輸出是28*28的重構(gòu)輸入。8.2自編碼器自編碼器的應(yīng)用編碼器定義#編碼器3層，28*28

512

2classEncoder(nn.Module):

def__init__(self,latent_dims):super(Encoder,self).__init__()

self.linear1=nn.Linear(784,512)

self.linear2=nn.Linear(512,latent_dims)

defforward(self,x):x=torch.flatten(x,start_dim=1)x=F.relu(self.linear1(x))

return

self.linear2(x)8.2自編碼器自編碼器的應(yīng)用解碼器定義#解碼器3層，2

512

28*28classDecoder(nn.Module):

def__init__(self,latent_dims):super(Decoder,self).__init__()

self.linear1=nn.Linear(latent_dims,512)

self.linear2=nn.Linear(512,784)

defforward(self,z):z=F.relu(self.linear1(z))z=torch.sigmoid(self.linear2(z))

returnz.reshape((-1,1,28,28))8.2自編碼器自編碼器的應(yīng)用自編碼器定義#自編碼器由編碼器和解碼器組成#共5層，28*28

512

2

512

28*28classAutoencoder(nn.Module):

def__init__(self,latent_dims):super(Autoencoder,self).__init__()

self.encoder=Encoder(latent_dims)

self.decoder=Decoder(latent_dims)

defforward(self,x):z=self.encoder(x)

return

self.decoder(z)8.2自編碼器自編碼器的應(yīng)用實例化及訓(xùn)練#隱空間維度latent_dims=2#實例化模型autoencoder=Autoencoder(latent_dims).to(device)#GPUdeftrain(autoencoder,data,epochs=20):opt=torch.optim.Adam(autoencoder.parameters())

forepochinrange(epochs):

forx,yindata:x=x.to(device)#GPUopt.zero_grad()x_hat=autoencoder(x)loss=((x-x_hat)**2).sum()loss.backward()opt.step()

returnautoencoder

#訓(xùn)練autoencoder=train(autoencoder,data)8.2自編碼器自編碼器的應(yīng)用輸入數(shù)據(jù)的潛空間分布#展現(xiàn)輸入數(shù)據(jù)的潛空間分布defplot_latent(autoencoder,data,num_batches=100):

fori,(x,y)inenumerate(data):z=autoencoder.encoder(x.to(device))z=z.to('cpu').detach().numpy()plt.scatter(z[:,0],z[:,1],c=y,cmap='tab10')

ifi>num_batches:plt.colorbar()

break

plot_latent(autoencoder,data)8.2自編碼器自編碼器的應(yīng)用生成（重構(gòu)圖像）defplot_reconstructed(autoencoder,r0=(-5,10),r1=(-10,5),n=12):w=28img=np.zeros((n*w,n*w))

fori,yinenumerate(np.linspace(*r1,n)):

forj,xinenumerate(np.linspace(*r0,n)):z=torch.Tensor([[x,y]]).to(device)x_hat=autoencoder.decoder(z)x_hat=x_hat.reshape(28,28).to('cpu').detach().numpy()img[(n-1-i)*w:(n-1-i+1)*w,j*w:(j+1)*w]=x_hatplt.imshow(img,extent=[*r0,*r1])

plot_reconstructed(autoencoder)隱空間中存在“間隙”，即不連續(xù)區(qū)域，數(shù)據(jù)從未映射到這些“間隙”。如果我們從隱空間的某個區(qū)域采樣一個潛在向量，而解碼器在訓(xùn)練過程中從未看到這個區(qū)域，那么輸出可能根本沒有任何意義。8.3變分自編碼器變分自編碼器的結(jié)構(gòu)與原理變分自編碼器的基本思想是隱變量不是確定的向量，而是一個多元隨機變量，該隨機變量能反映真實數(shù)據(jù)的分布。變分自編碼器工作時，將輸入映射到隱空間中的概率分布，然后從該分布中采樣隱變量，并生成輸出數(shù)據(jù)。自編碼器變分自編碼器編碼編碼8.3變分自編碼器

編碼

采樣8.3變分自編碼器

編碼

采樣8.3變分自編碼器

8.3變分自編碼器

8.3變分自編碼器變分自編碼器的應(yīng)用變分自編碼器除了一些特殊構(gòu)件，即隱變量分布的均值向量、標準差向量、隱變量采樣等，需要單獨定義外，其他模型結(jié)構(gòu)與自編碼器一致。8.3變分自編碼器變分自編碼器的應(yīng)用使用變分自編碼器來實現(xiàn)MNIST數(shù)據(jù)集上的圖像生成任務(wù)。模型定義classVariationalEncoder(nn.Module):

def__init__(self,latent_dims):super(VariationalEncoder,self).__init__()

self.linear1=nn.Linear(784,512)

self.linear2=nn.Linear(512,latent_dims)

self.linear3=nn.Linear(512,latent_dims)

#標準正態(tài)分布

self.N=torch.distributions.Normal(0,1)

self.N.loc=self.N.loc.to(device)

self.N.scale=self.N.scale.to(device)

self.kl=0

defforward(self,x):x=torch.flatten(x,start_dim=1)x=F.relu(self.linear1(x))#隱變量分布均值向量mu=self.linear2(x)#隱變量分布方差向量，采用指數(shù)激活函數(shù)sigma=torch.exp(self.linear3(x))#隱變量采樣h=mu+sigma*self.N.sample(mu.shape)#KL散度計算

self.kl=(sigma**2+mu**2-torch.log(sigma)-1/2).sum()

returnh

#解碼器與AE的相同classDecoder(nn.Module):

def__init__(self,latent_dims):super(Decoder,self).__init__()

self.linear1=nn.Linear(latent_dims,512)

self.linear2=nn.Linear(512,784)

defforward(self,h):h=F.relu(self.linear1(h))h=torch.sigmoid(self.linear2(h))returnh.reshape((-1,1,28,28))

#定義變分自編碼器類classVariationalAutoencoder(nn.Module):

def__init__(self,latent_dims):super(VariationalAutoencoder,self).__init__()

self.encoder=VariationalEncoder(latent_dims)

self.decoder=Decoder(latent_dims)

defforward(self,x):h=self.encoder(x)

return

self.decoder(h)8.3變分自編碼器變分自編碼器的應(yīng)用使用變分自編碼器來實現(xiàn)MNIST數(shù)據(jù)集上的圖像生成任務(wù)。模型定義

defforward(self,x):x=torch.flatten(x,start_dim=1)x=F.relu(self.linear1(x))#隱變量分布均值向量mu=self.linear2(x)#隱變量分布方差向量，采用指數(shù)激活函數(shù)sigma=torch.exp(self.linear3(x))#隱變量采樣h=mu+sigma*self.N.sample(mu.shape)#KL散度計算

self.kl=(sigma**2+mu**2-torch.log(sigma)-1/2).sum()

returnh

#解碼器與AE的相同classDecoder(nn.Module):

def__init__(self,latent_dims):super(Decoder,self).__init__()

self.linear1=nn.Linear(latent_dims,512)

self.linear2=nn.Linear(512,784)

defforward(self,h):h=F.relu(self.linear1(h))h=torch.sigmoid(self.linear2(h))returnh.reshape((-1,1,28,28))

#定義變分自編碼器類classVariationalAutoencoder(nn.Module):

def__init__(self,latent_dims):super(VariationalAutoencoder,self).__init__()

self.encoder=VariationalEncoder(latent_dims)

self.decoder=Decoder(latent_dims)

defforward(self,x):h=self.encoder(x)

return

self.decoder(h)8.3變分自編碼器變分自編碼器的應(yīng)用使用變分自編碼器來實現(xiàn)MNIST數(shù)據(jù)集上的圖像生成任務(wù)。模型定義#解碼器與AE的相同classDecoder(nn.Module):

def__init__(self,latent_dims):super(Decoder,self).__init__()

self.linear1=nn.Linear(latent_dims,512)

self.linear2=nn.Linear(512,784)

defforward(self,h):h=F.relu(self.linear1(h))h=torch.sigmoid(self.linear2(h))returnh.reshape((-1,1,28,28))

#定義變分自編碼器類classVariationalAutoencoder(nn.Module):

def__init__(self,latent_dims):super(VariationalAutoencoder,self).__init__()

self.encoder=VariationalEncoder(latent_dims)

self.decoder=Decoder(latent_dims)

defforward(self,x):h=self.encoder(x)

return

self.decoder(h)8.3變分自編碼器變分自編碼器的應(yīng)用使用變分自編碼器來實現(xiàn)MNIST數(shù)據(jù)集上的圖像生成任務(wù)。模型定義#定義變分自編碼器類classVariationalAutoencoder(nn.Module):

def__init__(self,latent_dims):super(VariationalAutoencoder,self).__init__()

self.encoder=VariationalEncoder(latent_dims)

self.decoder=Decoder(latent_dims)

defforward(self,x):h=self.encoder(x)

return

self.decoder(h)8.3變分自編碼器變分自編碼器的應(yīng)用使用變分自編碼器來實現(xiàn)MNIST數(shù)據(jù)集上的圖像生成任務(wù)。模型訓(xùn)練#隱空間維度latent_dims=2#實例化模型vae=VariationalAutoencoder(latent_dims).to(device)#GPU8.3變分自編碼器變分自編碼器的應(yīng)用使用變分自編碼器來實現(xiàn)MNIST數(shù)據(jù)集上的圖像生成任務(wù)。模型訓(xùn)練#訓(xùn)練函數(shù)deftrain(autoencoder,data,epochs=20):opt=torch.optim.Adam(autoencoder.parameters())

forepochinrange(epochs):

forx,yindata:x=x.to(device)#GPUopt.zero_grad()x_hat=autoencoder(x)loss=((x-x_hat)**2).sum()+autoencoder.encoder.klloss.backward()opt.step()

returnautoencoder

#訓(xùn)練vae=train(vae,data)8.3變分自編碼器變分自編碼器的應(yīng)用使用變分自編碼器來實現(xiàn)MNIST數(shù)據(jù)集上的圖像生成任務(wù)。從輸入空間到隱空間的映射關(guān)系#輸入數(shù)據(jù)的潛空間分布defplot_latent(autoencoder,data,num_batches=100):

fori,(x,y)inenumerate(data):h=autoencoder.encoder(x.to(device))h=h.to('cpu').detach().numpy()plt.scatter(h[:,0],h[:,1],c=y,cmap='tab10')

ifi>num_batches:plt.colorbar()

break

plot_latent(vae,data)8.3變分自編碼器變分自編碼器的應(yīng)用使用變分自編碼器來實現(xiàn)MNIST數(shù)據(jù)集上的圖像生成任務(wù)。重構(gòu)圖像#從隱空間重構(gòu)輸出defplot_reconstructed(autoencoder,r0=(-5,10),r1=(-10,5),n=12):