CGAN汽車設(shè)計(jì)效果圖生成車輪互聯(lián)人腦的逆向工程人類嬰兒—1Month注視人臉動(dòng)hMonth軌跡和預(yù)測(cè)扔?xùn)|西綜合規(guī)劃模仿和生成(語(yǔ)言和造音)—SLAM+TCNdictorsSTPAN汽車圖片的隨機(jī)生成模型變分自動(dòng)編碼器對(duì)抗生成網(wǎng)絡(luò)方法在一個(gè)先驗(yàn)概率分布中取樣(PriorDistribution,一般取N維的高斯zX中。 (MCMC據(jù)說(shuō)效果不行)，其中9為神經(jīng)網(wǎng)絡(luò)的模型參數(shù)。概率分布的映射Figure1:高斯隨機(jī)變量zFigure2:將z映射到x其中z~I(u,72)且|z|>e,x=z/lzl=g(z)我們希望可以訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)將一個(gè)分布近似地映射到另一個(gè)分布上，扮演g(z)的角色。當(dāng)然,當(dāng)z→0時(shí),這樣的映射也會(huì)出現(xiàn)VAE(變分自動(dòng)編碼)—Encoder將輸入圖片映射到一個(gè)隱藏的隨機(jī)變量P(z|X),Decoder將隱藏變量重EncoderDecoder—在生成圖片階段會(huì)直接將隨機(jī)變量z映射到圖片分布?！?xùn)練目標(biāo)(假設(shè)網(wǎng)絡(luò)的擬合性足夠強(qiáng)大)maxlogP(X)=Ez[logP(X|z)]-KL[P(z|X)||P(z)]使得解碼后生成的圖片在概率上接近原圖，同時(shí)將編碼器得到的隱變量接近先驗(yàn)概率P(z)?！獪y(cè)試生成圖片Xtest~P(X|z)。GAN(生成對(duì)抗網(wǎng)絡(luò))GANGD—生成網(wǎng)絡(luò)G(z;9g)將一個(gè)隨機(jī)高斯變量映射到圖片空間，輸xG逼真的圖片。—對(duì)抗網(wǎng)絡(luò)D(x;9d)判斷一個(gè)輸入圖片x是否來(lái)自真實(shí)圖片分布，輸出一個(gè)標(biāo)量表示x是真實(shí)圖片的概率。D的目標(biāo)是監(jiān)督由G生成的圖片是否足夠逼真。GD絡(luò)。其中9g和9d分假)不斷優(yōu)化。構(gòu)建代價(jià)函數(shù)nmxV(D,G)=Ex~Pdatalog(D(x))+Ez~Ⅳlog(1-D(G(z)))LossG=Ez~Ⅳ-log(D(G(z)))中z在高斯分布中隨機(jī)取樣?！狣的代價(jià)函數(shù)LossD=-[Ex~Pdatalog(D(x))+Ez~Ⅳlog(1-D(G(z)))]左式表示D需要能夠鑒真(D(x)→1)，右式表示D同時(shí)也需要防偽(D(G(z))→0)。x,z來(lái)自于隨機(jī)取樣。當(dāng)訓(xùn)練剛開(kāi)始時(shí)D還不具備辨識(shí)能力，因此D(x)=D(G(z))=0.5,LossG=log(2),LossD=log(4)當(dāng)D與G訓(xùn)練到完美時(shí)，這個(gè)結(jié)果依舊成立。隨機(jī)生成圖片實(shí)驗(yàn)Figure3:VAE自動(dòng)生成的圖片F(xiàn)igure4:GAN自動(dòng)生成的圖片VAE生成的圖片注重最小化像素間的差值，而GAN生成器形成的圖片則更加生動(dòng)形象。隨機(jī)生成圖片實(shí)驗(yàn)Figure5:當(dāng)GAN生成圖片分辨率提高后的失敗效果？CGAN(條件生成對(duì)抗網(wǎng)絡(luò))Figure6:CGAN生成鞋子示例[5]nmxV(D,G)=Ex~Pdatalog(D(x|y))+Ez~Ⅳlog(1-D(G(z|y)))生成模型針對(duì)y提供的信息進(jìn)行生成。—其中用戶輸入的草圖就是生成模型中已知的y。image2image的作者發(fā)現(xiàn)在隱層加噪音效果對(duì)輸出的填色結(jié)果影響不大，于是就使用了dropout代替了z使得輸出具有一定的隨機(jī)性(實(shí)驗(yàn)發(fā)現(xiàn)，輸出隨機(jī)性仍然較小)?！瑫r(shí)生成器U-Net中添加了隱層間鏈接(skipconnection),保留了線條特征對(duì)生成至關(guān)重要。Discriminatorloss手繪生成圖片訓(xùn)練過(guò)程DiscriminatorlossDiscriminatorlosslossloss2log2stepsGeneratorGeneratorlossGeneratorlossllosslog2stepsGAN不穩(wěn)定。如練很容易就失敗了。ANFigure7:原先認(rèn)為訓(xùn)練難度是在尋找納什平衡V(x;y)=xy在最優(yōu)判別器的下，我們可以把原始GAN定義的生成器loss等價(jià)變換為最小化真實(shí)分布Pr與生成分布Pg之間的JS散度。而只要它們倆沒(méi)有一點(diǎn)重疊或者重疊部分可忽略，JS散度就固定是常log而這對(duì)于梯度下降方法意味著——梯度為0將G的參數(shù)標(biāo)注為9,將D的參數(shù)標(biāo)注為w。f和g分別為D與G的線c個(gè)常數(shù)。fort-0toncriticdow-w+a*RMSProp(gradu)w=clip(-c,c)gradu-Vu[w-w+a*RMSProp(gradu)w=clip(-c,c)grad9-V9Ez~Ⅳ(-fu(g9(z)))9-9-a*RMSProp(grad9)DiscriminatorlossGeneratorloss loss 2log2 loss log2DiscriminatorlossGeneratorloss loss 2log2 loss log2DiscriminatorlossstepsGeneratorlosssteps手繪生成圖片訓(xùn)練效果Figure8:輪廓生成使用Holistically-NestedEdgeDetection手繪生成圖片實(shí)驗(yàn)效果Figure9:CGAN生成圖片示例:第一行用戶輸入，第二行生成器生成圖片,第三行生成器訓(xùn)練時(shí)加入了L1regularization。手繪生成圖片實(shí)驗(yàn)問(wèn)題Figure10:輪廓的輸入風(fēng)格沒(méi)有魯棒性iGAN通往更高的分辨率—高斯金字塔下采樣+拉普拉斯金字塔上采樣件CGAN—針對(duì)殘差學(xué)習(xí)esizeconv—直接生成圖像Figure11:ThetrainingprocedureforourLAPGANmodel.Startingwitha64x64inputimageIfromourtrainingset(topleft)Figure12:PGGAN的Generator(上)和Discriminator(下)ndLeonBottouEmilyDentonSoumithChintalaArthurSzlamandRobPhillipIsola,Jun-YanZhu,TinghuiZhou,andAlexeiAEfros.ineandJaakkoLehtinenvariation.DiederikPKingmaandMaxWelling.cRadfordLukeMetzandSoumithChintala/carpedm20/DCGAN-tensor