對(duì)抗式神經(jīng)網(wǎng)絡(luò)-2.訓(xùn)練GAN目錄1.了解GAN1.了解GANPART11.了解GAN對(duì)于GAN，一個(gè)簡(jiǎn)單的理解是可以將其看做博弈的過(guò)程，我們可以將生成模型和判別模型看作博弈的雙方1.了解GAN1.比如在犯罪分子造假幣和警察識(shí)別假幣的過(guò)程中[1]生成模型G相當(dāng)于制造假幣的一方，其目的是根據(jù)看到的錢(qián)幣情況和警察的識(shí)別技術(shù)，去盡量生成更加真實(shí)的、警察識(shí)別不出的假幣[2]判別模型D相當(dāng)于識(shí)別假幣的一方，其目的是盡可能的識(shí)別出犯罪分子制造的假幣這樣通過(guò)造假者和識(shí)假者雙方的較量和朝目的的改進(jìn)，使得最后能達(dá)到生成模型能生成盡可能真的錢(qián)幣、識(shí)假者判斷不出真假的納什均衡效果(真假幣概率都為0.5)這意味著造假者做不出假幣2.訓(xùn)練GANPART22.訓(xùn)練GAN2.我們可以將上面的場(chǎng)景映射成圖片之間生成模型和判別模型之間的博弈過(guò)程博弈的簡(jiǎn)單模式如下：生成模型生成一些圖片->判別模型學(xué)習(xí)區(qū)分生成的圖片和真實(shí)圖片->生成模型根據(jù)判別模型改進(jìn)自己，生成新的圖片->判別模型再學(xué)習(xí)區(qū)分生成的圖片和真實(shí)圖片.....上面的博弈場(chǎng)景會(huì)一直繼續(xù)下去，直到生成模型和判別模型別無(wú)法提升自己，這樣生成模型就會(huì)成為一個(gè)比較完美的模型2.訓(xùn)練GAN1)定義判別器與生成器對(duì)象定義一個(gè)判別器D和一個(gè)生成器G并設(shè)置為訓(xùn)練模式2)定義優(yōu)化器對(duì)象由于本項(xiàng)目的GAN在訓(xùn)練時(shí)每輪先更新兩次D(真假樣本各一次)再更新一次G，所以要定義兩個(gè)判別器優(yōu)化器對(duì)象(真假判別器各一個(gè))。用Adam優(yōu)化策略，lr設(shè)為"迷之2e-4"2.訓(xùn)練GAN3)讀取上次保存的模型用于繼續(xù)訓(xùn)練4)訓(xùn)練判別器和生成器的epoch循環(huán)用一個(gè)batch的真數(shù)據(jù)和一個(gè)batch的假數(shù)據(jù)各更新一次判別器(判別器為同一個(gè))，然后更新一次生成器loss使用的是帶"fluid.layers.sigmoid_cross_entropy_with_logits()"這部分代碼是模型的重要部分，做了詳細(xì)的注釋5)打印輸出、寫(xiě)VisualDL的log用于監(jiān)視模型的訓(xùn)練進(jìn)程6)訓(xùn)練結(jié)束保存模型如果保存的模型只需要用于推理，只需保存模型參數(shù)如果模型也要要用于下次繼續(xù)訓(xùn)練，還需保存優(yōu)化器參數(shù)2.訓(xùn)練GAN本次實(shí)驗(yàn)我們選用花卉數(shù)據(jù)集做圖像的生成插入圖片3.1訓(xùn)練判別器對(duì)于真圖片，輸出盡可能是1對(duì)于假圖片，輸出盡可能是02.訓(xùn)練GAN訓(xùn)練生成器對(duì)于假圖片，輸出盡可能是11、訓(xùn)練生成器時(shí)，無(wú)須調(diào)整判別器的參數(shù)訓(xùn)練判別器時(shí)，無(wú)須調(diào)整生成器的參數(shù)2、在訓(xùn)練判別器時(shí)，需要對(duì)生成器生成的圖片用detach操作進(jìn)行計(jì)算圖截?cái)?，避免反向傳播將梯度傳到生成器中因?yàn)樵谟?xùn)練判別器時(shí)我們不需要訓(xùn)練生成器，也就不需要生成器的梯度3、在訓(xùn)練判別器時(shí)，需要反向傳播兩次，一次是希望把真圖片判為1，一次是希望把假圖片判為0也可以將這兩者的數(shù)據(jù)放到一個(gè)batch中，進(jìn)行一次前向傳播和一次反向傳播即可4、對(duì)于假圖片，在訓(xùn)練判別器時(shí)，我們希望它輸出02.訓(xùn)練GAN而在訓(xùn)練生成器時(shí)，我們希望它輸出1.因此可以看到一對(duì)看似矛盾的代碼error_d_fake=criterion(output,fake_labels)和error_g=criterion(output,true_labels)判別器希望能夠把假圖片判別為fake_label，而生成器則希望能把他判別為true_label，判別器和生成器互相對(duì)抗提升2.訓(xùn)練GAN2.訓(xùn)練