基于漸進(jìn)轉(zhuǎn)換和循環(huán)合成的單視點(diǎn)圖像合成案例分析目錄TOC\o"1-3"\h\u9920基于漸進(jìn)轉(zhuǎn)換和循環(huán)合成的單視點(diǎn)圖像合成案例分析 1296791.1總體結(jié)構(gòu) 1263651.2漸進(jìn)轉(zhuǎn)換機(jī)制 2140701.3循環(huán)合成機(jī)制 4247831.4實(shí)施細(xì)節(jié) 657331.5實(shí)驗(yàn)結(jié)果及分析 768991.5.1實(shí)驗(yàn)配置 785211.5.2定量結(jié)果對(duì)比 716551.5.3定性結(jié)果對(duì)比 945521.5.4關(guān)鍵部分性能分析 1053691.5.5計(jì)算復(fù)雜度分析 12根據(jù)輸入源視點(diǎn)圖像的數(shù)量不同，基于深度學(xué)習(xí)的自由視點(diǎn)系統(tǒng)圖像合成可分為多視點(diǎn)圖像合成方法和單視點(diǎn)圖像合成方法。多視點(diǎn)圖像合成方法旨在利用多個(gè)源視點(diǎn)圖像與目標(biāo)視點(diǎn)圖像之間的像素相關(guān)性實(shí)現(xiàn)目標(biāo)視點(diǎn)圖像的合成。盡管使用多個(gè)源視點(diǎn)可以提供相對(duì)豐富的3D結(jié)構(gòu)信息，但是在僅能提供單個(gè)源視點(diǎn)的情況下，多視點(diǎn)圖像合成方法的應(yīng)用將受到限制。不同于多視點(diǎn)圖像合成方法，單視點(diǎn)圖像合成方法僅利用單個(gè)源視點(diǎn)圖像與目標(biāo)視點(diǎn)圖像之間的關(guān)聯(lián)信息即可實(shí)現(xiàn)目標(biāo)視點(diǎn)圖像的合成，因而受到了研究人員的廣泛關(guān)注。在實(shí)際的單視點(diǎn)圖像合成過程中，不同的源視點(diǎn)-目標(biāo)視點(diǎn)圖像對(duì)之間的相對(duì)位姿不同。對(duì)于相對(duì)位姿較大的源視點(diǎn)-目標(biāo)視點(diǎn)圖像對(duì)，現(xiàn)有直接學(xué)習(xí)源視點(diǎn)到目標(biāo)視點(diǎn)單向轉(zhuǎn)換的方法不能較好地捕捉視點(diǎn)間的位姿變換信息，因而難以獲得較好的目標(biāo)視點(diǎn)圖像。基于此，本文提出一種基于漸進(jìn)轉(zhuǎn)換和循環(huán)合成的單視點(diǎn)圖像合成方法，有效探索源視點(diǎn)和目標(biāo)視點(diǎn)間的映射關(guān)系，從而提高單視點(diǎn)圖像合成性能。1.1總體結(jié)構(gòu)本章提出了一種基于漸進(jìn)轉(zhuǎn)換和循環(huán)合成的單視點(diǎn)圖像合成方法。該方法利用漸進(jìn)轉(zhuǎn)換機(jī)制及循環(huán)合成機(jī)制學(xué)習(xí)視點(diǎn)圖像間的映射關(guān)系，在僅輸入單個(gè)源視點(diǎn)圖像的條件下有效合成目標(biāo)視點(diǎn)圖像。網(wǎng)絡(luò)總體框圖如圖3-1所示。圖3-1基于漸進(jìn)轉(zhuǎn)換和循環(huán)合成的單視點(diǎn)圖像合成框圖為了捕獲源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像的漸進(jìn)轉(zhuǎn)換信息，本章方法提出了漸進(jìn)轉(zhuǎn)換機(jī)制，通過對(duì)源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像的漸進(jìn)轉(zhuǎn)換過程建模，以合成目標(biāo)視點(diǎn)圖像。首先，在源視點(diǎn)和目標(biāo)視點(diǎn)位姿信息的引導(dǎo)下，漸進(jìn)轉(zhuǎn)換機(jī)制通過合成中間轉(zhuǎn)換結(jié)果以模擬源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像的漸進(jìn)轉(zhuǎn)換趨勢(shì)。然后，基于置信度圖，聚合漸進(jìn)轉(zhuǎn)換機(jī)制合成的目標(biāo)視點(diǎn)圖像和多級(jí)流預(yù)測(cè)機(jī)制合成的目標(biāo)視點(diǎn)圖像，以獲得聚合后的目標(biāo)視點(diǎn)圖像。最后，利用循環(huán)合成機(jī)制將聚合的目標(biāo)視點(diǎn)圖像逆映射到源視點(diǎn)圖像，并通過約束真實(shí)的源視點(diǎn)和合成的源視點(diǎn)間的一致性，有效糾正聚合的目標(biāo)視點(diǎn)圖像中的錯(cuò)誤像素。所提出的網(wǎng)絡(luò)可以實(shí)現(xiàn)源視點(diǎn)圖像和目標(biāo)視點(diǎn)圖像間的循環(huán)視點(diǎn)合成映射，從而獲得更好的目標(biāo)視點(diǎn)圖像。1.2漸進(jìn)轉(zhuǎn)換機(jī)制在視點(diǎn)合成任務(wù)中，為了更好地合成目標(biāo)視點(diǎn)圖像，需要綜合學(xué)習(xí)源視點(diǎn)圖像的顏色信息、紋理信息以及視點(diǎn)圖像之間的角度轉(zhuǎn)換。特別地，源視點(diǎn)圖像與目標(biāo)視點(diǎn)圖像的中間轉(zhuǎn)換趨勢(shì)能夠有效表征源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像的漸進(jìn)轉(zhuǎn)換過程，進(jìn)而有利于合成更清晰的目標(biāo)視點(diǎn)圖像。如圖3-1所示，為了有效地學(xué)習(xí)源視點(diǎn)圖像與目標(biāo)視點(diǎn)圖像之間的漸進(jìn)轉(zhuǎn)換趨勢(shì)，本節(jié)提出了一種漸進(jìn)轉(zhuǎn)換機(jī)制。該機(jī)制利用兩個(gè)權(quán)重共享的像素生成模塊以漸進(jìn)轉(zhuǎn)換的方式實(shí)現(xiàn)目標(biāo)視點(diǎn)的合成。具體地，第1個(gè)像素生成模塊實(shí)現(xiàn)源視點(diǎn)圖像到中間轉(zhuǎn)換結(jié)果的合成，第2個(gè)像素生成模塊實(shí)現(xiàn)中間轉(zhuǎn)換結(jié)果到目標(biāo)視點(diǎn)圖像的合成，各像素生成模塊均輸入相應(yīng)的相對(duì)位姿信息。依據(jù)本節(jié)所提出的漸進(jìn)轉(zhuǎn)換機(jī)制，可以將視點(diǎn)合成劃分為兩個(gè)階段。在第1階段，首先計(jì)算位于源視點(diǎn)位姿信息和目標(biāo)視點(diǎn)位姿信息的中間位姿信息，具體公式表示如下： (3-1)其中，表示向上取整操作。將源視點(diǎn)圖像表示為，其中和表示源視點(diǎn)圖像的高度和寬度，表示源視點(diǎn)圖像的通道數(shù)。第1個(gè)像素生成模塊以源視點(diǎn)圖像、源視點(diǎn)位姿信息以及中間位姿信息作為輸入，在和的引導(dǎo)下生成源視點(diǎn)圖像和目標(biāo)視點(diǎn)圖像之間的中間轉(zhuǎn)換結(jié)果。該中間轉(zhuǎn)換結(jié)果可以有效表征源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像的漸進(jìn)轉(zhuǎn)換趨勢(shì)，具體公式表示如下： (3-2)其中，表示漸進(jìn)轉(zhuǎn)換機(jī)制對(duì)應(yīng)的函數(shù)表示，表示所生成中間轉(zhuǎn)換結(jié)果的置信度圖。在獲得中間轉(zhuǎn)換結(jié)果后，第2個(gè)像素生成模塊以中間轉(zhuǎn)換結(jié)果、中間位姿信息和目標(biāo)視點(diǎn)位姿信息作為的輸入，在和的引導(dǎo)下合成所需的目標(biāo)視點(diǎn)圖像和其相應(yīng)的置信度圖。其中，所合成的置信度圖用于表征中各像素相對(duì)于真實(shí)像素的可信度，具體公式表示如下： (3-3)利用本節(jié)所提出的漸進(jìn)轉(zhuǎn)換機(jī)制，可以學(xué)習(xí)到源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像之間的漸進(jìn)轉(zhuǎn)換趨勢(shì)，從而有效解決由于視點(diǎn)間相對(duì)位姿較大而造成的合成圖像質(zhì)量差的問題。為了生成高質(zhì)量的目標(biāo)視點(diǎn)圖像及相應(yīng)的置信度圖，生成的目標(biāo)視點(diǎn)圖像和置信度圖采用損失函數(shù)進(jìn)行約束，具體公式表示如下： (3-4)其中，表示真實(shí)的目標(biāo)視點(diǎn)圖像，表示L1距離，表示逐像素相乘，表示絕對(duì)值操作，表示L2正則化，和分別表示置信度圖的高度和寬度，大小均為256。公式（3-4）中第1項(xiàng)表示合成的目標(biāo)視點(diǎn)圖像與真實(shí)目標(biāo)視點(diǎn)圖像之間的L1距離，最小化該項(xiàng)約束可以保證合成圖像與真實(shí)圖像間的一致性。第2項(xiàng)旨在為合成的目標(biāo)視點(diǎn)圖像中的每一像素分配正確的置信度，其中合成的目標(biāo)視點(diǎn)圖像與真實(shí)目標(biāo)視點(diǎn)圖像更相似的像素應(yīng)具有更高的置信度值。此外，為了進(jìn)一步輔助漸進(jìn)轉(zhuǎn)換機(jī)制合成清晰的目標(biāo)視點(diǎn)圖像，本章方法采用鑒別器及特征級(jí)對(duì)抗損失，以用于辨別合成的目標(biāo)視點(diǎn)圖像和真實(shí)的目標(biāo)視點(diǎn)圖像。本章所提出的漸進(jìn)轉(zhuǎn)換機(jī)制可以學(xué)習(xí)源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像的旋轉(zhuǎn)趨勢(shì)，從而有效地合成目標(biāo)視點(diǎn)圖像的像素。為了在單視點(diǎn)合成任務(wù)中更好地學(xué)習(xí)源視點(diǎn)圖像的紋理信息，本章方法引入具有多級(jí)監(jiān)督的流預(yù)測(cè)模塊，并采用損失約束多級(jí)流預(yù)測(cè)模塊合成的不同分辨率的目標(biāo)視點(diǎn)圖像和相應(yīng)置信度圖。其中，約束不同分辨率目標(biāo)視點(diǎn)圖像和置信度圖的損失函數(shù)與公式（3-4）相同。在流預(yù)測(cè)模塊中，使和分別表示與真實(shí)目標(biāo)視點(diǎn)圖像分辨率相同的合成目標(biāo)視點(diǎn)圖像及相應(yīng)的置信度圖?；诖?，利用置信度圖聚合漸進(jìn)轉(zhuǎn)換機(jī)制和流預(yù)測(cè)模塊所獲得的目標(biāo)視點(diǎn)圖像以獲得最終的目標(biāo)視點(diǎn)圖像，具體公式表示如下： (3-5)其中，表示置信度聚合后的最終目標(biāo)視點(diǎn)圖像，和分別表示和歸一化后的置信度圖。對(duì)于獲得的最終目標(biāo)視點(diǎn)圖像，引入進(jìn)一步保證最終目標(biāo)視點(diǎn)圖像和真實(shí)目標(biāo)視點(diǎn)圖像之間的一致性，具體公式表示如下： (3-6)1.3循環(huán)合成機(jī)制由于成對(duì)視點(diǎn)圖像之間的合成過程是可逆的，因此所合成的目標(biāo)視點(diǎn)圖像可以作為視點(diǎn)合成網(wǎng)絡(luò)的輸入以生成源視點(diǎn)圖像。直觀地，由目標(biāo)視點(diǎn)圖像合成更好的源視點(diǎn)圖像有利于協(xié)助單視點(diǎn)圖像合成任務(wù)，從而使得所合成的目標(biāo)視點(diǎn)圖像中能夠具有更多的準(zhǔn)確像素以提高其合成質(zhì)量。如圖3-1所示，為了實(shí)現(xiàn)此目的，本節(jié)提出了循環(huán)合成機(jī)制以實(shí)現(xiàn)目標(biāo)視點(diǎn)圖像到源視點(diǎn)圖像的循環(huán)合成。在所提出的循環(huán)合成機(jī)制中，采用和漸進(jìn)轉(zhuǎn)換機(jī)制相同的網(wǎng)絡(luò)結(jié)構(gòu)，即通過合成目標(biāo)視點(diǎn)圖像與源視點(diǎn)圖像之間的中間轉(zhuǎn)換結(jié)果以協(xié)助反向單視點(diǎn)圖像合成。具體地，循環(huán)合成機(jī)制包含目標(biāo)視點(diǎn)圖像到中間轉(zhuǎn)換結(jié)果的像素生成模塊和中間轉(zhuǎn)換結(jié)果到源視點(diǎn)圖像的像素生成模塊。將聚合后的最終目標(biāo)視點(diǎn)圖像、目標(biāo)視點(diǎn)位姿信息以及中間位姿信息作為目標(biāo)視點(diǎn)圖像到中間轉(zhuǎn)換結(jié)果的像素生成模塊的輸入，在和的引導(dǎo)下，利用該像素生成模塊生成目標(biāo)視點(diǎn)圖像和源視點(diǎn)圖像之間的中間轉(zhuǎn)換結(jié)果以及中間轉(zhuǎn)換結(jié)果的置信度圖。其中，表示中間轉(zhuǎn)換結(jié)果的置信度圖，具體公式表示如下： (3-7)其中，表示循環(huán)合成機(jī)制的映射函數(shù)。然后，在和的引導(dǎo)下，將中間轉(zhuǎn)換結(jié)果作為中間轉(zhuǎn)換結(jié)果到源視點(diǎn)圖像的像素生成模塊的輸入，以合成源視點(diǎn)圖像和其對(duì)應(yīng)的置信度圖，具體公式表示如下： (3-8)將聚合后的目標(biāo)視點(diǎn)圖像作為循環(huán)合成機(jī)制的輸入，所提出的循環(huán)合成機(jī)制能夠通過反向單視點(diǎn)合成過程獲得源視點(diǎn)圖像。直觀地，反向合成過程生成的源視點(diǎn)圖像的質(zhì)量越好，所設(shè)計(jì)的視點(diǎn)合成網(wǎng)絡(luò)合成效果越顯著，從而在前向合成過程中可以合成更高質(zhì)量的目標(biāo)視點(diǎn)圖像。因此，所提出的循環(huán)合成機(jī)制通過利用源視點(diǎn)圖像監(jiān)督單視點(diǎn)合成網(wǎng)絡(luò)的訓(xùn)練過程，進(jìn)一步促進(jìn)單視點(diǎn)合成網(wǎng)絡(luò)的學(xué)習(xí)，以獲得更好的目標(biāo)視點(diǎn)圖像。循環(huán)合成機(jī)制約束的具體公式表示如下： (3-9)通過利用所提出的循環(huán)合成機(jī)制，一方面可以在一定程度上增加單視點(diǎn)合成網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)。另一方面可以通過反向視點(diǎn)合成過程，利用循環(huán)合成機(jī)制可以在一定程度上糾正目標(biāo)視點(diǎn)圖像中錯(cuò)誤預(yù)測(cè)的像素。最后，聯(lián)合利用所提出的漸進(jìn)轉(zhuǎn)換機(jī)制和循環(huán)合成機(jī)制，網(wǎng)絡(luò)的總體損失函數(shù)表示如下： (3-10)其中，、、和分別表示多個(gè)損失函數(shù)的平衡參數(shù)，和用以使合成的目標(biāo)視點(diǎn)圖像具有更多正確的像素，用以使合成的目標(biāo)視點(diǎn)圖像包含更多正確的紋理內(nèi)容，用以保證聚合后的目標(biāo)視點(diǎn)圖像與真實(shí)目標(biāo)視點(diǎn)圖像之間的一致性，用以約束反向視點(diǎn)合成的學(xué)習(xí)過程，從而有利于進(jìn)一步促進(jìn)單視點(diǎn)合成網(wǎng)絡(luò)合成更好的目標(biāo)視點(diǎn)圖像。利用總體約束，所提的單視點(diǎn)合成網(wǎng)絡(luò)能夠通過源視點(diǎn)圖像與目標(biāo)視點(diǎn)圖像間的漸進(jìn)轉(zhuǎn)換和循環(huán)合成獲得更好的目標(biāo)視點(diǎn)圖像。1.4實(shí)施細(xì)節(jié)對(duì)于漸進(jìn)轉(zhuǎn)換機(jī)制和循環(huán)合成機(jī)制中的像素生成模塊，均采用具有跳躍連接的編碼器-解碼器結(jié)構(gòu)。編碼器網(wǎng)絡(luò)使用5個(gè)堆疊的卷積模塊進(jìn)行特征提取，每一個(gè)卷積模塊包含1個(gè)卷積層、1個(gè)歸一化層以及1個(gè)激活函數(shù)層。卷積層的卷積核步長(zhǎng)設(shè)置為2，其尺寸設(shè)置為4×4。在編碼器中，卷積層的通道數(shù)分別為32、64、128、256和512。編碼器中最后1個(gè)卷積模塊獲得的特征在經(jīng)過卷積長(zhǎng)短期記憶單元（ConvLSTM）處理后作為解碼器網(wǎng)絡(luò)的輸入。解碼器網(wǎng)絡(luò)使用5個(gè)堆疊的反卷積模塊逐步恢復(fù)圖像的分辨率，其中每1個(gè)反卷積模塊包含1個(gè)反卷積層、1個(gè)歸一化層以及1個(gè)激活函數(shù)層，反卷積層的卷積核步長(zhǎng)設(shè)定為2，其尺寸設(shè)定為3×3，反卷積層的通道數(shù)分別為256、128、64、32和16。此外，本章方法將編碼器第3和第4個(gè)卷積模塊提取的特征通過卷積長(zhǎng)短期記憶單元（ConvLSTM）處理后分別與解碼器第1和第2個(gè)反卷積模塊產(chǎn)生的特征進(jìn)行融合，將編碼器第1和第2個(gè)卷積模塊獲得的特征分別與解碼器第3和第4個(gè)反卷積模塊產(chǎn)生的特征進(jìn)行融合。對(duì)于解碼器最后1個(gè)反卷積模塊產(chǎn)生的特征，使用兩個(gè)堆疊的卷積模塊降低其通道數(shù)以獲得最終圖像和對(duì)應(yīng)的置信度圖，其中此堆疊的卷積模塊中卷積層的通道數(shù)分別為8和4。對(duì)于流預(yù)測(cè)模塊，同樣采用具有跳躍連接的編碼器-解碼器結(jié)構(gòu)，并且其編碼器結(jié)構(gòu)與像素生成模塊相同。編碼器中最后1個(gè)卷積模塊獲得的特征在經(jīng)過1個(gè)殘差單元后作為解碼器網(wǎng)絡(luò)輸入。解碼器網(wǎng)絡(luò)使用5個(gè)堆疊的反卷積模塊逐步恢復(fù)圖像的分辨率，其反卷積層的通道數(shù)分別為256、128、64、32和16。在流預(yù)測(cè)模塊中，使用級(jí)聯(lián)操作分別將編碼器前4個(gè)卷積模塊提取的特征與解碼器后4個(gè)反卷積模塊獲得的特征進(jìn)行跳躍連接。對(duì)解碼器網(wǎng)絡(luò)后4個(gè)反卷積模塊獲得的特征分別利用兩個(gè)堆疊的卷積模塊降低特征的通道數(shù)以獲得多級(jí)流場(chǎng)，該堆疊的卷積模塊中卷積層的通道數(shù)分別為8和3。此外，對(duì)抗損失中的鑒別器網(wǎng)絡(luò)由4層堆疊的卷積模塊組成。其中，卷積層的卷積核步長(zhǎng)設(shè)定為2，其尺寸設(shè)定為4×4，卷積層中的通道數(shù)分別設(shè)定為32、64、128和256。為了獲得更好的目標(biāo)視點(diǎn)圖像，將訓(xùn)練過程分為3個(gè)階段，以實(shí)現(xiàn)源視圖和目標(biāo)視圖之間的映射。在第1階段，首先訓(xùn)練漸進(jìn)轉(zhuǎn)換機(jī)制和多級(jí)流預(yù)測(cè)模塊，以學(xué)習(xí)從源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像的映射。然后，將預(yù)測(cè)的兩個(gè)目標(biāo)視點(diǎn)圖像聚合以獲得相對(duì)清晰的目標(biāo)視點(diǎn)圖像。此外，將聚合后的目標(biāo)視點(diǎn)圖像作為輸入訓(xùn)練循環(huán)合成機(jī)制，以學(xué)習(xí)視點(diǎn)合成的逆過程。具體而言，在訓(xùn)練循環(huán)合成機(jī)制的過程中，固定漸進(jìn)轉(zhuǎn)換機(jī)制和流預(yù)測(cè)模塊的網(wǎng)絡(luò)參數(shù)，以便在此階段有效地學(xué)習(xí)循環(huán)合成機(jī)制的映射。在最后階段，將本章所提網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練。特別地，循環(huán)合成機(jī)制實(shí)現(xiàn)了目標(biāo)視點(diǎn)圖像到源視點(diǎn)圖像的映射，在訓(xùn)練階段，其用來協(xié)助漸進(jìn)轉(zhuǎn)換機(jī)制學(xué)習(xí)源視點(diǎn)圖像和目標(biāo)視點(diǎn)圖像的映射。在測(cè)試階段，僅使用漸進(jìn)轉(zhuǎn)換機(jī)制和流預(yù)測(cè)模塊的正向合成過程以獲取最終的目標(biāo)視點(diǎn)圖像。本章提出的基于漸進(jìn)轉(zhuǎn)換和循環(huán)合成的單視點(diǎn)圖像合成方法采用基于Python2.7的Tensorflow深度學(xué)習(xí)框架實(shí)現(xiàn)。中、和參數(shù)大小分別設(shè)定為10、1和1。在訓(xùn)練過程中，像素生成模塊的學(xué)習(xí)率設(shè)定為1.0×10-4，流預(yù)測(cè)模塊的學(xué)習(xí)率設(shè)定為5.0×10-5，批次大小設(shè)定為8。1.5實(shí)驗(yàn)結(jié)果及分析1.5.1實(shí)驗(yàn)配置實(shí)驗(yàn)在ShapeNet[56]進(jìn)行，以驗(yàn)證本章所提方法的有效性。具體而言，在ShapeNet數(shù)據(jù)集中選取了Chair和Car兩個(gè)類別進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)選取的圖像大小為256×256。數(shù)據(jù)集中的每一個(gè)物體具有54個(gè)視點(diǎn)，即18個(gè)旋轉(zhuǎn)角度以及3個(gè)仰角度。其中，對(duì)于旋轉(zhuǎn)角度的選取，在到范圍內(nèi)，每隔選取1個(gè)旋轉(zhuǎn)角繪制視點(diǎn)圖像。對(duì)于仰角，在到范圍內(nèi)，每隔選取1個(gè)仰角繪制視點(diǎn)圖像。對(duì)于所獲得的Chair和Car的視點(diǎn)圖像數(shù)據(jù)，通過對(duì)數(shù)據(jù)進(jìn)行隨機(jī)打亂，選取其80%的圖像數(shù)據(jù)訓(xùn)練所設(shè)計(jì)的網(wǎng)絡(luò)，其余20%的圖像數(shù)據(jù)用以測(cè)試所設(shè)計(jì)模型的有效性。此外，為了定量地比較所提出的方法和對(duì)比方法，本章采用廣泛使用的L1距離以及結(jié)構(gòu)相似度（SSIM）性能度量指標(biāo)評(píng)價(jià)各視點(diǎn)合成方法的性能。1.5.2定量結(jié)果對(duì)比在本小節(jié)中，將幾種典型的視點(diǎn)合成方法和本章所提方法進(jìn)行了定量和定性對(duì)比，其中對(duì)比方法包括單視點(diǎn)合成方法和多視點(diǎn)合成方法。單視點(diǎn)合成方法包括Tatarchenko的方法[33]、Zhou的方法[49]和Park的方法[38]，多視點(diǎn)合成方法包括Sun的方法[39]、Kyle的方法[37]和Liu的方法[10]。其中，Sun的方法和Kyle的方法的定量和定性結(jié)果通過運(yùn)行其公開源代碼獲得，其他方法的結(jié)果均從相應(yīng)方法論文中所示的定量結(jié)果獲得。本小節(jié)將所提出的方法與多種典型的方法在ShapeNet數(shù)據(jù)集的Chair和Car類別上進(jìn)行性能比較。表3-1為Chair和Car類別上所提方法與對(duì)比方法的L1距離和SSIM定量結(jié)果。由表可以看出，相比于Tatarchenko的方法[33]、Zhou的方法[49]和Park的方法[38]，本章所提方法獲得了較大的性能提升，主要原因在于本章所提方法提供了一種包含視點(diǎn)圖像間的漸進(jìn)轉(zhuǎn)換以及循環(huán)合成的有效框架，促進(jìn)了單視點(diǎn)合成網(wǎng)絡(luò)的學(xué)習(xí)，從而獲得更好的目標(biāo)視點(diǎn)圖像。例如，在Chair類別上，相較于Tatarchenko的方法和Zhou的方法，本章所提方法在L1距離性能指標(biāo)上分別獲得了0.180和0.158的提升。相較于Park的方法，本章所提方法在L1和SSIM性能指標(biāo)上分別提升了0.065以及0.009。在Car類別上，相較于Tatarchenko的方法與Zhou的方法，本章所提方法在L1性能指標(biāo)上分別獲得了0.314和0.278的性能提升。相較于Park的方法，本章所提方法在L1和SSIM性能指標(biāo)上分別獲得了0.043和0.019的性能提升。此外，在Chair和Car類別上，相較于Sun的方法，本章所提方法在L1距離性能指標(biāo)上分別獲得了0.016和0.008的性能提升，在SSIM性能指標(biāo)上分別獲得了0.008和0.006的性能提升。這主要是因?yàn)槔帽菊滤岬臐u進(jìn)轉(zhuǎn)換機(jī)制可以有效學(xué)習(xí)源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像的旋轉(zhuǎn)趨勢(shì)，從而使得像素生成過程能夠以漸進(jìn)的形式實(shí)現(xiàn)更準(zhǔn)確的像素映射。此外，所提循環(huán)合成機(jī)制能夠進(jìn)一步協(xié)助漸進(jìn)視點(diǎn)合成網(wǎng)絡(luò)的學(xué)習(xí)，從而有效糾正目標(biāo)視點(diǎn)圖像中的錯(cuò)誤像素。更重要地，可以從表3-1的對(duì)比結(jié)果看出，相較于所有對(duì)比方法，本章所提方法獲得了最好的性能。特別地，在椅子和汽車類別上，相較于最好的視點(diǎn)合成方法Kyle的方法，本章所提方法在L1距離性能指標(biāo)上分別獲得了0.013和0.001的性能提升，在SSIM性能指標(biāo)上分別獲得了0.008和0.002的性能提升，從而進(jìn)一步驗(yàn)證了本章所提的漸進(jìn)轉(zhuǎn)換與循環(huán)合成對(duì)視點(diǎn)合成任務(wù)的有效性。表3-1Chair和Car類別性能比較方法ChairCarL1SSIML1SSIMTatarchenko的方法[33]0.345/0.404/Zhou的方法[49]0.323/0.368/Park的方法[38]0.2300.8940.1330.910Sun的方法[39]0.1810.8950.0980.923Kyle的方法[37]0.1780.8950.0910.927Liu的方法[10]0.1820.8930.0950.916本章方法0.1650.9030.0900.9291.5.3定性結(jié)果對(duì)比為了進(jìn)一步展示本章所提視點(diǎn)合成方法的優(yōu)勢(shì)，圖3-2與圖3-3分別展示了本章所提方法與不同視點(diǎn)合成方法在Chair類別和Car類別上生成目標(biāo)視點(diǎn)圖像的可視化對(duì)比圖。具體而言，圖3-2與圖3-3展示了源視點(diǎn)圖像、Sun的方法、Kyle的方法合成的目標(biāo)視點(diǎn)圖像、本章所提方法合成的目標(biāo)視點(diǎn)圖像以及真實(shí)的目標(biāo)視點(diǎn)圖像。如圖3-2所示，Sun的方法和Kyle的方法合成目標(biāo)視點(diǎn)圖像并不能合成椅子的一些關(guān)鍵像素。特別地，從圖3-2第2到第4排可以看出，Sun的方法和Kyle的方法所合成的目標(biāo)視點(diǎn)圖像中椅子腿部和其靠背部分的效果較差。相比之下，本章所提方法能夠有效確定合成像素準(zhǔn)確的位置，從而獲得更接近真實(shí)目標(biāo)視點(diǎn)圖像的合成結(jié)果。這說明本章所提的漸進(jìn)轉(zhuǎn)換機(jī)制和循環(huán)合成機(jī)制通過學(xué)習(xí)中間變換結(jié)果和逆向映射可以合成更好的目標(biāo)視點(diǎn)圖像。對(duì)于圖3-3所示的Car類別上的可視化結(jié)果對(duì)比，本節(jié)選取了源視點(diǎn)圖像與目標(biāo)視點(diǎn)圖像間具有較大角度轉(zhuǎn)換的視點(diǎn)圖像對(duì)，例如視點(diǎn)圖像之間旋轉(zhuǎn)角度為的視點(diǎn)圖像對(duì)，以驗(yàn)證不同的視點(diǎn)合成方法在相對(duì)困難的視點(diǎn)圖像合成任務(wù)上的性能。如圖3-3第3排所示，Sun的方法所生成的目標(biāo)視點(diǎn)圖像的形狀信息較差，并且其合成的目標(biāo)視點(diǎn)圖像中錯(cuò)誤地保留了一些源視點(diǎn)圖像中的像素，例如源視點(diǎn)圖像的車輪。盡管Kyle的方法因?qū)W習(xí)了物體的三維結(jié)構(gòu)變換合成了較好的物體形狀，但是由于缺乏逐像素紋理信息的挖掘，合成的目標(biāo)視點(diǎn)圖像的紋理相對(duì)較為模糊。相較于Sun的方法和Kyle的方法，本章所提方法能夠合成與真實(shí)的目標(biāo)視點(diǎn)圖像更加相似的目標(biāo)視點(diǎn)圖像，進(jìn)一步驗(yàn)證了本章所提出的漸進(jìn)轉(zhuǎn)換機(jī)制與循環(huán)合成機(jī)制的有效性。圖3-2在Chair類別上的可視化對(duì)比圖圖3-3在Car類別上的可視化對(duì)比圖1.5.4關(guān)鍵部分性能分析為了驗(yàn)證本章所提視點(diǎn)合成方法關(guān)鍵部分的有效性，本小節(jié)在ShapeNet數(shù)據(jù)集的Chair類別上進(jìn)行消融實(shí)驗(yàn)，以分別驗(yàn)證漸進(jìn)轉(zhuǎn)換機(jī)制以及循環(huán)合成機(jī)制對(duì)視點(diǎn)圖像合成的作用。定量實(shí)驗(yàn)結(jié)果如表3-2所示，具體來說，基線方法仍采用多級(jí)流預(yù)測(cè)模塊，且像素分支僅采用1個(gè)像素生成模塊。“有漸進(jìn)轉(zhuǎn)換機(jī)制”的方法表示僅對(duì)基線方法添加本章所提的漸進(jìn)轉(zhuǎn)換機(jī)制，“有循環(huán)合成機(jī)制”的方法表示僅對(duì)基線方法添加本章所提的循環(huán)合成機(jī)制。從表3-2可以看出，采用漸進(jìn)轉(zhuǎn)換機(jī)制與循環(huán)合成機(jī)制均使合成的目標(biāo)視點(diǎn)圖像獲得了性能提升。相比于基線方法，采用“有漸進(jìn)轉(zhuǎn)換機(jī)制”的方法獲得的目標(biāo)視點(diǎn)圖像在L1和SSIM兩個(gè)性能評(píng)價(jià)指標(biāo)上分別獲得了0.006和0.002的性能提升，此結(jié)果表明本章所提出的漸進(jìn)轉(zhuǎn)換機(jī)制通過學(xué)習(xí)源視點(diǎn)圖像和目標(biāo)視點(diǎn)圖像之間的中間轉(zhuǎn)換結(jié)果可以合成更好的目標(biāo)視點(diǎn)圖像。相比于基線方法，“有循環(huán)合成機(jī)制”的方法獲得的目標(biāo)視點(diǎn)圖像在L1和SSIM兩個(gè)性能評(píng)價(jià)指標(biāo)上分別獲得了0.005和0.002的性能提升，這表明在循環(huán)合成機(jī)制中設(shè)計(jì)的逆向合成映射可以有效地協(xié)助糾正由源視點(diǎn)圖像到目標(biāo)視點(diǎn)圖像的單視點(diǎn)合成過程中生成的錯(cuò)誤像素。更重要地，由于所提出的漸進(jìn)轉(zhuǎn)換機(jī)制和循環(huán)合成機(jī)制的共同作用，本章所提方法在L1和SSIM兩個(gè)性能評(píng)價(jià)指標(biāo)上獲得了0.165和0.903的最好性能。表3