V梯度域渲染與圖像空間降噪以及神經(jīng)網(wǎng)絡(luò)結(jié)合案例分析目錄TOC\o"1-3"\h\u26623梯度域渲染與圖像空間降噪以及神經(jīng)網(wǎng)絡(luò)結(jié)合案例分析 1200161.1.1圖像空間降噪 1128941.1.2神經(jīng)網(wǎng)絡(luò)降噪器 2107581.1.3神經(jīng)網(wǎng)絡(luò)降噪與梯度域渲染的結(jié)合 3圖像空間降噪以上提到的對(duì)蒙特卡洛光線(xiàn)追蹤進(jìn)行降噪和優(yōu)化的一些方法都是在光路空間進(jìn)行研究，改變光路空間的采樣方式，使得光路樣本對(duì)場(chǎng)景更具有適應(yīng)性。近年來(lái)，另一個(gè)流行的蒙特卡洛光線(xiàn)追蹤降噪的分支是圖像空間的降噪，也就是結(jié)合一些場(chǎng)景信息和特點(diǎn)直接對(duì)渲染后圖像的各個(gè)像素進(jìn)行降噪處理。由于圖像空間的降噪往往可以和路徑空間的降噪算法同時(shí)使用，也就是說(shuō)，圖像空間的降噪可以看作是光線(xiàn)追蹤渲染的一個(gè)后處理算法，在渲染的過(guò)程中可以根據(jù)需要任意應(yīng)用一種合適的光路空間降噪算法，也就是采樣優(yōu)化算法，然后在用圖像空間的降噪器對(duì)整個(gè)圖片進(jìn)行降噪。 一些傳統(tǒng)的圖像空間降噪器通過(guò)人工構(gòu)造一個(gè)過(guò)濾器對(duì)圖像進(jìn)行一些平滑化的處理。而更高級(jí)的降噪器可以根據(jù)圖像特點(diǎn)或是場(chǎng)景特點(diǎn)適應(yīng)性地對(duì)每個(gè)像素選擇不同的過(guò)濾器。渲染中基于圖像的降噪和圖像處理中的自然圖片降噪有所不同的是，渲染降噪可以利用很多場(chǎng)景信息作為輔助。在經(jīng)典的圖像處理中，常見(jiàn)的過(guò)濾器例如雙邊過(guò)濾器，其原理是構(gòu)造一個(gè)過(guò)濾器使得離中心像素越近且顏色跟中心像素越接近的像素在重構(gòu)時(shí)對(duì)中心像素的貢獻(xiàn)權(quán)重越大，權(quán)重的具體形式如下：w這是一個(gè)高斯形式的過(guò)濾器，其中σs2和σr2是可以手動(dòng)設(shè)置的兩個(gè)參數(shù)p和q表示兩個(gè)像素的位置坐標(biāo)參數(shù)，經(jīng)典的基于回歸的降噪器NFORADDINEN.CITE<EndNote><Cite><Author>Bitterli</Author><Year>2016</Year><RecNum>17</RecNum><DisplayText>(Bitterlietal.,2016)</DisplayText><record><rec-number>17</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622370697">17</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>BenediktBitterli</author><author>FabriceRousselle</author><author>BochangMoon</author><author>JoséA.Iglesias-Guitián</author><author>DavidAdler</author><author>KennyMitchell</author><author>WojciechJarosz</author><author>JanNovák</author></authors></contributors><titles><title>Nonlinearlyweightedfirst-orderregressionfordenoisingMonteCarlorenderings</title><secondary-title>ComputerGraphicsForum(ProceedingsofEGSR)</secondary-title></titles><periodical><full-title>ComputerGraphicsForum(ProceedingsofEGSR)</full-title></periodical><pages>107-117</pages><volume>35</volume><dates><year>2016</year></dates><urls></urls></record></Cite></EndNote>(\o"Bitterli,2016#17"Bitterlietal.,2016)，也應(yīng)用了類(lèi)似的思路，在渲染的過(guò)程中可以以很低的代價(jià)獲得一些跟場(chǎng)景信息有關(guān)的輔助特征，例如第一個(gè)交點(diǎn)的深度，法向量，反照率，等等。我們希望在降噪后的圖片中能夠達(dá)到渲染的圖片值與這些輔助特征中的值盡量正相關(guān)，那么我們可以構(gòu)造出一個(gè)基于這個(gè)原則的過(guò)濾器，使得過(guò)濾后的圖片的每個(gè)像素滿(mǎn)足，特征空間中中心像素與周?chē)袼卦浇?，那么中心像素與此像素的顏色就應(yīng)該越相近。由此可以給出如下形式的一個(gè)像素域的降噪過(guò)濾器：c其中wx表示基于像素對(duì)應(yīng)的輔助特征向量過(guò)濾權(quán)重，其形式與(3.8)式中的wc這種根據(jù)輔助特征向量對(duì)渲染圖片進(jìn)行一階回歸的方法可以很好地與梯度域蒙特卡洛光線(xiàn)追蹤降噪進(jìn)行結(jié)合，因?yàn)槠渲幸部紤]到了對(duì)圖像的梯度進(jìn)行處理，在后面的章節(jié)中我們將描述如何將此降噪器與梯度域渲染相結(jié)合。神經(jīng)網(wǎng)絡(luò)降噪器除了傳統(tǒng)的回歸降噪器，由于近年來(lái)神經(jīng)網(wǎng)絡(luò)的方法在圖像處理領(lǐng)域得到了非常廣泛且成功的應(yīng)用，許多蒙特卡洛光線(xiàn)追蹤的降噪器也開(kāi)始應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像空間的降噪。一個(gè)經(jīng)典的例子是KPCN降噪器ADDINEN.CITE<EndNote><Cite><Author>Bako</Author><Year>2017</Year><RecNum>18</RecNum><DisplayText>(Bakoetal.,2017)</DisplayText><record><rec-number>18</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622374736">18</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>SteveBako</author><author>ThijsVogels</author><author>BrianMcwilliams</author><author>MarkMeyer</author><author>JanNováK</author><author>AlexHarvill</author><author>PradeepSen</author><author>TonyDerose</author><author>FabriceRousselle</author></authors></contributors><titles><title>Kernel-predictingconvolutionalnetworksfordenoisingMonteCarlorenderings</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article97</pages><volume>36</volume><number>4</number><keywords><keyword>MonteCarlorendering,MonteCarlodenoising,globalillumination</keyword></keywords><dates><year>2017</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3072959.3073708</url></related-urls></urls><electronic-resource-num>10.1145/3072959.3073708</electronic-resource-num></record></Cite></EndNote>(\o"Bako,2017#18"Bakoetal.,2017)。沿用了NFOR的思路，KPCN將輔助特征和有噪音的欠采樣的原圖一起作為神經(jīng)網(wǎng)絡(luò)的輸入，并輸出一個(gè)過(guò)濾器，這個(gè)過(guò)濾器儲(chǔ)存了每個(gè)像素對(duì)應(yīng)的一個(gè)n×n的矩陣，矩陣的元素對(duì)應(yīng)著中心像素周?chē)鷑×n個(gè)像素在重構(gòu)時(shí)對(duì)應(yīng)的權(quán)重值。神經(jīng)網(wǎng)絡(luò)的損失函數(shù)是重構(gòu)后的圖像與真值之間的L2誤差，真值是在構(gòu)造數(shù)據(jù)集是通過(guò)足夠的樣本量使用蒙特卡洛光線(xiàn)追蹤獲得的。也就是說(shuō)，我們?cè)趽碛凶銐虻臄?shù)據(jù)集的情況下，可以訓(xùn)練出一個(gè)神經(jīng)網(wǎng)絡(luò)，它可以根據(jù)提供場(chǎng)景信息的輔助向量以及原圖本身計(jì)算出一個(gè)能最大程度降低噪音并保持原圖結(jié)構(gòu)細(xì)節(jié)的過(guò)濾器作用在原圖上，這個(gè)過(guò)濾器針對(duì)每個(gè)像素的值是不同的，具有局部性。神經(jīng)網(wǎng)絡(luò)可以構(gòu)造一個(gè)非常強(qiáng)大的非線(xiàn)性模型，在圖片處理方面可以獲得非常好的效果。KPCN所使用的一個(gè)技巧是值得注意的，也就是考慮到場(chǎng)景中的物體材料有鏡面的成分也有粗糙的成分，渲染的圖片具有很高的動(dòng)態(tài)范圍，這會(huì)導(dǎo)致最終神經(jīng)網(wǎng)絡(luò)中的權(quán)重十分不穩(wěn)定。這兩種成分具有非常不同的噪音特征和空間特征，于是我們可以在利用蒙特卡洛光線(xiàn)追蹤進(jìn)行數(shù)據(jù)集的渲染時(shí)將粗糙的成分和鏡面的成分分別輸出，然后對(duì)兩種成分的圖像加上輔助特征利用兩條獨(dú)立的神經(jīng)網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練。此外，對(duì)于兩種成分的不同特征可以做一些不同的預(yù)處理。鏡面成分對(duì)應(yīng)的像素顏色動(dòng)態(tài)范圍很高，因此可以對(duì)整張圖片像素顏色取對(duì)數(shù)再輸入神經(jīng)網(wǎng)絡(luò)。而對(duì)于粗糙成分，我們可以先整張圖除以反照率，使得圖片顏色更加平滑均勻，最終輸出的過(guò)濾器作用在除掉反照率的圖片上，最后再乘上反照率，這樣可以使得神經(jīng)網(wǎng)絡(luò)的任務(wù)簡(jiǎn)化，同時(shí)又可以很好地保留場(chǎng)景中的紋理細(xì)節(jié)信息。這個(gè)技巧在之后的實(shí)驗(yàn)中也會(huì)涉及到。此后，有研究工作用樣本而不是圖片作為輸入利用神經(jīng)進(jìn)行降噪，將神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到了樣本空間ADDINEN.CITE<EndNote><Cite><Author>Gharbi</Author><Year>2019</Year><RecNum>20</RecNum><DisplayText>(Gharbi,Li,Aittala,Lehtinen,&Durand,2019)</DisplayText><record><rec-number>20</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622385924">20</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Micha?lGharbi</author><author>Tzu-MaoLi</author><author>MiikaAittala</author><author>JaakkoLehtinen</author><author>FrédoDurand</author></authors></contributors><titles><title>Sample-basedMonteCarlodenoisingusingakernel-splattingnetwork</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article125</pages><volume>38</volume><number>4</number><keywords><keyword>MonteCarlodenoising,deeplearning,data-drivenmethods,convolutionalneuralnetworks</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3306346.3322954</url></related-urls></urls><electronic-resource-num>10.1145/3306346.3322954</electronic-resource-num></record></Cite></EndNote>(\o"Gharbi,2019#20"Gharbi,Li,Aittala,Lehtinen,&Durand,2019)。另外還有相關(guān)工作將生成對(duì)抗網(wǎng)絡(luò)（GAN）應(yīng)用到蒙特卡洛光線(xiàn)追蹤的降噪中ADDINEN.CITE<EndNote><Cite><Author>Xu</Author><Year>2019</Year><RecNum>19</RecNum><DisplayText>(Xuetal.,2019)</DisplayText><record><rec-number>19</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622385914">19</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>BingXu</author><author>JunfeiZhang</author><author>RuiWang</author><author>KunXu</author><author>Yong-LiangYang</author><author>ChuanLi</author><author>RuiTang</author></authors></contributors><titles><title>AdversarialMonteCarlodenoisingwithconditionedauxiliaryfeaturemodulation</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article224</pages><volume>38</volume><number>6</number><keywords><keyword>featuremodulation,adversariallearning,MonteCarlodenoising,pathtracing</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3355089.3356547</url></related-urls></urls><electronic-resource-num>10.1145/3355089.3356547</electronic-resource-num></record></Cite></EndNote>(\o"Xu,2019#19"Xuetal.,2019)，將利用輔助特征進(jìn)行降噪的問(wèn)題視為條件性的圖像生成問(wèn)題，由此可以更充分地利用輔助特征的信息，并可以以更大的自由度通過(guò)神經(jīng)網(wǎng)絡(luò)解決降噪問(wèn)題。神經(jīng)網(wǎng)絡(luò)降噪與梯度域渲染的結(jié)合總體上看，神經(jīng)網(wǎng)絡(luò)的方法非常直接，并不需要給出從原圖到降噪后的圖像之間的映射的解析形式，只需要給出神經(jīng)網(wǎng)絡(luò)的輸入和輸出，在數(shù)據(jù)集足夠大的情況下便可以獲得一個(gè)很好的降噪器模型。根據(jù)這個(gè)思路，一些研究工作將梯度域的渲染結(jié)合到神經(jīng)網(wǎng)絡(luò)降噪器中。ADDINEN.CITE<EndNote><Cite><Author>Kettunen</Author><Year>2019</Year><RecNum>22</RecNum><DisplayText>(Kettunen,H?rk?nen,&Lehtinen,2019)</DisplayText><record><rec-number>22</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622388454">22</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MarkusKettunen</author><author>ErikH?rk?nen</author><author>JaakkoLehtinen</author></authors></contributors><titles><title>Deepconvolutionalreconstructionforgradient-domainrendering</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article126</pages><volume>38</volume><number>4</number><keywords><keyword>screenedpoisson,gradient-domainreconstruction,raytracing,gradient-domainrendering</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3306346.3323038</url></related-urls></urls><electronic-resource-num>10.1145/3306346.3323038</electronic-resource-num></record></Cite></EndNote>(\o"Kettunen,2019#22"Kettunen,H?rk?nen,&Lehtinen,2019)直接將梯度圖像作為輔助特征的其中幾個(gè)通道。這篇工作采用了有監(jiān)督學(xué)習(xí)的方式，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)采用了經(jīng)典的U-net，如圖3-2所示。網(wǎng)絡(luò)的輸入是一個(gè)16通道的圖像，其中包括有噪音的原圖3個(gè)通道，x和y方向的梯度分別3個(gè)通道，另外還有包括深度、反照率、法向量在內(nèi)的7個(gè)輔助特征通道，網(wǎng)絡(luò)的輸出直接是降噪后的RGB圖像。這個(gè)方法非常簡(jiǎn)單直接地將梯度域渲染算法應(yīng)用到神經(jīng)網(wǎng)絡(luò)降噪器中，其可解釋性并不強(qiáng)，且丟失了梯度域渲染中梯度圖片本來(lái)的一些特征，而僅僅將其作為一個(gè)輔助特征加入到神經(jīng)網(wǎng)絡(luò)的輸入中。圖STYLEREF1\s3SEQ圖\*ARABIC\s12網(wǎng)絡(luò)結(jié)構(gòu)圖示ADDINEN.CITE<EndNote><Cite><Author>Kettunen</Author><Year>2019</Year><RecNum>22</RecNum><DisplayText>(Kettunenetal.,2019)</DisplayText><record><rec-number>22</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622388454">22</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MarkusKettunen</author><author>ErikH?rk?nen</author><author>JaakkoLehtinen</author></authors></contributors><titles><title>Deepconvolutionalreconstructionforgradient-domainrendering</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article126</pages><volume>38</volume><number>4</number><keywords><keyword>screenedpoisson,gradient-domainreconstruction,raytracing,gradient-domainrendering</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3306346.3323038</url></related-urls></urls><electronic-resource-num>10.1145/3306346.3323038</electronic-resource-num></record></Cite></EndNote>(\o"Kettunen,2019#22"Kettunenetal.,2019)目前梯度域渲染與神經(jīng)網(wǎng)絡(luò)結(jié)合的最優(yōu)降噪器是Gradnet降噪器ADDINEN.CITE<EndNote><Cite><Author>Guo</Author><Year>2019</Year><RecNum>21</RecNum><DisplayText>(Guoetal.,2019)</DisplayText><record><rec-number>21</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622388447">21</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JieGuo</author><author>MengtianLi</author><author>QueweiLi</author><author>YutingQiang</author><author>BingyangHu</author><author>YanwenGuo</author><author>Ling-QiYan</author></authors></contributors><titles><title>GradNet:unsuperviseddeepscreenedpoissonreconstructionforgradient-domainrendering</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article223</pages><volume>38</volume><number>6</number><keywords><keyword>imagereconstruction,deeplearning,unsupervisedlearning,gradient-domainrendering</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3355089.3356538</url></related-urls></urls><electronic-resource-num>10.1145/3355089.3356538</electronic-resource-num></record></Cite></EndNote>(\o"Guo,2019#21"Guoetal.,2019)。這項(xiàng)工作充分地利用了梯度域渲染Poisson重構(gòu)這一過(guò)程的思路，根據(jù)Poisson重構(gòu)的優(yōu)化目標(biāo)改造為神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，從而構(gòu)造出一個(gè)無(wú)監(jiān)督學(xué)習(xí)學(xué)習(xí)的網(wǎng)絡(luò)。我們將在后面的章節(jié)中描述對(duì)這篇研究工作中的降噪器的實(shí)現(xiàn)。在經(jīng)典的梯度域渲染算法中，Poisson重構(gòu)這一過(guò)程主要依賴(lài)于迭代的方法求解。然而很多情況下，在重構(gòu)后的圖片中會(huì)有一些明顯的突兀的人工痕跡。因此，我們認(rèn)為可以通過(guò)優(yōu)化這個(gè)重構(gòu)過(guò)程來(lái)使得最終輸出圖片的效果更好。具體地，我們可以用一個(gè)神經(jīng)網(wǎng)絡(luò)來(lái)完成重構(gòu)的過(guò)程。這個(gè)思路的好處有以下幾點(diǎn)，一是神經(jīng)網(wǎng)絡(luò)重構(gòu)的過(guò)程中可以加入輔助特征作為輸入對(duì)重構(gòu)過(guò)程提供一定的指導(dǎo)作用，且由于神經(jīng)網(wǎng)絡(luò)的特性我們并不需要解析地寫(xiě)出輔助特征如何影響重構(gòu)后的圖像；二是從(3.7)式可以看出，Poisson重構(gòu)的過(guò)程并不需要真值作為指導(dǎo)，只需要用較少的樣本生成梯度圖像以及粗略的原圖就可以作為輸入，這使得對(duì)數(shù)據(jù)集的要求和準(zhǔn)備數(shù)據(jù)集的復(fù)雜度大大降低。因此，我們可以根據(jù)(3.7)式寫(xiě)出類(lèi)似的神經(jīng)網(wǎng)絡(luò)的損失函數(shù)：?其中I表示輸出的降噪后的圖像，Idx和Idy表示x和y方向的梯度圖像，Ib?而?data?其中T是一個(gè)動(dòng)態(tài)范圍壓縮函數(shù)，是為了處理圖片顏色值的范圍較大導(dǎo)致神經(jīng)網(wǎng)絡(luò)權(quán)重不穩(wěn)定的問(wèn)題。將這個(gè)函數(shù)作用在圖片上可以有效地對(duì)圖片的動(dòng)態(tài)范圍進(jìn)行壓縮，其具體形式為：T另外，為了使得輔助特征在重構(gòu)的過(guò)程中發(fā)揮更大的作用，我們可以借鑒傳統(tǒng)的基于回歸的降噪器提供的思路，例如，我們可以根據(jù)(3.10)式構(gòu)造出一個(gè)類(lèi)似的一階損失函數(shù)，可以很容易寫(xiě)出：?其中，G表示圖像對(duì)輔助特征的倒數(shù)，這個(gè)矩陣的形式是未知的，我們可以用一個(gè)單獨(dú)的網(wǎng)絡(luò)根據(jù)梯度圖像，粗糙的原題，以及輔助特征作為輸入而輸出最優(yōu)的G，把這個(gè)網(wǎng)絡(luò)叫做一階損失網(wǎng)絡(luò)。也就是G的選擇要盡量使得一階損失函數(shù)更小，這里我們可以用梯度域渲染輸出的粗糙的原圖對(duì)G的求解提供指導(dǎo)，具體地，我們可以定義這個(gè)輸出G的網(wǎng)絡(luò)的損失函數(shù)為如下形式：?'那么，我們最后可以定義在考慮了一階損失函數(shù)的情況下的總的損失函數(shù)為：?其中λ是一個(gè)可以手動(dòng)設(shè)置的參數(shù)，可以根據(jù)實(shí)際情況調(diào)整。最后，在神經(jīng)網(wǎng)絡(luò)輸出重構(gòu)后的圖像后，還應(yīng)當(dāng)進(jìn)行后處理?？紤]到我們根據(jù)(3.14)式進(jìn)行動(dòng)態(tài)范圍壓縮會(huì)導(dǎo)致輸出是有偏的，為了對(duì)輸出圖像進(jìn)行修正，我們需要對(duì)輸出圖像作如下后處理：I其中k是一個(gè)與設(shè)定好的可手動(dòng)調(diào)節(jié)的參數(shù)，可以根據(jù)實(shí)際情況進(jìn)行選取。圖STYLEREF1\s3SEQ圖\*ARABIC\s13后處理的視覺(jué)效果ADDINEN.CITE<EndNote><Cite><Author>Guo</Author><Year>