梯度域渲染相關(guān)工作綜述目錄TOC\o"1-3"\h\u30573梯度域渲染相關(guān)工作綜述 197871.1梯度域渲染的提出 183831.1.1Metropolis光線傳輸 1242801.1.2梯度域的Metropolis光線傳輸 351941.2梯度域渲染的后續(xù)優(yōu)化 5314061.2.1梯度域渲染的改進(jìn) 5290611.2.2梯度域渲染與其他光線傳輸算法的結(jié)合 652251.3梯度域渲染與圖像空間降噪以及神經(jīng)網(wǎng)絡(luò)結(jié)合 7177151.3.1圖像空間降噪 759841.3.2神經(jīng)網(wǎng)絡(luò)降噪器 983011.3.3神經(jīng)網(wǎng)絡(luò)降噪與梯度域渲染的結(jié)合 10梯度域渲染的提出梯度域渲染的開創(chuàng)制作是梯度域的Metropolis光線傳輸ADDINEN.CITE<EndNote><Cite><Author>Lehtinen</Author><Year>2013</Year><RecNum>3</RecNum><DisplayText>(Lehtinenetal.,2013)</DisplayText><record><rec-number>3</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198638">3</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JaakkoLehtinen</author><author>TeroKarras</author><author>SamuliLaine</author><author>MiikaAittala</author><author>FrédoDurand</author><author>TimoAila</author></authors></contributors><titles><title>Gradient-domainmetropolislighttransport</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article95</pages><volume>32</volume><number>4</number><keywords><keyword>lighttransport,metropolis,globalillumination</keyword></keywords><dates><year>2013</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2461912.2461943</url></related-urls></urls><electronic-resource-num>10.1145/2461912.2461943</electronic-resource-num></record></Cite></EndNote>(\o"Lehtinen,2013#3"Lehtinenetal.,2013)。本小節(jié)將從細(xì)節(jié)介紹Metropolis光線傳輸和梯度域渲染的算法原理。Metropolis光線傳輸一些蒙特卡洛光線追蹤的優(yōu)化算法是通過對光路采樣方式的改變來減小噪音。其中一個(gè)分支是適應(yīng)性采樣，也就是使得樣本的概率分布盡量相近似地正比于渲染方程中的被積函數(shù)，那么這樣就能使方差達(dá)到最小?？梢酝ㄟ^以下例子來考察這個(gè)事實(shí)。我們將渲染方程的求解寫為一個(gè)函數(shù)fxF其中fx的形式是未知的。假設(shè)我們以概率密度函數(shù)px進(jìn)行采樣，而px滿足px∝f可見，采樣統(tǒng)計(jì)量的值總是為一個(gè)常數(shù)，也就意味著方差為零。從這個(gè)例子可以看出，如果我們可以讓采樣的概率密度函數(shù)盡量正比于渲染方程中的被積函數(shù)，可以極大程度上地減小方差。因此，適應(yīng)性的采樣對蒙特卡洛光線追蹤渲染得到的圖片降噪十分有幫助。Metropolis光線傳輸算法ADDINEN.CITE<EndNote><Cite><Author>Veach</Author><Year>1997</Year><RecNum>2</RecNum><DisplayText>(Veach&Guibas,1997)</DisplayText><record><rec-number>2</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622188830">2</key></foreign-keys><ref-typename="ConferencePaper">47</ref-type><contributors><authors><author>EricVeach</author><author>LeonidasJ.Guibas</author></authors></contributors><titles><title>Metropolislighttransport</title><secondary-title>Proceedingsofthe24thannualconferenceonComputergraphicsandinteractivetechniques</secondary-title></titles><pages>65–76</pages><keywords><keyword>globalillumination,variancereduction,lightingsimulation,physically-basedrendering,MarkovChainMonteCarlomethods,radiativeheattransfer,Metropolis-Hastingsalgorithm,MonteCarlointegration</keyword></keywords><dates><year>1997</year></dates><publisher>ACMPress/Addison-WesleyPublishingCo.</publisher><urls><related-urls><url>/10.1145/258734.258775</url></related-urls></urls><electronic-resource-num>10.1145/258734.258775</electronic-resource-num></record></Cite></EndNote>(\o"Veach,1997#2"Veach&Guibas,1997)通過Metropolis-Hastings算法計(jì)算渲染方程積分可以對路徑空間進(jìn)行局部以及全局的非常徹底且有效的探索，使得光路集中在路徑空間中攜帶照度較大的區(qū)域，也就是使得樣本盡量按照渲染方程被積函數(shù)進(jìn)行分布。Metropolis采樣算法在渲染過程中可以使在入射光度未知的情況下達(dá)到這個(gè)目的。在實(shí)際應(yīng)用中，這一方面使得渲染的效率更高，減少貢獻(xiàn)較小的無意義的光路，另一方面又可以捕捉到較難移采樣卻較亮的區(qū)域，例如焦散效果。在Metropolis光線傳輸算法提出之前，光線追蹤中的光路樣本都是獨(dú)立生成的，而Metropolis光線傳輸方法讓歷史樣本中的重要的光路在后續(xù)的采樣中提供指導(dǎo)，使得光路樣本之間具有相關(guān)性。具體地，在隨機(jī)生成了第一個(gè)光路樣本X0之后，接下來，我們通過對樣本Xi?1進(jìn)行一次隨機(jī)的變異提出一個(gè)樣本X',通過選擇是否接受樣本X'，來生成下一個(gè)樣本Xi在選定一個(gè)變異規(guī)則后，我們記從X狀態(tài)轉(zhuǎn)移到X'T在給定上述轉(zhuǎn)移概率的情況下，我們定義接受概率為aXf根據(jù)這個(gè)平衡態(tài)條件，我們可以定義出aX→Xa通過合理地選擇變異規(guī)則，我們可以使得變異的樣本盡量與上一個(gè)狀態(tài)的樣本差別較大，這樣便可以更加快速且徹底地探索樣本空間。在光路采樣的過程中，我們可以很自然地應(yīng)用Metropolis采樣的方法來高效地對樣本空間進(jìn)行探索。梯度域的Metropolis光線傳輸后來，在Metropolis光線傳輸算法的基礎(chǔ)上，ADDINEN.CITE<EndNote><Cite><Author>Lehtinen</Author><Year>2013</Year><RecNum>3</RecNum><DisplayText>(Lehtinenetal.,2013)</DisplayText><record><rec-number>3</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198638">3</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JaakkoLehtinen</author><author>TeroKarras</author><author>SamuliLaine</author><author>MiikaAittala</author><author>FrédoDurand</author><author>TimoAila</author></authors></contributors><titles><title>Gradient-domainmetropolislighttransport</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article95</pages><volume>32</volume><number>4</number><keywords><keyword>lighttransport,metropolis,globalillumination</keyword></keywords><dates><year>2013</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2461912.2461943</url></related-urls></urls><electronic-resource-num>10.1145/2461912.2461943</electronic-resource-num></record></Cite></EndNote>(\o"Lehtinen,2013#3"Lehtinenetal.,2013)提出了梯度域的Metropolis算法，也就是梯度域的蒙特卡洛光線追蹤的開創(chuàng)之作?？紤]到通常原圖的梯度具有很好的稀疏性，在平滑的區(qū)域梯度趨近于零，而高頻區(qū)域或者邊界區(qū)域則包含著更多的信息量，因此利用Metropolis算法可以將光路樣本集中在梯度較大的地方，進(jìn)一步提高渲染效率；另一方面，由于信號的噪聲大小通常情況下正比于信號的強(qiáng)度，因此梯度圖像的稀疏性可以有效達(dá)到降噪的效果。在實(shí)際渲染過程中，梯度圖像是被直接渲染出來的，但同時(shí)為了對最終的重構(gòu)過程提供指導(dǎo)，也可以將樣本進(jìn)行簡單的線性組合獲得一個(gè)粗糙的原圖。為了保證這個(gè)粗糙的圖像也擁有一定的質(zhì)量，在進(jìn)行Metropolis光線傳輸時(shí)，我們希望使得樣本的分布既考慮到了被積函數(shù)梯度的分布也考慮到了被積函數(shù)本身的分布。同時(shí)，算法的另一個(gè)關(guān)鍵部分則是利用一個(gè)確定性的映射得到與主光路相似的周圍像素的光路，這種采樣方式可以直接計(jì)算出路徑空間的梯度。具體地，我們可以定義一個(gè)轉(zhuǎn)移函數(shù):T其中x是一條與屏幕上sx,sy點(diǎn)相交的基礎(chǔ)光路，而(3.6)式定義的轉(zhuǎn)移函數(shù)作用在基礎(chǔ)光路x上，可以確定性地得到一條與屏幕arg其中，Hdx和Hdy分別是對行和對列作差分的映射矩陣。也就是說，我們希望重構(gòu)后的圖像的差分梯度盡量和梯度蒙特卡洛渲染得到的梯度圖像相近，重構(gòu)后的圖像其本身要和梯度渲染過程中產(chǎn)生的粗糙原圖相近。這兩項(xiàng)之間有一個(gè)系數(shù)α來控制，α決定了梯度圖像和提供指導(dǎo)的粗糙圖像對最終重構(gòu)圖像的影響權(quán)重，對于不同的場景，圖STYLEREF1\s3SEQ圖\*ARABIC\s11使用1范數(shù)和2范數(shù)進(jìn)行Poisson重構(gòu)效果對比ADDINEN.CITE<EndNote><Cite><Author>Lehtinen</Author><Year>2013</Year><RecNum>3</RecNum><DisplayText>(Lehtinenetal.,2013)</DisplayText><record><rec-number>3</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198638">3</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JaakkoLehtinen</author><author>TeroKarras</author><author>SamuliLaine</author><author>MiikaAittala</author><author>FrédoDurand</author><author>TimoAila</author></authors></contributors><titles><title>Gradient-domainmetropolislighttransport</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article95</pages><volume>32</volume><number>4</number><keywords><keyword>lighttransport,metropolis,globalillumination</keyword></keywords><dates><year>2013</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2461912.2461943</url></related-urls></urls><electronic-resource-num>10.1145/2461912.2461943</electronic-resource-num></record></Cite></EndNote>(\o"Lehtinen,2013#3"Lehtinenetal.,2013)在實(shí)際實(shí)驗(yàn)中，在采樣率較低的情況下，二范數(shù)重構(gòu)可能會獲得不理想的結(jié)果，尤其是在邊緣部分，會有比較明顯的人工痕跡。經(jīng)過嘗試，可以發(fā)現(xiàn)使用一范數(shù)能夠獲得更好的效果，雖然可以證明用一范數(shù)進(jìn)行重構(gòu)是有偏的。圖3.1展示了分別用一范數(shù)和二范數(shù)進(jìn)行重構(gòu)的差別，可以看到，在使用二范數(shù)進(jìn)行重構(gòu)時(shí)，在顏色的邊界處有一些較為明顯的人工痕跡，可能是由梯度圖像在邊界附近的噪音導(dǎo)致的，而使用一范數(shù)進(jìn)行重構(gòu)則可以顯著降低這種人工痕跡。在之后的小節(jié)中我們將進(jìn)一步用實(shí)驗(yàn)說明這個(gè)問題。 本質(zhì)上，梯度域的渲染通過這個(gè)確定性的映射Tδx,δyx引入了最終圖片像素之間的統(tǒng)計(jì)相關(guān)性ADDINEN.CITE<EndNote><Cite><Author>Back</Author><Year>2020</Year><RecNum>6</RecNum><DisplayText>(Back,Hua,Hachisuka,&Moon,2020)</DisplayText><record><rec-number>6</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622208699">6</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JongheeBack</author><author>Binh-SonHua</author><author>ToshiyaHachisuka</author><author>BochangMoon</author></authors></contributors><titles><title>Deepcombinerforindependentandcorrelatedpixelestimates</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article242</pages><volume>39</volume><number>6</number><keywords><keyword>combinationkernel,montecarloraytracing</keyword></keywords><dates><year>2020</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3414685.3417847</url></related-urls></urls><electronic-resource-num>10.1145/3414685.3417847</electronic-resource-num></record></Cite></EndNote>(\o"Back,2020#6"Back,Hua,Hachisuka,&Moon,2020)。這種相關(guān)性可以使得樣本之間共享一些信息，從而提高渲染效率，也一定程度上可以發(fā)現(xiàn)離群的樣本的存在并利用其他樣本的信息對其進(jìn)行修復(fù)。梯度域的Metropolis渲染是梯度域渲染的開山之作，但無疑這個(gè)算法具有一些局限性，梯度域的思路可以進(jìn)行進(jìn)一步的推廣。梯度域渲染的后續(xù)優(yōu)化梯度域渲染的改進(jìn)此后，有許多研究工作對梯度域的蒙特卡洛渲染算法進(jìn)行了推廣和優(yōu)化。ADDINEN.CITE<EndNote><Cite><Author>Manzi</Author><Year>2014</Year><RecNum>5</RecNum><DisplayText>(Manzi,Rousselle,Kettunen,Lehtinen,&Zwicker,2014)</DisplayText><record><rec-number>5</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198882">5</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MarcoManzi</author><author>FabriceRousselle</author><author>MarkusKettunen</author><author>JaakkoLehtinen</author><author>MatthiasZwicker</author></authors></contributors><titles><title>Improvedsamplingforgradient-domainmetropolislighttransport</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article178</pages><volume>33</volume><number>6</number><keywords><keyword>globalillumination,metropolislighttransport</keyword></keywords><dates><year>2014</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2661229.2661291</url></related-urls></urls><electronic-resource-num>10.1145/2661229.2661291</electronic-resource-num></record></Cite></EndNote>(\o"Manzi,2014#5"Manzi,Rousselle,Kettunen,Lehtinen,&Zwicker,2014)提出了對原算法的優(yōu)化，通過改進(jìn)光路映射的方式以及優(yōu)化采樣方式減少了人工痕跡，并將梯度推廣到非相鄰像素之間。觀察到原算法存在一些由采樣方式引入對人工痕跡以及梯度在奇點(diǎn)附近的誤差，這篇工作應(yīng)用了三個(gè)技巧對梯度域的Metropolis算法進(jìn)行改進(jìn)。第一個(gè)改進(jìn)是，采用一種類似于重要性采樣的方法，用一個(gè)啟發(fā)式的權(quán)重將多種梯度采樣策略結(jié)合起來，例如，可以將奇點(diǎn)附近的樣本權(quán)重降低，從而可以合理地處理一些容易產(chǎn)生突兀的像素點(diǎn)的光路樣本。第二個(gè)技巧是，考慮梯度圖像像素空間的兩個(gè)像素，用一種策略來從中選出一個(gè)更優(yōu)的路徑空間鄰居，也就是將像素空間的信息應(yīng)用到梯度渲染采樣中選取相鄰像素光路的過程，從而可以進(jìn)一步優(yōu)化采樣策略，使得圖片中由奇點(diǎn)導(dǎo)致的人工痕跡減少。最后一種優(yōu)化技巧是講像素空間的梯度，推廣到任意兩個(gè)像素之間，通過這個(gè)推廣可以選取到相似度更高，梯度更小的一對像素，利用更小的梯度便可以獲得更少的噪音。另外，結(jié)果顯示，在梯度域渲染的基礎(chǔ)上應(yīng)用以上三種策略可以在Poisson重構(gòu)的過程中更好地保留圖片中的細(xì)節(jié)結(jié)構(gòu)。此后，又有研究工作ADDINEN.CITE<EndNote><Cite><Author>Kettunen</Author><Year>2015</Year><RecNum>4</RecNum><DisplayText>(Kettunenetal.,2015)</DisplayText><record><rec-number>4</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198877">4</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MarkusKettunen</author><author>MarcoManzi</author><author>MiikaAittala</author><author>JaakkoLehtinen</author><author>FrédoDurand</author><author>MatthiasZwicker</author></authors></contributors><titles><title>Gradient-domainpathtracing</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article123</pages><volume>34</volume><number>4</number><keywords><keyword>gradient-domain,lighttransport,globalillumination,pathtracing</keyword></keywords><dates><year>2015</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2766997</url></related-urls></urls><electronic-resource-num>10.1145/2766997</electronic-resource-num></record></Cite></EndNote>(\o"Kettunen,2015#4"Kettunenetal.,2015)將梯度域渲染推廣到了路徑追蹤算法。將梯度域渲染應(yīng)用在Metropolis光線傳輸算法中的一個(gè)主要思路是可以將樣本盡量集中在梯度較大的區(qū)域。然而，這篇研究工作表明，梯度域渲染也可以直接應(yīng)用到標(biāo)準(zhǔn)的蒙特卡洛光線追蹤上，并且可以獲得更加低噪音的效果。注意到，Metropolis光線傳輸在實(shí)現(xiàn)上非常復(fù)雜，不便于應(yīng)用，并且Metropolis算法在某些情況下收斂性并不好，有時(shí)會導(dǎo)致某些區(qū)域呈塊狀整體偏亮或者偏暗。對于梯度渲染，這個(gè)問題在一些情況下會尤其嚴(yán)重，因?yàn)樘荻葓D像較亮的區(qū)域更加稀少。因此，我們希望將梯度域的渲染推廣到標(biāo)準(zhǔn)的光線追蹤中。在不使用Metropolis采樣的情況下，仍然保留利用轉(zhuǎn)移函數(shù)Tδx,δyx來對每一個(gè)基礎(chǔ)光路生成周圍像素的偏移光路的方式。研究進(jìn)一步證明了轉(zhuǎn)移函數(shù)帶來的樣本之間的強(qiáng)相關(guān)性從而引入的最終圖像中相鄰像素顏色的強(qiáng)相關(guān)性對梯度域渲染的降噪效果起到至關(guān)重要的作用，且從理論上可以分析梯度域的標(biāo)準(zhǔn)光線追蹤比采用Metropolis采樣算法具有更好的效果，在收斂性、最終重構(gòu)后的降噪效果上都更優(yōu)。梯度域渲染與其他光線傳輸算法的結(jié)合為了進(jìn)一步降低方差，梯度域蒙特卡洛光線追蹤也被和其他渲染加速算法結(jié)合進(jìn)行應(yīng)用。在某些復(fù)雜場景中，單向的光線追蹤可能會很難以采樣到可以到達(dá)光源的有效光路。例如假設(shè)光源和主要的場景物體之間有一些體積較大的遮擋物，但光線仍然可以透過遮擋物的縫隙到達(dá)物體表面，如果利用傳統(tǒng)的蒙特卡洛光線追蹤算法從相機(jī)出發(fā)追蹤光線，便很難以采樣到具有較高照度的光路，這會導(dǎo)致整個(gè)場景噪音非常大。為了解決這個(gè)問題，雙向光線追蹤可以同時(shí)從相機(jī)和光源出發(fā)構(gòu)造子光路，然后根據(jù)物體的BRDF以一定的方式對光路進(jìn)行合理的連接。如果將梯度域的蒙特卡洛光線追蹤與雙向渲染方法相結(jié)合，便可以拓寬梯度域渲染的普適性，在上述極端的場景中也可以達(dá)到不錯(cuò)的效果ADDINEN.CITE<EndNote><Cite><Author>Manzi</Author><Year>2015</Year><RecNum>14</RecNum><DisplayText>(Manzi,Kettunen,&Aittala,2015)</DisplayText><record><rec-number>14</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622365301">14</key></foreign-keys><ref-typename="ConferencePaper">47</ref-type><contributors><authors><author>MarcoManzi</author><author>MarkusKettunen</author><author>MiikaAittala</author></authors><secondary-authors><author>JaakkoLehtinenandDerekNowrouzezahrai</author></secondary-authors></contributors><titles><title>Gradient-DomainBidirectionalPathTracing</title><secondary-title>EurographicsSymposiumonRendering</secondary-title></titles><dates><year>2015</year></dates><publisher>TheEurographicsAssociation</publisher><urls></urls></record></Cite></EndNote>(\o"Manzi,2015#14"Manzi,Kettunen,&Aittala,2015)。在結(jié)合兩個(gè)算法的基礎(chǔ)上，研究工作也提出了一種通過重要性采樣來加速轉(zhuǎn)移函數(shù)生成偏移路徑的方法。結(jié)果顯示，兩種算法的結(jié)合比單獨(dú)地使用其中一種算法在上述場景中表現(xiàn)更加優(yōu)異。之后，也有研究工作將梯度域渲染與光路復(fù)用相結(jié)合ADDINEN.CITE<EndNote><Cite><Author>Bauszat</Author><Year>2017</Year><RecNum>16</RecNum><DisplayText>(Bauszat,Petitjean,&Eisemann,2017)</DisplayText><record><rec-number>16</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622368740">16</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>PabloBauszat</author><author>VictorPetitjean</author><author>ElmarEisemann</author></authors></contributors><titles><title>Gradient-domainpathreusing</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article229</pages><volume>36</volume><number>6</number><keywords><keyword>lighttransportsimulation,pathreusing,globalillumination,gradient-domainrendering</keyword></keywords><dates><year>2017</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3130800.3130886</url></related-urls></urls><electronic-resource-num>10.1145/3130800.3130886</electronic-resource-num></record></Cite></EndNote>(\o"Bauszat,2017#16"Bauszat,Petitjean,&Eisemann,2017)。光路復(fù)用是一種蒙特卡洛光線追蹤的加速算法，通過特定的方法共用一些相鄰像素的光路樣本，我們可以以較低的采樣率獲得理想的渲染效果。但是光路復(fù)用算法有一些明顯的缺陷，一方面，在一些擁有大量鏡面和高光材料的場景中，光路復(fù)用的效率將會大大降低。另一方面，相鄰像素之間共享樣本的規(guī)則必須非常謹(jǐn)慎的選擇，在一些情況下會導(dǎo)致肉眼可見的人工痕跡，使得渲染結(jié)果非常不自然。從概念上，我們可以發(fā)現(xiàn)光路復(fù)用算法跟梯度域渲染有一些共通之處，光路復(fù)用通過共享樣本的方式引入了像素之間的相關(guān)性，而這種相關(guān)性在一般情況下會導(dǎo)致一些難以接受的人工痕跡。相反，梯度域渲染正需要利用樣本之間的相關(guān)性來獲得稀疏的梯度圖像。如果我們可以直接在梯度域進(jìn)行光路復(fù)用，相比原本的光路復(fù)用算法可以極大地避免強(qiáng)相關(guān)性帶來的人工痕跡，且光路復(fù)用的形式可以使得我們用更少的樣本渲染噪音較小的梯度圖像。因此，這篇研究工作將光路復(fù)用算法拓展到了梯度領(lǐng)域，在保留梯度域渲染的轉(zhuǎn)移函數(shù)生成偏移路徑的思路下對其進(jìn)行了擴(kuò)展。結(jié)果顯示，將這兩種算法結(jié)合可以很好地處理高光表面，得到非常自然且平滑的渲染效果。在復(fù)雜的場景中，這種方法還可以加速梯度圖像的蒙特卡洛光線追蹤的收斂速度，從而減少因?yàn)樘荻葓D像中的個(gè)別噪音導(dǎo)致的重構(gòu)后的圖像中有明顯的突兀人工痕跡的特點(diǎn)。梯度域渲染與圖像空間降噪以及神經(jīng)網(wǎng)絡(luò)結(jié)合圖像空間降噪以上提到的對蒙特卡洛光線追蹤進(jìn)行降噪和優(yōu)化的一些方法都是在光路空間進(jìn)行研究，改變光路空間的采樣方式，使得光路樣本對場景更具有適應(yīng)性。近年來，另一個(gè)流行的蒙特卡洛光線追蹤降噪的分支是圖像空間的降噪，也就是結(jié)合一些場景信息和特點(diǎn)直接對渲染后圖像的各個(gè)像素進(jìn)行降噪處理。由于圖像空間的降噪往往可以和路徑空間的降噪算法同時(shí)使用，也就是說，圖像空間的降噪可以看作是光線追蹤渲染的一個(gè)后處理算法，在渲染的過程中可以根據(jù)需要任意應(yīng)用一種合適的光路空間降噪算法，也就是采樣優(yōu)化算法，然后在用圖像空間的降噪器對整個(gè)圖片進(jìn)行降噪。 一些傳統(tǒng)的圖像空間降噪器通過人工構(gòu)造一個(gè)過濾器對圖像進(jìn)行一些平滑化的處理。而更高級的降噪器可以根據(jù)圖像特點(diǎn)或是場景特點(diǎn)適應(yīng)性地對每個(gè)像素選擇不同的過濾器。渲染中基于圖像的降噪和圖像處理中的自然圖片降噪有所不同的是，渲染降噪可以利用很多場景信息作為輔助。在經(jīng)典的圖像處理中，常見的過濾器例如雙邊過濾器，其原理是構(gòu)造一個(gè)過濾器使得離中心像素越近且顏色跟中心像素越接近的像素在重構(gòu)時(shí)對中心像素的貢獻(xiàn)權(quán)重越大，權(quán)重的具體形式如下：w這是一個(gè)高斯形式的過濾器，其中σs2和σr2是可以手動(dòng)設(shè)置的兩個(gè)參數(shù)p和q表示兩個(gè)像素的位置坐標(biāo)參數(shù)，經(jīng)典的基于回歸的降噪器NFORADDINEN.CITE<EndNote><Cite><Author>Bitterli</Author><Year>2016</Year><RecNum>17</RecNum><DisplayText>(Bitterlietal.,2016)</DisplayText><record><rec-number>17</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622370697">17</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>BenediktBitterli</author><author>FabriceRousselle</author><author>BochangMoon</author><author>JoséA.Iglesias-Guitián</author><author>DavidAdler</author><author>KennyMitchell</author><author>WojciechJarosz</author><author>JanNovák</author></authors></contributors><titles><title>Nonlinearlyweightedfirst-orderregressionfordenoisingMonteCarlorenderings</title><secondary-title>ComputerGraphicsForum(ProceedingsofEGSR)</secondary-title></titles><periodical><full-title>ComputerGraphicsForum(ProceedingsofEGSR)</full-title></periodical><pages>107-117</pages><volume>35</volume><dates><year>2016</year></dates><urls></urls></record></Cite></EndNote>(\o"Bitterli,2016#17"Bitterlietal.,2016)，也應(yīng)用了類似的思路，在渲染的過程中可以以很低的代價(jià)獲得一些跟場景信息有關(guān)的輔助特征，例如第一個(gè)交點(diǎn)的深度，法向量，反照率，等等。我們希望在降噪后的圖片中能夠達(dá)到渲染的圖片值與這些輔助特征中的值盡量正相關(guān)，那么我們可以構(gòu)造出一個(gè)基于這個(gè)原則的過濾器，使得過濾后的圖片的每個(gè)像素滿足，特征空間中中心像素與周圍像素越近，那么中心像素與此像素的顏色就應(yīng)該越相近。由此可以給出如下形式的一個(gè)像素域的降噪過濾器：c其中wx表示基于像素對應(yīng)的輔助特征向量過濾權(quán)重，其形式與(3.8)式中的wc這種根據(jù)輔助特征向量對渲染圖片進(jìn)行一階回歸的方法可以很好地與梯度域蒙特卡洛光線追蹤降噪進(jìn)行結(jié)合，因?yàn)槠渲幸部紤]到了對圖像的梯度進(jìn)行處理，在后面的章節(jié)中我們將描述如何將此降噪器與梯度域渲染相結(jié)合。神經(jīng)網(wǎng)絡(luò)降噪器除了傳統(tǒng)的回歸降噪器，由于近年來神經(jīng)網(wǎng)絡(luò)的方法在圖像處理領(lǐng)域得到了非常廣泛且成功的應(yīng)用，許多蒙特卡洛光線追蹤的降噪器也開始應(yīng)用神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像空間的降噪。一個(gè)經(jīng)典的例子是KPCN降噪器ADDINEN.CITE<EndNote><Cite><Author>Bako</Author><Year>2017</Year><RecNum>18</RecNum><DisplayText>(Bakoetal.,2017)</DisplayText><record><rec-number>18</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622374736">18</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>SteveBako</author><author>ThijsVogels</author><author>BrianMcwilliams</author><author>MarkMeyer</author><author>JanNováK</author><author>AlexHarvill</author><author>PradeepSen</author><author>TonyDerose</author><author>FabriceRousselle</author></authors></contributors><titles><title>Kernel-predictingconvolutionalnetworksfordenoisingMonteCarlorenderings</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article97</pages><volume>36</volume><number>4</number><keywords><keyword>MonteCarlorendering,MonteCarlodenoising,globalillumination</keyword></keywords><dates><year>2017</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3072959.3073708</url></related-urls></urls><electronic-resource-num>10.1145/3072959.3073708</electronic-resource-num></record></Cite></EndNote>(\o"Bako,2017#18"Bakoetal.,2017)。沿用了NFOR的思路，KPCN將輔助特征和有噪音的欠采樣的原圖一起作為神經(jīng)網(wǎng)絡(luò)的輸入，并輸出一個(gè)過濾器，這個(gè)過濾器儲存了每個(gè)像素對應(yīng)的一個(gè)n×n的矩陣，矩陣的元素對應(yīng)著中心像素周圍n×n個(gè)像素在重構(gòu)時(shí)對應(yīng)的權(quán)重值。神經(jīng)網(wǎng)絡(luò)的損失函數(shù)是重構(gòu)后的圖像與真值之間的L2誤差，真值是在構(gòu)造數(shù)據(jù)集是通過足夠的樣本量使用蒙特卡洛光線追蹤獲得的。也就是說，我們在擁有足夠的數(shù)據(jù)集的情況下，可以訓(xùn)練出一個(gè)神經(jīng)網(wǎng)絡(luò)，它可以根據(jù)提供場景信息的輔助向量以及原圖本身計(jì)算出一個(gè)能最大程度降低噪音并保持原圖結(jié)構(gòu)細(xì)節(jié)的過濾器作用在原圖上，這個(gè)過濾器針對每個(gè)像素的值是不同的，具有局部性。神經(jīng)網(wǎng)絡(luò)可以構(gòu)造一個(gè)非常強(qiáng)大的非線性模型，在圖片處理方面可以獲得非常好的效果。KPCN所使用的一個(gè)技巧是值得注意的，也就是考慮到場景中的物體材料有鏡面的成分也有粗糙的成分，渲染的圖片具有很高的動(dòng)態(tài)范圍，這會導(dǎo)致最終神經(jīng)網(wǎng)絡(luò)中的權(quán)重十分不穩(wěn)定。這兩種成分具有非常不同的噪音特征和空間特征，于是我們可以在利用蒙特卡洛光線追蹤進(jìn)行數(shù)據(jù)集的渲染時(shí)將粗糙的成分和鏡面的成分分別輸出，然后對兩種成分的圖像加上輔助特征利用兩條獨(dú)立的神經(jīng)網(wǎng)絡(luò)分別進(jìn)行訓(xùn)練。此外，對于兩種成分的不同特征可以做一些不同的預(yù)處理。鏡面成分對應(yīng)的像素顏色動(dòng)態(tài)范圍很高，因此可以對整張圖片像素顏色取對數(shù)再輸入神經(jīng)網(wǎng)絡(luò)。而對于粗糙成分，我們可以先整張圖除以反照率，使得圖片顏色更加平滑均勻，最終輸出的過濾器作用在除掉反照率的圖片上，最后再乘上反照率，這樣可以使得神經(jīng)網(wǎng)絡(luò)的任務(wù)簡化，同時(shí)又可以很好地保留場景中的紋理細(xì)節(jié)信息。這個(gè)技巧在之后的實(shí)驗(yàn)中也會涉及到。此后，有研究工作用樣本而不是圖片作為輸入利用神經(jīng)進(jìn)行降噪，將神經(jīng)網(wǎng)絡(luò)模型應(yīng)用到了樣本空間ADDINEN.CITE<EndNote><Cite><Author>Gharbi</Author><Year>2019</Year><RecNum>20</RecNum><DisplayText>(Gharbi,Li,Aittala,Lehtinen,&Durand,2019)</DisplayText><record><rec-number>20</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622385924">20</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Micha?lGharbi</author><author>Tzu-MaoLi</author><author>MiikaAittala</author><author>JaakkoLehtinen</author><author>FrédoDurand</author></authors></contributors><titles><title>Sample-basedMonteCarlodenoisingusingakernel-splattingnetwork</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article125</pages><volume>38</volume><number>4</number><keywords><keyword>MonteCarlodenoising,deeplearning,data-drivenmethods,convolutionalneuralnetworks</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3306346.3322954</url></related-urls></urls><electronic-resource-num>10.1145/3306346.3322954</electronic-resource-num></record></Cite></EndNote>(\o"Gharbi,2019#20"Gharbi,Li,Aittala,Lehtinen,&Durand,2019)。另外還有相關(guān)工作將生成對抗網(wǎng)絡(luò)（GAN）應(yīng)用到蒙特卡洛光線追蹤的降噪中ADDINEN.CITE<EndNote><Cite><Author>Xu</Author><Year>2019</Year><RecNum>19</RecNum><DisplayText>(Xuetal.,2019)</DisplayText><record><rec-number>19</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622385914">19</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>BingXu</author><author>JunfeiZhang</author><author>RuiWang</author><author>KunXu</author><author>Yong-LiangYang</author><author>ChuanLi</author><author>RuiTang</author></authors></contributors><titles><title>AdversarialMonteCarlodenoisingwithconditionedauxiliaryfeaturemodulation</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article224</pages><volume>38</volume><number>6</number><keywords><keyword>featuremodulation,adversariallearning,MonteCarlodenoising,pathtracing</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3355089.3356547</url></related-urls></urls><electronic-resource-num>10.1145/3355089.3356547</electronic-resource-num></record></Cite></EndNote>(\o"Xu,2019#19"Xuetal.,2019)，將利用輔助特征進(jìn)行降噪的問題視為條件性的圖像生成問題，由此可以更充分地利用輔助特征的信息，并可以以更大的自由度通過神經(jīng)網(wǎng)絡(luò)解決降噪問題。神經(jīng)網(wǎng)絡(luò)降噪與梯度域渲染的結(jié)合總體上看，神經(jīng)網(wǎng)絡(luò)的方法非常直接，并不需要給出從原圖到降噪后的圖像之間的映射的解析形式，只需要給出神經(jīng)網(wǎng)絡(luò)的輸入和輸出，在數(shù)據(jù)集足夠大的情況下便可以獲得一個(gè)很好的降噪器模型。根據(jù)這個(gè)思路，一些研究工作將梯度域的渲染結(jié)合到神經(jīng)網(wǎng)絡(luò)降噪器中。ADDINEN.CITE<EndNote><Cite><Author>Kettunen</Author><Year>2019</Year><RecNum>22</RecNum><DisplayText>(Kettunen,H?rk?nen,&Lehtinen,2019)</DisplayText><record><rec-number>22</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622388454">22</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MarkusKettunen</author><author>ErikH?rk?nen</author><author>JaakkoLehtinen</author></authors></contributors><titles><title>Deepconvolutionalreconstructionforgradient-domainrendering</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article126</pages><volume>38</volume><number>4</number><keywords><keyword>screenedpoisson,gradient-domainreconstruction,raytracing,gradient-domainrendering</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3306346.3323038</url></related-urls></urls><electronic-resource-num>10.1145/3306346.3323038</electronic-resource-num></record></Cite></EndNote>(\o"Kettunen,2019#22"Kettunen,H?rk?nen,&Lehtinen,2019)直接將梯度圖像作為輔助特征的其中幾個(gè)通道。這篇工作采用了有監(jiān)督學(xué)習(xí)的方式，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)采用了經(jīng)典的U-net，如圖3-2所示。網(wǎng)絡(luò)的輸入是一個(gè)16通道的圖像，其中包括有噪音的原圖3個(gè)通道，x和y方向的梯度分別3個(gè)通道，另外還有包括深度、反照率、法向量在內(nèi)的7個(gè)輔助特征通道，網(wǎng)絡(luò)的輸出直接是降噪后的RGB圖像。這個(gè)方法非常簡單直接地將梯度域渲染算法應(yīng)用到神經(jīng)網(wǎng)絡(luò)降噪器中，其可解釋性并不強(qiáng)，且丟失了梯度域渲染中梯度圖片本來的一些特征，而僅僅將其作為一個(gè)輔助特征加入到神經(jīng)網(wǎng)絡(luò)的輸入中。圖STYLEREF1\s3SEQ圖\*ARABIC\s12網(wǎng)絡(luò)結(jié)構(gòu)圖示ADDINEN.CITE<EndNote><Cite><Author>Kettunen</Author><Year>2019</Year><RecNum>22</RecNum><DisplayText>(Kettunenetal.,2019)</DisplayText><record><rec-number>22</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622388454">22</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MarkusKettunen</author><author>ErikH?rk?nen</author><author>JaakkoLehtinen</author></authors></contributors><titles><title>Deepconvolutionalreconstructionforgradient-domainrendering</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article126</pages><volume>38</volume><number>4</number><keywords><keyword>screenedpoisson,gradient-domainreconstruction,raytracing,gradient-domainrendering</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3306346.3323038</url></related-urls></urls><electronic-resource-num>10.1145/3306346.3323038</electronic-resource-num></record></Cite></EndNote>(\o"Kettunen,2019#22"Kettunenetal.,2019)目前梯度域渲染與神經(jīng)網(wǎng)絡(luò)結(jié)合的最優(yōu)降噪器是Gradnet降噪器ADDINEN.CITE<EndNote><Cite><Author>Guo</Author><Year>2019</Year><RecNum>21</RecNum><DisplayText>(Guoetal.,2019)</DisplayText><record><rec-number>21</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622388447">21</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JieGuo</author><author>MengtianLi</author><author>QueweiLi</author><author>YutingQiang</author><author>BingyangHu</author><author>YanwenGuo</author><author>Ling-QiYan</author></authors></contributors><titles><title>GradNet:unsuperviseddeepscreenedpoissonreconstructionforgradient-domainrendering</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article223</pages><volume>38</volume><number>6</number><keywords><keyword>imagereconstruction,deeplearn