第梯度域渲染的幾個重要算法的實現(xiàn)案例目錄TOC\o"1-3"\h\u21950梯度域渲染的幾個重要算法的實現(xiàn)案例 1318681.1Mitsuba渲染器 1214301.2梯度域蒙特卡洛光線追蹤的實現(xiàn) 2186471.2.1梯度域渲染實現(xiàn)細(xì)節(jié) 285671.3Poisson重構(gòu)的實現(xiàn) 5138871.4Gradnet的實現(xiàn) 62009第2章算法改進與討論 10244242.1依據(jù)反照率進行預(yù)處理 10161512.2Gradnet神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)討論 11Mitsuba渲染器Mitsuba是一個科研領(lǐng)域非常常用的開源渲染器ADDINEN.CITE<EndNote><Cite><Author>Nimier-David</Author><Year>2019</Year><RecNum>23</RecNum><DisplayText>(Nimier-David,Vicini,Zeltner,&Jakob,2019)</DisplayText><record><rec-number>23</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622408090">23</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>MerlinNimier-David</author><author>DelioVicini</author><author>TizianZeltner</author><author>WenzelJakob</author></authors></contributors><titles><title>Mitsuba2:aretargetableforwardandinverserenderer</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article203</pages><volume>38</volume><number>6</number><keywords><keyword>SIMD,raytracing,differentiablerendering,globalillumination</keyword></keywords><dates><year>2019</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3355089.3356498</url></related-urls></urls><electronic-resource-num>10.1145/3355089.3356498</electronic-resource-num></record></Cite></EndNote>(\o"Nimier-David,2019#23"Nimier-David,Vicini,Zeltner,&Jakob,2019)，它是使用C++語言實現(xiàn)的，同時也支持GPU渲染。Mitsuba內(nèi)部實現(xiàn)了多種光線追蹤算飯及其加速算法，可以滿足大部分科研需求。相較于其他開源渲染器，Mitsuba實現(xiàn)了許多前沿的實驗性的渲染算法，例如Metropolis光線傳輸算法，以及前沿的體積渲染算法。因此，Mitsuba非常適合于想對渲染算法進行優(yōu)化嘗試的科研工作。另一方面，Mitsuba的高度模塊化使得它可以非常容易修改，使用者可以編寫各種材質(zhì)，積分器等等插件，在Mitsuba的框架基礎(chǔ)上進行優(yōu)化嘗試以及個性化的設(shè)計。Mitsuba對很多主流的渲染算法的實現(xiàn)都具有簡潔、高效的特點。且很多渲染算法在使用過程中都可以進行高自由度的設(shè)置和修改。同時，Mitsuba提供一個高質(zhì)量的、種類繁多的材質(zhì)庫，其中包含許多基于物理的真實感BSSRDF模型，同時，這些模型對大部分的渲染算法都具有很好的兼容性和靈活性，這使得Mitsuba的使用價值也非常高?；谝陨厦枋龅膸讉€特點，我們在實驗中采用Mitsuba作為算法實現(xiàn)的框架，通過編寫基于Mitsuba的渲染器插件或者Mitsuba中已有的渲染器來進行實驗。梯度域蒙特卡洛光線追蹤的實現(xiàn)梯度域渲染實現(xiàn)細(xì)節(jié)實驗的第一步也是實驗的基礎(chǔ)是實現(xiàn)一個可以直接渲染梯度圖像的蒙特卡洛光線追蹤渲染器。其重點是要實現(xiàn)根據(jù)基礎(chǔ)光路生成周圍像素的偏移光路的策略，也就是轉(zhuǎn)移函數(shù)Tδx,δyx。首先需要用常規(guī)的蒙特卡洛光線追蹤采樣方法得到一條基礎(chǔ)光路x，然后將x的信息記錄下來，接下來需要根據(jù)選定的轉(zhuǎn)移函數(shù)的偏移策略構(gòu)造出經(jīng)過周圍上下左右像素的與基礎(chǔ)光路相似的偏移光路，每次獲得偏移光路我們都將其對應(yīng)的顏色值作為相鄰像素的顏色值的粗糙估計的一個樣本記錄下來，同時計算它與基礎(chǔ)光路顏色值的差，作為基礎(chǔ)光路的像素對應(yīng)的梯度值的一個樣本，這樣便可以同時獲得梯度圖像和粗糙的原圖圖像。我們所采用的實現(xiàn)方式與梯度域的Metropolis光線傳輸ADDINEN.CITE<EndNote><Cite><Author>Lehtinen</Author><Year>2013</Year><RecNum>3</RecNum><DisplayText>(Lehtinenetal.,2013)</DisplayText><record><rec-number>3</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198638">3</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JaakkoLehtinen</author><author>TeroKarras</author><author>SamuliLaine</author><author>MiikaAittala</author><author>FrédoDurand</author><author>TimoAila</author></authors></contributors><titles><title>Gradient-domainmetropolislighttransport</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article95</pages><volume>32</volume><number>4</number><keywords><keyword>lighttransport,metropolis,globalillumination</keyword></keywords><dates><year>2013</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2461912.2461943</url></related-urls></urls><electronic-resource-num>10.1145/2461912.2461943</electronic-resource-num></record></Cite></EndNote>(\o"Lehtinen,2013#3"Lehtinenetal.,2013)這一研究工作中提到的策略是一致的。具體地，給定一條基礎(chǔ)光路x，那么確定性的偏移光路T(x相機位置對應(yīng)的節(jié)點x0一段鏡面子光路Se=x一段可能存在的第二段鏡面子光路Sm=x剩下的后綴子光路xc圖STYLEREF1\s4SEQ圖\*ARABIC\s11梯度域渲染偏移策略圖示ADDINEN.CITE<EndNote><Cite><Author>Lehtinen</Author><Year>2013</Year><RecNum>3</RecNum><DisplayText>(Lehtinenetal.,2013)</DisplayText><record><rec-number>3</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622198638">3</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>JaakkoLehtinen</author><author>TeroKarras</author><author>SamuliLaine</author><author>MiikaAittala</author><author>FrédoDurand</author><author>TimoAila</author></authors></contributors><titles><title>Gradient-domainmetropolislighttransport</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article95</pages><volume>32</volume><number>4</number><keywords><keyword>lighttransport,metropolis,globalillumination</keyword></keywords><dates><year>2013</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/2461912.2461943</url></related-urls></urls><electronic-resource-num>10.1145/2461912.2461943</electronic-resource-num></record></Cite></EndNote>(\o"Lehtinen,2013#3"Lehtinenetal.,2013)從圖4-1可以更直觀地看出這個偏移策略的含義，簡單來說，也就是在鏡面表面上的節(jié)點按照鏡面反射或者投射的規(guī)則進行，在非鏡面的情況下，盡量使得偏移光路與基礎(chǔ)光路重合。通過這樣的策略，可以最大程度地獲得與基礎(chǔ)路徑相似的偏移路徑，使得兩條路徑具有很強的相關(guān)性。當(dāng)然，這個偏移策略并不適用于所有的情況，在無法找到滿足上述條件的偏移路徑的情況下，就應(yīng)該選擇丟棄這條基礎(chǔ)路徑。 我們在Mitsuba中的Pathtracer積分器的基礎(chǔ)上實現(xiàn)了這個梯度域的采樣算法，可以成功地渲染出梯度圖像和粗糙的原圖，在測試場景上的渲染的結(jié)果如下面幾張圖所示：圖STYLEREF1\s4SEQ圖\*ARABIC\s12x方向梯度圖STYLEREF1\s4SEQ圖\*ARABIC\s13y方向梯度圖STYLEREF1\s4SEQ圖\*ARABIC\s14粗糙原圖渲染中所設(shè)置的采樣數(shù)是64spp。此測試場景具有一定的特殊性，可以看到，場景的光源在房間半開的門背后，因此，大部分情況下采樣到的光路都會被門所遮擋而對最終像素顏色幾乎沒有貢獻(xiàn)。再加上采樣數(shù)較少，最終渲染得到的無論是梯度圖像還是原圖都有很大的噪音?？梢钥吹剑谔荻葓D像中，即便是本應(yīng)該很光滑的墻面上仍然存在很多早點，可以預(yù)測，這些早點對后續(xù)的重構(gòu)工作來說是一個非常大的挑戰(zhàn)。另外，在一些邊界的區(qū)域，例如地板的紋理以及們的邊框處，梯度信息被很好地捕捉到了，結(jié)合我們之前討論的梯度圖像能在重構(gòu)的過程中對高頻信息提供很好的指導(dǎo)，這些邊界處的信息可能會非常清晰地體現(xiàn)在降噪后的圖像中。桌子上的幾個茶壺的材質(zhì)各不相同，其中有兩個茶壺分別是鏡面反射和鏡面透射的材質(zhì)，因此，此場景的難度和多樣性可以作為測試梯度域渲染算法一個很好的例子。得到這三張圖片后，我們可以根據(jù)(3.7)式進行Poisson重構(gòu)，得到降噪后的圖像。Poisson重構(gòu)的實現(xiàn)在圖像處理領(lǐng)域，Poisson重構(gòu)是一個非常經(jīng)典且常用的數(shù)學(xué)方法，用傳統(tǒng)的迭代法實現(xiàn)Poisson重構(gòu)已經(jīng)非常成熟。因此這一部分的實現(xiàn)非常直接，通過Poisson重構(gòu)，我們得到的降噪后的圖像如圖4-5所示：圖STYLEREF1\s4SEQ圖\*ARABIC\s15Poisson重構(gòu)降噪后的圖像可以看到，梯度域渲染算法的降噪效果十分顯著。在墻這類本應(yīng)該十分平滑的區(qū)域，重構(gòu)后的圖像在將原圖平滑化的同時，也保留了高亮度區(qū)域附近的精細(xì)的漸變效果。在門和地板這類有紋理的平整表面，在粗糙的原圖中紋理幾乎難以辨認(rèn)，而在降噪后的圖像中紋理細(xì)節(jié)以及高頻信息得到了很好的保留。對于兩個鏡面材料的茶壺，在原圖中幾乎難以辨認(rèn)茶壺的輪廓，高光細(xì)節(jié)和透射的顏色更是十分模糊，而在重構(gòu)后的圖像中這些細(xì)節(jié)都被還原了出來。但降噪結(jié)果中的局限性和缺點也十分明顯：在一些幾何不連續(xù)的邊界處，例如墻角，茶壺和桌面的接觸處，可以看到十分明顯的人工痕跡和噪點存在。這些情況也就是之前提得到奇點。在這些點附近梯度渲染算法中給出的偏移路徑生成策略并不能很好地處理，最終呈現(xiàn)在梯度圖像中的信息量十分匱乏。另外，即便是在較為平整的區(qū)域，由于之前提到的原因?qū)е绿荻葓D像本身噪音很大，那么以梯度圖像為指導(dǎo)重構(gòu)出來的圖像無法避免地存在很多肉眼可見的噪點。在后面的小節(jié)中我們將嘗試用其他方法或者討論優(yōu)化這些缺點的可能性。Gradnet的實現(xiàn)在實現(xiàn)了梯度渲染的基礎(chǔ)上，我們可以代替?zhèn)鹘y(tǒng)的Poisson重構(gòu)用神經(jīng)網(wǎng)略進行重構(gòu)過程。在之前的章節(jié)中我們討論了梯度域渲染與神經(jīng)網(wǎng)絡(luò)結(jié)合的一篇相關(guān)工作Gradnet的算法細(xì)節(jié)，根據(jù)(3.11)到（3.18）式描述的損失函數(shù)的形式，一階網(wǎng)絡(luò)的損失函數(shù)，以及預(yù)處理、后處理的方法，我們可以很容易實現(xiàn)一個基于Pytorch的神經(jīng)網(wǎng)絡(luò)框架。為了更加直觀地給出Gradnet的實現(xiàn)細(xì)節(jié)，圖4-6給出了Gradnet的網(wǎng)絡(luò)框架圖示：圖STYLEREF1\s4SEQ圖\*ARABIC\s16Gradnet網(wǎng)絡(luò)結(jié)構(gòu)圖示從圖中可以看到，Gradnet采用了經(jīng)典的U-net結(jié)構(gòu)，整個網(wǎng)絡(luò)氛圍兩個分支，一個分支是一階損失分支，用來計算(3.15)式中所定義的一階損失函數(shù)中的未知梯度項G，這個分支以粗糙原圖，梯度圖像，輔助特征作為輸入，以G作為輸出；另一個分支便是通過梯度圖像和粗糙的原圖重構(gòu)出降噪后的圖像的主要分支，這個分支在一開始又分為兩個子分支，分別是梯度分支和數(shù)據(jù)分支。其中梯度分支以梯度圖像作為輸入，可以先對梯度圖像進行一定的預(yù)處理，減小離群像素對最終重構(gòu)結(jié)果的影響；數(shù)據(jù)分支以粗糙的原圖和輔助特征作為輸入，可以先根據(jù)輔助特征對原圖進行一定程度上的預(yù)降噪。之后再將兩個分支進行合并，綜合考慮兩個分支的約束，最后根據(jù)(3.17)式提供的損失函數(shù)計算損失。 在進行網(wǎng)絡(luò)的訓(xùn)練之前，我們利用之前實現(xiàn)的基于Mitsuba的梯度渲染器構(gòu)造數(shù)據(jù)集。其中，我們以之前的客廳場景為例給出輔助特征，也就是深度，法向量，反照率的一些例子，直觀地通過圖片給出輔助特征所提供的信息，如下圖所示：圖STYLEREF1\s4SEQ圖\*ARABIC\s17法向量示例圖STYLEREF1\s4SEQ圖\*ARABIC\s18深度示例圖STYLEREF1\s4SEQ圖\*ARABIC\s19反照率示例可以看到，法向量可以提供光路第一個交點附近局部的幾何信息；深度圖可以提供整體的場景尺度信息；而反照率可以提供物體表面的紋理、顏色信息。這些信息在重構(gòu)的過程中都可以起到非常好的指導(dǎo)作用。 我們用另外一些場景來展示Gradnet的降噪效果：圖STYLEREF1\s4SEQ圖\*ARABIC\s110Gradnet降噪效果示例1圖STYLEREF1\s4SEQ圖\*ARABIC\s111Gradnet降噪效果示例2圖STYLEREF1\s4SEQ圖\*ARABIC\s112Gradnet降噪效果示例3從結(jié)果中可以看到，Gradnet相比起傳統(tǒng)的Poisson重構(gòu)，得到的降噪后的圖像可以更加的平滑，在一些幾何邊界處也不存在明顯的人工痕跡，相比之下有效果很大的提升。但另一方面，可以看到Gradnet傾向于使得某些表面的顏色過于平滑，以至于由陰影產(chǎn)生的一些高頻結(jié)構(gòu)在重構(gòu)后的圖像中被弱化了，如圖4-12。另外，一些比較尖銳的紋理效果，如圖4-10，也在重構(gòu)后的圖像中被過模糊了。 同時，我們在之前所展示的客廳場景中進行測試。我們選取一個特殊的相機角度使得場景的關(guān)注點聚焦在桌上的鏡面透射茶壺上，由于鏡面透射的情況比較復(fù)雜，我們通過這個例子可以從細(xì)節(jié)上觀察Gradnet的局限性。如圖4-13所示，輸入圖像的噪音非常嚴(yán)重，桌面和門的紋理幾乎難以辨認(rèn)，光滑的墻面上也分布著大量噪點。Gradnet降噪器對所有第一個與場景焦點在茶壺上的像素進行了過度的平滑化處理，尤其是在茶壺的邊緣處，折射的效果被淡化了。另外，光路透過茶壺的交點處墻邊和桌面的顏色也沒有被很好地還原出來。門楣附近由軟陰影形成的顏色漸變效果也沒有在降噪后的圖像當(dāng)中體現(xiàn)出來。圖STYLEREF1\s4SEQ圖\*ARABIC\s113Gradnet降噪效果示例4 可見，對于梯度圖像和原圖噪音過大的情況，Gradnet的降噪效果非常不理想,出現(xiàn)了很多顏色偏差、細(xì)節(jié)丟失、邊緣模糊的痕跡。由此可見，基于神經(jīng)網(wǎng)絡(luò)的梯度域渲染還有很大有待改進的空間。算法改進與討論從上一章節(jié)的實驗結(jié)果可以看出，梯度域的渲染還有很多局限性以及需要優(yōu)化的方面。首先便是復(fù)雜場景或是低采樣數(shù)的情況下，梯度圖像和原圖的噪音過于嚴(yán)重，尤其是在幾何不連續(xù)處，這導(dǎo)致重構(gòu)后的圖像仍然受梯度圖像中大量離群像素的影響而有很多人工痕跡。Gradnet通過對輔助特征的充分利用以及神經(jīng)網(wǎng)絡(luò)的應(yīng)用可以獲得非常平滑的結(jié)果，但卻往往會丟失很多細(xì)節(jié)信息?；谝陨弦恍┕獠?，我們提出一些可能的優(yōu)化方向并進行討論和實驗。依據(jù)反照率進行預(yù)處理受到KPCNADDINEN.CITE<EndNote><Cite><Author>Bako</Author><Year>2017</Year><RecNum>18</RecNum><DisplayText>(Bakoetal.,2017)</DisplayText><record><rec-number>18</rec-number><foreign-keys><keyapp="EN"db-id="92zvwr5wz200vjeer075twayxpwexad9t2e5"timestamp="1622374736">18</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>SteveBako</author><author>ThijsVogels</author><author>BrianMcwilliams</author><author>MarkMeyer</author><author>JanNováK</author><author>AlexHarvill</author><author>PradeepSen</author><author>TonyDerose</author><author>FabriceRousselle</author></authors></contributors><titles><title>Kernel-predictingconvolutionalnetworksfordenoisingMonteCarlorenderings</title><secondary-title>ACMTrans.Graph.</secondary-title></titles><periodical><full-title>ACMTrans.Graph.</full-title></periodical><pages>Article97</pages><volume>36</volume><number>4</number><keywords><keyword>MonteCarlorendering,MonteCarlodenoising,globalillumination</keyword></keywords><dates><year>2017</year></dates><isbn>0730-0301</isbn><urls><related-urls><url>/10.1145/3072959.3073708</url></related-