計(jì)算機(jī)圖形學(xué)第八章計(jì)算攝像供《現(xiàn)代計(jì)算機(jī)圖形學(xué)基礎(chǔ)》配套使用1提綱1.攝像的發(fā)展2.數(shù)碼成像3.計(jì)算成像4.計(jì)算光場成像5.計(jì)算光譜成像6.實(shí)際中的計(jì)算攝像21.1歷史發(fā)展攝像起源于戰(zhàn)國時(shí)期的小孔成像，隨著光學(xué)系統(tǒng)、成像介質(zhì)等的發(fā)展，攝像技術(shù)也產(chǎn)生了巨大的變革3戰(zhàn)國時(shí)期十五世紀(jì)1822年1888年1969年2000年小孔成像暗箱寫生銀版照相膠卷相機(jī)數(shù)碼相機(jī)手機(jī)拍攝小孔成像暗箱寫生銀版照相膠卷相機(jī)數(shù)碼相機(jī)手機(jī)拍攝光場相機(jī)光學(xué)小孔小孔凸透鏡鏡頭組鏡頭組微鏡頭組微鏡頭陣列介質(zhì)光屏紙張金屬膠卷CCDCMOSCCD對焦滑動(dòng)標(biāo)尺拉箱拉箱手動(dòng)馬達(dá)馬達(dá)馬達(dá)2011年光場相機(jī)1.1歷史發(fā)展1.1.1小孔成像戰(zhàn)國初期，墨子（公元前468年-公元前376年）和弟子們完成了世界上第一個(gè)小孔成像的實(shí)驗(yàn)，并記錄在《墨經(jīng)》中：“景到，在午有端，與景長。說在端”。41.1歷史發(fā)展1.1.2暗箱寫生十五世紀(jì)末期，根據(jù)小孔成像原理制作了暗箱（CameraObscure），成為照相機(jī)的雛形。利用這種工具，只要用鉛筆將影像反射在畫紙的，描繪出輪廓，再著色即可完成一幅很有真實(shí)感的完全符合真實(shí)比例的畫像。51.1歷史發(fā)展1.1.3銀版照相1822年，法國的涅普斯在感光材料上制出了世界上第一張照片。1838年，法國物理學(xué)家達(dá)蓋爾發(fā)明蓋爾的銀版照相法，是利用鍍有碘化銀的鋼板在暗箱里曝光，然后以水銀蒸汽顯影，再以普通食鹽定影。61.1歷史發(fā)展1.1.4膠卷照相1888年，美國柯達(dá)公司發(fā)明了一種柔軟、可卷繞的新型感光材料--“膠卷”。同年，柯達(dá)公司發(fā)明了世界上第一臺(tái)安裝膠卷的可攜式方箱照相機(jī)--KodakNo.1。71.1歷史發(fā)展1.1.5數(shù)碼照相1969年，CCD芯片作為相機(jī)感光材料在美國的阿波羅登月飛船上搭載的照相機(jī)中得到應(yīng)用，開啟了數(shù)碼照相的先河。1981年，索尼公司推出第一款面向公眾的數(shù)碼相機(jī)Mavica。8SonyMavica1.1歷史發(fā)展1.1.6手機(jī)照相2000年，夏普發(fā)布了內(nèi)置11萬像素CCD攝像頭的J-SH04手機(jī)，是世界第一款照相手機(jī)。2003年，夏普發(fā)布并J-SH53手機(jī)，可拍攝最大1144×858像素的照片，成為世界上第一款百萬像素照相手機(jī)。9J-SH04J-SH531.2成像原理光學(xué)成像并通過感光介質(zhì)記錄光學(xué)原理直線傳播折射、衍射…感光介質(zhì)膠卷CCDCMOS…10CCDCMOS1.2成像原理光學(xué)成像并通過感光介質(zhì)記錄為什么不直接使用感光介質(zhì)記錄光？11介質(zhì)上每一點(diǎn)記錄物體上所有點(diǎn)的信息。介質(zhì)上每一點(diǎn)的顏色相同。1.2成像原理1.2.1小孔成像原理可見光成像直線傳播特點(diǎn)沒有幾何扭曲直線保持直線無限景深每一點(diǎn)在焦點(diǎn)上121.2成像原理1.2.1小孔成像小孔徑產(chǎn)生衍射模糊亮度低大孔徑產(chǎn)生幾何馬賽克模糊光斑131.2成像原理1.2.1小孔成像14大孔徑幾何模糊小孔徑衍射模糊最優(yōu)孔徑亮度低1.2成像原理1.2.2透鏡成像可見光成像折射增加了成像光

線強(qiáng)度，同時(shí)

避免幾何模糊151.2成像原理1.2.2透鏡成像斯涅耳定律（Snell’slaw）光從一種介質(zhì)進(jìn)入另一種介質(zhì)，由于

傳播速度的不同，在介質(zhì)表面發(fā)生光

的折射，其折射率與入射角、折射角

滿足如下關(guān)系：161.2成像原理1.2.2透鏡成像光線折射折射率空氣1、水1.33、玻璃1.5-1.8從空氣進(jìn)入玻璃，光線朝法向彎曲從玻璃進(jìn)入空氣，光線遠(yuǎn)離法向垂直入射不改變光線方向171.2成像原理1.2.2透鏡成像雙曲透鏡：將平行光線匯聚到一點(diǎn)的理想透鏡

（費(fèi)馬原理：光線傳播的路徑是需時(shí)最少的路徑）加工困難18平行光線：平面波匯聚光線：球面波1.2成像原理1.2.2透鏡成像球面透鏡：加工簡單，但存在球差現(xiàn)象（Sphericalaberration）19計(jì)算機(jī)控制拋光1.2成像原理1.2.2透鏡成像單個(gè)球面：近軸逼近（paraxialapproximation）或稱為一階光學(xué)（first-orderoptics）20計(jì)算物體空間P點(diǎn)在成像空間的位置P’點(diǎn)?1.2成像原理1.2.2透鏡成像21斯涅耳定律泰勒逼近近軸逼近1.2成像原理1.2.2透鏡成像22軸聚焦：P點(diǎn)發(fā)出的所有光線匯聚P’點(diǎn)1.2成像原理1.2.2透鏡成像23焦距（focallength）：1.2成像原理1.2.2透鏡成像透鏡公式（Lensmaker’sformula）兩個(gè)球面相交構(gòu)成薄透鏡（），物距so和像距si滿足:241.2成像原理1.2.2透鏡成像高斯公式（Gaussianlensformula）物距so、像距si和焦距fi滿足：不同遠(yuǎn)近的物體成像需要調(diào)整鏡頭到介質(zhì)的距離251.2成像原理1.2.2透鏡成像高斯光路平行于光軸的光線經(jīng)過透鏡

后匯聚到焦點(diǎn)經(jīng)過透鏡中心的光線不發(fā)生

改變來自于平行透鏡的平面的光

線聚焦在平行于透鏡的另一

個(gè)平面261.2成像原理1.2.2透鏡成像假設(shè)感光介質(zhì)尺寸固定，視場（fieldofvision）和焦距成反比271.2成像原理1.2.2透鏡成像假設(shè)感光介質(zhì)尺寸固定，視場（fieldofvision）和焦距成反比281.2成像原理1.2.2透鏡成像視場（fieldofvision）與感光介質(zhì)尺寸成正比29APS-C14.8x22.2mmCannonDSLR24x36mm1.2成像原理1.2.3實(shí)際相機(jī)透鏡系統(tǒng)由一系列的透鏡組合而成，最大限度地降低像差、色差等。30Vivitarseries190mmf/2.51.3透鏡成像參數(shù)1.3.1曝光（Exposure）曝光=輻照度×曝光時(shí)間輻照度（Irradiance，E）光圈控制曝光時(shí)間（T）快門控制311.3透鏡成像參數(shù)1.3.2光圈（Aperture）用來控制光線透過鏡頭、進(jìn)入機(jī)身內(nèi)感光介質(zhì)通光量的孔狀光柵。光圈數(shù)（aperturenumber）：32孔徑1.3透鏡成像參數(shù)1.3.2光圈（Aperture）感光介質(zhì)表面接收的輻照度影像成像效果與孔徑大小成正比與光圈數(shù)成反比最小光圈數(shù)普通相機(jī)：f/0.5單反相機(jī)：f/1.033CannonEOSf/1.01.3透鏡成像參數(shù)1.3.3快門（Shutter）葉片式快門（Leafshutter，鏡間快門）安靜速度慢（最快1/500秒）逐個(gè)透鏡設(shè)置焦平面式快門（Focal-planeshutter）聲音大速度快（最快1/4000秒）運(yùn)動(dòng)扭曲341.3透鏡成像參數(shù)1.3.3快門（Shutter）快門速度：控制感光介質(zhì)曝光時(shí)間單位：1秒的比例1/2000、1/1000、…、1/250、…控制技巧最短曝光時(shí)間1/f例如焦距500mm的透鏡，快門速度控制在1/500秒351.3透鏡成像參數(shù)1.3.4景深（depthoffield，DoF）彌散圓（circleofconfusion）：物點(diǎn)成像時(shí)由于不能匯聚到一點(diǎn)而產(chǎn)生的圓形投影。361.3透鏡成像參數(shù)1.3.4景深（depthoffield，DoF）在焦點(diǎn)前后容許彌散圓范圍內(nèi)的景物的深度。彌散圓越小，成像越銳利，反之越虛。37N:光圈數(shù)f：焦距so：物距c：彌散圓直徑so前景深后景深1.3透鏡成像參數(shù)1.3.4景深（depthoffield，DoF）景深與光圈的反比關(guān)系：在容許彌散圓大小下，光圈越大，景深越??；光圈越小，景深越大。38大光圈小光圈1.3透鏡成像參數(shù)1.3.4景深（depthoffield，DoF）景深與焦距的反比關(guān)系：鏡頭焦距越長，景深越??；焦距越短，景深越大。39短焦鏡頭長焦鏡頭1.3透鏡成像參數(shù)1.3.4景深（depthoffield，DoF）景深與物距的正比關(guān)系：距離越遠(yuǎn)，景深越大；距離越近，景深越小。40靠近對象遠(yuǎn)離對象提綱1.攝像的發(fā)展2.數(shù)碼成像3.計(jì)算成像4.計(jì)算光場成像5.計(jì)算光譜成像6.實(shí)際中的計(jì)算攝像412.1成像過程數(shù)碼相機(jī)Digitalstillcamera（DSC或DC），利用電子傳感器把光學(xué)影像轉(zhuǎn)換成電子數(shù)據(jù)的照相機(jī)。42CCD\CMOSImagesignalprocessor2.1成像過程數(shù)碼相機(jī)CCD（電荷耦合器件）：通過布置微小光敏物質(zhì)作為像素（Pixel）一種半導(dǎo)體器件，能夠把光學(xué)影像轉(zhuǎn)化為電信號(hào)。點(diǎn)陣式體積小、重量輕響應(yīng)快、圖像畸變小靈敏度高常用于數(shù)碼照相機(jī)、數(shù)碼攝像機(jī)432.1成像過程數(shù)碼相機(jī)CMOS（互補(bǔ)型金屬氧化物半導(dǎo)體）：通過外界光照射像素陣列，發(fā)生光電效應(yīng)，在像素單元內(nèi)產(chǎn)生相應(yīng)的電荷把光學(xué)影像轉(zhuǎn)化為電信號(hào)。成本低、價(jià)格便宜功耗小噪音大常用于網(wǎng)絡(luò)攝像頭、視頻監(jiān)控442.1成像過程數(shù)碼相機(jī)ISP（圖像信號(hào)處理器）：對前端傳感介質(zhì)輸出信號(hào)處理的單元，很大程度上決定了成像質(zhì)量。45傳感器ADCISP存儲(chǔ)去馬賽克3A調(diào)整白平衡去噪/銳化壓縮…2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）物理上，CCD只會(huì)感應(yīng)光的強(qiáng)度，而無法區(qū)分不同的顏色。采用色分離技術(shù)獲取顏色（R/G/B）濾光片3CCD單CCD濾色鏡46濾光片3CCD單CCD濾色鏡2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）單CCD彩色濾波陣列（CFA：colorfilterarray）拜耳（Bayer）濾波器47拜耳模式綠色2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）48去馬賽克前去馬賽克后2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）線性插值（4鄰域均值）非線性核函數(shù)雙三次插值49線性插值2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）插值存在的問題偽彩色（colorfringes）：RGB不在相同的空間位置，從而在黑白邊界處由于缺少某個(gè)顏色而產(chǎn)生偽彩色50拜耳去馬賽克3CCD成像拍攝對象拜耳圖像去馬賽克2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）插值存在的問題摩爾紋（moire）：兩個(gè)頻率接近的等幅正弦波疊加而產(chǎn)生的干涉條紋512.2ISP圖像處理2.2.1去馬賽克（Demosaicing）插值存在的問題解決方案：色度空間低通濾波52去馬賽克：簡單插值拜耳模式RGB轉(zhuǎn)換為YCbCr顏色空間對Cb和Cr通道中值濾波YCbCr轉(zhuǎn)換為RGB空間YCbCr2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）插值存在的問題解決方案：色度空間低通濾波53簡單插值低通濾波2.2ISP圖像處理2.2.2白平衡（Whitebalancing）調(diào)整不同環(huán)境光照下的白色白色是指反射到人眼中的光線由于藍(lán)、綠、紅三種色光比例相同且具有一定的亮度所形成的視覺反應(yīng)。通過色溫定義不同環(huán)境光照下的白色542.2ISP圖像處理2.2.2白平衡（Whitebalancing）自動(dòng)白平衡（Autowhitebalancing,AWB）灰色世界法則（Grayworldtheory）：假設(shè)自然界景物對于光線的平均反射的均值在總體上是個(gè)定值，這個(gè)定值近似地為“灰色”。55調(diào)整系數(shù)AverageRGB2.2ISP圖像處理2.2.2白平衡（Whitebalancing）手動(dòng)白平衡：選擇真實(shí)光照環(huán)境下作為白色的參照物，通過R/G/B三個(gè)通道的顏色映射進(jìn)行調(diào)整562.2ISP圖像處理2.2.3色調(diào)映射（Tonemapping）在有限動(dòng)態(tài)范圍媒介上近似顯示高動(dòng)態(tài)范圍圖像通過大幅度的對比度衰減將場景亮度變換到可以顯示的范圍，同時(shí)要保持圖像細(xì)節(jié)與顏色等對于表現(xiàn)原始場景非常重要的信息。A.k.acontrastcorrection572.2ISP圖像處理2.2.3色調(diào)映射（Tonemapping）方法：Gamma矯正58輸入2.2ISP圖像處理2.2.43AAF（自動(dòng)對焦）AE（自動(dòng)曝光）AWB（自動(dòng)白平衡）592.2ISP圖像處理2.2.43AAF（自動(dòng)對焦）主動(dòng)式（activeautofocus）Time-of-flight聲波測距：SONAR=soundnavigationandranging被動(dòng)式（passiveautofocus）相位檢測、反差式、混合式60距離有限無法穿透玻璃2.2ISP圖像處理2.2.43AAF（自動(dòng)對焦）相位檢測（phasedetection）通過比較分光鏡面二次成像之間的相位

距離判斷是否對焦，直接驅(qū)動(dòng)鏡片移動(dòng)

到焦點(diǎn)位置。612.2ISP圖像處理

2.2.43AAF（自動(dòng)對焦）反差檢測（contrastdetection）分析在不同的焦點(diǎn)位置圖像傳感器

上的對比度，尋找最大對比度的位

置作為焦點(diǎn)。622.2ISP圖像處理

2.2.43AAF（自動(dòng)對焦）混合對焦（hybridAF）結(jié)合兩種自動(dòng)對焦的

優(yōu)點(diǎn)相位檢測粗對焦反差檢測細(xì)對焦632.2ISP圖像處理

2.2.43AAF（自動(dòng)對焦）馬達(dá)驅(qū)動(dòng)鏡片前后移動(dòng)滿足對焦條件USM：超聲波馬達(dá)，將電磁轉(zhuǎn)換為超聲波，通過振動(dòng)進(jìn)行機(jī)械位移642.2ISP圖像處理

2.2.43AAE（自動(dòng)曝光）曝光與輻照度/快門速度有關(guān)：

曝光=光圈×曝光時(shí)間測光（metering）：根據(jù)入射光線條件自動(dòng)確定曝光量65單反相機(jī)9×7像素陣列2.2ISP圖像處理

2.2.43AAE（自動(dòng)曝光）中央重點(diǎn)測光：畫面中央部分的測光數(shù)據(jù)占絕大部分比例，而中央以外的測光數(shù)據(jù)作為小部分比例局部測光：對畫面的某一局部進(jìn)行測光點(diǎn)測光：以中央的一極小范圍區(qū)域作為曝光基準(zhǔn)點(diǎn)，相機(jī)根據(jù)這個(gè)較窄區(qū)域測得的光線，作為曝光依據(jù)66Demo2.3其他圖像處理典型案例看見“不可見”（MIT,2013）672.3其他圖像處理典型案例不看“不想見”（MIT,2015）68提綱1.攝像的發(fā)展2.數(shù)碼成像3.計(jì)算成像4.計(jì)算光場成像5.計(jì)算光譜成像6.實(shí)際中的計(jì)算攝像693.1概念計(jì)算成像（ComputationalimagingorComputationalphotography）通過光學(xué)編碼和計(jì)算解碼過程生成圖像主要結(jié)合光學(xué)技術(shù)、數(shù)字圖像處理技術(shù)擴(kuò)展傳統(tǒng)成像功能和提高光學(xué)成像質(zhì)量70“Computationisthenewoptics”FredoDurand,MIT2016SiggraphComputerGraphicsAchievementAward3.1概念計(jì)算成像

vs.傳統(tǒng)成像71傳統(tǒng)攝像計(jì)算攝像場景透鏡傳感器數(shù)字圖像圖像處理計(jì)算計(jì)算計(jì)算計(jì)算場景透鏡傳感器數(shù)字圖像圖像處理拍攝成像3.1概念計(jì)算成像

vs.傳統(tǒng)成像72計(jì)算成像的維度spatialtemporalspectrumfieldofviewdynamicrangedepth傳統(tǒng)成像計(jì)算成像編/解碼3.2計(jì)算成像編/解碼物體編碼+計(jì)算解碼通過改變鏡頭前方和物體相關(guān)的光路進(jìn)行計(jì)算成像73fieldofviewdepthspec-trum廣角成像全景成像漫反射恢復(fù)深度多光譜視頻3.2計(jì)算成像編/解碼瞳面編碼+計(jì)算解碼通過改變透鏡瞳面（pupilplane）入射/出射光路進(jìn)行計(jì)算成像74spatialdepthdynamicrange光圈相位編碼超分辨率光圈編碼恢復(fù)深度高動(dòng)態(tài)圖像重建3.2計(jì)算成像編/解碼焦面編碼+計(jì)算解碼通過改變焦平面（focalplane）傳感器的入射光路進(jìn)行計(jì)算成像75fieldofviewspatialtem-poral微透鏡組光場成像微透鏡組超高清成像高速攝像3.2計(jì)算成像編/解碼照明編碼+計(jì)算解碼通過相機(jī)閃光的照明狀態(tài)對入射光路進(jìn)行編碼及計(jì)算成像76spec-trumdepth多路LED照明光譜變光照三維重建3.2計(jì)算成像編/解碼相機(jī)陣列+計(jì)算解碼通過使用一組相機(jī)提高入射光路的視角分布并進(jìn)行計(jì)算成像77fieldofviewdepth光場成像多視角三維重建3.2計(jì)算成像編/解碼非傳統(tǒng)成像編解碼其他光路編碼和計(jì)算解碼方式78非線性微透鏡組微波材料感知成像3.3性能分析3.3.1度量信噪比（signal-to-noise-ratio，SNR）信號(hào)與噪聲的比例單位dB79計(jì)算成像編碼：光量增加，SNR增大解碼：噪音放大，SNR減小3.3性能分析3.3.1度量方式選擇計(jì)算成像和傳統(tǒng)成像都能處理的應(yīng)用場景進(jìn)行信噪比量化80去離焦模糊（EDOF）去運(yùn)動(dòng)模糊（motiondebluring）多路復(fù)用光場（lightfielddemultiplex）觀測數(shù)據(jù)原始信號(hào)編碼掩膜噪音計(jì)算成像：傳統(tǒng)成像：3.3性能分析3.3.2分析計(jì)算成像vs.傳統(tǒng)成像81<125lux光照環(huán)境下，計(jì)算成像相比于傳統(tǒng)成像將產(chǎn)生更優(yōu)的信噪比。3.3性能分析3.3.2分析計(jì)算成像vs.傳統(tǒng)成像82去離焦模糊去運(yùn)動(dòng)模糊多路復(fù)用光場提綱1.攝像的發(fā)展2.數(shù)碼成像3.計(jì)算成像4.計(jì)算光場成像5.計(jì)算光譜成像834.1光場成像4.1.1光場編碼光場：光在每一個(gè)方向通過每一個(gè)點(diǎn)的光量全光函數(shù)84全光函數(shù)波長時(shí)間方向位置4.1光場成像4.1.1光場編碼光場函數(shù)：有限視場范圍內(nèi)對于當(dāng)前時(shí)刻、固定強(qiáng)度光線的描述（4維）85全光函數(shù)光場函數(shù)RGB通道幀有限視場主鏡頭成像平面4.1光場成像4.1.2基于光場成像的重對焦傳統(tǒng)相機(jī)：記錄某一時(shí)刻焦平面的信息光場相機(jī)：記錄某一時(shí)刻不同平面的信息864.1光場成像4.1.2基于光場成像的重對焦傳統(tǒng)相機(jī)：記錄光線強(qiáng)度，丟失光線方向874.1光場成像4.1.2基于光場成像的重對焦光場相機(jī)：記錄光線強(qiáng)度和光線方向884.1光場成像4.1.2基于光場成像的重對焦光場編碼光線強(qiáng)度和光線方向（四維光場函數(shù)）計(jì)算解碼光場重新參數(shù)化，積分成像894.1光場成像4.1.2基于光場成像的重對焦結(jié)果（Demo）90第一代第二代先拍照后對焦4.2光圈編碼成像4.2.1散焦模糊(Defocusblur)景深以外的物體成像點(diǎn)沒有落在焦平面，形成具有一定面積的成像區(qū)域91In-focusOut-of-focus彌散圓4.2光圈編碼成像4.2.1散焦模糊(Defocusblur)清晰圖像局部卷積924.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊去散焦模糊(Defocusdeblurring)模糊圖像反卷積93d??傅里葉變換4.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊圓形光圈成像的反卷積問題削弱高頻信息核函數(shù)在頻域有多個(gè)零值點(diǎn)關(guān)鍵在于圓半徑r的選擇94愛里斑Airydisc4.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊編碼光圈消除不同尺度光圈的影響954.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊編碼光圈消除不同尺度光圈的影響頻域零值點(diǎn)區(qū)間大小決定模糊核大小96空域頻域4.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊編碼光圈vs.圓形光圈圓形光圈：零值點(diǎn)彼此交叉覆蓋編碼光圈：零值點(diǎn)分開，容易選

擇尺度974.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊去散焦模糊：最大后驗(yàn)概率優(yōu)化的反卷積98Wiener反卷積4.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊結(jié)果99提綱1.攝像的發(fā)展2.數(shù)碼成像3.計(jì)算成像4.計(jì)算光場成像5.計(jì)算光譜成像6.實(shí)際中的計(jì)算攝像1005.1概念5.1.1光譜（spectrum）光學(xué)頻譜，是復(fù)色光經(jīng)過色散系統(tǒng)（如棱鏡、光柵）分光后，被色散開的單色光按波長（或頻率）大小而依次排列的圖案。1015.1概念5.1.1光譜分類按照波長區(qū)域紫外光譜可見光譜紅外光譜微波（雷達(dá)）1025.1概念5.1.1光譜分類按照產(chǎn)生方式發(fā)射光譜物體自行發(fā)光形成的光譜吸收光譜連續(xù)光譜被吸收部分波長光后的光譜散射光譜光照射物質(zhì)形成的非彈性散射光譜1035.1概念5.1.2光譜成像光譜提供物質(zhì)的屬性信息104太陽光源大氣分子/懸浮顆粒物大氣分子石油、巖石、植被…光譜屬性5.1概念5.1.2光譜成像以遙感成像為例遙感傳感器接收的光譜是經(jīng)過大氣過濾（散射、吸收）波長超過近紅外的光譜一般不考慮大氣影響1055.1概念5.1.2光譜成像以遙感成像為例對地觀測的遙感系統(tǒng)主要通過散射和地表發(fā)射光譜獲取信息太陽輻射散射熱紅外雷達(dá)波成像1065.1概念5.1.2光譜成像以遙感成像為例光譜反射率（spectrumreflectance）1075.1概念5.1.2光譜成像問題空間分辨率：圖像細(xì)節(jié)，表示為像素單元覆蓋的地面尺度譜分辨率：可區(qū)分的波長范圍輻射分辨率：量化光譜強(qiáng)度的位數(shù)解決方案傳感器性能計(jì)算光譜成像1085.1概念5.1.3計(jì)算光譜成像109多光譜：(Multispectra)高光譜：(Hyperspectra)波段少；譜帶寬波段多；譜帶窄LandSat-8EO-1220spectralbandsWavelength0.4-2.5um5.1概念1105.1.3計(jì)算光譜成像（Computationalspectralimaging,CSI）在傳統(tǒng)色散型光譜成像技術(shù)的基礎(chǔ)上，通過在光路中引入適當(dāng)?shù)木幋a模板采集調(diào)制數(shù)據(jù)，然后采用圖像處理解碼，實(shí)現(xiàn)空間與光譜信息的高效成像解決傳統(tǒng)光譜成像技術(shù)光通量低、逐行掃描成像時(shí)間長等缺點(diǎn)5.2計(jì)算光譜成像方法5.2.1基于掩膜分光鏡的多光譜成像問題：利用分光鏡對復(fù)色光分解成像后產(chǎn)生頻譜重疊111多光譜成像5.2計(jì)算光譜成像方法5.2.1基于掩膜分光鏡的多光譜成像方法：通過掩膜空間調(diào)制，增加分光后頻譜的成像間隔，實(shí)現(xiàn)多光譜成像1125.2計(jì)算光譜成像方法5.2.1基于掩膜分光鏡的多光譜成像經(jīng)過分光鏡后的頻譜寬度1135.2計(jì)算光譜成像方法5.2.1基于掩膜分光鏡的多光譜成像通過掩膜調(diào)制頻譜空間分布1145.2計(jì)算光譜成像方法5.2.1基于掩膜分光鏡的多光譜成像裝置115Pointgreygrayscale相機(jī)2248x2048@15fps洞徑：0.2mmx1mm洞距：5mm5.2計(jì)算光譜成像方法5.2.1基于掩膜分光鏡的多光譜成像應(yīng)用皮膚檢測116提綱1.攝像的發(fā)展2.數(shù)碼成像3.計(jì)算成像4.計(jì)算光場成像5.計(jì)算光譜成像6.實(shí)際中的計(jì)算攝像117手機(jī)攝像蘋果iPhone11華為Mate

30谷歌Pixel4拍攝模式Zeroshutterlag（ZSL：零快門延時(shí)）NonZSLZSLViewfinder拍攝模式Zeroshutterlag（ZSL：零快門延時(shí)）SingleshotBurstmode基于Burstmode計(jì)算攝像數(shù)字變焦（Superzoom）基于Burstmode計(jì)算攝像數(shù)字變焦（Superzoom）Demo基于Burstmode計(jì)算攝像暗光增強(qiáng)基于Burstmode計(jì)算攝像暗光增強(qiáng)Demo參考文獻(xiàn)Renner,E.,PinholePhotography(2nded.),FocalPress,2000.Hecht,E.,Optics(4thed.),Pearson/Addison-Wesley,2002.Nayar,S.,Computationalcameras:approaches,benefitsandlimits.TechnicalReport,2011.125參考文獻(xiàn)DemosaickingmethodsforBayercolorarrays.R.Ramanath,W.Snyder,G.Bilbro.JournalofElectronicImaging,2002.Automaticwhitebalancefordigitalstillcamera.Y.-C.Liu,W.-H.Chan,Y.-Q.Chen.IEEETransactionsonConsumerElectronics,1995.Atheoryofsingle-viewpointcatadioptricimageformation.Baker,S.&Nayar,S.InternationalJournalofComputerVision,1999.Dept