全景圖像視頻相關(guān)技術(shù)基礎(chǔ)綜述 虛擬現(xiàn)實(shí)技術(shù)不斷興起，正在吸引越來越多用戶的注意力，作為一種新穎的模擬交互手段，全景圖像以其逼真性強(qiáng)、縱深、360度全景視圖的便捷性等特點(diǎn)向用戶提供了無與倫比的沉浸式的觀看體驗(yàn)。隨著虛擬現(xiàn)實(shí)技術(shù)的不斷發(fā)展，也應(yīng)用在越來越多的方面，如生活娛樂、購物展示、醫(yī)療技術(shù)、無人駕駛、工業(yè)設(shè)計(jì)、教育教學(xué)等。全景圖像/視頻作為VR技術(shù)的重要組成部分也成為了圖像處理領(lǐng)域研究熱點(diǎn)。全景圖像/視頻的制作過程十分復(fù)雜，包括拍攝，拼接，融合，投影，編碼等。接下來，本節(jié)介紹與全景圖像/視頻有關(guān)的各類技術(shù)，如全景圖像的獲取及其投影格式分類等。1.2.3.1全景圖像的獲取 全景圖像是基于全景相機(jī)拍攝得到，或?qū)⒄掌唇映啥鄠€重疊的360度角度的圖像生成的。在構(gòu)建全景圖像時，通常采用柱面或球面觀察模型，即在固定的視點(diǎn)上由全景攝像機(jī)或旋轉(zhuǎn)攝像機(jī)拍攝一系列圖像，通過混合和投影到柱面或球面上的成對配準(zhǔn)組合而成。 全景制作技術(shù)可分為兩種：折反射和折光系統(tǒng)[38]，如圖1-3所示。圖1-3全景圖制作技術(shù) 折反射系統(tǒng)是折光和反射元素的組合，折光基于折射，反射基于反射面。折反射系統(tǒng)是采用平面和曲面兩種鏡面和鏡頭組成的全景光學(xué)，它可以實(shí)時獲取水平和垂直方向360度的全景圖像，根據(jù)鏡面和鏡頭的數(shù)量可分為單鏡類和多鏡類。 折光系統(tǒng)與其折射元件有關(guān)。折光系統(tǒng)分為四類，分別是相機(jī)簇、魚眼鏡頭、拼接和直接掃描。相機(jī)簇是使用幾臺攝像機(jī)，安裝在一個表面上，向外觀察視場，從而能夠捕捉到廣泛的視野；魚眼鏡頭是由一個帶有魚眼鏡頭的相機(jī)，它通常有超過180°的視場，都已被用于測量應(yīng)用；拼接通過馬賽克或拼接圖像產(chǎn)生全景圖像，這種技術(shù)也被用于測量應(yīng)用；直接掃描需要借助具有旋轉(zhuǎn)相機(jī)或旋轉(zhuǎn)鏡頭的相機(jī)系統(tǒng)，該系統(tǒng)無需縫合即可產(chǎn)生無縫圖像，用這種方法操作的傳統(tǒng)全景相機(jī)會在每個特定時間連續(xù)曝光一部分膠卷。 全景圖像的獲取方法有兩類，第一類是使用全景相機(jī)和線性旋轉(zhuǎn)裝置，通常使用具有非常高的度量性能的昂貴的線性陣列旋轉(zhuǎn)全景相機(jī)來獲取，但其拍攝條件要求十分嚴(yán)格，并且成本十分高昂。第二類是多圖像球面全景攝影測量，獲取流程是用普通數(shù)碼相機(jī)固定在同一個點(diǎn)，從一個特定的角度拍攝部分重疊的系列圖像，然后將其投影到虛擬球面、方形、圓柱形等投影面上，根據(jù)投影成像原理，投影到球體/方形/圓柱形等上的全景圖像將生成球形全景/方形全景/圓柱形全景。1.2.3.2全景圖像的投影格式 全景圖像/視頻的視覺信息來源于球面空間，但其卻采用平面的形式進(jìn)行傳輸、壓縮和處理，這就需要把球面視覺信息投影到平面以表示全景圖像/視頻，投影指的就是將信息從球空間投射到二維平面空間的經(jīng)過。全景圖像/視頻常用的投影格式有等矩形投影(Equi-RectangularProjection,ERP)、立方體投影(CubeMapProjection,CMP)、八面體投影(OctahedronProjection,OHP)以及二十面體投影(Icosahedronprojection,ISP)等[39]。本節(jié)將簡要介紹這幾種常用的投影格式及其特點(diǎn)。等矩形投影 等矩形投影(Equi-RectangularProjection,ERP)是目前應(yīng)用最為廣泛的VR圖像/視頻投影格式，它可以將球狀表面的信息投影到矩形平面上去，該方法映射關(guān)系簡單，兼容性好，投影后的矩形平面也擁有直觀、方便觀看的特點(diǎn)，但由于其對經(jīng)緯面的每一條緯線都分配了同樣數(shù)量的采樣點(diǎn)，因此造成了部分區(qū)域尤其是兩級拉伸過度，失真較大的情況。圖1-4等矩形投影示意圖圖1-5ERP格式全景圖像示例立方體投影 立方體投影(CubeMapProjection,CMP)也是VR圖像/視頻常用的投影手段之一，這種投影方式通過外接立方體將球面視覺信息投影到立方體表面，該方式的映射關(guān)系也很簡單，是經(jīng)緯圖投影的優(yōu)化，但由于處理到平面空間后空閑無效區(qū)域過多，因此增加了存儲時占用空間的大小。圖1-6立方體投影示意圖圖1-7CMP格式全景圖像示例八面體投影 八面體投影(OctahedronProjection,OHP)由八個等邊三角形和六個頂點(diǎn)組成，具體投影方法是將球面視覺信息映射到八個平面上，映射處理如圖2.5所示，這種投影格式所表示的全向場景內(nèi)容具有不連續(xù)性的特點(diǎn)，但這樣的投影方式造成了無效空間區(qū)域和圖像冗余信息過多，嚴(yán)重增加了存儲時占用空間的大小。圖1-8八面體投影示意圖圖1-9OHP格式全景圖像示例（4）二十面體投影 二十面體投影(Icosahedronprojection,ISP)由二十個等邊三角形和十二個頂點(diǎn)組成，具