1、 基于Kinect非規(guī)則投影表面幾何校正技術(shù)研究 摘 要：構(gòu)建投影顯示系統(tǒng)的一個(gè)關(guān)鍵技術(shù)就是高精度的幾何校正，投影儀投射圖像到非規(guī)則表面上，投影圖像會(huì)發(fā)生變形扭曲現(xiàn)象，嚴(yán)重影響觀察者的視覺(jué)效果。針對(duì)此，提出了一種非規(guī)則投影表面的幾何校正算法，該算法首先用Kinect對(duì)非規(guī)則投影表面進(jìn)行三維重建。通過(guò)建立目標(biāo)校正平面以確定理想觀察視點(diǎn)，在該視點(diǎn)下建立視點(diǎn)坐標(biāo)系，將非規(guī)則投影表面特征點(diǎn)的三維世界坐標(biāo)值轉(zhuǎn)換為理想觀察視點(diǎn)坐標(biāo)系下的坐標(biāo)值，根據(jù)解算對(duì)應(yīng)區(qū)域的單應(yīng)性矩陣并對(duì)原圖像進(jìn)行預(yù)處理。通過(guò)實(shí)驗(yàn)結(jié)果表明，該算法不以攝像機(jī)為基準(zhǔn)，適用于任意、非規(guī)則的投影表面，無(wú)需專業(yè)的投影幕布，得到校正后的投影圖像符

2、合觀察者正常視覺(jué)效果。Keys：幾何校正；投影；Kinect；非規(guī)則表面1 引言隨著投影顯示技術(shù)在軍事模擬、科學(xué)研究、廣告媒體等領(lǐng)域的廣泛應(yīng)用，其相關(guān)技術(shù)也成為備受關(guān)注的研究熱點(diǎn)1,2。精確的幾何校正是投影顯示技術(shù)的關(guān)鍵技術(shù)之一，其基礎(chǔ)是建立投影儀緩存圖像與投影表面圖像之間的幾何位置對(duì)應(yīng)關(guān)系3,4。當(dāng)投影儀投射圖像到非規(guī)則表面上，投影表面圖像會(huì)扭曲變形，嚴(yán)重影響觀察者的視覺(jué)效果，因此需要對(duì)投影儀緩存圖像進(jìn)行預(yù)處理，預(yù)處理后的圖像再經(jīng)過(guò)投影儀投射到非規(guī)則表面上，使觀察者能夠正常識(shí)別投影圖像的顯示內(nèi)容5,6。近年來(lái)，隨著投影顯示技術(shù)的不斷提高，出現(xiàn)了由攝像機(jī)代替觀察者觀察投影畫(huà)面的自動(dòng)幾何校正方法

3、，對(duì)攝像機(jī)和投影儀分別進(jìn)行標(biāo)定得到對(duì)應(yīng)的內(nèi)外參，再通過(guò)攝像機(jī)反饋的信息對(duì)圖像的扭曲部分進(jìn)行反向校正，從而對(duì)投影圖像進(jìn)行必要的幾何校正7,8。這些幾何校正的主要思想在于通過(guò)使用攝像機(jī)提供閉環(huán)控制，由攝像機(jī)監(jiān)控投影圖像利用計(jì)算機(jī)視覺(jué)技術(shù)計(jì)算出幾何偏移量，實(shí)現(xiàn)投影圖像的自動(dòng)幾何校正效果7-10。實(shí)際工程中，在投影儀和攝像機(jī)聯(lián)合標(biāo)定的環(huán)節(jié)中，首先需要對(duì)攝像機(jī)進(jìn)行標(biāo)定，利用攝像機(jī)標(biāo)定的結(jié)果再對(duì)投影儀進(jìn)行標(biāo)定，攝像機(jī)標(biāo)定的誤差結(jié)果必定會(huì)引入到投影儀標(biāo)定中，使得三維重建與測(cè)量中精度和準(zhǔn)確性受到影響；其次該幾何校正算法是以攝像機(jī)的位置為基準(zhǔn)，觀察者離攝像機(jī)位置越近，觀察效果越理想。本文通過(guò)合理設(shè)定一個(gè)觀察視點(diǎn)

4、以及視點(diǎn)坐標(biāo)系，建立非規(guī)則投影表面特征點(diǎn)三維坐標(biāo)值與視點(diǎn)坐標(biāo)系下特征點(diǎn)三維坐標(biāo)值的關(guān)系，對(duì)非規(guī)則投影表面影響機(jī)理進(jìn)行了更進(jìn)一步的研究。不以攝像機(jī)為基準(zhǔn)，而以理想視點(diǎn)來(lái)對(duì)非規(guī)則投影表面進(jìn)行幾何校正是本文方法最大的特點(diǎn)。2 算法描述投影圖像的幾何校正就是將原始圖像進(jìn)行預(yù)處理，再由投影儀投射在投影表面上，使輸出的圖像在正確的位置上顯示出符合觀察者的視覺(jué)效果，即形成一幅無(wú)任何幾何畸變的投影圖像。其核心目的是確立原始圖像與預(yù)處理圖像之間的轉(zhuǎn)換關(guān)系。因此本文先通過(guò)對(duì)非規(guī)則投影表面進(jìn)行三維重建，建立一個(gè)公共的目標(biāo)校正平面，確定一個(gè)理想的觀察視點(diǎn)，在該視點(diǎn)上建立視點(diǎn)坐標(biāo)系，將投影表面上所有特征點(diǎn)的世界坐標(biāo)轉(zhuǎn)換

5、為視點(diǎn)坐標(biāo)，解算每塊區(qū)域的單應(yīng)性矩陣，通過(guò)該單應(yīng)性矩陣與對(duì)應(yīng)區(qū)域的目標(biāo)投影圖像進(jìn)行預(yù)處理，預(yù)處理圖像由投影儀投射到非規(guī)則投影表面上，使觀察者獲取到正常的視覺(jué)感知。2.1 非規(guī)則投影表面的三維重建三維重建可以幫助人們快速精確地將日常生活中的物體數(shù)字化,并將其在計(jì)算機(jī)中以三維數(shù)字信息的形式展現(xiàn)。本文借助微軟公司開(kāi)發(fā)和銷售的Kinect第二代體感傳感器,將其作為深度和彩色數(shù)據(jù)的輸入設(shè)備。首先Kinect對(duì)準(zhǔn)棋盤(pán)格標(biāo)定板捕獲圖像，設(shè)Kinect中彩色相機(jī)內(nèi)參為krgb，紅外相機(jī)內(nèi)參為kir，則prgb，pir分別是彩色相機(jī)和紅外相機(jī)圖像坐標(biāo)系下的一點(diǎn)，Prgb，Pir分別是彩色相機(jī)和紅外相機(jī)的相機(jī)坐標(biāo)

6、系下一點(diǎn)，由小孔成像模型可知。(1) (2)公式(1)(2)分別表示彩色相機(jī)和紅外相機(jī)的相機(jī)坐標(biāo)轉(zhuǎn)換到圖像坐標(biāo)的轉(zhuǎn)換關(guān)系。將世界坐標(biāo)系原點(diǎn)設(shè)置在棋盤(pán)格標(biāo)定板的左上角處，則世界坐標(biāo)系中的點(diǎn)P變換到相機(jī)坐標(biāo)系下，分別變換到彩色相機(jī)坐標(biāo)系下以及紅外相機(jī)坐標(biāo)系下。(3) (4)將公式(3)中用表示，并帶入公式(4)得到公式（5）。(5) (6)因此，在同一場(chǎng)景下紅外相機(jī)和彩色相機(jī)配準(zhǔn)如公式(6)所示。2.2 理想視點(diǎn)及視點(diǎn)坐標(biāo)系的建立由于觀察者在不同視角下對(duì)非規(guī)則投影表面下的感知效果不一致，因此需要對(duì)三維重建后的非規(guī)則投影表面進(jìn)行相應(yīng)處理，具體過(guò)程如下：投影儀投射棋盤(pán)格圖像到非規(guī)則投影表面上，Kine

7、ct的紅外相機(jī)和彩色相機(jī)同時(shí)對(duì)非規(guī)則投影表面上的特征點(diǎn)進(jìn)行圖像采集，彩色相機(jī)采集到的棋盤(pán)格圖像進(jìn)行鏡頭畸變校正11，紅外相機(jī)采集到的圖像進(jìn)行雙邊濾波，其目的是為了使Kinect的紅外相機(jī)和彩色相機(jī)配準(zhǔn)更加精確。使用2.1節(jié)的算法對(duì)Kinect的紅外相機(jī)和彩色相機(jī)進(jìn)行配準(zhǔn)操作，通過(guò)特征點(diǎn)檢測(cè)算法得到特征點(diǎn)在世界坐標(biāo)系中的三維值。對(duì)所有特征點(diǎn)的深度信息采用均值處理來(lái)獲得一個(gè)值，如公式（7）所示。(7)通過(guò)值且于的平面平行作為目標(biāo)校正平面，根據(jù)特征點(diǎn)在目標(biāo)校正平面的分布情況，獲取所有特征點(diǎn)橫坐標(biāo)的最小值以及所有特征點(diǎn)的最大值，縱坐標(biāo)的最小值，縱坐標(biāo)的最大值。分別記三維坐標(biāo),則矩形作為目標(biāo)校正矩形，即

8、所有特征點(diǎn)均可映射到目標(biāo)校正矩形內(nèi)。如圖1所示，對(duì)角線和的交點(diǎn)即為該矩形的中心，建立理想視點(diǎn)以及視點(diǎn)坐標(biāo)系，其中視點(diǎn)坐標(biāo)系于Kinect采用相同的右手坐標(biāo)系。設(shè)定理想視點(diǎn)到目標(biāo)校正平面的距離為，記為視點(diǎn)坐標(biāo)系原點(diǎn)，軸與重合指向，軸和軸分別于Kinect相機(jī)的軸和軸平行。,為視點(diǎn)V的世界坐標(biāo)，則世界坐標(biāo)系到視點(diǎn)坐標(biāo)系之間旋轉(zhuǎn)矩陣為單位矩陣，記做，平移向量，則可將特征點(diǎn)的世界坐標(biāo)轉(zhuǎn)換為視點(diǎn)坐標(biāo)系下的坐標(biāo)。圖1 建立理想視點(diǎn)及視點(diǎn)坐標(biāo)系2.3 區(qū)域單應(yīng)性矩陣的求解對(duì)于非規(guī)則投影表面上的每一個(gè)特征點(diǎn)和投影儀緩存圖像上對(duì)應(yīng)的特征點(diǎn),可以利用單應(yīng)性矩陣對(duì)兩者之間的關(guān)系進(jìn)行轉(zhuǎn)換，如公式（8）所示。(8)其中

9、，。實(shí)驗(yàn)中采用棋盤(pán)格的角點(diǎn)作為特征點(diǎn)，使用opencv對(duì)圖像進(jìn)行特征點(diǎn)檢測(cè)。一行9個(gè)角點(diǎn)，有6行，共有54個(gè)角點(diǎn)，將棋盤(pán)格圖像中每個(gè)格子的四個(gè)頂點(diǎn)，按照公式（8），計(jì)算出該格子區(qū)域的單應(yīng)性矩陣，共有40個(gè)單應(yīng)性矩陣，即基于理想視點(diǎn)下非規(guī)則投影表面上投影圖像與投影儀待緩存圖像之間的變換矩陣。3 算法實(shí)現(xiàn)與實(shí)驗(yàn)分析為了驗(yàn)證非規(guī)則投影表面幾何校正的有效性以及可行性，首先構(gòu)建一套適用于非規(guī)則投影的投影系統(tǒng)，該系統(tǒng)的硬件設(shè)備采用一臺(tái)用于信息存儲(chǔ)和計(jì)算的計(jì)算機(jī)，一臺(tái)Kinect以及一臺(tái)投影機(jī)。其中采用的計(jì)算機(jī)型號(hào)為聯(lián)想P310，主要用來(lái)對(duì)投影圖像的預(yù)處理以及對(duì)非規(guī)則投影表面的三維重建。投影儀采用的是愛(ài)普生

10、EB-W6，Kinect采用的是微軟二代Kinect產(chǎn)品，計(jì)算機(jī)的操作系統(tǒng)為Windows 10,64位。本實(shí)驗(yàn)采用墻角作為非規(guī)則投影表面，將投影圖像投射在非規(guī)則表面上，因?yàn)橥队皥D像會(huì)發(fā)生圖像畸變（如圖2所示），畸變圖像使得觀察者的視覺(jué)受到一定的影響，長(zhǎng)時(shí)間觀看容易導(dǎo)致視覺(jué)疲勞，因此需要對(duì)其進(jìn)行投影幾何校正。通過(guò)采用本文方法進(jìn)行非規(guī)則投影表面幾何校正，即可得到如圖3所示的投影校正后的圖像，可以看出校正后的圖像符合觀察者的視覺(jué)感知效果。圖2 投影儀投射圖像于墻角，墻角上的投影圖像發(fā)生扭曲變形的現(xiàn)象圖3在理想視點(diǎn)下，對(duì)墻角投影圖像進(jìn)行幾何校正后的投影效果實(shí)驗(yàn)中需要注意三點(diǎn)：（1）Kinect和投影

11、儀的位置始終保持不變，如果后續(xù)過(guò)程中Kinect或投影儀的位置發(fā)生變化，則需要重新對(duì)投影表面進(jìn)行三維重建，重新計(jì)算理想視點(diǎn)位置以及重新創(chuàng)建理想視點(diǎn)坐標(biāo)系等一系列預(yù)操作部分。（2）Kinect的視場(chǎng)能夠全部包含非規(guī)則投影表面上投影圖像的全部?jī)?nèi)容。（3）調(diào)整棋盤(pán)格的位置，使棋盤(pán)格某一列角點(diǎn)處于墻角接縫處。4 結(jié)論針對(duì)非規(guī)則投影表面造成投影圖像幾何畸變問(wèn)題，提出了非規(guī)則投影表面幾何校正技術(shù)研究。通過(guò)實(shí)驗(yàn)分析可知，本方法解決了日常不規(guī)則投影表面造成的投影圖像畸變問(wèn)題，與傳統(tǒng)攝像機(jī)反饋的幾何校正方法相比，該方法不以攝像機(jī)為基準(zhǔn)，而以理想觀察視點(diǎn)來(lái)對(duì)投影圖像進(jìn)行校正，無(wú)需專業(yè)的投影幕布，可以對(duì)非規(guī)則固定投

12、影表面上的投影圖像進(jìn)行幾何校正，校正后的效果能夠符合觀看者正常視覺(jué)感知，然而本文只是針對(duì)非規(guī)則投影表面的單臺(tái)投影儀進(jìn)行幾何校正研究，后期將繼續(xù)研究多臺(tái)投影儀在非規(guī)則投影表面上投影圖像的幾何校正問(wèn)題。Reference：1Hangzhou. Geometry Calibration for Multi-projector Tiled Display WallJ. Journal of Computer-Aided Design & Computer Graphics, 2008, 20(6):707-712.2藍(lán)建梁,丁友東. 基于結(jié)構(gòu)光與單應(yīng)的投影機(jī)幾何校正J. 光電子激光, 2015(5):

13、1010-1018.3Leigh J, Johnson A, Renambot L, et al. Scalable Resolution Display WallsJ. Proceedings of the IEEE, 2012, 101(1):115-129.4Sajadi B, Majumder A. Autocalibration of multiprojector CAVE-like immersive environmentsJ. IEEE Transactions on Visualization & Computer Graphics, 2012, 18(3):381.5Res

14、ch C, Keitler P, Menk C, et al. Semi-automatic calibration of a projector-camera system using arbitrary objects with known geometryJ. 2015:271-272.6Zhao L, Weng D, Li D. The autogeometric correction of multiprojector for cylindrical surface using Bzier patchesJ. Journal of the Society for Information Display, 2015, 22(9):473-481.7李冬,謝敬輝,趙璐,等. 多投影機(jī)非平面自動(dòng)幾何校正J. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(07):194-203.8Lei Z, Liu X, Lu W, et al. A New Calibration Method of the Projector in Structured Light Measurement TechnologyJ. Proc