參考文獻(xiàn),1 David A. Forsyth, Jean Ponce, Computer Vision; A Modern Approach (1st Edition), New Jersey: Prentice Hall, August 24, 2002 2 Goshtasby A. Ardeshir, 2D and 3D Image Registration for Medical, Remote Sensing, and Industrial Applications (1st Edition), John Wiley & Sons, April, 2005 3 Richard Hartley, Andrew Zisserman, Multiple View Geometry in Computer Vision (2nd Edition), Cambridge University Press, March 2004,參考文獻(xiàn),4 Oliver van Kaick, Hao Zhang, Ghassan Hamarneh, Daniel Cohen-Or, A Survey on Shape Correspondence, Computer Graphics Forum, Volume 30, Issue 6, pages 1681-1707, September 2011 5 Hongsheng Li, Tian Shen, Xiaolei Huang, Approximately Global Optimization for Robust Alignment of Generalized Shapes, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 33, NO. 6, June 2011 6 Timor Kadir, Michael Brady, Saliency Scale and Image Description, International Journal of Computer Vision, Volume 45, Issue 2, November 2001,參考文獻(xiàn),7 Zheng Li, Pohuang Jiang, Hong Ma, Jian Yang, DongMing Tang, A Model for Dynamic Object Segmentation with Kernel Density Estimation Based on Gradient Features, Image and Vision Computing, Volume 27, Issue 6, pages 817-823, May 2009 8 David G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, Volume 60, No. 2, pages 91-110, 2004 9 D. Marr, H.K. Nishihara, Representation and recognition of the spatial organization of three-dimensional shapes, Proc. R. Soc. Lond. B. 200, pages 269-294, 1978,參考文獻(xiàn),10 Ali Shokoufandeh, Ivan Marsic, Sven J. Dickinson, View-based object recognition using saliency maps, Image and Vision Computing, Volume 17, Issue 5, pages 445-460, April 1999 11 James L. Crowley, Alice C. Parker, A Representation for Shape Based on Peaks and Ridges in the Difference of Low-Pass Transform, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 6, No. 2, pages 156-169, 1984 12 Krystian Mikolajczyk, Cordelia Schmid, Scale and Affine Invariant Interest Point Detectors, International Journal of Computer Vision, Volume 60, No. 1, 2004,參考文獻(xiàn),13 A. Elgmmal, R. Duraiswami, D. Harwood, L.S. Davis, Background and Foreground Modeling using nonparametric kernel density estimation for Visual Surveillance, in: Proceeding of the IEEE, Vol. 90, IEEE Institute of Electrical and Electronics, USA, Issue 7, pages 1151-1163, July 2002 14 A. Mittal, N. Paragios, Motion-Based Background Subtraction Using Adaptive Kernel Density Estimation, in: CVPR04, Vol. 2, IEEE Computer Society, Washington, DC, USA, pages II302-II309, July 2004,主要內(nèi)容,一. 計(jì)算機(jī)視覺(jué)領(lǐng)域中的重要問(wèn)題 二. 立體視覺(jué)的概念與基本原理 三. 射影幾何中的基本概念 四. 基本的成像模型 五. 單視幾何學(xué)的基本原理 六. 雙視幾何學(xué)的基本原理 七. 攝像機(jī)標(biāo)定的基本原理,一. 計(jì)算機(jī)視覺(jué)領(lǐng)域中的重要問(wèn)題,1. 計(jì)算機(jī)視覺(jué)的概念 2.計(jì)算機(jī)視覺(jué)領(lǐng)域中的重要問(wèn)題,1. 計(jì)算機(jī)視覺(jué)的概念,什么是計(jì)算機(jī)視覺(jué)? 模擬人眼接收客觀世界中可見(jiàn)光信息，并由大腦解釋可視信息的過(guò)程，使用算法對(duì)真實(shí)圖像或視頻中的內(nèi)容給予有效的解釋。 入口數(shù)據(jù)：圖像、視頻（可視信息） 出口數(shù)據(jù)：對(duì)可視內(nèi)容的某種解釋?zhuān)ǚ强梢曅畔ⅲ?1. 計(jì)算機(jī)視覺(jué)的概念,應(yīng)用實(shí)例： 文字識(shí)別（OCR） 物體形狀識(shí)別 人臉識(shí)別 車(chē)站視頻中的人數(shù)統(tǒng)計(jì) 醫(yī)用圖像中細(xì)胞數(shù)量統(tǒng)計(jì) 醫(yī)用視頻中運(yùn)動(dòng)微粒測(cè)速 軍事目標(biāo)定位、跟蹤、行為分析 基于視覺(jué)分析的人機(jī)交互,1. 計(jì)算機(jī)視覺(jué)的概念,相關(guān)領(lǐng)域： 計(jì)算機(jī)圖形學(xué) 數(shù)字圖像處理,計(jì)算機(jī)圖形學(xué),使用圖形生成流水線(xiàn)（一組有序執(zhí)行的算法），由計(jì)算機(jī)內(nèi)部的虛擬幾何圖形表述生成虛擬可視像素圖形的過(guò)程。 入口數(shù)據(jù)：虛擬二維或三維場(chǎng)景描述（幾何圖形，非可視數(shù)據(jù)） 出口數(shù)據(jù)：經(jīng)圖形管道處理后得到的虛擬的、像素化圖形（可視數(shù)據(jù)）,數(shù)字圖像處理,使用算法對(duì)數(shù)字圖像中的像素信息實(shí)施處理，使圖像中內(nèi)容的可視化質(zhì)量得以提高的過(guò)程。 入口數(shù)據(jù)：圖像（可視） 出口數(shù)據(jù)：圖像（可視）,脊椎動(dòng)物的視覺(jué)過(guò)程,脊椎動(dòng)物的視覺(jué)過(guò)程,兩種感光細(xì)胞（Photoreceptor Cell）,桿狀細(xì)胞（rods）：僅對(duì)光能量有響應(yīng)，但與光頻率無(wú)關(guān)，很小的光能量即能觸發(fā)生理刺激。弱光環(huán)境下主要依靠此類(lèi)細(xì)胞接收光能量。 錐狀細(xì)胞（cones）：對(duì)光能量有響應(yīng)，且與頻率相關(guān)。能量低于一定閾值時(shí)此類(lèi)細(xì)胞無(wú)響應(yīng)（弱光環(huán)境下不工作）。,兩種感光細(xì)胞（Photoreceptor Cell）,錐狀細(xì)胞對(duì)不同頻率光能量的吸收率,兩種感光細(xì)胞（Photoreceptor Cell）,錐狀細(xì)胞在視網(wǎng) 膜中央?yún)^(qū)域的分 布比周邊區(qū)域更 密集。,脊椎動(dòng)物的視覺(jué)過(guò)程,接收?qǐng)龊喜⑴c多尺度描述,接收?qǐng)觯╮eceptive field）：（三維）原像空間中能由輸入光能量變化引起某神經(jīng)細(xì)胞生理響應(yīng)發(fā)生變化的空間區(qū)域。 接收?qǐng)龊喜ⅲ╮eceptive field convergence）：如果多個(gè)底層神經(jīng)細(xì)胞與一個(gè)上層神經(jīng)細(xì)胞有連接，并將視覺(jué)信號(hào)傳遞給它，那么該上層細(xì)胞的接收?qǐng)鍪窍嚓P(guān)底層細(xì)胞接收?qǐng)龅牟⒓?接收?qǐng)龊喜⑴c多尺度描述,視覺(jué)系統(tǒng)中接收?qǐng)龅闹饘雍喜ⅲ?感光細(xì)胞神經(jīng)節(jié)細(xì)胞視覺(jué)皮質(zhì)細(xì)胞 提煉的重要概念：多尺度描述,對(duì)中央與邊緣分別響應(yīng)的兩種神經(jīng)節(jié)細(xì)胞,提煉的概念：特征提取,立體視覺(jué)的產(chǎn)生,視覺(jué)皮層中的雙視神經(jīng)元具有左、右雙眼視網(wǎng)膜的感光神經(jīng)元合并產(chǎn)生的接收?qǐng)觯渫暾纳眄憫?yīng)必須由雙目視覺(jué)同時(shí)刺激。 提煉的重要概念：立體視覺(jué),特征匹配在視覺(jué)中的必要性,識(shí)別：神經(jīng)元提取的多尺度視覺(jué)特征與記憶中的視覺(jué)特征相匹配，用于識(shí)別看見(jiàn)的物體； 配準(zhǔn)：左眼、右眼成像中，底層：哪些感光神經(jīng)元接收的是同一原像的光能量刺激？上層：哪些神經(jīng)細(xì)胞的接收?qǐng)鲈谀男┎糠钟兄丿B？圖像匹配操作是必須的。,二. 立體視覺(jué)的概念與基本原理,立體視覺(jué)的概念： 模仿人眼的立體視覺(jué)過(guò)程，基于一幀或多幀具有共同拍攝場(chǎng)景的圖像，由其中的二維形狀信息恢復(fù)原始場(chǎng)景中三維形狀信息的視覺(jué)過(guò)程。,二. 立體視覺(jué)的概念與基本原理,1. 單視幾何原理 2 .雙視幾何原理 3. 多視幾何原理 4. 立體視覺(jué)的一般處理過(guò)程,1. 單視幾何原理,單視幾何：針對(duì)平面物體的形狀恢復(fù),2 .雙視幾何原理,雙視幾何：基于標(biāo)定攝像機(jī)的三維表面重建,3. 多視幾何原理,多視幾何：基于未標(biāo)定攝像機(jī)的三維表面重建,4. 立體視覺(jué)的一般處理過(guò)程,p,l,p,r,P,Ol,Or,Xl,Xr,Pl,Pr,fl,fr,Zl,Yl,Zr,Yr,R, T,入口數(shù)據(jù)：?jiǎn)螏蚨鄮瑘D像,為了最終恢復(fù)三維信息， 需要基于入口數(shù)據(jù)進(jìn)一步 獲取哪些數(shù)據(jù)？,4. 立體視覺(jué)的一般處理過(guò)程,問(wèn)題： 如何知道不同圖像中的匹配信息？ 如何知道不同拍攝方位的相對(duì)放置（外部參數(shù)）？ 如何知道攝像機(jī)的內(nèi)部參數(shù)？,4. 立體視覺(jué)的一般處理過(guò)程,（1）圖像配準(zhǔn) （2）攝像機(jī)標(biāo)定（確定內(nèi)部參數(shù)） （3）確定攝像機(jī)相對(duì)放置（確定外部參數(shù)） （4）三維表面重建,（1）圖像配準(zhǔn),1）基于像素的圖像配準(zhǔn)方法 兩幀圖像中所有具有同一原像的像素對(duì)都應(yīng)建立匹配關(guān)系。 2）基于特征的圖像配準(zhǔn)方法 僅針對(duì)兩幀圖像中的具有同一原像的點(diǎn)、線(xiàn)、區(qū)域特征對(duì)建立匹配關(guān)系。,（1）圖像配準(zhǔn),兩類(lèi)方法具有一定的聯(lián)系，并且，基于特征的圖像配準(zhǔn)效率更高，在其基礎(chǔ)上可簡(jiǎn)化像素級(jí)配準(zhǔn)。 由于各類(lèi)特征均可以轉(zhuǎn)換為點(diǎn)特征，因此，基于特征點(diǎn)的配準(zhǔn)方法成為研究的重點(diǎn)。 例如，直線(xiàn)段特征可轉(zhuǎn)換為直線(xiàn)段的兩兩交點(diǎn)，區(qū)域特征可轉(zhuǎn)換為區(qū)域的重心。,2）基于特征點(diǎn)的圖像配準(zhǔn),a）數(shù)字圖像中的特征點(diǎn)提取 示例：角點(diǎn)提取 b）基于特征點(diǎn)空間分布的圖像配準(zhǔn) 仿射圖像配準(zhǔn)、透視圖像配準(zhǔn)、基于外極幾何約束的圖像配準(zhǔn),a）角點(diǎn)提取,示例：基于獨(dú)立性的角點(diǎn)提取方法 兩個(gè)像素窗口的關(guān)聯(lián)系數(shù)： 像素的獨(dú)立性：,x與y 小于指定整數(shù)，且不同時(shí)為零,a）角點(diǎn)提取,獨(dú)立性示例：亮度越強(qiáng)的像素位置獨(dú)立性越強(qiáng),a）角點(diǎn)提取,處理流程： 1. 從圖像中提取邊緣像素集 2. 將邊緣像素按照獨(dú)立性降序排序 3. 對(duì)于當(dāng)前獨(dú)立性最大的像素，若其獨(dú)立性大于指定閾值，則將其輸出到角點(diǎn)集，否則結(jié)束處理流程 4. 對(duì)于剩余的邊緣像素集，將其獨(dú)立性乘以H，轉(zhuǎn)第2步,a）角點(diǎn)提取,其中，di為第i個(gè)剩余邊緣像素與輸出角點(diǎn)間的像素距離； D為相對(duì)距離定義，由它規(guī)定距離遠(yuǎn)、近的概念。,b）基于特征點(diǎn)空間分布的圖像配準(zhǔn),圖像配準(zhǔn)的目的： 在兩幀圖像間建立一個(gè)映射關(guān)系，該映射能夠?qū)⑵渲幸粠瑘D像上的特征點(diǎn)坐標(biāo)映射為另一幀圖像中匹配特征點(diǎn)的坐標(biāo)。,b）基于特征點(diǎn)空間分布的圖像配準(zhǔn),問(wèn)題： 兩幀圖像中的特征點(diǎn)數(shù)量一定相等嗎？ 是否所有特征點(diǎn)都存在對(duì)應(yīng)的匹配特征點(diǎn)？,兩幀圖象存在差異，內(nèi)容不會(huì)完全一致，因此特征點(diǎn) 數(shù)量也不一定相等,兩幀圖象存在差異，某特征點(diǎn)可能在左圖像中出現(xiàn)， 但卻可能在右圖像中未出現(xiàn),b）基于特征點(diǎn)空間分布的圖像配準(zhǔn),特征點(diǎn)坐標(biāo)間的映射可理解為坐標(biāo)變換，可使用矩陣來(lái)表示。 矩陣類(lèi)型與圖像間幾何變換的關(guān)系： 1. 二維仿射矩陣與圖像平面內(nèi)的二維旋轉(zhuǎn)、平移、放縮變換對(duì)應(yīng) 2.二維透視矩陣除包含二維變換外，還包含攝像機(jī)繞光心的旋轉(zhuǎn)變換 3. 基礎(chǔ)矩陣包含二維變換、攝像機(jī)旋轉(zhuǎn)、攝像機(jī)平移等變換,b）基于特征點(diǎn)空間分布的圖像配準(zhǔn),二維仿射變換：兩幀圖像間的變化可由二維圖像平面上的 二維旋轉(zhuǎn)、放縮、平移來(lái)描述； r、l 分別表示左右圖像中特征點(diǎn)坐標(biāo)，i、j 表示特征點(diǎn)序號(hào) 若已知左、右圖像中的3個(gè)匹配特征點(diǎn)對(duì)，則能求解該變換,b）基于特征點(diǎn)空間分布的圖像配準(zhǔn),二維透視變換：兩幀圖像間的變化包括二維圖像平面上的 二維旋轉(zhuǎn)、放縮、平移、攝像機(jī)成像平面在三維空間中繞 光心旋轉(zhuǎn)； r、l 分別表示左右圖像中特征點(diǎn)坐標(biāo)，i、j 表示特征點(diǎn)序號(hào) 若已知左、右圖像中的4個(gè)匹配特征點(diǎn)對(duì)，則能求解該變換,b）基于特征點(diǎn)空間分布的圖像配準(zhǔn),仿射配準(zhǔn)的處理流程： 1. 假設(shè)左圖像與右圖像的特征點(diǎn)集分別為P、Q，從P、Q中選擇一個(gè)未嘗試的三點(diǎn)對(duì)，若已無(wú)三點(diǎn)對(duì)可以選擇，則認(rèn)為配準(zhǔn)失敗，并結(jié)束處理流程 2. 使用相似三角形約束判斷三點(diǎn)對(duì)的合理性，若不合理，則轉(zhuǎn)第一步,b）基于特征點(diǎn)空間分布的圖像配準(zhǔn),相似三角形約束：p、q分別表示P、Q中的特征點(diǎn)， 相同腳標(biāo)表示具有匹配關(guān)系，為很小的值,b）基于特征點(diǎn)空間分布的圖像配準(zhǔn),3. 使用三點(diǎn)對(duì)解方程組，求解仿射變換的6個(gè)未知系數(shù)，確定變換矩陣 4. 使用得到的變換矩陣，求P中所有特征點(diǎn)在Q中滿(mǎn)足容忍度D（誤差，以像素為單位）的匹配特征點(diǎn) 5. 若特征點(diǎn)數(shù)量足夠大，則認(rèn)為配準(zhǔn)成功，保存匹配點(diǎn)對(duì)信息，結(jié)束處理流程；否則，轉(zhuǎn)第1步,b）基于特征點(diǎn)空間分布的圖像配準(zhǔn),仿射配準(zhǔn)示例：由于實(shí)際的幾何變換包含 攝像機(jī)繞光心旋轉(zhuǎn)、平移等三維變換，因 此導(dǎo)致部分點(diǎn)對(duì)失配,特征提取與匹配的目的,特征提取與匹配是三維表面重建（立體視覺(jué)）的必要基礎(chǔ)； 同時(shí)也是物體形狀分類(lèi)、識(shí)別、對(duì)齊等功能的必要基礎(chǔ)。,特征提取的總體原則,1）在視覺(jué)中顯著程度（Saliency）高，一般在圖像中越稀少的內(nèi)容顯著度越高； 例子：角點(diǎn)、邊緣點(diǎn)、BLOB特征 2）顯著程度的其中一種評(píng)估標(biāo)準(zhǔn)：熵 熵的評(píng)估：針對(duì)圖像中的指定區(qū)域，一般以考察點(diǎn)為中心，其中的邊緣信息越豐富，熵越高。,視覺(jué)顯著度示例,使用直方圖間接評(píng)估區(qū)域熵,其它特征點(diǎn)提取與圖像內(nèi)容描述、配準(zhǔn)方法,c）熵特征提取 d）BLOB特征提取 e）特征點(diǎn)的局部描述符 f）基于局部描述符的配準(zhǔn)方法,c）熵特征提取,固定尺度熵特征 的局限性：無(wú)法 自動(dòng)適應(yīng)物體在 圖像中的尺寸,c）熵特征提取,固定尺度熵特征的局限性：邊緣信息在全圖像范圍豐富時(shí)，無(wú)法體現(xiàn)“稀少”性質(zhì)，特征的“顯著性”減弱，“隨機(jī)性”增強(qiáng),引入多尺度熵特征： 左圖：選擇具有最大熵的尺度；右圖：選擇熵局部極值所在的尺度,多尺度熵特征的優(yōu)點(diǎn),能適應(yīng)物體在圖像中尺寸變化； 各尺度特征的空間組合可用于描述物體形狀結(jié)構(gòu)； 能在邊緣總體豐富的情況下，保持特征提取的顯著度；,多尺度熵特征加入K近鄰聚類(lèi),能適應(yīng)圖像中物體尺寸的變化,多尺度熵特征加入K近鄰聚類(lèi),邊緣在全圖像豐富時(shí)，仍能保持“高顯著”,多尺度熵特征加入K近鄰聚類(lèi),多尺度特征的空間結(jié)構(gòu)可用于特征匹配；間接提供一種物體形狀或結(jié)構(gòu)的描述方式,多尺度熵特征對(duì)圖像旋轉(zhuǎn)的不變性,多尺度熵特征對(duì)圖像放