第1頁，共25頁，2023年，2月20日，星期四2.1系統(tǒng)框架

第2頁，共25頁，2023年，2月20日，星期四2.2系統(tǒng)的模塊介紹

系統(tǒng)由9個主要的子模塊組成：圖像采集子模塊數字圖像處理子模塊注冊定位子模塊標識識別子模塊，深度檢測子模塊圖形渲染子模塊用戶交互子模塊虛實融合子模塊多媒體控制子模塊第3頁，共25頁，2023年，2月20日，星期四2.2系統(tǒng)的模塊介紹圖像采集子模塊從圖像輸入設備中采集視頻流，從視頻流中獲取視頻圖像。數字圖像處理子模塊為三維注冊子模塊和虛實結合子模塊提供非常重要的基礎數據。它的具體功能是通過圖像分割，邊緣檢測等圖像處理方法對采集的圖像進行處理，從工作環(huán)境背景中識別出預先在環(huán)境中設置的用于定位的標志。標識識別子模塊根據模式匹配算法，使系統(tǒng)從攝像機的視頻圖像中正確的識別出預先設計好的標記物，同時給出標記物的ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入參數的一部分，以使得圖形顯示子模塊將預先設計好的三維模型正確的顯示在特定的位置上。第4頁，共25頁，2023年，2月20日，星期四2.2系統(tǒng)的模塊介紹注冊定標子模塊以圖像檢測模塊的輸出結果為數據的輸入，通過相機標定內部參數的算法和相機標定的外部參數的算法，將程序中所用到標記的三維位置和姿態(tài)計算出來，最后相機的外部參數作為輸出結果輸入到虛實結合子模塊，用openGL等軟件中的虛擬相機模擬真實世界中的相機，產生良好的虛實環(huán)境無縫融合的場景。深度檢測子模塊檢測特定空間點的深度信息。為了判斷系統(tǒng)中渲染的虛擬物體與真實環(huán)境中物體的遮擋關系，系統(tǒng)中需要計算虛擬物體與真實場景中物體的深度信息，通過比較它們的深度信息，確定虛擬物體與真實場景中物體的遮擋關系，實現系統(tǒng)中真實場景與虛擬物體遮擋一致性，同時通過檢測真實場景中用戶的手勢等交互動作，完成用戶與場景中虛擬物體的自然交互。第5頁，共25頁，2023年，2月20日，星期四2.2系統(tǒng)的模塊介紹圖形繪制子模塊實現對虛擬三維模型實時動態(tài)的渲染。虛實融合模塊主要完成前景和虛景融合、遮擋處理、邊緣融合等工作。額外的視覺效果，如光照、前景色彩增加等也在模塊中實現。為了達到逼真的虛實融合的效果，正確顯示虛擬物體和真實物體的遮擋關系，需要將深度檢測模塊的輸出結果作為輸入傳入虛實結合子模快，虛實結合子模塊根據真實場景中的物體與虛擬物體的遮擋關系進行虛擬場景與真實場景的無縫融合。用戶交互子模塊為用戶提供兩種與虛擬三維模型進行直接交互的方式。多媒體控制模塊模擬系統(tǒng)環(huán)境中產生的各種各樣的聲音元素，同時把視頻文件播放出來。第6頁，共25頁，2023年，2月20日，星期四2.3圖像采集與處理模塊圖像采集模塊主要功能是從圖像輸入設備中采集視頻流，從視頻流中獲取視頻圖像。增強現實系統(tǒng)圖像的采集應該滿足實時性、精確性的要求。目前性能較高的CCD攝像頭都可以滿足系統(tǒng)對圖像精度和獲取速度的要求。微軟DirectX開發(fā)包中的Direetshow模塊，是微軟公司發(fā)布的在Windows環(huán)境下運行的一種流媒體處理體系，是DirectX的組成部分之一。Directshow支持很多種多媒體格式，包括常用的ASF，MPEG，AVI，MP3，WAV等。當系統(tǒng)安裝有硬件加速設備的時候，Directshow可以自動檢測并使用硬件加速設備。同樣，它也支持沒有硬件加速設備的系統(tǒng)。第7頁，共25頁，2023年，2月20日，星期四2.3圖像采集與處理模塊第8頁，共25頁，2023年，2月20日，星期四2.3圖像采集與處理模塊在基于計算機視覺的系統(tǒng)工程中，數字圖像處理子模塊為三維注冊子模塊和虛實結合子模塊提供非常重要的基礎數據。它的具體功能是通過圖像分割、邊緣檢測等圖像處理方法對采集的圖像進行處理，從工作環(huán)境背景中識別出預先在環(huán)境中設置的用于定位的標志。數字圖像處理子模塊的性能優(yōu)劣直接影響系統(tǒng)在三維注冊階段的實時性和虛擬結合模塊中無縫融合的精確性。數字圖像處理子模塊的三個主要過程是圖像預處理與圖像分割，邊緣檢測和提取系統(tǒng)感興趣的特征點。第9頁，共25頁，2023年，2月20日，星期四2.3圖像采集與處理模塊具體實現在第三章詳細介紹第10頁，共25頁，2023年，2月20日，星期四2.4三維模型繪制模塊可以用DirectX、游戲引擎中的繪制三維模型語句和渲染語句來繪制三維模型，但所繪制的模型相對簡單。用3DsMAX、Maya來繪制三維模型，然后導出到增強現實程序開發(fā)環(huán)境。三維模型的運動控制由增強現實程序開發(fā)環(huán)境中的程序實現，但人物運動序列等看可以在3DsMAX、Maya中建好后導出。模型的復制可以用程序實現。具體繪制方法在第四章中詳細介紹第11頁，共25頁，2023年，2月20日，星期四2.5標識識別模塊在增強現實系統(tǒng)中，經過圖像分割、邊緣檢測和輪廓提取之后，我們就可以把以上步驟的結果用于標識識別子模塊根據模式匹配算法，使系統(tǒng)從攝像機的視頻圖像中正確的識別出預先設計好的標識，同時給出標識的ID號碼，作為系統(tǒng)中圖形顯示子模塊輸入參數的一部分，以使得圖形顯示子模塊將預先設計好的三維模型正確的顯示在特定的標記上，實現對真實環(huán)境的增強。標識分為兩類，一類是人工設定好的標識，一類是場景中自然具備的。人工設定好的標識一般由具有一定寬度的黑色封閉的矩形框和內部的各種圖形或文字兩部分構成。第12頁，共25頁，2023年，2月20日，星期四2.5標識識別模塊對于人工設定好的標識通過對視頻中的每一幀圖像運用圖像分割、邊緣提取、連通區(qū)域檢測、輪廓提取等過程判斷視頻圖像中是否含有封閉的黑色矩形框。匹配連通區(qū)域中的四邊形結構，記錄視頻圖像中所有標識所在區(qū)域和坐標。分別提取各個標識四邊形的邊緣像素坐標，找出四邊形標識四個頂點坐標，計算出標識邊緣的直線方程(屏幕坐標)。由于系統(tǒng)中使用的標識記是事先設計的有規(guī)則的標識，所以能夠快速獲得檢測結果。第13頁，共25頁，2023年，2月20日，星期四2.5標識識別模塊對于人工設定好的標識標識所代表的具體信息用標識內部的圖形或文字表示，如表示何種目標或在此應顯示何種虛擬物體。具體的標識內部圖像可以根據需要手動選擇任意的圖像作為標識物，可以通過幾種圖元的組合自動生成工程中所需要標識。進行模板匹配，來實現標識識別。在做標識匹配前，需要進行圖像正規(guī)化。第14頁，共25頁，2023年，2月20日，星期四2.5標識識別模塊圖像正規(guī)化系統(tǒng)中采集圖像的攝像頭在采集圖像的時候處于隨機的位置，即從任何角度任何位置拍攝都可以，那么，攝像頭鏡面不一定與標識物的平面是平行的，攝像頭的光軸也并不一定是垂直于標識物。所以采集到的圖像也是不規(guī)則的，標識物的外輪廓發(fā)生了一定的變形，這些變形包括平移、旋轉、縮放仿射變形等。為了用預先制作的模版和圖像進行匹配，從而識別標識物的ID號碼，需要對圖像進行幾何變換，使圖像正規(guī)化第15頁，共25頁，2023年，2月20日，星期四2.5標識識別模塊圖像正規(guī)化將從攝像頭獲取的標識圖像轉變?yōu)閿z像頭和圖像是正對著的，攝像頭的光心垂直于標識物時拍攝的視頻圖像。一般情況下，由于由攝像機引起的這種圖像變換是仿射變換。通常情況下，這種變換是線性的，即能夠保持線段的直線性、距離化、平行性不變。在圖像線性變形的假設條件下，變形圖像點的坐標(X,Y)與原圖像上點的坐標(x,y)之間的關系是:第16頁，共25頁，2023年，2月20日，星期四2.5標識識別模塊其中，C為3*3的矩陣，這個矩陣的第三列對平面圖像沒有影響，所以只要確定了變形圖像上的3個點以及在沒有變形圖像上與它們對應的3個點的坐標，就可以代入方程組，求出方程中的六個未知數。也就是求得了變形圖像和未變形圖像之間的對應關系。第17頁，共25頁，2023年，2月20日，星期四2.5標識識別模塊模板匹配圖像匹配技術是數字圖像處理領域的一項重要研究。根據已知模式(模板圖)，到另一幅圖中搜索相匹配的子圖像的過程，稱為模板匹配。模板就是一幅已知的小圖像，具體地說模板匹配的過程是在一幅大圖像中搜尋目標，己知該圖中有要找的目標，通過一定的算法可以在圖中找到目標，確定其坐標位置。圖像的模板匹配技術可以分成直接基于灰度值的方法以及基于特征提取的方法兩大類。第18頁，共25頁，2023年，2月20日，星期四2.5標識識別模塊一幅圖像與另一幅圖像接近的程度需要一個尺度來描述，在數學上常用向量的范數做為一個尺度。假設輸入圖像為M，已知圖像為T，它們之間的相似度可以用下式衡量：其中，d是一個距離標量，表示兩個向量之間的距離。通過在圖像中尋找使d值最小的區(qū)域，確定被尋找的圖像T在輸入圖像中的位置等信息。為了防止出現匹配錯誤的情況，一般會在應用中設置一個閥值，當d小于某個閥值時，認為兩幅圖像有一定可比的相似度，當d大于某個閥值時，認為兩幅圖像不具有可比的相似度，不參與d值的比較。第19頁，共25頁，2023年，2月20日，星期四2.5標識識別模塊由于在拍攝圖像的時候，會因為光照強度不同，獲取的圖像在灰度級的分布上會不同，這種情況使得兩張原本形狀相似的圖像被檢測為不相似。為了避免這種情況，實際應用中使用兩個向量的夾角這個標準來衡量兩個圖像的相似度，公式如下:系統(tǒng)中采用標準相似度來進行模版匹配。所采用的特征是圖像的標識物區(qū)域的面積比幾何特征。面積比計算比較簡單，實時性好;同時在圖像進行線性變換的過程中面積比特征不會改變。在對系統(tǒng)的標識物事先設定好的情況下會有較高的精度。第20頁，共25頁，2023年，2月20日，星期四2.6三維注冊模塊增強現實系統(tǒng)必須能夠實時地檢測出觀測者(或攝像機)相對于真實場景的位置和方向角，以及成像系統(tǒng)(攝像機)的內部參數(焦距和像元高寬比等)根據這些信息來實時確定所要添加的虛擬信息在真實空間中的映射位置，并將這些信息實時顯示在圖象中的正確位置。在用戶看來，無論從任何角度觀察，都應該使虛擬物體與真實場景保持三維歐氏空間的幾何一致性。這就是AR中的虛實注冊(Registration)所要完成的任務。第21頁，共25頁，2023年，2月20日，星期四2.6三維注冊模塊三維注冊子模塊以圖像檢測模塊的輸出結果為數據的輸入，通過相機標定內部參數的算法和相機標定的外部參數的算法，將程序中所用到標記的三維位置和姿態(tài)計算出來。相機的外部參數作為輸出結果輸入到虛實融合子模塊，用DirectX或openGL中的虛擬相機模擬真實世界中的相機，產生良好的虛實環(huán)境無縫融合的場景。將三維的虛擬動畫模型渲染到特定的標識物上，實現增強現實的效果。該模塊的詳細設計和具體的算法在第五章有詳細的討論。第22頁，共25頁，2023年，2月20日，星期四2.7深度檢測模塊為了判斷系統(tǒng)中渲染的虛擬物體與真實環(huán)境中物體的遮擋關系，系統(tǒng)中需要計算虛擬物體與真實場景中物體的深度信息，通過比較它們的深度信息，確定虛擬物體與真實場景中物體的遮擋關系，實現系統(tǒng)中真實場景與虛擬物體遮擋一致性由計算機視覺的相機標定技術可以知道，一幅圖像中的一個點確定空間中一條直線與這個點相對應，為了在系統(tǒng)中求取圖像上一點的深度信息，需要兩幅圖像或多幅圖像。計算一個點在多幅圖像上深度信息的直線方程，然后聯方程，用最小二乘法計算出圖像點的深度信息。第23頁，共25頁，2023年，2月20日，星期四2.7深度檢測模塊深度檢測模塊的流程圖第24頁，共25頁，2