1、學(xué)院(部)機(jī)電工程學(xué)院題 目基于切換濾波方法的墻面觸控系統(tǒng)設(shè)計(jì) 目 錄摘要1Abstract2第一章 緒論41.1 研究背景和研究意義41.2 國(guó)內(nèi)外現(xiàn)狀51.3 主要研究?jī)?nèi)容61.4 章節(jié)安排7第二章 基于Kinect的墻面觸控系統(tǒng)設(shè)計(jì)方案82.1 設(shè)計(jì)方案概述82.2 硬件選型與介紹92.3 系統(tǒng)的搭建與界面標(biāo)定112.4 圖像噪聲分析172.5 本章小結(jié)17第三章 基于切換規(guī)則的深度圖像切換濾波算法183.1 切換系統(tǒng)介紹183.2 基于貝葉斯估計(jì)的切換規(guī)則原理193.3 聯(lián)合雙邊濾波子系統(tǒng)213.4 改進(jìn)的自適應(yīng)中值濾波子系統(tǒng)243.5 切換濾波算法實(shí)驗(yàn)結(jié)果分析263.6 本章小結(jié)32

2、第四章 墻面觸控系統(tǒng)基于Ventuz平臺(tái)的實(shí)際應(yīng)用效果334.1 基于Kinect骨骼追蹤的動(dòng)態(tài)目標(biāo)追蹤334.2 三維編輯軟件Ventuz平臺(tái)介紹364.3 基于Ventuz平臺(tái)的軌跡操作分析374.4 基于Ventuz平臺(tái)的汽車(chē)模型案例394.5 本章小結(jié)41第五章 總結(jié)與展望425.1 本文總結(jié)425.2 展望43參考文獻(xiàn)44致謝46基于切換濾波方法的墻面觸控系統(tǒng)設(shè)計(jì)摘 要現(xiàn)今信息技術(shù)的蓬勃發(fā)展帶來(lái)了全新的網(wǎng)絡(luò)信息時(shí)代，現(xiàn)有的傳播媒介已發(fā)生了巨大的變化，從傳統(tǒng)的通過(guò)視覺(jué)傳播信息的電視機(jī)、計(jì)算機(jī)等到現(xiàn)在的提供人體與媒介實(shí)時(shí)互動(dòng)的人機(jī)互動(dòng)技術(shù)。現(xiàn)如今大量的教育匯報(bào)、商業(yè)廣告、游戲娛樂(lè)中應(yīng)用了

3、大屏幕人機(jī)互動(dòng)模式，使人們能夠身臨其境的操作，最大程度上激發(fā)人們的互動(dòng)興趣。但是，由于大屏幕人機(jī)交互技術(shù)屬于新興領(lǐng)域，目前投入使用的各類(lèi)大屏幕人機(jī)交互設(shè)備仍存在著諸多不足。例如，基于大型激光傳感器檢測(cè)目標(biāo)的人機(jī)互動(dòng)系統(tǒng)雖然擁有著較高的精確度，但是硬件設(shè)備本身成本已足夠高昂，對(duì)于應(yīng)用場(chǎng)合也有較大的限制難以得到大范圍的使用；而基于小型Kinect深度傳感器的人機(jī)交互系統(tǒng)，憑借其體型小巧且成本低廉，能夠應(yīng)用于各類(lèi)場(chǎng)景等特點(diǎn)，已成為如今發(fā)展大屏幕人機(jī)互動(dòng)系統(tǒng)的重要媒介，然而由于Kinect硬件本身采集圖像分辨率不高且圖像中常常存有大量噪聲，從而導(dǎo)致系統(tǒng)難以得到高分辨率的精準(zhǔn)的圖像。針對(duì)上述問(wèn)題以及如何

4、對(duì)界面進(jìn)行快速有效的創(chuàng)建的問(wèn)題提出解決方案，在對(duì)國(guó)內(nèi)外互動(dòng)投影的發(fā)展現(xiàn)狀的分析后，基于梯形校正法設(shè)計(jì)了基于Kinect傳感器的墻面觸控互動(dòng)系統(tǒng)，該系統(tǒng)能夠在任意墻面上達(dá)到實(shí)時(shí)精準(zhǔn)的人機(jī)互動(dòng)操作效果。在圖像預(yù)處理階段將工程中的切換系統(tǒng)引入數(shù)字圖像濾波提出基于切換系統(tǒng)的貝葉斯估計(jì)切換濾波方法，在目標(biāo)追蹤階段采用半身骨骼追蹤法排除干擾項(xiàng)，最后基于Ventuz三維編輯軟件平臺(tái)進(jìn)行實(shí)際案例操作演示，驗(yàn)證了本文提出的基于切換系統(tǒng)的改進(jìn)算法在實(shí)際應(yīng)用中的可行性。關(guān)鍵詞：大屏幕人機(jī)互動(dòng)系統(tǒng)；Kinect傳感器；切換濾波；Ventuz8Research of wall touch system based on

5、 switching filter methodAbstractThe flourishing development of information technology has brought about a new era of network information. The existing media has undergone tremendous changes. From the traditional television, computer, etc., that transmit visual information, to the current technology

6、that provides real-time interaction between the human body and the media. Nowadays, large-screen human-computer interaction modes have been applied in a large number of educational reports, commercial advertisements, and games and entertainment, enabling people to perform immersive operations and ma

7、ximizing their interactive interest. However, due to the large-screen human-computer interaction technology being an emerging field, various types of large-screen human-computer interactive devices currently in use still have many shortcomings. For example, although the human-computer interaction sy

8、stem based on the large-scale laser sensor has a high degree of accuracy, the cost of the hardware device itself is high enough, and there exists a limitation on the application occasion so it is difficult to obtain a wide range of use. The human-computer interaction system based on the small Kinect

9、 depth sensor, with its small size and low cost, can be applied to the characteristics of various scenes, and has become an important medium for the development of large-screen interactive human-computer systems. However, because the resolution of the images collected by the Kinect is not high and t

10、here are often a lot of noise in the images, it is difficult for the system to get high resolution and accurate images.In order to solve the above problems and to solve the problem of quick and effective creation of the interface, after analyzing the development status of domestic and foreign intera

11、ctive projections, a wall touch interaction system based on Kinect sensor was designed based on the trapezoidal correction method. This system can achieve real-time and accurate human-computer interaction on any wall. It can achieve accurate and real-time human-computer interactive operation which c

12、an effect on any wall surface. In the image preprocessing stage, the switching system which is usually used in engineering is introduced into the digital image filtering, and a switching system based on Bayesian estimation filter is proposed . In the target tracking phase, the half-body skeletal tra

13、cking method was used to eliminate the interference items. Finally, based on the Ventuz three-dimensional editing software platform to demonstrate the actual case operation to verify the feasibility of the improved algorithm in practical applications.Keywords：Large-screen human-computer interaction

14、system; Kinect sensor; Switching filter; Ventuz第一章 緒論1.1 研究背景和研究意義現(xiàn)今信息技術(shù)的蓬勃發(fā)展帶來(lái)了全新的網(wǎng)絡(luò)信息時(shí)代，現(xiàn)有的傳播媒介已發(fā)生了巨大的變化，從傳統(tǒng)的通過(guò)視覺(jué)傳播信息的電視機(jī)、計(jì)算機(jī)等到現(xiàn)在的提供人體與媒介實(shí)時(shí)互動(dòng)的人機(jī)互動(dòng)技術(shù)1。當(dāng)受眾數(shù)量增加，使用者不可能仍使用一個(gè)鼠標(biāo)或鍵盤(pán)來(lái)控制屏幕操作，因此更多的非接觸式人機(jī)互動(dòng)被投放至學(xué)校、商場(chǎng)、博物館等通過(guò)大屏幕展示所需內(nèi)容的場(chǎng)所，使得受眾能夠如臨其境地自然操作，促進(jìn)了傳播信息的接受度、參與者的積極度。目前的人機(jī)交互多由語(yǔ)音識(shí)別2和基于計(jì)算機(jī)的視覺(jué)檢測(cè)3技術(shù)實(shí)現(xiàn)操控。但使用語(yǔ)音

15、識(shí)別時(shí)容易被環(huán)境噪音等影響，導(dǎo)致識(shí)別效率低下、交互反饋較差，尤其是受眾數(shù)量大的情況下，多人語(yǔ)音識(shí)別效果不甚理想?；谟?jì)算機(jī)視覺(jué)開(kāi)發(fā)的圖像采集設(shè)備能夠?qū)崟r(shí)跟蹤受眾的操作資質(zhì)，通過(guò)一系列的目標(biāo)分割、動(dòng)作捕獲、實(shí)時(shí)跟蹤等操作，辨別有效操作點(diǎn)，于操作面上反饋匹配觸發(fā)的事件完成人機(jī)互動(dòng)操作。由于視覺(jué)技術(shù)使用簡(jiǎn)易并提供多種交互方式，對(duì)于環(huán)境內(nèi)其余干擾項(xiàng)能夠較好的去除，因此如今的大屏幕人機(jī)交互系統(tǒng)多采取基于視覺(jué)技術(shù)的交互模式。當(dāng)前的動(dòng)作捕獲研究4集中于基于RGB圖像對(duì)人體圖像的灰度特征、運(yùn)動(dòng)特征的處理來(lái)跟蹤檢測(cè)目標(biāo)，但由于RGB圖像不存在對(duì)目標(biāo)三維空間的信息反饋，難以對(duì)復(fù)雜環(huán)境中的目標(biāo)檢測(cè)，目標(biāo)的跟蹤魯棒性

16、較差，應(yīng)用范圍受到較大限制。因此，現(xiàn)有的研究方向開(kāi)始更多的集中在利用深度圖像對(duì)目標(biāo)進(jìn)行檢測(cè)和跟蹤，通過(guò)Kinect傳感器采集目標(biāo)環(huán)境中的深度信息，避免了目標(biāo)附近的干擾項(xiàng)的影響，將目標(biāo)從復(fù)雜背景中分離出來(lái)，提高了檢測(cè)的準(zhǔn)確性與跟蹤的魯棒性。為了克服RGB圖像以及深度圖像中對(duì)人體檢測(cè)的局限性，本文采用成本低廉的Kinect傳感器獲取深度圖像，并基于Kinect采集的深度圖像采用了常被使用在工程領(lǐng)域的切換系統(tǒng)以提高對(duì)圖像濾波的準(zhǔn)確性，完善對(duì)操作者的動(dòng)作跟蹤，實(shí)現(xiàn)復(fù)雜環(huán)境下的自然的墻面人機(jī)交互。深度圖像5被廣泛應(yīng)用于無(wú)人駕駛導(dǎo)航、大屏幕人機(jī)交互等領(lǐng)域。當(dāng)前獲取深度圖像主要為兩種方法，第一種是通過(guò)計(jì)算機(jī)

17、視覺(jué)技術(shù)計(jì)算二維圖形特征與三維空間的幾何對(duì)應(yīng)關(guān)系，但是這種方法存在嚴(yán)格的限制條件，對(duì)于圖像的校正也提出了相當(dāng)高的要求，因此在實(shí)際應(yīng)用中很難得到大范圍的使用。第二種方法是通過(guò)ToF（Time of flight，飛行時(shí)間）或光編碼技術(shù)捕捉三維場(chǎng)景的深度，由于能實(shí)時(shí)獲取深度圖像，這種方法受到了越來(lái)越多的關(guān)注。1.2 國(guó)內(nèi)外現(xiàn)狀隨著人機(jī)互動(dòng)多媒體技術(shù)的近十年的發(fā)展，互動(dòng)投影成為人們對(duì)與更高水準(zhǔn)交互式體驗(yàn)的產(chǎn)物，結(jié)合了虛擬仿真技術(shù)和人機(jī)交互技術(shù)的互動(dòng)投影為人們營(yíng)造了直觀逼真的環(huán)境氛圍，創(chuàng)造出一個(gè)具有真實(shí)感的自然環(huán)境。美國(guó)GestureTek6公司是在互動(dòng)投影領(lǐng)域已有了幾十年的歷史，在運(yùn)動(dòng)檢測(cè)方面也處于

18、世界級(jí)領(lǐng)先地位。該公司的VGC（多視頻手勢(shì)控制）技術(shù)讓操作者直接控制多媒體，通過(guò)對(duì)獲取到的人體運(yùn)動(dòng)信息進(jìn)行處理，從而觸發(fā)沉浸式的3D虛擬互動(dòng)世界。同時(shí)，GestureTek公司也創(chuàng)造了多種多樣的的體感操控設(shè)備，Gesturepoint的高清播放機(jī)的開(kāi)發(fā)更是使得操作者無(wú)需使用任意輔助設(shè)備就能通過(guò)自身身體控制，更大程度上的營(yíng)造了一個(gè)具有真實(shí)體驗(yàn)感的虛擬環(huán)境。而相對(duì)于國(guó)外的先進(jìn)技術(shù)發(fā)展，目前國(guó)內(nèi)對(duì)于互動(dòng)投影技術(shù)的研究仍處于落后階段，更多的是對(duì)于國(guó)外引進(jìn)產(chǎn)品的研究，這種缺少創(chuàng)造性的研究極大程度上削弱了國(guó)內(nèi)類(lèi)似產(chǎn)品的競(jìng)爭(zhēng)力，因此對(duì)于互動(dòng)投影的進(jìn)一步研究迫在眉睫。圖像濾波處理在整個(gè)圖像分析階段中屬于圖像的

19、預(yù)處理階段，屬于對(duì)數(shù)字圖像恢復(fù)的技術(shù)范疇。深度圖像與彩色圖像是對(duì)三維空間場(chǎng)景的不同觀察方式，兩者之間存在很強(qiáng)關(guān)聯(lián)性。傳統(tǒng)的目標(biāo)識(shí)別研究大多基于對(duì)RGB圖像的檢測(cè)，并在過(guò)去的數(shù)十年中取得長(zhǎng)足的進(jìn)步。但基于RGB圖像的目標(biāo)識(shí)別仍然是一項(xiàng)復(fù)雜的工作且并不具備非常理想的識(shí)別效果。由于人體的個(gè)體差異性、動(dòng)作習(xí)慣、衣著個(gè)性等都有顯著的差異，對(duì)于最終的識(shí)別結(jié)果均會(huì)帶來(lái)難以預(yù)估的影響。針對(duì)采用深度圖像識(shí)別目標(biāo)的深度傳感器一經(jīng)上市就有效地提升了機(jī)器視覺(jué)感知三維世界的信息受理能力。由于對(duì)工作場(chǎng)所的光照環(huán)境要求不是很高，并且是基于對(duì)檢測(cè)范圍的物理距離遠(yuǎn)近的探測(cè)，相比RGB圖像，深度圖像的產(chǎn)生使得目標(biāo)物能夠更加精準(zhǔn)簡(jiǎn)

20、易地從工作環(huán)境中被識(shí)別提取出來(lái)。盡管深度圖像的出現(xiàn)為目標(biāo)提取提供了新的方向，當(dāng)前的濾波算法仍大部分面向彩色圖像，適用于深度圖像的較少，很多研究者都將針對(duì)一般圖像的濾波算法直接應(yīng)用于對(duì)深度圖像進(jìn)行濾波，如高斯濾波7、中值濾波8、均值濾波9和小波算法10等。而雙邊濾波算法自提出以來(lái)，由于其夠有效的進(jìn)行去噪并能夠兼具良好的平滑效果和無(wú)需迭代的特性，在圖像處理領(lǐng)域獲得了廣泛運(yùn)用。通常，針對(duì)深度圖像的增強(qiáng)方法可概括為以下2大類(lèi)：基于全局優(yōu)化的插值方法11和基于雙邊的插值方法12。在雙邊濾波基礎(chǔ)上提出的聯(lián)合雙邊濾波器是 Petschningg 等13于2004年提出的一種改進(jìn)算法，以加入另一幅導(dǎo)向圖的方法

21、減少空洞，得到效果更好的權(quán)值。椒鹽噪聲通常使用中值濾波進(jìn)行去噪處理并能得到效果良好的去噪后圖像，在文獻(xiàn)14中兩個(gè)用于減少圖像中椒鹽噪聲的濾波器，即自適應(yīng)邊緣保持濾波器和自適應(yīng)開(kāi)關(guān)雙邊濾波器被提出。運(yùn)動(dòng)跟蹤的研究起源于上個(gè)世紀(jì)六七十年的西方國(guó)家，Dalal等人15提出了基于HOG（Histogram of oriented gradient）梯度直方圖特征的算法，解決了靜態(tài)圖像中行人監(jiān)測(cè)的問(wèn)題。文獻(xiàn)16在人體跟蹤方面，提出了基于改進(jìn)的Meanshift算法的目標(biāo)跟蹤方法，通過(guò)判別跟蹤區(qū)域是前景區(qū)域或背景區(qū)域以設(shè)置權(quán)重系數(shù)，同時(shí)將跟蹤區(qū)域精確到檢測(cè)范圍內(nèi)的目標(biāo)人體，再結(jié)合Kalman濾波器對(duì)人體下

22、一步的運(yùn)動(dòng)方向進(jìn)行預(yù)測(cè)，能夠有效降低由于背景區(qū)域干擾帶來(lái)的的計(jì)算量達(dá)到更好的跟蹤效果。我國(guó)科學(xué)部門(mén)對(duì)目標(biāo)跟蹤技術(shù)給予了充分重視，在召開(kāi)了三屆智能視覺(jué)監(jiān)控會(huì)議后，大幅度提升了利用人體追蹤技術(shù)對(duì)日常監(jiān)控的廣泛利用程度。目標(biāo)檢測(cè)技術(shù)也被應(yīng)用于日常很多公共場(chǎng)合的監(jiān)管或生活監(jiān)控，例如銀行、機(jī)場(chǎng)、火車(chē)站等對(duì)安全系數(shù)要求較高的公共場(chǎng)所就能看到該技術(shù)的使用。1.3 主要研究?jī)?nèi)容本文提出一種低成本、便捷、精準(zhǔn)的新型互動(dòng)投影系統(tǒng)基于切換系統(tǒng)的Kinect墻面觸控互動(dòng)投影系統(tǒng)，并對(duì)其從濾波、跟蹤、實(shí)際應(yīng)用等方面進(jìn)行介紹優(yōu)化。針對(duì)Kinect采集的深度圖像存在噪聲導(dǎo)致圖像粗糙的問(wèn)題，提出將切換系統(tǒng)應(yīng)用于圖像濾波的研究

23、方向，通過(guò)子系統(tǒng)去除普遍存在的高斯噪聲、椒鹽噪聲，加入基于骨骼定位的動(dòng)態(tài)手勢(shì)追蹤方法，優(yōu)化實(shí)際墻面觸控應(yīng)用中存在的追蹤目標(biāo)不當(dāng)?shù)葐?wèn)題。將提出的切換系統(tǒng)投放到實(shí)際應(yīng)用場(chǎng)合。結(jié)合ventuz界面給出實(shí)際效果圖，通過(guò)對(duì)軌跡的追蹤測(cè)試，驗(yàn)證實(shí)際應(yīng)用場(chǎng)合的系統(tǒng)穩(wěn)定性。主要內(nèi)容可概括如下：(1) 搭建一個(gè)基于Kinect傳感器的互動(dòng)控制系統(tǒng)，闡述其基本原理，并利用投影技術(shù)和動(dòng)態(tài)捕捉方法來(lái)創(chuàng)建智能交互區(qū)域。(2) 在深度圖像預(yù)處理階段，針對(duì)常用的濾波算法復(fù)雜度高、耗時(shí)長(zhǎng)，影響互動(dòng)投影系統(tǒng)的實(shí)時(shí)性等問(wèn)題，提出一種基于切換系統(tǒng)的切換濾波算法以優(yōu)化去噪圖像。(3) 在目標(biāo)跟蹤階段，針對(duì)可能出現(xiàn)的背景干擾項(xiàng)提出采用

24、Kinect的骨骼追蹤法，以保證僅將人體目標(biāo)判斷為有效操作點(diǎn)，避免了可能存在的背景干擾項(xiàng)。(4) 結(jié)合Ventuz三維編輯軟件與基于Kinect的墻面觸控投影系統(tǒng)通信的相關(guān)技術(shù)，通過(guò)對(duì)目標(biāo)軌跡的跟蹤測(cè)試驗(yàn)證系統(tǒng)的優(yōu)化性能，最后以汽車(chē)部件展示為例，介紹墻面互動(dòng)投影系統(tǒng)的實(shí)際應(yīng)用，并展示其互動(dòng)內(nèi)容及其互動(dòng)效果。1.4 章節(jié)安排全文共分為五個(gè)章節(jié)，其中各章節(jié)主要內(nèi)容安排如下：第1章， 緒論。該章節(jié)首先闡述了當(dāng)前大屏幕人機(jī)互動(dòng)技術(shù)的發(fā)展情況，并指出其不足。其次介紹了大屏幕人機(jī)互動(dòng)技術(shù)相關(guān)的互動(dòng)投影技術(shù)，數(shù)字圖像濾波技術(shù)以及人體目標(biāo)追蹤相關(guān)的國(guó)內(nèi)外研究現(xiàn)狀。第二章，基于Kinect的墻面觸控系統(tǒng)設(shè)計(jì)方案

25、。該章首先介紹了基于Kinect的墻面觸控系統(tǒng)的主要構(gòu)成，分別介紹了硬件部分和軟件部分的相關(guān)部件。然后介紹了系統(tǒng)的整體搭建和互動(dòng)投影面的標(biāo)定過(guò)程。最后介紹了Kinect傳感器的深度攝像頭所拍攝到的深度圖像中有哪些需要經(jīng)過(guò)濾波去除的噪聲點(diǎn)，去除噪聲的方法在第三章中詳細(xì)闡述。第三章，基于切換規(guī)則的深度圖像切換濾波算法。該章節(jié)首先對(duì)本文采用的切換系統(tǒng)進(jìn)行了簡(jiǎn)單介紹，為了達(dá)到去出多種噪聲的目的將工程中的切換系統(tǒng)引入數(shù)字圖像濾波中。其次對(duì)切換系統(tǒng)中的切換規(guī)則進(jìn)行詳細(xì)闡述并給出算法流程，并對(duì)切換系統(tǒng)中采用的兩個(gè)子系統(tǒng)，分別為聯(lián)合雙邊濾波子系統(tǒng)和改進(jìn)的自適應(yīng)中值濾波子系統(tǒng)作介紹。最后通過(guò)客觀評(píng)價(jià)法驗(yàn)證系統(tǒng)的

26、性能，實(shí)驗(yàn)安排如下：通過(guò)對(duì)比原始含噪圖像、單一去噪算法濾波后圖像以及本文中的切換濾波濾波后的圖像，給出不同算法下的峰噪比與運(yùn)行時(shí)間對(duì)比以驗(yàn)證算法的優(yōu)劣，能夠看出濾波后圖像中存在的噪聲能夠基本去除。第四章，墻面觸控系統(tǒng)基于Ventuz平臺(tái)的實(shí)際應(yīng)用效果。該章首先是對(duì)針對(duì)動(dòng)態(tài)目標(biāo)跟蹤使用的Kinect中的骨骼追蹤進(jìn)行了原理介紹。然后介紹了Ventuz軟件平臺(tái)的使用。其次，基于Ventuz平臺(tái)通過(guò)對(duì)單點(diǎn)簡(jiǎn)易操作、單點(diǎn)復(fù)雜操作和多點(diǎn)操作的軌跡操作分析給出實(shí)際應(yīng)用示例，驗(yàn)證基于切換系統(tǒng)的墻面觸控系統(tǒng)的性能的魯棒性。并基于Ventuz平臺(tái)，操作汽車(chē)模型實(shí)際案例，通過(guò)對(duì)汽車(chē)“分”操作的演示，以及汽車(chē)車(chē)體顏色

27、選擇的演示，驗(yàn)證切換系統(tǒng)在實(shí)際應(yīng)用中的準(zhǔn)確性與實(shí)時(shí)性。第五章，總結(jié)與展望。該章對(duì)本文的主要工作和研究進(jìn)行總結(jié)，并對(duì)下一步的相關(guān)工作研究進(jìn)行展望。第二章 基于Kinect的墻面觸控系統(tǒng)設(shè)計(jì)方案本章節(jié)將介紹基于Kinect的墻面觸控系統(tǒng)設(shè)計(jì)方案，針對(duì)系統(tǒng)的搭建和具體實(shí)際使用方法進(jìn)行介紹，并提出系統(tǒng)存在的需去除的噪聲問(wèn)題。2.1 設(shè)計(jì)方案概述 本系統(tǒng)在捕獲用戶姿勢(shì)信息方面使用Kinect傳感器，通過(guò)數(shù)據(jù)線將信息傳至控制平臺(tái)，經(jīng)過(guò)軟件運(yùn)行并識(shí)別后上傳至應(yīng)用層，將識(shí)別出的姿勢(shì)信息匹配至相應(yīng)的觸發(fā)事件于互動(dòng)平面上顯示，以此完成操作更簡(jiǎn)便、使用更衛(wèi)生的墻面觸控。系統(tǒng)的硬件部分主要由控制主機(jī)、Kinect體感

28、傳感器、投影設(shè)備等硬件組成。具體的系統(tǒng)構(gòu)成如圖2.1所示：圖2.1 墻面觸控系統(tǒng)結(jié)構(gòu)圖硬件部分主要由控制主機(jī)、Kinect傳感器以及投影設(shè)備構(gòu)成。通過(guò)對(duì)操作者動(dòng)作姿勢(shì)的實(shí)時(shí)監(jiān)測(cè)，反饋相應(yīng)的觸發(fā)事件。(1) 控制主機(jī)：通過(guò)對(duì)Kinect傳感器傳遞反饋的信號(hào)作軟件處理，將所得實(shí)時(shí)結(jié)果輸出到屏幕上。(2) Kinect傳感器：通過(guò)RGB（彩色）攝像頭、紅外攝像頭和紅外線發(fā)射器的配合探知操作者的位置深度等信息，經(jīng)簡(jiǎn)單處理后傳輸給控制主機(jī)。Kinect for Xbox360以每秒30幀的速度獲取RGB圖像和深度圖像的數(shù)據(jù)流，所得圖像分辨率均為640×480。(3) 投影設(shè)備：輸出經(jīng)控制主機(jī)處

29、理過(guò)的圖像信號(hào)，顯示精準(zhǔn)的時(shí)時(shí)操作結(jié)果。軟件模塊分為控制軟件和顯示軟件兩部分，基于OpenCV函數(shù)庫(kù)通過(guò)Visual C+6.0編程，達(dá)到將數(shù)據(jù)采集、圖像濾波、屏幕顯示、算法仿真與實(shí)時(shí)控制集合一體的目的。(1) 控制軟件：由數(shù)據(jù)采集、圖像濾波和數(shù)據(jù)通信三大模塊組成。數(shù)據(jù)采集模塊負(fù)責(zé)接收來(lái)自Kinect傳感器采集并傳輸?shù)玫降脑紨?shù)據(jù)，數(shù)據(jù)濾波模塊負(fù)責(zé)去除原始數(shù)據(jù)中存在的噪聲、空洞，數(shù)據(jù)通信匯總所得數(shù)據(jù)后傳輸至互動(dòng)操控軟件。(2) 顯示軟件：根據(jù)用用戶所需編輯合乎要求的的互動(dòng)內(nèi)容，并將互動(dòng)結(jié)果投影至互動(dòng)界面上。對(duì)于系統(tǒng)軟件環(huán)境配備，要求操作系統(tǒng)支持Windows7以上版本，性能良好的Kinect設(shè)

30、備處理器程序。Kinect傳感器的控制分析程序用C/C+實(shí)現(xiàn)，最終通過(guò)Ventuz軟件實(shí)現(xiàn)展示。本文采用的Kinect v1如圖2所示，可使用USB2.0接口進(jìn)行數(shù)據(jù)連接，并支持大部分的電腦以及筆記本的使用。2.2 硬件選型與介紹為了獲取圖像中的深度信息，常用單目相機(jī)、雙目相機(jī)和深度相機(jī)來(lái)捕捉深度信息。其中，單目相機(jī)拍攝的圖像是將三維空間投影至二維平面，在恢復(fù)三維結(jié)構(gòu)以獲取深度數(shù)據(jù)的過(guò)程中必須更換視角，即需要在實(shí)時(shí)獲取數(shù)據(jù)時(shí)不斷挪動(dòng)相機(jī)，無(wú)法滿足在不移動(dòng)相機(jī)時(shí)獲取深度數(shù)據(jù)的要求。而雙目相機(jī)具有能夠很好的排除光照影響的性能，但在昏暗的環(huán)境中不能表現(xiàn)很好的魯棒性，時(shí)間復(fù)雜度高占用相當(dāng)高的性能，無(wú)法

31、滿足系統(tǒng)的實(shí)時(shí)反饋要求。而本文選擇的基于結(jié)構(gòu)光技術(shù)的Kinect能夠完成較短時(shí)間內(nèi)的實(shí)時(shí)反饋，能夠在固定相機(jī)的條件下滿足中高精度的場(chǎng)合的操作應(yīng)用，但獲取的深度圖像中仍然存在一系列噪聲，因而需要對(duì)獲取的深度圖像進(jìn)行去噪處理，具體的去噪算法將在第三章中詳細(xì)介紹。Kinect主要包括彩色攝像頭，深度傳感器和多陣列麥克風(fēng)等部件，Kinect傳感器設(shè)備如圖2.2所示。主要部件及功能如下17：圖2.2 Kinect傳感器(1) 紅外線發(fā)射器：通過(guò)主動(dòng)將近紅外光譜投射到粗糙物體表面，光譜將會(huì)發(fā)生扭曲，由紅外攝像頭讀取隨機(jī)的反射斑點(diǎn)。(2) 紅外成像攝像頭：分析紅外光譜，創(chuàng)建可視范圍內(nèi)的人體、物體的深度圖像，

32、分辨率均為640×480，每秒30幀。(3) 彩色攝像頭：用于拍攝視角范圍內(nèi)的彩色視頻圖像，分辨率均為640×480，視角為垂直方向43°，水平方向57°，每秒30幀。(4) 麥克風(fēng)陣列：由四個(gè)麥克風(fēng)組成，能夠接收聲音信號(hào)，用于檢獲聲音指令，處理背景噪聲。(5) 仰角控制馬達(dá)：座內(nèi)裝有驅(qū)動(dòng)一組塑料齒輪的馬達(dá)和空間感知器，具有機(jī)械轉(zhuǎn)動(dòng)功能，調(diào)節(jié)范圍，從而幫助Kinect獲得最佳的有效觀察位置。(6) 邏輯電路：該部分由三塊電路板構(gòu)成，兩塊裝有核心芯片Prime Sense PS1080用于圖像處理和語(yǔ)音處理，第三塊電路板配有加速度傳感器以判斷設(shè)備的傾斜度。

33、Kinect傳感器本質(zhì)上屬于輸入設(shè)備的范疇。它給用戶提供包括深度數(shù)據(jù)流、彩色視頻流、原始音頻數(shù)據(jù)等的三大類(lèi)原始數(shù)據(jù)信息。Kinect的紅外線發(fā)射器采用光編碼技術(shù)，主動(dòng)將近紅外光譜投射到預(yù)設(shè)場(chǎng)景中，通過(guò)另一個(gè)紅外成像器所捕獲到的紅外光譜的變形，從而來(lái)確定深度信息。它所應(yīng)用的深度測(cè)量技術(shù)為一種結(jié)構(gòu)光（Light Coding）技術(shù)，也就是用光源打到需要測(cè)量的場(chǎng)景并對(duì)其進(jìn)行編碼，但與結(jié)構(gòu)光不同的是它的光源成為"激光散斑"，它是由激光從粗糙表面反射，或者從具有散射功能的物質(zhì)如毛玻璃等的內(nèi)部穿射后，形成具有高度的隨機(jī)性散射或透射時(shí)隨機(jī)形成的斑點(diǎn)，并且會(huì)隨著距離的不同而變換形狀。這些斑

34、點(diǎn)隨著不同的距離變換形狀，因此只要在檢測(cè)空間中加入此類(lèi)結(jié)構(gòu)光，整個(gè)空間就會(huì)被標(biāo)記，且空間中任意兩處的散斑形狀都是獨(dú)一無(wú)二的。在對(duì)存在于檢測(cè)空間內(nèi)的目標(biāo)進(jìn)行距離檢測(cè)之前需要將整個(gè)空間的散斑圖像記錄下來(lái)，所以需要對(duì)待測(cè)空間做一次光源標(biāo)定。標(biāo)定的方法是隔開(kāi)一定特定的段距離取一個(gè)參考平面，把參考平面上的散斑圖像記錄下來(lái)。通過(guò)對(duì)整個(gè)待測(cè)空間進(jìn)行標(biāo)記，當(dāng)把一個(gè)物體放進(jìn)這個(gè)空間，通過(guò)對(duì)物體上面的散斑形狀的觀察，就能夠得出該物體在待測(cè)空間中的實(shí)際位置情況。在深度圖像中，規(guī)定純白代表無(wú)窮遠(yuǎn)，純黑代表距離無(wú)窮近，灰色區(qū)域代表距離區(qū)間內(nèi)的物體到傳感器的實(shí)際物理距離，通過(guò)對(duì)應(yīng)距離函數(shù)公式計(jì)算，生成由顏色深淺代表不同距

35、離的深度圖像。通過(guò)傳感器的每秒30幀圖像，完成對(duì)周?chē)h(huán)境的實(shí)時(shí)監(jiān)測(cè)。下圖2.3為使用Kinect獲取的RGB圖像和深度圖像：圖2.3 Kinect采集的RGB圖像和深度圖像2.3 系統(tǒng)的搭建與界面標(biāo)定本文的墻面觸控系統(tǒng)通過(guò)借助投影儀在任意墻面或幕布投影構(gòu)成互動(dòng)界面，如圖2.4所示。圖2.4 系統(tǒng)操作環(huán)境Kinect的固定范圍為待互動(dòng)屏幕正上方1-3m范圍，距離墻面5cm至6cm。投影儀置于互動(dòng)面正前方，通過(guò)調(diào)整投影儀距互動(dòng)面的距離來(lái)調(diào)節(jié)投影面大小。操作者站在互動(dòng)區(qū)域內(nèi)通過(guò)手部的點(diǎn)擊、揮動(dòng)、旋轉(zhuǎn)等對(duì)互動(dòng)界面進(jìn)行操作。傳感器連接在控制主機(jī)上，打開(kāi)互動(dòng)控制軟件，出現(xiàn)控制界面如圖2.5所示，勾選Mon

36、itoring以及左下角Available，根據(jù)實(shí)際操作情況確定界面的Maximum depth和Minimum depth（投影底部和頂部深度），左右畫(huà)面中間的滾輪可上下調(diào)節(jié)，確定互動(dòng)投影操作面距離墻面的距離，在出現(xiàn)的綠線以內(nèi)靠近墻面的范圍皆為有效操作范圍。點(diǎn)擊START按鍵，出現(xiàn)監(jiān)視畫(huà)面。界面左側(cè)顯示的是傳感器捕捉到的畫(huà)面，右側(cè)是跟蹤定位的顯示面，互動(dòng)投影面為倒梯形。投影界面標(biāo)定注意事項(xiàng)：(1) 確認(rèn)投影界面設(shè)置在控制界面范圍內(nèi)；(2) Lefttop corer、Righttop corner、Leftbottom corner、Rightbottom corner是互動(dòng)投影面定位校準(zhǔn)按

37、鍵，校準(zhǔn)后點(diǎn)記錄保存；(3) Left Kinect、Right Kinect表示系統(tǒng)可以同用一臺(tái)或兩臺(tái)Kinect。圖2.5 控制平臺(tái)初始界面操作者只有在互動(dòng)投影范圍內(nèi)操作才能被系統(tǒng)捕捉，而Kinect檢測(cè)的范圍與投影設(shè)備投影的互動(dòng)面有所偏差，因此在實(shí)際操作之前需要對(duì)投影面進(jìn)行校準(zhǔn)。圖中所示藍(lán)線為投影畫(huà)面畸變產(chǎn)生的誤差線，為消去與Kinect傳感器檢測(cè)的存在的偏差使其與系統(tǒng)框定范圍一致，本系統(tǒng)采用梯形校正法，原理圖如圖2.6所示。圖2.6 梯形校正原理圖對(duì)圖2.6中所示大梯形作微分處理，將其分為塊，示例中，即切分為4部分小梯形。點(diǎn)為為校正前操作點(diǎn)坐標(biāo)，點(diǎn)為校正后的實(shí)際操作點(diǎn)位置。(1) 首先

38、，對(duì)大梯形四角定位，確定四角，坐標(biāo)。(2) 由，為變量，可由此確定小梯形各橫向的中點(diǎn),的值。 (2-1) (2-2) (2-3)(3) 其次，再次定位，根據(jù)已知的,三點(diǎn)的值，即，通過(guò)編輯軟件在同一值上對(duì)存在畸變的互動(dòng)界面的左右邊緣進(jìn)行檢測(cè)，確認(rèn),六個(gè)端點(diǎn)坐標(biāo)。從而得到4個(gè)已知端點(diǎn)的梯形。(4) 針對(duì)小梯形：若，且，則判斷梯形為倒梯形。所以界面設(shè)置條件需同時(shí)滿足以下條件： (2-4) (2-5) (2-6)若，且，則判斷梯形為正梯形。 所以界面設(shè)置條件需同時(shí)滿足以下條件： 或 (2-7) 或 (2-8) (2-9)(5) 設(shè)點(diǎn)為未校準(zhǔn)界面上的操作點(diǎn)位置，所在線段與交于點(diǎn)， (2-10) (2-1

39、1)設(shè)點(diǎn)所在線段與交于點(diǎn)， (2-12) (2-13)(6) 設(shè)點(diǎn)在線段上相對(duì)位置是： (2-14)其中，表示比例。(7) 點(diǎn)被映射在梯形的短橫線上，求出最終的實(shí)際操作位置：若梯形為倒梯形，點(diǎn)在線段上： (2-15) (2-16)若梯形為正梯形，點(diǎn)在線段上： (2-17) (2-18)針對(duì)其余三個(gè)小梯形,，重復(fù)步驟(4)-(7)即可，在此省略不重復(fù)贅述。接下來(lái)對(duì)梯形投影面進(jìn)行位置校準(zhǔn)，如圖2.7(a)-(d)所示，操作者站在屏幕前，手動(dòng)點(diǎn)擊投影投面的一個(gè)角（以左上角和右上角為例），軟件右側(cè)界面會(huì)出現(xiàn)相應(yīng)互動(dòng)點(diǎn)的位置，另需一名操作者用鼠標(biāo)點(diǎn)擊選擇該位置，然后再點(diǎn)擊“記錄”按鍵。依次進(jìn)行四個(gè)角的定

40、位，完成投影面校準(zhǔn)，如圖2.7(e)所示。最終操作效果如圖2.7(f)所示。(a) 左上角位置校準(zhǔn)前(b) 左上角位置校準(zhǔn)后(c) 右上角位置校準(zhǔn)前(d) 右上角位置校準(zhǔn)后(e) 四角位置校準(zhǔn)后(f) 實(shí)際操作點(diǎn)圖2.7 實(shí)際校正操作圖2.4 圖像噪聲分析基于攝像機(jī)拍攝得到的圖像受離散的脈沖、椒鹽噪聲和高斯噪聲等的影響，圖像的質(zhì)量得不到保證并使得原圖像的細(xì)節(jié)信息被覆蓋，對(duì)后續(xù)的圖像分析和應(yīng)用帶來(lái)不便，導(dǎo)致無(wú)法得到理想的應(yīng)用結(jié)果，因此在處理圖像之前需要對(duì)圖像進(jìn)行去噪預(yù)處理。理想的圖像去噪應(yīng)滿足以下三方面。首先，去除圖像中盡可能多的噪聲點(diǎn)；其次，原圖像中的重要細(xì)節(jié)信息應(yīng)當(dāng)被盡可能多的保留；最后，在

41、去除噪聲的同時(shí)不加入額外的噪聲干擾。通常，現(xiàn)有噪聲征可分為：(1) 高斯噪聲。由于工作范圍內(nèi)存在的不良照明和傳感器的高溫影響，在實(shí)際使用中，很難達(dá)到完全去除熱噪聲等的工作條件，因此抵抗高斯噪聲也是濾波的重要的環(huán)節(jié)。(2) 椒鹽噪聲可以認(rèn)為是白噪聲（鹽噪聲）和黑噪聲（椒噪聲）的疊加，在視覺(jué)上表現(xiàn)為黑白隨機(jī)分布的噪點(diǎn)。通常在傳感器的圖像獲取階段、信號(hào)傳輸階段和圖像編碼階段產(chǎn)生，包括傳感器的局限性和通信過(guò)程中的故障等。在數(shù)字化通信中，椒鹽噪聲是出錯(cuò)的主要誘因。(3) 沖擊噪聲指的是噪聲的亮度與其領(lǐng)域像素差異很大，若圖像中存在沖擊噪聲則會(huì)對(duì)圖像造成較大的破壞，一般情況下僅少量的沖擊噪聲就可對(duì)整個(gè)圖像造

42、成不可磨滅的影響。(4) 量化噪聲指的是非數(shù)字圖像在量化為數(shù)字圖像的過(guò)程中產(chǎn)生的噪聲。除此以外，低成本的深度圖像獲取設(shè)備存在分辨率低、存在空洞等問(wèn)題。本文提出的墻面觸控系統(tǒng)主要存在深度圖像中的空洞、以及圖像傳輸中無(wú)法避免的椒鹽噪聲以及少量高斯噪聲，若能完成對(duì)噪聲的理想去噪，則能輸出不影響后續(xù)姿勢(shì)匹配的輸入結(jié)果。針對(duì)無(wú)法同時(shí)去除多種噪聲的情況，本系統(tǒng)提出引入工程中的切換系統(tǒng)進(jìn)行數(shù)字圖像濾波切換，以此提出可濾除多種噪聲的可行方法。2.5 本章小結(jié)本章首先介紹了墻面觸控系統(tǒng)的硬件部分和軟件部分的主要構(gòu)成，并介紹了其中應(yīng)用到的相關(guān)部件。然后介紹了系統(tǒng)的整體應(yīng)用環(huán)境的搭建和互動(dòng)投影面的標(biāo)定過(guò)程。最后介紹

43、了Kinect傳感器的深度攝像頭所拍攝到的深度圖像中有哪些需要經(jīng)過(guò)濾波去除的噪聲。第三章 基于切換規(guī)則的深度圖像切換濾波算法本章將詳細(xì)介紹切換系統(tǒng)的工作原理，并介紹本文采用的濾波子系統(tǒng)，將切換系統(tǒng)引入對(duì)深度圖像的濾波系統(tǒng)，通過(guò)使用在已設(shè)計(jì)并校正好的控制平臺(tái)進(jìn)行實(shí)際操作，比對(duì)實(shí)驗(yàn)結(jié)果并給出分析。3.1 切換系統(tǒng)介紹切換系統(tǒng)18,19在實(shí)際應(yīng)用中有著廣泛的應(yīng)用，其可將復(fù)雜的難以控制的復(fù)雜系統(tǒng)轉(zhuǎn)換成相對(duì)簡(jiǎn)單的切換系統(tǒng)，一般由系統(tǒng)的內(nèi)外環(huán)境變化引起子系統(tǒng)的切換，例如用于電力系統(tǒng)的繼電器開(kāi)閉等。切換系統(tǒng)是以切換為主要特征的重要而典型的一種混雜系統(tǒng)。切換系統(tǒng)的穩(wěn)定性不同于一般的線性系統(tǒng)或是非線性系統(tǒng)，由于

44、系統(tǒng)狀態(tài)是由切換信號(hào)改變而跳轉(zhuǎn)至下一連續(xù)區(qū)間子系統(tǒng)，子系統(tǒng)相互之間是離散的關(guān)系，而各個(gè)濾波方法之間也存在離散的關(guān)系，為切換系統(tǒng)引入數(shù)字化濾波提供邏輯依據(jù)并確保其可行性。切換系統(tǒng)主要由有限個(gè)子系統(tǒng)配以特定的切換規(guī)則組成。切換系統(tǒng)的數(shù)學(xué)模型可表示如下： (3-1)其中，為微分算子，當(dāng)切換系統(tǒng)為連續(xù)時(shí)間系統(tǒng)時(shí)，當(dāng)切換系統(tǒng)為離散時(shí)間系統(tǒng)時(shí)，。表示系統(tǒng)狀態(tài)，是控制輸入，是未知的外部擾動(dòng)信號(hào)，在本系統(tǒng)中主要表現(xiàn)為空洞現(xiàn)象、椒鹽噪聲和高斯噪聲。切換信號(hào)是一個(gè)分段常值函數(shù)。通常，切換系統(tǒng)根據(jù)切換信號(hào)的不同可分為兩類(lèi)：根據(jù)時(shí)間切換的切換系統(tǒng)以及根據(jù)系統(tǒng)狀態(tài)切換的切換系統(tǒng)。其中：(1) 根據(jù)時(shí)間切換的切換系統(tǒng)：僅

45、僅依據(jù)時(shí)間的變化及過(guò)去的參數(shù)值的函數(shù)，表示為： (3-2)其中，為切換系統(tǒng)的狀態(tài)轉(zhuǎn)移矩陣。切換信號(hào)依賴于系統(tǒng)時(shí)間的變換，與系統(tǒng)的狀態(tài)、輸出無(wú)關(guān)。(2) 根據(jù)系統(tǒng)狀態(tài)切換的切換系統(tǒng)：切換信號(hào)不再直接依賴于時(shí)間的函數(shù)，可表示為： (3-3)其中，若切換信號(hào)只依賴系統(tǒng)的狀態(tài)，則有， (3-4)稱(chēng)其為純狀態(tài)反饋切換信號(hào)。若切換信號(hào)僅依賴系統(tǒng)的輸出，則有， (3-5)稱(chēng)其為純輸出反饋切換信號(hào)。由于切換信號(hào)依賴于系統(tǒng)的狀態(tài)和輸出，所以同一切換信號(hào)在不同系統(tǒng)下也有可能表現(xiàn)出不同的性能。此外，切換系統(tǒng)也分為自主切換和受控切換兩類(lèi)。兩者的主要區(qū)別在于自主切換不受人為影響，而受控切換由人為控制切換。本文將切換系統(tǒng)

46、用于圖像的濾波，由切換規(guī)則確定各子系統(tǒng)之間的切換條件，以得到邊緣平滑清晰的圖像。針對(duì)深度圖像普遍存在的椒鹽噪聲和高斯噪聲，分別采用文獻(xiàn)20和文獻(xiàn)21提出的聯(lián)合雙邊濾波和改進(jìn)的自適應(yīng)中值濾波。將濾波系統(tǒng)作為整個(gè)系統(tǒng)的子系統(tǒng)，配以恰當(dāng)?shù)那袚Q規(guī)則，構(gòu)成切換濾波系統(tǒng)，系統(tǒng)構(gòu)成如圖3.1所示：圖3.1 切換濾波系統(tǒng)結(jié)構(gòu)3.2 基于貝葉斯估計(jì)的切換規(guī)則原理切換系統(tǒng)的子系統(tǒng)多由連續(xù)微分方程或離散微分方程構(gòu)成，切換規(guī)則多為離散的依賴于狀態(tài)或事件觸發(fā)的分段函數(shù)，切換規(guī)則用于協(xié)調(diào)各個(gè)子系統(tǒng)并使子系統(tǒng)之間的切換能順暢進(jìn)行。在切換過(guò)程中，由系統(tǒng)內(nèi)的切換規(guī)則來(lái)確定每一時(shí)刻切換系統(tǒng)切換到哪一個(gè)子系統(tǒng)，并且保證每一個(gè)時(shí)刻只

47、有一個(gè)子系統(tǒng)起作用，即在每一時(shí)刻系統(tǒng)僅存在一條控制規(guī)律。個(gè)子系統(tǒng)在切換規(guī)則的作用下，形成的切換序列如下： (3-6)式中，代表系統(tǒng)的初始狀態(tài)，代表系統(tǒng)的初始時(shí)刻。在時(shí)段，激活系統(tǒng)的第個(gè)子系統(tǒng)，由第個(gè)子系統(tǒng)產(chǎn)生系統(tǒng)的軌線，按照展開(kāi)。在給定的時(shí)間內(nèi)，假設(shè)任意切換發(fā)生在時(shí)刻。假設(shè)系統(tǒng)的狀態(tài)在切換的瞬間不跳躍恒穩(wěn)，并且在區(qū)間上進(jìn)行有限次的切換，并定義有第個(gè)子系統(tǒng)的最小間隔時(shí)間。由于連續(xù)切換的時(shí)間間隔不小于，在任意固定的切換律情況下，不可能發(fā)生有限的時(shí)間逃逸現(xiàn)象。針對(duì)輸入為含多種噪聲圖像的情況，單一的濾波方法一般無(wú)法達(dá)到理想濾波狀態(tài)，采取串聯(lián)多個(gè)濾波的方式將會(huì)造成過(guò)長(zhǎng)的操作時(shí)間無(wú)法保證系統(tǒng)的實(shí)時(shí)性反饋，

48、或造成系統(tǒng)過(guò)于復(fù)雜有卡死可能性等問(wèn)題。切換信號(hào)的作用可線性的表示為圖3.2所示，假設(shè)僅有兩個(gè)子系統(tǒng)起效，則在切換規(guī)則下切換信號(hào)表示為右連續(xù)函數(shù)。圖3.2 切換信號(hào)的線性表示切換信號(hào)22通常分為四類(lèi)：為有限時(shí)間內(nèi)有限次切換的任意切換信號(hào)，表現(xiàn)為可設(shè)計(jì)的能控信號(hào)，一般為滿足馬爾科夫過(guò)程的隨機(jī)切換信號(hào)，依賴于狀態(tài)反饋的切換信號(hào)。本文在切換信號(hào)中引入貝葉斯估計(jì)以選取對(duì)下一幀圖像去噪效果更佳的濾波子系統(tǒng)。貝葉斯估計(jì)可由下圖3.3表示：圖3.3 貝葉斯估計(jì)結(jié)構(gòu)圖貝葉斯估計(jì)公式可由式(3-7)表示： (3-7)其中，代表要求得的未知的參數(shù)，代表觀測(cè)的數(shù)據(jù)，代表不考慮因素的先驗(yàn)概率或邊緣概率先驗(yàn)概率，是的邊緣

49、概率或先驗(yàn)概率，代表D發(fā)生后的條件概率，也稱(chēng)后驗(yàn)概率，代表似然度，即為已知發(fā)生后的條件概率。根據(jù)全概率公式展開(kāi)分母，得到式(3-8)： (3-8)將式(3-9)和式(3-8)： (3-9)代入式(3-7)，得到： (3-10)可得貝葉斯估計(jì)值為 (3-11)切換信號(hào)滿足上述貝葉斯估計(jì)，即將利用已有的濾波對(duì)原有判斷進(jìn)行修正，完成對(duì)下一濾波子系統(tǒng)選擇的預(yù)判，提升濾波系統(tǒng)的精準(zhǔn)性、濾波效果。3.3 聯(lián)合雙邊濾波子系統(tǒng)雙邊濾波（Bilateral filter,簡(jiǎn)稱(chēng)BF）最早是根據(jù)高斯濾波（Gaussian filter, 簡(jiǎn)稱(chēng)GF）基礎(chǔ)上提出的改進(jìn)算法，也可稱(chēng)為鄰近像素值的加權(quán)平均。高斯濾波屬于線性

50、平滑濾波，主要針對(duì)消去高斯噪聲。圖像中每個(gè)位置的像素值，被原圖中該位置領(lǐng)域內(nèi)的所有像素值加權(quán)后的總和取代，其核心步驟是內(nèi)核卷積。通過(guò)高斯卷積過(guò)濾圖像的公式如式(3-12)所示： (3-12)歸一化系數(shù)為： (3-13)其中，是輸入圖像，是濾波后圖像，表示相近度因子的函數(shù)，表示領(lǐng)域大小，為對(duì)應(yīng)高斯函數(shù)的標(biāo)準(zhǔn)差，為中心像素的領(lǐng)域集合，的權(quán)重定義為。高斯濾波會(huì)導(dǎo)致噪聲圖像變得一團(tuán)模糊，因此提出了能夠保持邊緣細(xì)節(jié)的雙邊濾波器，通過(guò)相鄰像素值的差異保護(hù)邊緣，雙邊濾波算法由式(3-14)表出： (3-14)歸一化因子： (3-15)確保權(quán)重為1。其中，為濾波后的圖像，控制空間距離較大像素的權(quán)重值，為控制范

51、圍內(nèi)相似度因子的標(biāo)準(zhǔn)差，可用于控制像素差異較大的像素的權(quán)重值。雙邊濾波器在平滑圖像的同時(shí)對(duì)圖像的邊緣也能有所保留，有兩個(gè)核函數(shù)。在雙邊濾波算法中，存在空間域（Spatial domain S）和像素范圍域（Range domain R）權(quán)重域，這也是雙邊濾波與高斯濾波的最大不同點(diǎn)?？臻g相似度和相似度因子均可由高斯核函數(shù)表出。具體如下所示： (3-16) (3-17)其中，像素點(diǎn)的坐標(biāo)為，的像素點(diǎn)的坐標(biāo)為。假設(shè)原圖像如圖3.4(a)所示為左右區(qū)別很大的帶噪聲圖像，藍(lán)框內(nèi)為目標(biāo)像素所在位置，對(duì)當(dāng)前像素處的高斯權(quán)重與雙邊權(quán)重因子3D可視化操作后可得圖3.4(b)圖3.4(c)。可看出雙邊濾波可將原圖

52、像左側(cè)與目標(biāo)像素差值過(guò)大的點(diǎn)濾除，具有效果良好的保邊特性。 (a)原圖像 (b)高斯權(quán)重因子可視化 (c)雙邊濾波權(quán)重因子可視化圖3.4 帶噪聲圖像的權(quán)重因子3D可視化進(jìn)一步觀察算法的優(yōu)化性能，使用Matlab繪制其在不同高度的3D高度圖。如圖3.5所示。(a)原圖像(b)高斯濾波 (c)雙邊濾波圖3.5 Matlab軟件繪制的3D高度圖從高度圖圖3.5中可以看出，高斯濾波的邊緣處呈現(xiàn)線性變化在圖像中表現(xiàn)為圖像邊界的丟失。然而，雙邊濾波器的權(quán)值存在不穩(wěn)定的可能性，導(dǎo)致其邊緣附近可能會(huì)出現(xiàn)翻轉(zhuǎn)現(xiàn)象，為了改善權(quán)值的穩(wěn)定性，本文引入聯(lián)合雙邊濾波器20（Joint bilateral filter ，

53、簡(jiǎn)稱(chēng)JBF)，通過(guò)加入導(dǎo)向圖作為值域權(quán)重的計(jì)算依據(jù)改善圖像的濾波性能。這樣處理過(guò)的圖像在濾除噪聲的同時(shí)還能夠很好地對(duì)圖像進(jìn)行保邊處理。雙邊濾波與聯(lián)合雙邊濾波的最主要區(qū)別就是聯(lián)合雙邊濾波引入一個(gè)導(dǎo)向圖作為值域權(quán)重的計(jì)算依據(jù)。聯(lián)合雙邊濾波算法可由下表出： (3-18)其中，表示引入的導(dǎo)向圖，與待處理的圖像相似。通過(guò)比對(duì)引入的導(dǎo)向圖與含噪圖像的邊緣對(duì)比，能夠有效的去除空洞的存在，提升圖像的精準(zhǔn)度。3.4 改進(jìn)的自適應(yīng)中值濾波子系統(tǒng)脈沖噪聲容易在生成圖像以及傳輸圖像的過(guò)程中產(chǎn)生。脈沖噪聲的概率密度函數(shù)可由下式表示： (3-19)式中，存在，則灰度值在圖像中將顯示為亮點(diǎn)，反之的值顯示為暗點(diǎn)。若或存在一個(gè)

54、為零，則稱(chēng)之為單極脈沖。如果和均不為零，特別的當(dāng)它們幾乎相等時(shí)，則產(chǎn)生的脈沖噪聲值會(huì)以形似隨機(jī)分布在圖像上的胡椒和鹽粉微粒的形狀出現(xiàn)，故由此稱(chēng)其為椒鹽噪聲。在視覺(jué)上表現(xiàn)得最為明顯的一種噪聲即為椒鹽噪聲，通常使用中值濾波是處理椒鹽噪聲。根據(jù)實(shí)驗(yàn)所得，一般在，小于0.2的情況下可以完全去除椒鹽噪聲，但這種方法存在抹去細(xì)節(jié)的可能性，由此提出的自適應(yīng)中值濾波可以解決上述問(wèn)題。自適應(yīng)中值濾波器在進(jìn)行濾波處理時(shí)，是根據(jù)一定條件改變的大小。濾波過(guò)程中采用以下幾個(gè)變量進(jìn)行計(jì)算：(1) ，表示模板窗口內(nèi)像素的最小值。(2) ，表示模板窗口內(nèi)像素的最大值。(3) ，表示模板窗口內(nèi)像素的中值。(4) ，表示坐標(biāo)處的灰度像素值。(5) ，標(biāo)量值，允許的最大尺寸。自適應(yīng)中值濾波分為A層和B層，步驟如下：A: , (3-20)如果且，則轉(zhuǎn)到B層，否則增大窗口尺寸。如果窗口尺寸則重復(fù)A層，否則輸出。B: , (3-21) 若且，輸出。否則輸出。由上述步驟可以看出，算法經(jīng)過(guò)多次判斷后才用代替了原像素值，大部分結(jié)果仍然為原像素值，從而能夠達(dá)到在去除脈沖噪聲的基礎(chǔ)上達(dá)到保留細(xì)節(jié)的目的。本文采用的改進(jìn)的自適應(yīng)中值濾波21從改變自