1、 JIANGSU UNIVERSITY 本 科 生 畢 業(yè) 論 文運動目標檢測中陰影去除算法的研究與實現 Research and realization of the shadow removing algorithm for Moving object detection學院名稱： 計算機科學與通信工程學院 專業(yè)班級： 通信工程0602班 學生姓名： 汪雅潔 指導教師姓名： 宋雪樺 指導教師職稱： 副教授 2010年6月運動目標檢測中陰影去除算法的研究與實現專業(yè)班級：通信工程0602班 學生姓名：汪雅潔指導教師： 宋雪樺 職 稱：副教授摘要 隨著計算機視覺技術、電子技術、通信技術的發(fā)展，智

2、能視頻監(jiān)控系統(tǒng)作為安全防衛(wèi)的一種重要手段正在越來越受到人們的重視。由于智能視頻監(jiān)控系統(tǒng)具有監(jiān)控能力強、安全隱患少、節(jié)省人力物力資源的優(yōu)點。因此，在交通、銀行、賓館、商場等重要場所的監(jiān)控中有廣泛的應用前景。本文首先綜合介紹了智能監(jiān)控系統(tǒng)的發(fā)展歷史和現狀，然后對靜止攝像機監(jiān)控下的運動目標檢測、陰影的檢測和去除等關鍵技術進行了比較深入的研究。運動目標檢測作為智能視頻監(jiān)控系統(tǒng)中視頻處理的第一步，具有非常重要的地位。本文首先對目前運動目標檢測方法進行了概括，在詳細研究了幾種目標檢測方法的基礎上，確定了目標檢測中較好的一種方法，即基于混合高斯模型的方法，用這個算法來提取運動目標。由于日照和燈光等外來因素的

3、影響，造成了提取的運動前景中往往含有陰影。因此，運動目標的陰影檢測與去除對于運動目標跟蹤、分類和識別等后期處理都是一個關鍵性問題。由于陰影的存在，會給上述后期處理帶來干擾甚至失敗。為了去除目標前景的陰影，本文首先分析了陰影產生的機理，了解陰影的特征和人類的視覺特征，針對這些特征以及總結和分類目前己有的各類陰影檢測算法的基礎上，提出了一種基于RGB顏色模型的陰影檢測算法。通過實驗對本文的算法進行了驗證，證明了該算法能夠很好地檢測出運動目標的陰影以及將陰影去除，而且易于實現。關鍵詞：視頻監(jiān)控；運動目標檢測；混合高斯模型；RGB顏色模型；陰影去除Research and realization of

4、 the shadow removing algorithm for Moving object detectionAbstract Development of the computer vision technology, the electronic and the communication technology, has made the intelligent visual surveillance system an increasingly important safe defense way. Because it has advantages of higher quali

5、ty and less need of investment. So it has cheerful prospect in the applications of surveillance for traffic, bank, hotel, shopping, etc.Both its history and current situation is summarized here, then, a research was made for the key technology of the segmentation of moving objects and the detection

6、and removal of shadows.As the initial stage in the visual data processing, moving object detection is a key point. After carefully study of moving object detection methods used presently, a more reliable algorithm is determined, that is, the mixed Gauss model. It was adopted to detect moving objects

7、.As external factors such as sunlight and lighting effects，resulting in extraction of moving foreground often contain shadow. So, shadows detection and elimination of moving objects is essential to the post-processing such as objects tracking, classification and recognition. The existence of shadow

8、will allow the above-mentioned post-processing to fail. In order to remove the shadow of object foreground, this paper first analyze the mechanism of the shadow produced, understand the characteristics of the shadow and the human visual characteristics, then, a method of shadow detection based on th

9、e RGB color model is proposed on the basis of these characteritics and the summary and analysis for various shadow detection. We have conducted many experiments to verify the proposed approach. The results show that the algorithm can detect moving targets to remove the shadow, and easy to implement.

10、Key words Visual Surveillance; Moving Object Detection; Mixed Gaussian Model; RGB color model; Shadow Removal目 錄第一章 緒論11.1 引言11.2 視頻監(jiān)控系統(tǒng)的發(fā)展和現狀11.3 本課題研究的目的及意義21.4 課題主要研究工作及工作安排3第二章 基礎理論52.1 引言52.2 顏色模型52.2.1 顏色模型的分類52.2.2 RGB顏色模型52.2.3 HSV顏色模型62.3 數學形態(tài)學72.3.1 基本思想82.3.2 基本運算8第三章 運動目標的檢測103.1 引言103.2

11、 運動目標檢測算法概述103.2.1 光流法103.2.2 相鄰幀差法103.2.3 背景差法113.3 基于RGB顏色空間的混合高斯模型11背景模型的建立123.3.2 背景模型的更新123.3.3 運動目標的檢測與提取13第四章 陰影的去除154.1 引言154.2 陰影產生的機理154.3 陰影檢測算法概述164.3.1 基于模型的陰影檢測算法164.3.2 基于陰影屬性的陰影檢測算法164.4 陰影的光學特性174.5 前景二值圖的提取184.6 基于RGB顏色空間的陰影去除算法184.6.1 確定顏色空間184.6.2 陰影的去除算法194.6.3 前景目標去噪與重建214.7 實驗

12、結果21第五章 總結與展望245.1 研究工作總結245.2 展望24參考文獻26致謝27第一章 緒論1.1 引言圖像和視頻是對客觀事物的形象而又生動的描述，是直觀而又具體的信息表達形式，對人類而言是最重要的信息載體。特別是在今天這高科技的信息社會里，隨著網絡、通信和微電子技術的快速發(fā)展，以及人民物質生活水平的提高，視頻以其直觀、方便和內容豐富等特點，日益受到人們的青睞。就因為這樣，視頻監(jiān)控系統(tǒng)就成為一種新技術而越來越受到人們的重視?，F今人們對安全的需求增強，視頻監(jiān)控系統(tǒng)成為安全防衛(wèi)的重要手段，由最初的重點部門如銀行和公安等行業(yè)監(jiān)控逐漸發(fā)展到單個家庭的防盜和安全監(jiān)控，攝像頭越來越多，視頻監(jiān)控系

13、統(tǒng)的使用越來越普遍。傳統(tǒng)的數字視頻監(jiān)控系統(tǒng)僅僅提供了視頻的捕獲、存儲、分發(fā)等簡單的功能，而系統(tǒng)獲取的視頻信息越來越多，這些海量的視頻信息很難在同一時間顯示在監(jiān)控人員面前。除此以外，對視頻里的內容還只能靠監(jiān)控人員來判斷。視頻監(jiān)控工作強度很大，它對監(jiān)控人員的注意力、警惕性、特別是對異常情況的反應能力的要求特別高。一般監(jiān)控中發(fā)生的失誤都是由監(jiān)控人員的注意力不集中造成的。由于人類本身存在的生理疲勞現象，因此不可能長時間連續(xù)集中精力監(jiān)視內容單一的監(jiān)控場景。為了克服傳統(tǒng)視頻監(jiān)控系統(tǒng)產生的困難，智能視頻監(jiān)控系統(tǒng)應運而生，它利用自動視頻分析技術進行視頻的監(jiān)控。當盜竊發(fā)生或發(fā)現到具有異常行為的可疑人時，系統(tǒng)能向

14、保衛(wèi)人員準確及時地發(fā)出警報，從而避免犯罪的發(fā)生，同時也減少了雇傭大批監(jiān)視人員所需要的人力、物力和財力的投入。與傳統(tǒng)的傳統(tǒng)視頻監(jiān)控相比，能夠智能檢測與跟蹤的數字視頻監(jiān)控具有許多優(yōu)點1：第一，24小時全天可靠監(jiān)控。智能視頻監(jiān)控系統(tǒng)將徹底改變以往完全由監(jiān)控人員對畫面進行監(jiān)視和分析的模式。第二，提高報警精確度。智能視頻監(jiān)控系統(tǒng)能夠有效提高報警精確度，大大降低誤報和漏報現象的發(fā)生。第三，提高響應速度。智能視頻監(jiān)控系統(tǒng)擁有比傳統(tǒng)視頻監(jiān)控系統(tǒng)更強大的智能處理能力，它能夠檢測、識別視頻場景中的可疑活動。1.2 視頻監(jiān)控系統(tǒng)的發(fā)展和現狀視頻監(jiān)控系統(tǒng)是多媒體技術、計算機網絡、工業(yè)控制和人工智能等技術的綜合運用的產

15、物，它正向著視頻的數字化、系統(tǒng)的網絡化和管理的智能化方向不斷發(fā)展，并已經逐步深入到社會生活的各個領域。從第一代完全的模擬監(jiān)控系統(tǒng)，到第二代數字化的視頻監(jiān)控系統(tǒng)，再到第三代分布式視頻監(jiān)控系統(tǒng)，視頻監(jiān)控系統(tǒng)已在過去的二十多年里經歷了三個發(fā)展階段2。第一代視頻監(jiān)控系統(tǒng)（VCR）主要是以模擬設備為主的閉路系統(tǒng)，稱之為模擬視頻監(jiān)控系統(tǒng)。以模擬信號、圖像的處理和傳輸為基礎，多路模擬攝像機產生的模擬信號通過同軸電纜傳輸到監(jiān)控室，然后通過預置好的順序輪流顯示，監(jiān)控人員通過監(jiān)視器來判斷監(jiān)視場景的情況。圖像信息通過視頻電纜，以模擬方式傳輸，一般傳輸距離不能太遠，主要應用于小范圍內的監(jiān)控，監(jiān)控圖像一般只能在控制中心

16、查看。系統(tǒng)的主要特點：(1) 視頻、音頻信號的采集、傳輸、存儲均為模擬形式，質量最高；(2) 經過了幾十年的發(fā)展，技術比較成熟，系統(tǒng)功能強大、完善。但該類系統(tǒng)之所以會被淘汰，是因為它存在著一些問題：(1) 只適用于較小的地理范圍；(2) 與信息系統(tǒng)無法交換數據；(3) 監(jiān)控僅限于監(jiān)控中心，應用靈活性較差；(4) 不易擴展。隨著多媒體技術、視頻編碼壓縮技術的飛速發(fā)展，以數字技術為核心的視頻監(jiān)控系統(tǒng)迅速崛起，即第二代視頻監(jiān)控系統(tǒng)（DVR）。它依賴于混合模數或全數字的視頻傳輸和處理方法，采用Motion JPEG、H.263、MPEG等多媒體數字壓縮技術將視頻圖像完全數字化，節(jié)省了帶寬資源，大大提高

17、了圖象質量，增強了視頻監(jiān)控的功能。這類監(jiān)控系統(tǒng)主要在視頻監(jiān)控中可以利用視頻分析算法，讓監(jiān)控者只注意感興趣的事物從而實現自動報警。系統(tǒng)的特點：(1) 視頻、音頻信號的采集、存儲主要為數字形式，質量較高；(2) 系統(tǒng)功能較為強大、完善；(3) 與信息系統(tǒng)可以交換數據；(4) 應用的靈活性較好。DVR系統(tǒng)從監(jiān)控點到監(jiān)控中心仍為模擬方式傳輸，與第一代系統(tǒng)存在著許多相似的缺陷，要實現遠距離視頻傳輸需要鋪設（租用）光纜、在光纜兩端安裝視頻光端機設備，系統(tǒng)建設成本高，不易維護、且維護費用較大。由于網絡帶寬增加、計算機處理能力的迅速提高和存儲容量的增大，以及各種實用視頻信息處理技術的出現，目前視頻監(jiān)控已經進入

18、了全數字化的網絡時代，即第三代視頻網絡系統(tǒng)（NVR）。它利用低價位高性能的計算機網絡、移動網絡和固定的多媒體通信網絡傳輸監(jiān)控信號。視頻信號在前端進行自動分析處理，然后將有價值的信息通過無線或有線網絡傳輸到監(jiān)控中心，實現自動視頻監(jiān)控。與第一、二代系統(tǒng)相比，該系統(tǒng)具有的優(yōu)勢：(1) 利用現有的網絡資源，不需要為新建監(jiān)控系統(tǒng)鋪設光纜、增加設備，輕而易舉地實現遠程視頻監(jiān)控；(2) 系統(tǒng)擴展能力強，只要有網絡的地方增加監(jiān)控點設備就可擴展新的監(jiān)控點；(3) 維護費用低，網絡維護由網絡提供商維護，前端設備是即插即用、免維護系統(tǒng)；(4) 系統(tǒng)功能強大、利用靈活、全數字化錄像方便于保存和檢索；(5) 性能穩(wěn)定，

19、無需專人管理。1.3 本課題研究的目的及意義在如今高度自動化的生活中，安全問題成了第一難事。這需要監(jiān)控人員時時地在監(jiān)控，每時每刻的掌握最新的數據，可監(jiān)控人員又不可能無時無刻在現場監(jiān)控，這時就必須依靠智能視頻監(jiān)控系統(tǒng)的幫助，視頻監(jiān)控系統(tǒng)的性能好壞也就直接影響到“安全”這個大問題。隨著各種新型安保觀念的引入，社會各部門、各行業(yè)及居民小區(qū)紛紛建立起了各自獨立的監(jiān)控系統(tǒng)或報警系統(tǒng)。建立和不斷完善安全防衛(wèi)系統(tǒng)，對保護人員和設備的安全、提高生產和管理的效率、預防犯罪的發(fā)生、維護社會經濟的穩(wěn)定起到了重要作用。因此，研究智能視頻監(jiān)控系統(tǒng)具有較深遠的現實意義。運動目標的檢測是視頻監(jiān)控系統(tǒng)的首要問題，運動目標提取

20、的好壞直接影響到之后的目標跟蹤、目標分類等問題。只要有光線存在的地方都免不了陰影的存在，特別是在室外環(huán)境下，光線會隨著天氣的變化而變化，而且光線的方向、強弱等都會因時間的不同而發(fā)生無規(guī)律的變化，這些情況下陰影具有很強的不確定性。陰影和運動目標與背景之間都有很大的灰度差值，而且陰影與產生陰影的目標具有相同的運動特征，因此陰影常常被錯誤地檢測成前景。這樣就會產生與陰影有關的一系列問題，如陰影會造成運動目標形狀的變化、目標的合并、甚至目標丟失，這些問題的存在會對后續(xù)的目標跟蹤、識別、分類產生很大的負面影響。因此，近年來陰影檢測和陰影的去除成為智能視頻監(jiān)控技術中研究的一個熱點和重點。去除伴隨運動目標的

21、陰影，進一步提高運動目標檢測的準確性是非常重要的。目標檢測算法本身并不能識別陰影和運動目標以及消除陰影，雖然目前陰影檢測算法的準確性相對較高，但還是存在著一定的缺陷，因此在現有陰影檢測算法的基礎上，提出一種定量和定性評估更高的陰影檢測算法是非常必要的，消除陰影的影響也更有利于后續(xù)的目標跟蹤、分類和識別3。1.4 課題主要研究工作及工作安排本文主要研究運動目標檢測中的陰影去除，然而陰影的檢測與去除通常與運動檢測聯系在一起，因此本文先將對目前比較經典的三種運動目標檢測算法進行深入分析，通過對運動目標檢測中這三種算法的比較，最終確立一種適用性比較強的基于混合高斯背景模型的背景差方法。然后針對前景檢測

22、中存在的陰影，研究在混合高斯背景模型之上的陰影檢測算法。具體地講，本文的主要研究內容包括以下幾個方面：(1) 運動目標檢測算法的研究在深入分析現有的檢測算法基礎上，提出一種改進的混合高斯背景模型的目標檢測算法，能較好地解決場景中的光線、天氣等環(huán)境的變化，以及存在動態(tài)背景的情況。(2) 陰影檢測與去除算法的研究針對前景檢測中的陰影，在理解陰影產生機理以及分析了現有陰影檢測算法的基礎上，提出一種基于RGB顏色空間的陰影檢測算法。本文各章內容安排如下：第一章緒論，對當前視頻監(jiān)控系統(tǒng)的發(fā)展進行總結，然后詳細分析了智能視頻監(jiān)控系統(tǒng)中的關鍵技術，最后介紹了本文的研究內容及論文組織。第二章基礎理論，介紹了與

23、本課題相關的顏色模型、數學形態(tài)學算子等基礎知識。第三章運動目標的檢測，簡單地對目前運動目標檢測的集中經典算法進行分析，在對幾種方法進行比對的基礎上，確定一種較好的運動目標檢測方法，即基于混合高斯背景模型的運動目標檢測方法。第四章陰影的去除，首先對陰影產生的機理原因及影響進行了分析，然后對目標陰影檢測算法進行了概括、總結和分類，在混合高斯背景模型基礎上，針對前景中的陰影提出一種基于RGB顏色空間的陰影檢測算法。最終通過MATLAB軟件進行實驗，證明了該算法的實用性。第五章總結與展望，全面總結了本文主要研究內容的成果，并指出了在現有系統(tǒng)的基礎上對未來新技術的展望。第二章 基礎理論2.1 引言在復雜

24、的背景環(huán)境中，天氣和光線等的變化、陰影、燈光及隨機噪聲等都會影響采集到的圖像的特征。在目標檢測和陰影去除的過程中，肯定會有一些像素點被誤認為目標點或將目標點檢測成陰影點。為了能夠準確地提取運動目標，需要對提取出的目標進行一系列地處理。本章主要介紹本文在目標檢測、陰影檢測及去除等方面所涉及到的顏色空間，特別是RGB顏色空間，還有在圖像處理技術中經常用到的數學形態(tài)學濾波等方面的一些基礎知識。2.2 顏色模型顏色是人的視覺器官對外來的光刺激而產生的主觀感受。在光學和物理學中，可見光就是一種電磁波，對應于電磁頻譜中狹窄的頻率波段。可見光波段中的每一頻率對于一種單獨的顏色，而頻率和波長的乘積等于光速，由

25、于波長比頻率在某種程度上容易處理，因此常用波長來指定光譜顏色，通常的紅、橙、黃、綠、藍和紫等顏色的波長在400nm到700nm之間。當一束光的各種波長的能量大致相等時，我們稱其為白光；否則，稱其為彩色光。若一束光中，只包含一種波長的能量，其它波長都為零時，稱其為單色光。除了波長可以決定光的顏色以外，可見光還有一些其他的視覺特征，即亮度和純度。亮度是指感受到的光的明度或顏色的強度，而純度是指可見光的顏色的濃淡。因此顏色的三個特性分別是：主波長、亮度和純度。顏色模型（也稱為彩色模型）的用途是在某些標準下用通?？山邮艿姆绞胶喕噬?guī)范。本質上，顏色空間是坐標系統(tǒng)和子空間的規(guī)范。2.2.1 顏色模型的

26、分類人眼對于顏色的觀察和處理是一種生理和心理現象，因而對于色彩的許多結論都是建立在實驗基礎之上，因此也出現了多種不同的方法來描述顏色，而不同的描述方法對應于不同的顏色空間。顏色空間是人們?yōu)榱藢︻伾M行正確合理的應用、測定、描述和評價而建立的模型。因研究和應用的不同從而建立了很多不同的顏色模型，每個顏色模型都各有特點?，F今存在的顏色空間有很多種，包括RGB，CMY，CMYK，HSL，HSV，CIE XYZ，CIE Lue，CIE Lab和LCH，YUV，YIQ，YcbCr，RGB，YpbPr，Xerox Corporation YES，Kodak Photo CD YCC等顏色空間。這些顏色空間

27、已經在各行各業(yè)中得到了廣泛的應用。目前常用的顏色模型可分為兩類4：一類面向諸如彩色顯示器或打印機之類的硬件設備，另一類面向以彩色處理為目的的應用，如動畫中的彩色圖形。面向硬件設備的最常用彩色模型是RGB顏色模型，而面向彩色處理的最常用的模型是HSV顏色模型。2.2.2 RGB顏色模型我們的眼睛通過三種可見光對視網膜的刺激來感受顏色。這些光在波長為630nm（紅）、530nm（綠）和450nm（藍）時的刺激達到高峰。通過對各種刺激強度的比較，我們感受到光的顏色。這種視覺理論就是使用紅、綠、藍三種基色來顯示彩色的基礎，稱之為RGB顏色模型，它是最常用的顏色模型。RGB顏色模型基于笛卡兒坐標系統(tǒng)，3

28、個軸分別為R、G、B分量，如圖1.1。通過紅、綠、藍三種基色可以混合得到大多數的顏色。坐標原點（0,0,0）代表黑色，而坐標點（1,1,1）代表白色，對角線從黑到白代表的是灰度。在坐標軸上的頂點代表三個基色，而余下的頂點則代表第一個基色的補色。為了方便表示，將立方體歸一化為單位立方體，這樣所有的R、G、B三分量的值都在0,1中。根據這個模型，每幅彩色圖包括3個獨立的基色平面，或者說可分解到3個平面上。反過來，如果一幅圖像可以被表示為3個平面，則使用RGB顏色模型比較方便。RGB顏色模型的顏色數量可達到224種。圖1.1 RGB顏色模型示意圖RGB顏色模型大多是面向硬件設備的（如CRT顯示器），

29、其物理意義明確但缺乏直觀感。主要用于非發(fā)射式顯示，比如彩色打印機，繪畫儀等。2.2.3 HSV顏色模型從心理學和視覺的角度出發(fā)，顏色有如下三個特性：色調（Hue）、飽和度（Saturation）和亮度（Value）。HSV是一種對應于畫家的配色模型，是面向用戶的，能較好反應人對顏色的感知和鑒別。在HSV模型中，色調（H）是當人眼看到一種或多種波長的光時所產生的彩色感覺，是一種顏色區(qū)別于其它顏色的因素，它反映顏色的種類，是決定顏色的基本特性，如我們平時所說的綠色、藍色就是指色調。飽和度（S）指的是顏色的純度，即摻入白光的程度，或者說是指顏色的深淺程度，對于同一色調的彩色光，飽和度越高，顏色就越鮮

30、明。通常我們把色調和飽和度通稱為色度。亮度（V）是光作用于人眼時所引起的明亮程度的感覺，它與被觀察物體的發(fā)光強度有關。上述RGB彩色模型與人眼更強地感受紅、綠、藍三基色的事實相符合，但是它不能很好地適應實際上人對顏色的解釋。當人觀察一個彩色物體時，更習慣用色調、飽和度和亮度來描述它?；谏{（H）、飽和度（S）和亮度（V）的彩色模型稱為HSV顏色模型。一方面，該模型可在彩色圖像中消除亮度分量的影響從而獲得色調和飽和度的彩色信息，因此它比其他彩色模型更利于開發(fā)基于彩色描述的圖像處理方法；另一方面，HSV彩色模型能夠使人更自然、更直觀地解釋和感受顏色。HSV模型的三維表示從RGB立方體演變而來，對

31、應于圓柱坐標系中的一個圓錐形子集，其中的每一種顏色和它的補色相差180，所有的顏色均定義在六棱錐（圖1.2）中。在六棱錐中，飽和度沿水平軸測量，而亮度值沿通過六棱錐中心的垂直軸測量。圖1.2 HSV顏色模型示意圖色調（H）描述一種顏色放在色譜的什么位置。例如，紅色、黃色、藍色或綠色。如同在一個彩虹中，開始和末尾的顏色都是紅色。色調用與水平軸之間的角度來表示，范圍從0到360。六邊形的頂點以60為間隔。黃色位于60處，綠色在120處，而青色在180處，與紅色相對，相補的顏色之間互成180。飽和度（S）指顏色的純度和濃度的大小。飽和值從0到1變化，純度是指添加了多少白色到顏色中。低的值提供一個中性

32、、陰暗的顏色，而高的值提供一個強烈的、純的顏色。在此模型中它表示所選色彩的純度與該色彩的最大純度（S=1）的比率。當S=1時，此時的得到最純的顏色，并不是白色。當S=0.5時所選色彩的純度為二分之一。當S=0時，只有灰度。亮度（V）的值從六邊形頂點的0變化到頂部的1，頂點值為0，表示黑色。在六邊形頂部的顏色強度最大。當V=1，S=1時，即純色彩，而并不是白色，白色為V=1且S=0的點。HSV對多數用戶來說是一個較直觀的模型。從指定一種純彩色開始，即指定色調（H）且讓V=S=1，我們可以通過加入白色或黑色到純色彩中來描述所要的顏色。增加黑色即減小V而S保持不變。如果要得到深藍色，則V=0.4，S

33、=1且H=240。同樣，將白色加入所選的色彩中時，則參數S減小而V保持不變。淺藍色就可以用S=0.3，V=1且H=240來設定。添加一些黑色和白色，則需要同時減小V和S。HSV顏色空間能夠清晰地將顏色分為色度和亮度，而陰影不會改變背景的色度，故常用此顏色空間來進行陰影檢測。2.3 數學形態(tài)學數學形態(tài)學（Mathematical Morphology，簡稱形態(tài)學）是研究數字圖像形態(tài)結構特征的理論，它通過對目標圖像的形態(tài)變換實現結構分析和特征提取。數學形態(tài)學以嚴格的數學理論和集合理論為基礎，著重于研究圖像的集合結構，形態(tài)學對圖像的處理基于結構元素（structure element）的概念，而且結

34、構元素的選擇和圖像的某種特有信息有密切的關系，所以構造不同的結構元素可提供不同的圖像分析和處理方法，數學形態(tài)學中的集合表示圖像中的特定信息。數學形態(tài)學最初做為分析幾何形狀和結構的數學方法，后來用它從圖像中提取有利于表達和描述區(qū)域形狀的圖像分量，如邊界、骨架和凸殼等，稱為分析圖像幾何特征的工具。現在，數學形態(tài)學可以用來解決抑制噪聲、特征提取、邊緣檢測、圖像分割、形態(tài)識別、紋理分析、圖像恢復與重建、圖像壓縮等圖像處理的問題。2.3.1 基本思想數學形態(tài)學的基本思想是用具有一定形態(tài)的結構元素去度量和提取圖像中對應形狀以達到對圖像分析和識別的目的。數學形態(tài)學的數學基礎和所用語言是集合論。數學形態(tài)學的應

35、用可以簡化圖像數據，保持它們基本的形狀特性，并除去不相干的結構5。數學形態(tài)學運算主要用于如下幾個目的6：(1) 圖像預處理（去噪聲、簡化形狀）；(2) 增強物體結構（抽取骨骼、細化、粗化、凸包、物體標記）；(3) 從背景中分割物體；(4) 物體量化描述（面積、周長、投影、Euler-Poincare特征）。2.3.2 基本運算數學形態(tài)學的基本運算方式是指導數學形態(tài)學進行運算處理的基本方法，由一組形態(tài)學的代數運算子組成的，它的基本運算主要有4個：膨脹、腐蝕、開閉運算和輪廓提取?；緢D像形態(tài)結構運算有膨脹與腐蝕。設A為圖像集合，B為結構元素，數學形態(tài)學運算是用B對A進行操作。結構元素本身也是一個圖

36、像集合，對每個結構元素，指定一個原點，它是結構元素參與形態(tài)學運算的參考點。在形態(tài)學中，結構元素是最重要和最基本的概念。結構元素在形態(tài)變換中的作用相當于信號處理的“濾波窗口”。(1) 膨脹膨脹有幾種不同的定義形式，通常其運算符用表示，比如：A用B來膨脹寫作，最直觀的定義形式如下： （2.1）其中表示為集合B的映射。上式表明用B膨脹A的過程：先對B做關于原點的映射，再將其映像平移x，這里A與B映像的交集不為空集。即是B來膨脹A得到的集合是的位移與A至少有1個非零元素相交時B的原點位置的集合。膨脹運算在數學形態(tài)學中的作用是修復原屬于一個整體的分開的若干個像素點集合，即把圖像周圍的背景點合并到物體中。

37、如果兩個物體之間距離比較近，那么膨脹運算可能會使這兩個物體連通在一起，它可以用來填補物體中的空洞。例如，一個物體顯示在二值圖像上可能受到噪聲等干擾，使得物體本身像素值為1的點相互分散又靠得很近，那么膨脹運算可能會使這些像素點連通在一起，最終獲得完整的物體。膨脹的結構單元B可以根據需要進行定義。(2) 腐蝕在數學形態(tài)學實際應用過程中，腐蝕的運算符用來表示。比如：A用B來腐蝕，就寫作。其概念常定義為： （2.2）上式表明對每一個像素，以該像素點為原點的腐蝕結構B完全屬于A，則該像素屬于腐蝕結果的像素集合。即是用B來腐蝕A得到的集合是B完全包括在A中時B的原點位置的集合。腐蝕是一種消除所有邊界點，使

38、邊界向內部收縮的過程，可以用來消除小且無意義的物體。(3) 開閉運算開閉運算是膨脹和腐蝕兩種基本操作按不同順序的組合。先腐蝕后膨脹的過程為開運算，先膨脹后腐蝕的過程為閉運算。集合A被結構元素B做開運算，記為AB。換句話說，A被B開運算就是A被B腐蝕后的結果再被B膨脹。其定義為： （2.3）開運算一般具有消除細小的突出、削弱狹窄的部分、在纖細點處分離物體、平滑圖像輪廓時又不明顯改變其面積的作用。集合A被結構元素B作閉運算，記為AB。即A被B作閉運算就是A被B膨脹后的結果再被B腐蝕。其定義為： （2.4）閉運算也是平滑圖像的輪廓，但與開運算相反，它具有填充物體內細小空洞、連接鄰近物體、在不明顯改變

39、物體面積的情況下平滑其邊界的作用。開運算和閉運算具有等冪性，即重復一次與多次沒有區(qū)別。通常，由于噪聲的影響，圖像在閾值化后所得到的邊界往往是很不平滑的，物體區(qū)域具有一些噪聲孔，背景區(qū)域上散布著一些小的噪聲物體，連續(xù)的開運算和閉運算可以有效的改善這種情況。(4) 輪廓提取物體的輪廓就是邊界點組成的集合，使用腐蝕操作處理后，物體所有邊界點就消除了。設圖像集合的邊界為edge (A)，先用一個結構元素B腐蝕A，再求取腐蝕結果和A差集就可得到edge (A)，則輪廓提取通過下式得到： （2.5）第三章 運動目標的檢測3.1 引言運動目標檢測（Moving-Objectives Detecting, M

40、OD）是指將圖像序列中發(fā)生變化的區(qū)域從背景中分割出來。MOD的基本任務是判斷圖像序列中是否存在運動目標，并確定運動目標的位置。MOD處于整個視頻監(jiān)視系統(tǒng)的最底層，是各種后續(xù)高級應用如目標跟蹤、目標分類、目標行為識別和理解等的基礎。因此MOD成為視頻監(jiān)控系統(tǒng)研究中最重要的課題，也是陰影去除算法研究的基礎。3.2 運動目標檢測算法概述運動目標檢測是整個智能視頻監(jiān)控系統(tǒng)的第一部分，其目的是將運動目標(如車輛，行人等)從圖像中提取出來，檢測效果的好壞直接關系到后續(xù)步驟，而且也關系到整個系統(tǒng)的優(yōu)劣和實用性。運動目標的檢測常常受到光線變化、背景變化以及其它背景運動物體等因素的影響，因此選用一種穩(wěn)定并可靠的

41、檢測方法尤為重要。目前常用的運動檢測方法有光流法、相鄰幀差法、背景差分法。3.2.1 光流法光流是空間運動物體在觀測成像面上的像素運動的瞬時速度。光流的研究是利用圖像序列中的像素強度數據的時域變化和相關性來確定各自像素位置的“運動”，即研究圖像灰度在時間上的變化與景象中物體結構及其運動的關系。一般情況下，光流由相機運動、場景中目標運動或兩者的共同運動產生。對于視頻監(jiān)控系統(tǒng)來說，所用的圖像基本都是攝像機靜止狀態(tài)下攝取得，所以對有實時性和準確性要求的系統(tǒng)來說，純粹使用光流法來檢測運動目標不太實際。更多的是利用光流法與其它方法綜合之后來實現對運動目標檢測。3.2.2 相鄰幀差法相鄰幀差法即圖像序列差

42、分法，它利用兩幀圖像亮度差的絕對值來分析視頻和圖像序列的運動特性，確定圖像序列中是否有物體運動。這是一種直接簡單的運動檢測方法。其基本思想：如果一幅圖像的某一位置物體發(fā)生變化，那么對應位置的灰度也將發(fā)生變化；而物體沒有發(fā)生變化的部分，其灰度則不發(fā)生變化或變化很小。因此該方法只需比較圖像序列中相鄰兩幅圖像的對應像素灰度的差別。相鄰幀差法的優(yōu)點就是相鄰兩幀的時間間隔很短，用前一幀圖像作為后一幀圖像的背景模型具備較好的實時性，而且其背景不積累、更新速度快、算法計算量小。其缺點是閾值選擇相當關鍵，閾值過低，則不足以抑制背景噪聲，容易將其誤檢測為運動目標；閾值過高，則容易漏檢，將有用的運動信息忽略掉了。

43、另外，當運動目標面積較大，顏色一致時，容易在目標內部產生空洞，無法完整地提取運動目標。因此，相鄰幀差法不能完全提取所有相關的特征像素點，得到的檢測結果不夠精確，在運動目標內部產生的空洞不利于進一步的目標跟蹤等。3.2.3 背景差法背景差法相對于相鄰幀差法和光流法來說簡單且易于實現，是一種有效的運動目標檢測算法，是固定攝像機對固定場景進行視頻監(jiān)控時檢測運動目標最常用的方法。它的本質思想是利用當前圖像與背景圖像進行比較，選擇區(qū)別較大的像素區(qū)域作為運動目標；而區(qū)別較小的像素區(qū)域則被認為是背景區(qū)域。背景差法必須要有背景圖像，并且背景圖像要隨著光照和外部環(huán)境的變化而實時更新，因此背景差法關鍵是背景建模及

44、其更新。傳統(tǒng)的背景差算法包括二大步驟：(1) 確定背景模型，并建立背景圖像。最簡單的背景模型是時間平均圖像。在背景圖像的初始化算法中，求取一段較長的時間段內，視頻序列圖像每一像素的平均色彩值，作為初始的背景估計圖像。(2) 在像素模式下，用當前圖像減去已知背景圖像來得到差分圖像。如果定義圖像序列為I(x，y，i)，其中x，y代表空間坐標，i表示幀數，i=(1.N)，N為視頻序列總數。背景圖像為B(x，y)，則差分圖像可以表示為 （3.1）(3) 對差分圖像做二值化處理,得到運動區(qū)域： （3.2）其中，p為差分圖像中的任何一點，T為閾值。如果M(xp，yp，i)=1，則表示象素點p在第i幀屬于運

45、動區(qū)域(前景區(qū)域)；如果M(xp，yp，i)=0，則表示象素點p在第i幀屬于背景區(qū)域。這種固定背景算法是假定背景在相當長的一段時間內是不會發(fā)生變化的，然后以此為基礎求解運動區(qū)域。事實上，即使是室內環(huán)境，也存在光線等各種變化所造成的干擾，所以固定背景的方法存在很大的局限性。通常的解決辦法是系統(tǒng)需要時常對背景重新初始化，以防止錯誤隨著時間不停地積累造成背景的失效。因此，作為固定背景，它只適用于變化較小的短期的跟蹤問題。3.3 基于RGB顏色空間的混合高斯模型在靜止攝像機條件下，運動目標檢測的關鍵是背景圖像的描述模型即背景模型，它是背景差方法分割前景目標的基礎。背景模型分為單模態(tài)和多模態(tài)兩種。前者在

46、每個背景點上的顏色分布是比較集中的，可以用單個概率分布模型來描述（即只有一個模態(tài)）；后者的分布則比較分散的，需要多個分布模型來共同描述（即具有多個模態(tài)）。自然界中許多的景物和很多的人造物體，如水面的波紋、飄揚的旗幟、搖擺的樹枝等，都呈現出多模態(tài)特性，可以利用混合高斯分布（正態(tài)分布）對背景建模，再進行背景差提取運動目標。這種基于混合高斯模型算法（MoG算法）的運動目標檢測算法即繼承了大多背景差算法簡單易于實現的特點，同時對背景中每個像素建立統(tǒng)計模型，進行學習和更新，完全可以克服多模態(tài)的問題，獲得比較準確實時的背景，從而有效進行運動目標前景的提取6。背景模型的建立如果背景是完全靜止的，背景圖像的每

47、個像素點，可以用一個高斯分布來描述。但背景場景往往不是絕對靜止的，例如由于樹枝的搖擺運動，背景圖像上的某一像素點在某一時刻可能是樹葉，可能是樹枝，也可能是天空，每一種狀態(tài)的像素點顏色值都是不同的。所以，用一個高斯模型來描述背景并不能反映實際背景。因此，對每個像素點用多個高斯模型混合表示。設t時刻，圖像中像素點(i, j)的觀察值可寫為Xt，則可以認為Xt是一個隨機過程，并且假設任意兩個像素點之間統(tǒng)計獨立，則X(i, j)的特征向量在RGB顏色空間為： （3.3）其中，t時刻，像素的近期彩色歷史可以由K個高斯分布模型的混合去模擬描述這個隨機過程。K值的選取一般由計算能力和內存來決定，K值越大，模

48、型雖然能體現越復雜的場景，但同時計算量也將大幅增加，消耗更多的計算時間。考慮到計算速度的快慢，一般情況下取35個。在當前時刻t點(i, j)的概率分布可用下面的公式來表示： （3.4） （3.5）其中，ij,k,t是t時刻第k個混合高斯分布的權值，ij,k,t、ij,k,t分別為第k個高斯分布的均值和方差，是高斯概率密度函數。當采用RGB顏色空間進行建模時，認為R、G、B三個通道的分量值是相互獨立且具有相同的方差，則ij,k,t、ij,k,t可寫成如下形式： （3.6） （3.7）各高斯分布按照優(yōu)先級高低排列，優(yōu)先級qk計算如下： （3.8） 背景模型的更新由于周圍環(huán)境的變化，如光照、風強度等

49、，已經建立好的背景模型可能不再適應變化過之后的環(huán)境。為了增強背景模型的適應性，需要根據實際的情況，對背景模型進行實時地更新。背景模型的更新就是指不斷利用新的當前時刻視頻圖像更新背景圖像，使背景實時準確反應真實的監(jiān)控場景。更新方法的思想是對于圖像給定點的最新值Xt，與K個高斯分布分別進行匹配，如果有某個高斯分布k與它匹配，則用當前值Xt去更新這個k的各項參數；如果沒有任何一項分布k與它匹配，就用一個代表當前值Xt的新的分布去代替現有混合高斯分布中的一個分布項。(1) 如果Xt服從某個高斯分布，則用當前值Xt去更新這個高斯分布k的均值、方差和權值k,t。匹配的方法是把高斯分布k按權值與方差之比/從

50、大到小排列，然后選擇Xt與均值j,t-1,k足夠接近的第一個高斯分布作為匹配的高斯分布，即Xt滿足下列判別式： （3.9）其中，一般情況下取為2.5，上式表示Xt服從第j個高斯分布(1jK)。然后按以下等式對該高斯分布k的均值、方差和權值k,t進行更新： （3.10） （3.11） （3.12） （3.13）其中，為模型分布學習速率，01。對于匹配的模型Mk,j=1，其余的模型（不匹配的分布）為0。經過更新后，權值的總和保持不變，仍然為1。1/為表示變化快慢的時間常數，越小，權值更新的越慢，時間常數越大；越大，權值更新的越快，時間常數越小，混合高斯模型中主高斯分布對背景適應性越好，更有利于背景

51、模型的更新，但對于內部顏色比較一致的運動目標，則目標的運動方向后半部分容易檢測為背景（因為前半部分可能已經更新為背景了），這樣就造成了目標的漏檢。為調整當前分布的學習速率，當前值匹配分布的程度越好，越大，參數調整（學習）的越快，但太大的話也會引起前面目標漏檢。(2) 如果在K個分布中沒有找到與當前像素匹配的高斯分布，那么可能性最小的高斯分布將被新的高斯分布所替代。新的高斯分布的均值為當前的像素值Xt，具有較大的方差和較小的權值。這種方法的一個顯著優(yōu)點：當某些值被歸為到背景時，現存的背景模型并沒有被破壞，原來的背景顏色一直存在于混合模型中直到被新的背景顏色所取代。因此，當一個物體剛剛靜止下來后一

52、段足夠長的時間內使其被歸為到背景中就開始運動，由于描述以前背景的分布仍然存在于混合模型中，只是可能性較低，這樣的話，以前的背景就會很快就能恢復回來。 運動目標的檢測與提取由于有噪聲的影響，背景圖像庫中某些圖像的有些像素點并不能真正地代表背景，用這類像素建立的高斯分布模型是應該被去除。場景中像素值是屬于前景還是屬于背景可以通過分析混合高斯模型中相應的權值和方差得出：一般來說，我們可以認為運動中物體的模型會保持較大的方差，靜止的時候會比較小。在每一時間里，選擇每一點的混合高斯模型中的一個或多個高斯分布作為背景模型，其它的則作為前景模型。用每一點的當前值和此點混合模型中的背景模型進行匹配，如果不匹配

53、，則作為前景。為了判定Xt是屬于前景像素還是背景像素，首先根據每個模型的/值來給模型排序，比值越大，表示具有較大的和較小的，因此排序越前的高斯分布，越能描述背景模型。所以，我們選擇排在前面的N個高斯代表背景模型，作為背景模型的估計，如下式： （3.14）其中，T為預先定義的閾值，它表示背景的分布權值的和在整體中所占的最小比例，一般根據經驗可取T=0.3。N是能達到這一比例的“最好”的高斯分布的數量，即前面N個最可能的分布。如果T值設置的比較小，那么背景就變成了單模的，就是個單個高斯分布的背景模型，用最可能的那個分布表示背景可以節(jié)省計算量。如果T值取的比較大，那么混合模型就可以容納重復運動的背景

54、導致的多種背景顏色。MoG算法對多模態(tài)背景有良好的適應能力，能夠準確地判斷出高頻振動的背景，并且具有極強的魯棒性。該算法的特點是每個高斯分布不僅帶有權值，而且具有優(yōu)先級，像素點與某個高斯模型相匹配后，就將該匹配的高斯分布的參數進行更新，權值進行提高，而其它高斯分布的權值則相應地降低，每次對參數與權值進行更新之后，對每個高斯分布再重新計算優(yōu)先級和進行排序。第四章 陰影的去除4.1 引言根據上一章所討論的背景模型的建立，可以通過背景差分法得到包含運動區(qū)域的前景二值圖，該二值圖去除了當前圖像中的背景像素，僅留下了變化像素。但在變化像素中，除了運動目標外還存在許多由各種干擾所引起的變化像素，這些可能會

55、使原本分離的目標區(qū)域合并或引起目標變形等。因此，為了正確提取運動目標區(qū)域，陰影和殘留噪聲等仍然需要去除，同時，可以利用數學形態(tài)學對原始圖像進行重建。為此，本文引入了基于RGB顏色空間的陰影檢測和去除方法進行運動目標陰影的檢測與去除；利用數學形態(tài)學方法來完成對目標區(qū)域的修整與重建。4.2 陰影產生的機理陰影主要是因為場景中的對象被光源部分或全部遮擋而產生的。陰影通?？煞譃橥渡潢幱埃–ast Shadow）和自身陰影（Self Shadow）兩類。自身陰影是由于物體本身沒有被光源直接照射到而形成的，屬于目標本身的一部分，這部分陰影是不用從檢測結果中去除的。投射陰影是由于物體阻擋光線后在背景上形成的

56、部分，這就是要從結果中去掉的陰影。投射陰影中直射光線被完全阻擋的部分稱為本影（Umbra，又叫暗影）。直射光線被部分阻擋的部分叫做半本影（Penumbra，又叫半影）。物體運動的暗影因顯著地異于背景而常常被錯誤地理解為運動物體7。在實際應用中進行陰影檢測時，一般認為陰影有如下特點：(1) 被陰影所覆蓋的像素點比原背景亮度低，不顯著改變所覆蓋的背景顏色和紋理；(2) 陰影總是與形成陰影的運動目標相關聯；(3) 被陰影所覆蓋的背景點色調會對藍色造成很大的影響；(4) 陰影形狀是目標形狀在背景上的投影，但是形狀與運動目標的形狀基本不同，差距很大；(5) 陰影與產生陰影的目標具有相同的運動屬性。陰影區(qū)域可看作是半透明的區(qū)域，在陰影區(qū)域內，由于照射光線被遮擋，陰影覆蓋區(qū)域的照度降低，對應圖像的亮度降低，這樣陰影區(qū)域的亮度要比同一區(qū)域在無陰影時以及陰影的鄰近非陰影區(qū)域要暗一些。因此，被陰影覆蓋區(qū)域的圖像除在亮度上表現出明顯變化外，其色度并沒有呈