機器視覺陳兵旗陳思瑤王僑第1章緒論01第2章圖像數(shù)據(jù)及存儲與采集02第3章像素分布與圖像分割03第4章顏色空間及測量與變換04第5章幾何變換及單目測量05第6章傅里葉變換06第7章小波變換07第8章濾波增強08第9章二值運算與參數(shù)測量09第10章雙目視覺測量10第11章二維三維運動圖像測量實踐11第12章模式識別12第13章神經網絡13第14章深度學習14目錄第3章像素分布與圖像分割思維導圖3.1像素分布3.1.1直方圖一、功能介紹這里的直方圖是指圖像的像素值累計分布圖?；叶葓D像像素的最大值是255（白色），最小值是0（黑色），從0到255，共有256級，計算出一幅圖像上每一級的像素數(shù)，然后用分布圖表示出來。如圖3.1所示，直方圖的橫坐標表示0～255的像素級，縱坐標表示像素的個數(shù)或者占總像素的比例。計算出直方圖，是灰度圖像目標提取的重要步驟之一。圖3.1直方圖3.1像素分布3.1.1直方圖二、基于ImageSys的功能實踐打開ImageSys，讀入一幀灰度或彩色圖像，然后依次點擊菜單：像素分布處理——直方圖，可以打開如圖3.2所示的直方圖界面。圖3.2（a）為讀入灰度圖像時的直方圖界面。圖3.2（b）為讀入彩色圖像時的直方圖界面，可以選擇直方圖的類型：灰度、彩色RGB、R分量、G分量、B分量，彩色HSI（參考第4章）、H分量、S分量、I分量?？梢砸来物@示所選類型的像素區(qū)域分布直方圖的最小值、最大值、平均值、標準差、總像素等，也可以顯示所選類型的像素區(qū)域分布直方圖，以及剪切和打印直方圖?？梢圆榭粗狈綀D上數(shù)據(jù)的分布情況?？梢宰x出以前保存的數(shù)據(jù)、保存當前數(shù)據(jù)、打印當前數(shù)據(jù)。保存的數(shù)據(jù)可以用MicrosoftExcel將其打開，重新做分布圖。（a）灰度圖像模式（b）彩色圖像模式圖3.2直方圖功能界面3.1.2線剖圖3.1像素分布一、功能介紹線剖面圖用于查看一條線上的灰度值或彩色值分布曲線。在圖像中任意畫一條線段，即可知道該線段上的像素分布情況，非常的靈活方便。比如圖3.3中，如需了解桃子和周圍背景在顏色上的明顯差異，可用鼠標橫向選取一條貫穿最上邊桃子的線段，在右側的線剖圖中可以觀察到，該線段對應桃子所在的位置，R曲線明顯高于G和B曲線，在右側線剖圖窗口中左右移動鼠標時，對應有一條垂直線條跟隨鼠標移動，同時在對應的原圖中，，也有一個亮點一并在鼠標所選取的線段中同步跟隨移動，由此可以分析在該條線段上，每一處的像素分布情況，該功能對于分析目標特征非常實用。3.1.2線剖圖3.1像素分布二、基于ImageSys的功能實踐圖3.3線剖面功能界面打開ImageSys，讀入一幀彩色或灰度圖像，然后依次點擊菜單：像素分布處理——線剖面，打開線剖面界面。按鼠標左鍵在圖像上畫線，線上的像素便顯示在線剖面界面上，如圖3.3所示。鼠標在線剖圖上移動時，在圖像上顯示鼠標所處位置?？蛇x擇線剖面的分布圖類型包括：灰度、彩色RGB、R分量、G分量、B分量、彩色HSI、H分量、S分量、I分量等。選擇單個分量時，在窗口左側會顯示該分量線剖面信息的平均值和標準偏差?？梢詫€剖面進行移動平滑和小波平滑（參考第7章）。移動平滑可以設定平滑距離。小波平滑，可以設定平滑系數(shù)、平滑次數(shù)、去高頻和去低頻。去高頻是將高頻信號置零，留下低頻信號，即平滑信號。去低頻是將低頻信號置零，留下高頻信號，是為了觀察高頻信號。線剖面是非常有用的圖像解析工具。3.1.3累計分布3.1像素分布一、功能介紹累計分布圖是指垂直方向或者水平方向的像素值累加曲線。由于該功能是實現(xiàn)一個特定方向（垂直或者水平）上的像素值累加，對于具有明顯垂直或者水平規(guī)律的圖像使用該功能，能夠更清晰的找出圖像在對應方向上的變化規(guī)律。比如圖3.4電器柜開關圖像中，如果采用人眼判斷開關閉合情況，，面對上百個電器柜，人在判斷的時候不僅容易疲勞，而且還容易出錯，于是可以使用視覺進行判斷。可觀察到電器柜的面板顏色比較淺，也比較均勻，上面開關的排布非常有規(guī)律，不會造成特定顏色的累計，但是閉合的開關（比如第一行左側的連續(xù)5個黃色開關、第二行左側的連續(xù)2個黃色開關，以及倒數(shù)第二行右側第3個紅色開關）在垂直方向上會有特定顏色的累計，為此可可根據(jù)垂直方向的像素累計，分析累計曲線的波峰，以及不同顏色曲線波峰之間的關系，從而得知打開和關閉按鈕的個數(shù)。3.1.3累計分布3.1像素分布一、基于ImageSys的功能實踐圖3.4垂直方向累計分布圖打開ImageSys，讀入一幀彩色或灰度圖像，然后依次點擊菜單：像素分布處理——累計分布圖，打開對應功能窗口即顯示處理窗口內像素的累計分布情況，若未選擇處理窗口，則顯示整幅圖內像素的累計分布情況?？蛇x擇的累計分布圖類型有：灰度、彩色RGB、R分量、G分量、B分量、彩色HSI、H分量、S分量、I分量等。選擇單個分量時，顯示所選類型累計分布圖的最小值、最大值、平均值、標準差、總像素等。圖3.4顯示了全圖區(qū)域彩色RGB的垂直方向累計分布圖，橫坐標表示圖像橫坐標，縱坐標表示像素的累加值。鼠標在累計分布圖上移動時，在圖像上顯示鼠標所處位置，并劃線表示。同上述線剖面一樣，可對累計分布圖進行移動平滑和小波平滑。也可以選擇水平分布圖。3.1.43D剖面3.1像素分布一、功能介紹3D剖面用于將圖像中各部分的RGB值使用對應顏色海拔高低（即高程）來表示的圖。X軸表示圖像的x坐標，Y軸表示圖像的y坐標，Z軸表示像素的灰度值。在該功能中，可以看到全局圖像中不同區(qū)域RGB像素分布的情況，在圖3.5左側圖像中，人物兩側背景很亮并且整體發(fā)白，在所對應的3D剖面圖中可以看到x軸靠近兩側的顏色海拔比較高。3.1.43D剖面3.1像素分布二、基于ImageSys的功能實踐打開ImageSys，讀入一幀彩色或灰度圖像，然后依次點擊菜單：像素分布處理——3D剖面——3D剖面或OpenGL3D剖面，打開圖3.5（a）或圖3.5（b）的3D剖面圖。圖3.5（a）、（b）分別是一般3D剖面和OpenGL3D剖面。其中，一般3D剖面圖需要設定參數(shù)后點擊執(zhí)行；而OpenGL3D剖面設定采樣空間后，3D畫面會自動調整，可以用鼠標按住3D畫面自由旋轉，方便查看像素分布情況。為了更加靈活地分析圖像，也可以設定圖像的采樣空間，或者進行反色處理。不僅如此，還可以根據(jù)圖像分析的需要，設定分布圖的Z軸高度尺度、最大亮度、基亮度、涂抹顏色、背景顏色等。（a）3D剖面（b）OpenGL3D剖面圖3.53D剖面圖3.1.5應用案例——水田管理導航路線檢測及視頻演示3.1像素分布一、水田管理機器人導航路線檢測及視頻演示插秧之后，在水稻從幼苗到成熟期間，需要使用水稻管理機器人進行施肥、噴藥、除草和生長調查等水田管理工作，在工作過程中水田管理機器人需要沿著苗列間行走，如圖3.6所示。本案例的目標是研究一種導航路線的圖像檢測算法，可以應用于水稻從幼苗到成熟的整個生長時期。圖3.6水田管理機械作業(yè)場景1.圖像采集用索尼DCR–PC10數(shù)碼攝像機采集樣本圖像，該攝像機為NTSC制式，幀率為每秒30幀。采用MicrosoftVisualC++6.0進行軟件開發(fā)。從插秧后的第2天開始，每周采樣一次，共采樣10次。采樣期間，水稻苗大約高出水面（當?shù)咎镏袩o水時高出地面）10cm至90cm。將相機放置于稻株上方20cm處，水平向下，此時，無論是天空背景還是稻田的周邊環(huán)境都不在相機的視野范圍內。并將相機設置為自動對焦和自動白平衡。每一次采樣均從不同地點和方向來獲取視頻圖像樣本。采集的圖像為512×480像素。圖3.3和圖3.4的原圖是本案例的例圖之一。3.1.5應用案例——水田管理導航路線檢測及視頻演示3.1像素分布一、水田管理機器人導航路線檢測及視頻演示2．目標苗列間的確定利用垂直方向的像素值累計分布圖來確認機器人行走的目標苗列間。如圖3.4所示，從右側的垂直方向像素值累計分布可以看出，在目標苗列間，B分量的累計數(shù)據(jù)最大，因此將B分量垂直方向累計分布的最大位置，作為目標苗列間的中心位置。3.掃描線方向候補點的檢測

為了檢測目標苗列間的中心線（導航線），在每個橫向掃描線上檢測一個目標苗列間的中心點（方向候補點），圖像高度是480像素，也就是有480條橫向掃描線，可以檢測出480個方向候補點（方向候補點群）。以方向候補點群中心為已知點，用9.4.1節(jié)的過已知點Hough變換檢測出導航線。從圖3.3的線剖面曲線可以看出，在苗列上G分量遠大于B分量，利用此特點，在各個橫向掃描線上，從確定的目標苗列間中心位置分別向左、向右檢測到第一個苗列位置，然后取兩者的中間點作為該掃描線的方向候補點。圖3.7是檢測出的方向候補點群及導航線的實例，有田端時也可以檢測出來。對10周拍攝的所有圖像都正確檢測出了導航線，視頻里演示了10周的檢測案例。

（a）插秧后第2周（b）插秧后第4周圖3.7方向候補點群及導航線檢測實例4.視頻演示3.1.5應用案例——水田管理導航路線檢測及視頻演示3.1像素分布二、微型除草機器人行駛路線檢測及視頻演示為了減小除草劑的使用，日本多個大學在對水田微型除草機器人進行研究。對于微型除草機器人來說，水田環(huán)境非常復雜，由于其體型小，當秧苗長高時，在秧苗間通行就像穿行在隧洞中，姿態(tài)少有變化，視野中的圖像就會完全不一樣。因此，當微型除草機器人完成除草作業(yè)，在繼續(xù)行駛之前，必須確認行駛方向。本案例旨在研究一種圖像處理方法，引導微型機器人在水田中行駛。由于水稻從秧苗到收獲的整個生長階段，微型除草機器人均需在水田中作業(yè)，因此研究的算法必須能夠適應水稻全部生長過程的水田環(huán)境。1.圖像采集。攝像機的長、寬、高分別為68mm、32mm和27mm，鏡頭焦距為3.7mm，光圈設置為f2.0，發(fā)送圖像的頻率為2.4GHz。將錄制的錄像帶轉化為數(shù)字圖像進行圖像處理，處理軟件使用MicrosoftVisualC++6.0進行開發(fā)。從插秧后的第2天開始，每周采集一次樣本圖像。分別將攝像機放置于水面上方大約10cm、20cm和30cm處，且在每一個高度處將攝像機依次水平、水平向下10o和20o進行設置。對攝像機進行360o旋轉，獲得每個高度、每個角度的錄像帶樣本，如圖3.8所示。在采樣期間，稻株的高度大約高出水面10-65cm。圖3.8水田和微型攝像機3.1.5應用案例——水田管理導航路線檢測及視頻演示3.1像素分布二、微型除草機器人行駛路線檢測及視頻演示

2.目標圖像的確定及導航線檢測目標圖像為相機旋轉一周所獲取的24幀圖像中，水稻行之間的區(qū)域離圖像中心最近的圖像，也就是B分量垂直累計分布圖的中心離圖像中心最近的圖像。因此對每幀圖像進行B分量垂直累計分布圖數(shù)據(jù)分析處理，確定最終的目標圖像。確定目標圖像后，對目標圖像，利用前述水田管理機器人導航路線檢測方法，檢測出導航線。由于每組有24幀圖像，而且環(huán)境復雜多變，因此在處理過程中設定了許多判斷條件，對每幀圖像處理時只要有一個條件不滿足就進入下一幀處理，這樣從24幀中找到目標圖像且處理處導航線，0.1秒以內即可完成。具體處理方法這里不做詳細說明。圖3.9是水田環(huán)境的例圖像，水面反光、葉面遮擋等，圖像非常復雜。圖3.9水田環(huán)境例圖像圖3.10是目標圖像及導航線檢測結果的例圖像，69個樣本視頻，都正確檢測出了目標圖像和導航線。可以通過視頻演示觀看檢測過程。圖3.10目標圖像及導航線檢測結果例圖像3.視頻演示微型除草機器人路線檢測3.2灰度分割與實踐首先，做如下準備工作：1.打開ImageSys系統(tǒng)，點擊菜單：文件——圖像文件，讀入一幅灰度圖像。2.在“狀態(tài)窗”上設定“原幀保留”，以便重復使用原圖像。3.點擊菜單：圖像分割，打開圖像分割窗口。圖3.11是圖像分割窗口的默認設置，圖像上的水色區(qū)域表示閾值分割后的目標區(qū)域，非水色區(qū)域是分割后的背景區(qū)域。該圖并沒有展示水色的原圖像和直方圖，相關信息可以參考圖3.2(a)。圖像分割窗口中間顯示的是圖像的直方圖，其他功能在后面的處理中將予以介紹。圖3.11原圖像與圖像分割功能3.2灰度分割與實踐3.2.1常規(guī)閾值分割二值化處理（binarization）是將目標物從圖像中提取出來的一種方法。二值化處理的方法有很多，最簡單的一種叫做閾值處理（thresholding），即針對輸入圖像的各像素，當其灰度值在某設定值（稱為閾值，threshold）以上或以下時，賦予對應的輸出圖像的像素為白色（255）或黑色（0）?？捎檬?3.1)或式(3.2)表示。其中f(x,y)、g(x,y)分別是處理前和處理后的圖像在(x,y)處像素的灰度值，t為閾值。3.2灰度分割與實踐在圖3.11上滑動水色滑柄或者在后面輸入框內直接輸入數(shù)字，可以設定閾值。通過點擊“改變視圖”，可以查看分割效果，點擊“運行”，圖像窗口顯示分割結果，點擊“確定”，關閉窗口。圖3.12閾值30、結果顏色黑色3.2.1常規(guī)閾值分割在“狀態(tài)窗”上選擇顯示原圖像，在圖像分割窗上設定閾值為60，結果顏色為白色，然后點擊“運行”，結果如圖3.13所示。圖3.12是設定閾值為30、結果顏色選擇“黑色”的“運行”結果圖像。圖3.13閾值60、結果顏色白色3.2灰度分割與實踐3.2.1常規(guī)閾值分割結合圖像情況，實際有時需要提取兩個閾值之間的部分，如式(3.3)所示。這種方法稱為雙閾值二值化處理。在“狀態(tài)窗”上選擇顯示原圖像，在圖像分割窗上設定閾值為80～150，結果顏色為白色，然后點擊“運行”，結果如圖3.14所示。圖3.14雙閾值80～150、結果顏色白色3.2灰度分割與實踐3.2.2模態(tài)法自動分割模態(tài)法（modemethod）是通過計算機程序，自動分析直方圖的分布，查找到兩個峰值之間的凹點，將其作為閾值進行圖像二值化處理的方法。在“狀態(tài)窗”上選擇顯示原圖像。在分割窗口上，“二值化處理”選“自動”，“方法”選“模態(tài)法”，然后點擊“運行”，即可獲得圖3.15所示的模態(tài)法處理結果。自動計算的閾值是45，直方圖上的水印右端正好處于兩個峰的中間位置。圖3.15模態(tài)法自動分割對于背景單一的圖像，一般在直方圖上有兩個峰值，一個是背景的峰值（圖3.11直方圖右側高峰），另一個是目標物的峰值（圖3.11直方圖左側低峰）。對于這種在直方圖上具有明顯雙峰的圖像，把閾值設在雙峰之間的凹點，即可較好地提取出目標物。如果原圖像的直方圖凹凸不平，很難找到一個合適的凹點，可以采取在直方圖上對鄰域點進行平均化處理。3.2灰度分割與實踐3.2.3P參數(shù)法自動分割P參數(shù)法是當物體占整個圖像的比例已知時（如p%），在直方圖上將暗灰度（或者亮灰度）一側起的累計像素數(shù)達到總像素數(shù)p%的位置處作為閾值的方法。對于微分圖像（參考第8章）的二值化處理，一般設定閾值在亮度從高到低的5%處，都能獲得較好的分割效果。在“狀態(tài)窗”上選擇顯示原圖像。點擊菜單：濾波增強——多模版，打開多模版窗口，然后點擊“執(zhí)行”，獲得了圖3.16所示的Prewitt算子微分圖像（參考第8章）。圖3.16Prewitt算子微分圖像在分割窗口上，“二值化處理”選“自動”，“結果顏色”選“白色”，“方法”選“p參數(shù)法”，設定P參數(shù)為5。然后點擊“運行”，即可獲得圖3.17所示的P參數(shù)法二值化處理結果，效果比較理想。圖3.17微分圖像的P參數(shù)法二值化處理結果3.2灰度分割與實踐3.2.4大津法自動分割

大津法（Otsu）也叫最大類間方差法，是由日本學者大津于1979年提出的。它是按圖像的灰度特性，將圖像分成背景和目標兩部分。背景和目標之間的類間方差越大，說明構成圖像的2部分的差別越大。因此，使類間方差最大的分割意味著錯分概率最小。

經數(shù)學推導，區(qū)域間方差可表示為：被分割的兩區(qū)域間方差達到最大時，被認為是兩區(qū)域的最佳分離狀態(tài)，由此確定最終分割閾值T。3.2灰度分割與實踐3.2.4大津法自動分割在“狀態(tài)窗”上選擇顯示原圖像，在分割窗口上，“二值化處理”選“自動”，“結果顏色”選“白色”，“方法”選“大津法”。然后點擊“運行”，即可獲得圖3.18所示的大津法二值化處理結果，計算的閾值是78，與模態(tài)法獲得的結果相差不多。圖3.18大津法二值化結果3.2灰度分割與實踐3.2.5應用案例——排種器試驗臺圖像拼接與分割為了便于測量分析，在圖像處理前，先將保存的視頻連續(xù)幀拼接成一幅完整的測量圖像。視頻文件的采集方法，參考“2.7.1排種器試驗臺圖像采集與保存”。以穴播為例，圖3.19是從玉米穴播實驗合成圖像中截取的片段灰度圖像（總共10幀），為方便瀏覽，將其逆時針旋轉90度，最右側為起始幀，最左側為第10幀。圖3.19合成圖像中的片斷一、圖像拼接3.2灰度分割與實踐3.2.5應用案例——排種器試驗臺圖像拼接與分割二、籽粒的二值化分割由于籽粒和噪聲在圖像上只占很小的比例，在直方圖上看不出雙峰特性，所以傳統(tǒng)的自動閾值確定方法均不適用。通過研究分析，將灰度平均值的2倍作為分割閾值，無論對那種圖像都獲得了很好的分割效果。這種閾值設置方法，可以認為是一種判別分析法。圖3.20是采用該方法對圖3.19進行閾值分割的結果圖像。從圖3.20可以看出，經過二值化處理后，可以去除各幀之間的拼接痕跡，但還存在少許背景反光引起的噪聲。圖3.20合成圖像二值化在實際操作中，可以通過設定處理窗口，僅保留中間排種區(qū)域，并將低于50像素的白色區(qū)域作為噪聲去除。圖3.21為設定處理區(qū)域和去除噪聲的處理結果。圖3.21合成圖像處理結果3.2灰度分割與實踐3.2.5應用案例——排種器試驗臺圖像拼接與分割二、籽粒的二值化分割圖3.22(a)和(b)分別為小麥的條播和兩行精播片斷的處理結果。(a)條播(b)精播圖3.22小麥排種的提取結果3.3彩色分割與實踐在ImageSys的“狀態(tài)窗”上選擇“彩色”，點擊菜單：文件——圖像文件，讀入一幅彩色圖像。如圖3.23所示，圖像分割窗口自動變?yōu)镽GB模式。圖3.23圖像分割彩色功能3.3彩色分割與實踐3.3.1 RGB彩色分割如圖3.23所示，在圖像分割窗口，“二值化處理”選“RGB”，中央顯示了R、G、B的3個直方圖，下方默認勾選了R、G、B，也可以取消某個分量的勾選。R、G、B的分割閾值，可以用對應的滑動手柄設定，也可以直接輸入數(shù)字。通過雙擊鼠標方式，可以自動設定各個分量的閾值。具體方法如下：1.設定“顏色采樣”的“尺寸”，默認為7。其含義是在圖像上雙擊鼠標時，以雙擊點為中心，獲得7×7區(qū)域的像素最小值和最大值，分別設定為最小閾值和最大閾值。在不同位置雙擊多次時，獲取多次雙擊區(qū)域范圍內的像素最小值和最大值，將其設定為分割的最小閾值和最大閾值。雙擊次數(shù)自動顯示在“次數(shù)”窗口?？梢渣c擊“重設定”，重新雙擊取樣。2.將鼠標移動到要提取顏色的位置，然后雙擊鼠標左鍵，可以在不同位置多點擊幾次提高分割效果。雙擊鼠標確定閾值后，選擇“結果顏色”，通過點擊“改變視圖”，查看分割效果，點擊“運行”，圖像窗口顯示分割結果，點擊“確定”，關閉窗口。圖3.24是對圖3.23通過RGB自動設置閾值的分割結果。其中，“結果顏色”選“黑色”，“顏色采樣”“尺寸”默認7，在圖像上的紅色區(qū)域不同位置雙擊鼠標8次。圖3.24RGB紅色分割效果3.3彩色分割與實踐3.3.2 HSI彩色分割在“狀態(tài)窗”上選擇顯示原圖像。在圖像分割窗口，“二值化處理”選“HSI”，在下方勾選S和H，取消I的勾選，中央顯示了H和S的直方圖。與RGB分割相同，“結果顏色”選“黑色”，“顏色采樣”“尺寸”默認7，在圖像上的紅色區(qū)域不同位置雙擊鼠標8次，分割結果如圖3.25所示?？梢钥闯觯挥肏、S分量的紅色區(qū)域分割效果優(yōu)于RGB分割。圖3.25HS紅色分割效果3.4圖像間運算及實踐一、運算內容圖像間運算實際就是圖像對應像素之間的運算，包括：算術運算和邏輯運算。算術運算就我們平常所說的十進制的算術加減乘除，只是運算對象為原圖像像素的值，目標像素的值由兩個輸入圖像對應位置像素的加減乘除求得。算數(shù)算子：＋加，－減，Ｘ乘，／除。邏輯運算是一種只存在于二進制中的運算，將兩張輸入圖像（灰度圖像或彩色圖像均可）的每個像素值進行二進制的“與”、“或”、“非”、“異或”“異或非”操作。主要實現(xiàn)圖像裁剪、反色等。邏輯算子：AND與，OR或，XOR異或，XNOR異或非。3.4圖像間運算及實踐二、運算實踐打開ImageSys軟件，點擊菜單：文件——多媒體文件，打開多媒體文件窗口，讀入Badminton（羽毛球）視頻。點擊菜單：圖像間變換——圖像間運算，打開圖像間運算窗口，如圖3.26所示。圖3.26圖像間運算功能3.4圖像間運算及實踐二、運算實踐1.窗口功能介紹（1）輸入幀1）表示開始運算的圖像幀序號，或圖像幀的范圍。2）表示與(1)運算的圖像幀序號，或圖像幀的范圍。（2）算子

1）算術算子：＋，－，Ｘ，／。

2）邏輯算子：AND，OR，XOR，XNOR。

3）系數(shù)：算術運算時，對各個像素的運算所乘的系數(shù)，可以任意指定。4）輸出幀：表示運算結果輸出的幀序號，或幀范圍。5）連續(xù)處理：同時處理多幀圖像時選擇。6）幀固定：連續(xù)處理時，輸入幀（1）或（2）固定不變時選擇。3.4圖像間運算及實踐二、運算實踐2.算術運算實踐讀入Badminton（羽毛球）視頻,選擇第1幀與第2幀之間的算術運算，運算結果輸出到第3幀。圖3.27、圖3.28、圖3.29、圖3.30，分別顯示了算術＋、－、Ｘ、／的運算結果，窗口上顯示有不同運算的系數(shù)設定值。圖3.27+運算結果圖3.28–運算結果3.4圖像間運算及實踐二、運算實踐2.算術運算實踐圖3.29Ｘ運算結果圖3.30/運算結果3.4圖像間運算及實踐二、運算實踐3.邏輯運算演示在此制作兩個黑白圖像進行邏輯運算。制作步驟如下：（1）清除讀入的圖像。點擊菜單：幀編輯，打開“幀復制和清除”窗口。如圖3.31所示，選擇“清除”、“連續(xù)方式”，輸出幀設定從第1幀到最后一幀，然后點擊“運行”，即可清除全部圖像。圖3.31清除圖像（2）在第1幀和第2幀上分別制作2個白色圖像。點擊菜單：畫圖，打開“畫圖”窗口，分別在第1幀和第2幀上畫個白色圓圈和矩形，如圖3.32和3.33所示。圖3.32第1幀上畫白色圓圈圖3.33第2幀上畫白色矩形3.4圖像間運算及實踐二、運算實踐3.邏輯運算演示下面對第1幀和第2幀進行邏輯運算，運算結果輸出到第3幀。圖3.34（a）、（b）、（c）、（d），分別顯示了邏輯AND、OR、XOR、XNOR的運算結果。圖3.34邏輯運算結果3.5應用案例3.5.1車流量檢測及視頻演示研究背景和實驗用視頻采集，參考“2.7.2車流量檢測視頻采集”。采集的彩色圖像，以其紅色分量R為處理對象。一、背景圖像計算與更新將采集的前150幀（5秒視頻）圖像作為初始背景計算幀，利用中值濾波方法提取初始背景圖像。具體而言，就是將每個像素的150幀像素值進行排序，取中間像素值作為背景像素值。由于車道上不能停車，正常情況下5秒時間的視頻圖像中值是沒有車輛的背景像素。為了適應天氣的變化，可以設定間隔幾分鐘（例如5分鐘）計算一次背景圖像，并進行背景值更新。3.5應用案例3.5.1車流量檢測及視頻演示二、基于背景差分的車輛區(qū)域提取將實時采集的圖像與背景圖像進行差分處理，并進行二值化處理，即可獲得車輛的二值圖像。圖3.35是一組背景差分的圖像示例。其中，（a）是公路背景圖像，（b）是某一瞬間的現(xiàn)場圖像，（c）是（a）與（b）差分圖像進行閾值分割和去除噪聲處理的結果。閾值設定為背景圖像像素值的標準偏差。3.5應用案例3.5.1車流量檢測及視頻演示三、車影去除本案例提出一種基于陰影的灰度特征來去除陰影的算法。首先確定陰影的分布位置。車輛區(qū)域邊緣的平均灰度值，在向陽的一側要高于有陰影的背陽一側（如圖3.36所示）。從上到下、從左到右逐行掃描二值圖像，遇到白色像素以后，將原圖像上的對應點及其右側連續(xù)兩個點的像素值加到左側累加器中，然后在二值圖像上進行換行掃描。反復上述操作，直到將整幅圖像掃描完畢。與此類似，從上到下、從右到左逐行掃描二值圖像，以獲得記錄右側邊緣像素累加值的右側累加器的數(shù)據(jù)。左右累加器中，數(shù)值較小的一側即對應陰影分布的一側。在原圖像中，同一水平線上陰影的灰度值從外側向著車身逐漸減小，到車體邊緣處達到極?。ㄈ鐖D3.36（b）的B點）。因此在確定了車影的位置后，從陰影分布的一側向車內側逐行掃描原圖像，在每10個像素點組成的像素段內，若有2/3以上的像素點的值大于它內側鄰點的值，則說明這段像素點對應陰影，在二值圖像上將該段像素值都置0。3.5應用案例3.5.1車流量檢測及視頻演示四、車輛區(qū)分和計數(shù)要實現(xiàn)車輛計數(shù)，不僅要判斷出一幀圖像中出現(xiàn)的不同車輛，而且由于檢測區(qū)域和車輛具有一定長度，車輛通過時必然在連續(xù)數(shù)幀中都留下記錄，要準確計數(shù)，就必須判斷出連續(xù)幀上出現(xiàn)的車輛是否為相同的車輛，避免重復計數(shù)。在差分后的二值圖像中，一個車輛對應的像素應該聚集成一個較為緊密的團塊。因為車輛一般垂直通過檢測區(qū)域，因此在檢測區(qū)域中，左右相鄰的兩輛車之間應該存在間隙，而連續(xù)通過的車輛在水平方向上也存在間隙，因此通過判斷二值圖像中的各個團塊之間水平和垂直的間隙，可判斷出各個不同的車輛區(qū)域，如圖3.37所示。五、視頻演示車流量檢測3.5應用案例3.5.2車輛尺寸顏色實時檢測及視頻演示系統(tǒng)構成和視頻采集，參考“2.7.3車輛尺寸顏色參數(shù)檢測視頻采集與演示”。本節(jié)介紹車輛參數(shù)的檢測方法。一、車輛進出判斷由后相機來判斷是否有車輛駛入，如果判斷有車輛駛入檢測工位區(qū)，則啟動視覺采集系統(tǒng)，5部攝像機開始同步采集圖像。與此同時，前相機開始判斷檢測工位內的車輛是否駛出，當判斷車輛駛出后，即刻停止視覺采集系統(tǒng)，系統(tǒng)將自動對采集到的圖像進行處理，計算車輛的輪廓尺寸和顏色，并存入數(shù)據(jù)庫中。因此，在整個測量系統(tǒng)中，車輛的駛入駛出判斷尤為重要，決定了后續(xù)圖像處理過程的正常運行。在車輛駛入的過程中，后相機顯示的圖像可以描述為從無車到有車的過程，如圖3.38(a)所示?？梢钥闯?，在車輛駛入檢測工位的過程中，圖像首先發(fā)生變化的區(qū)域為圖像的上半部分即紅色處理區(qū)域內。因此，在判斷車輛是否駛入時，選擇紅色處理區(qū)域作為圖像處理區(qū)域即可有效判斷車輛的駛入。在車輛駛出的過程中，前相機顯示的圖像為從有車到無車的過程，如圖3.38(b)所示。可以看出，在車輛駛出的過程中，圖像發(fā)生變化的區(qū)域為圖像上半部分，即紅色處理區(qū)域內。與車輛駛入不同，車輛駛出時，圖像變化最明顯的部分是紅色區(qū)域左右兩側，即車輛的左右邊界處。因此車輛駛出的處理區(qū)域設定的長度較長。在處理區(qū)域內，對圖像的R（紅色）分量進行前后幀的差分處理，差分后將灰度值小于50的像素點設為黑色，其他像素點保持原差分結果不變。通過對差分后圖像的像素值分布變化，判斷車輛的進出。3.5應用案例3.5.2車輛尺寸顏色實時檢測及視頻演示一、車輛進出判斷1、車輛駛入為了將車輛駛入檢測工位的判斷定量化，對后相機的前后兩幀圖像的差分結果進行灰度值水平累計。圖3.39是后相機車輛駛入過程中的差分結果圖像，（a）和（b）分別是無車駛入和有車輸入的差分圖。圖3.40（a）、（b）分別是圖3.39（a）、（b）的灰度值水平累計圖，x軸是處理區(qū)域的橫坐標，縱坐標為像素累計值。通過檢測像素水平累計值的突變，判斷車輛進入。3.5應用案例3.5.2車輛尺寸顏色實時檢測及視頻演示一、車輛進出判斷2.車輛駛出圖3.41(a)是車身中部駛過前相機圖像處理區(qū)域時的差分結果圖像，在車輛駛出的過程中，因車身寬度的變化，差分結果主要出現(xiàn)在處理區(qū)域的兩側。圖3.41(b)為車輛后沿開始駛出后相機圖像處理區(qū)域時的差分結果圖像。圖3.41(c)為車輛駛出后相機圖像處理區(qū)域時的差分效果圖。為了將車輛駛出檢測工位的判斷定量化，對圖3.41(a)、(b)、(c)三幅圖像的差分結果進行灰度值垂直累計，分布圖如圖3.42所示。在圖3.41(a)中，僅有車身的左右邊沿產生差分效果，因此垂直累計分布圖3.42(a)僅在x軸的左右兩端具有曲線波動，在左右波動之間為縱坐標近似為0的一條水平線段。圖3.42(b)為車輛開始駛出時的垂直累計分布圖，可以看到圖像上不僅x軸的左右兩端存在波峰，x軸中間部位也開始出現(xiàn)波峰。圖3.42(c)的垂直累計分布圖，顯示了車輛駛出時的情況，可以看出僅有一個波峰出現(xiàn)。3個垂直累計分布圖的平均值、標準偏差也有較大差別。綜上所述，根據(jù)車輛駛出過程中垂直累計分布圖上的波峰個數(shù)、平均值和標準偏差大小，即可判定車輛是否駛出檢測工位。3.5應用案例3.5.2車輛尺寸顏色實時檢測及視頻演示二、車輛尺寸檢測1．高度檢測（1）輪胎接地位置檢測圖像處理區(qū)域為以橫向白色標志線（圖2.17（b）上3的線）為中心線，寬度為白色標志線寬度2~3倍，高度為能夠檢測到車輛前后車輪胎的矩形區(qū)域。在處理區(qū)域內對R幀圖像進行灰度值水平累計。如圖3.43是輪胎下沿檢測過程中的幾個具有代表性的水平累計曲線。根據(jù)對處理區(qū)域內水平累計分布圖的觀察可知，在輪胎和地面的接觸點處，圖像的水平累計值會出現(xiàn)很明顯的波谷。利用算法檢測出分布圖曲線的凹點位置就可找出輪胎的接地位置。3.5應用案例3.5.2車輛尺寸顏色實時檢測及視頻演示二、車輛尺寸檢測1．高度檢測（2）車上沿檢測在輪胎接地位置檢測區(qū)域上方，以相同寬度，