機(jī)器視覺陳兵旗陳思瑤王僑第1章緒論01第2章圖像數(shù)據(jù)及存儲(chǔ)與采集02第3章像素分布與圖像分割03第4章顏色空間及測(cè)量與變換04第5章幾何變換及單目測(cè)量05第6章傅里葉變換06第7章小波變換07第8章濾波增強(qiáng)08第9章二值運(yùn)算與參數(shù)測(cè)量09第10章雙目視覺測(cè)量10第11章二維三維運(yùn)動(dòng)圖像測(cè)量實(shí)踐11第12章模式識(shí)別12第13章神經(jīng)網(wǎng)絡(luò)13第14章深度學(xué)習(xí)14目錄第3章像素分布與圖像分割思維導(dǎo)圖3.1像素分布3.1.1直方圖一、功能介紹這里的直方圖是指圖像的像素值累計(jì)分布圖。灰度圖像像素的最大值是255（白色），最小值是0（黑色），從0到255，共有256級(jí)，計(jì)算出一幅圖像上每一級(jí)的像素?cái)?shù)，然后用分布圖表示出來(lái)。如圖3.1所示，直方圖的橫坐標(biāo)表示0～255的像素級(jí)，縱坐標(biāo)表示像素的個(gè)數(shù)或者占總像素的比例。計(jì)算出直方圖，是灰度圖像目標(biāo)提取的重要步驟之一。圖3.1直方圖3.1像素分布3.1.1直方圖二、基于ImageSys的功能實(shí)踐打開ImageSys，讀入一幀灰度或彩色圖像，然后依次點(diǎn)擊菜單：像素分布處理——直方圖，可以打開如圖3.2所示的直方圖界面。圖3.2（a）為讀入灰度圖像時(shí)的直方圖界面。圖3.2（b）為讀入彩色圖像時(shí)的直方圖界面，可以選擇直方圖的類型：灰度、彩色RGB、R分量、G分量、B分量，彩色HSI（參考第4章）、H分量、S分量、I分量?？梢砸来物@示所選類型的像素區(qū)域分布直方圖的最小值、最大值、平均值、標(biāo)準(zhǔn)差、總像素等，也可以顯示所選類型的像素區(qū)域分布直方圖，以及剪切和打印直方圖。可以查看直方圖上數(shù)據(jù)的分布情況。可以讀出以前保存的數(shù)據(jù)、保存當(dāng)前數(shù)據(jù)、打印當(dāng)前數(shù)據(jù)。保存的數(shù)據(jù)可以用MicrosoftExcel將其打開，重新做分布圖。（a）灰度圖像模式（b）彩色圖像模式圖3.2直方圖功能界面3.1.2線剖圖3.1像素分布一、功能介紹線剖面圖用于查看一條線上的灰度值或彩色值分布曲線。在圖像中任意畫一條線段，即可知道該線段上的像素分布情況，非常的靈活方便。比如圖3.3中，如需了解桃子和周圍背景在顏色上的明顯差異，可用鼠標(biāo)橫向選取一條貫穿最上邊桃子的線段，在右側(cè)的線剖圖中可以觀察到，該線段對(duì)應(yīng)桃子所在的位置，R曲線明顯高于G和B曲線，在右側(cè)線剖圖窗口中左右移動(dòng)鼠標(biāo)時(shí)，對(duì)應(yīng)有一條垂直線條跟隨鼠標(biāo)移動(dòng)，同時(shí)在對(duì)應(yīng)的原圖中，，也有一個(gè)亮點(diǎn)一并在鼠標(biāo)所選取的線段中同步跟隨移動(dòng)，由此可以分析在該條線段上，每一處的像素分布情況，該功能對(duì)于分析目標(biāo)特征非常實(shí)用。3.1.2線剖圖3.1像素分布二、基于ImageSys的功能實(shí)踐圖3.3線剖面功能界面打開ImageSys，讀入一幀彩色或灰度圖像，然后依次點(diǎn)擊菜單：像素分布處理——線剖面，打開線剖面界面。按鼠標(biāo)左鍵在圖像上畫線，線上的像素便顯示在線剖面界面上，如圖3.3所示。鼠標(biāo)在線剖圖上移動(dòng)時(shí)，在圖像上顯示鼠標(biāo)所處位置?？蛇x擇線剖面的分布圖類型包括：灰度、彩色RGB、R分量、G分量、B分量、彩色HSI、H分量、S分量、I分量等。選擇單個(gè)分量時(shí)，在窗口左側(cè)會(huì)顯示該分量線剖面信息的平均值和標(biāo)準(zhǔn)偏差?？梢詫?duì)線剖面進(jìn)行移動(dòng)平滑和小波平滑（參考第7章）。移動(dòng)平滑可以設(shè)定平滑距離。小波平滑，可以設(shè)定平滑系數(shù)、平滑次數(shù)、去高頻和去低頻。去高頻是將高頻信號(hào)置零，留下低頻信號(hào)，即平滑信號(hào)。去低頻是將低頻信號(hào)置零，留下高頻信號(hào)，是為了觀察高頻信號(hào)。線剖面是非常有用的圖像解析工具。3.1.3累計(jì)分布3.1像素分布一、功能介紹累計(jì)分布圖是指垂直方向或者水平方向的像素值累加曲線。由于該功能是實(shí)現(xiàn)一個(gè)特定方向（垂直或者水平）上的像素值累加，對(duì)于具有明顯垂直或者水平規(guī)律的圖像使用該功能，能夠更清晰的找出圖像在對(duì)應(yīng)方向上的變化規(guī)律。比如圖3.4電器柜開關(guān)圖像中，如果采用人眼判斷開關(guān)閉合情況，，面對(duì)上百個(gè)電器柜，人在判斷的時(shí)候不僅容易疲勞，而且還容易出錯(cuò)，于是可以使用視覺進(jìn)行判斷。可觀察到電器柜的面板顏色比較淺，也比較均勻，上面開關(guān)的排布非常有規(guī)律，不會(huì)造成特定顏色的累計(jì)，但是閉合的開關(guān)（比如第一行左側(cè)的連續(xù)5個(gè)黃色開關(guān)、第二行左側(cè)的連續(xù)2個(gè)黃色開關(guān)，以及倒數(shù)第二行右側(cè)第3個(gè)紅色開關(guān)）在垂直方向上會(huì)有特定顏色的累計(jì)，為此可可根據(jù)垂直方向的像素累計(jì)，分析累計(jì)曲線的波峰，以及不同顏色曲線波峰之間的關(guān)系，從而得知打開和關(guān)閉按鈕的個(gè)數(shù)。3.1.3累計(jì)分布3.1像素分布一、基于ImageSys的功能實(shí)踐圖3.4垂直方向累計(jì)分布圖打開ImageSys，讀入一幀彩色或灰度圖像，然后依次點(diǎn)擊菜單：像素分布處理——累計(jì)分布圖，打開對(duì)應(yīng)功能窗口即顯示處理窗口內(nèi)像素的累計(jì)分布情況，若未選擇處理窗口，則顯示整幅圖內(nèi)像素的累計(jì)分布情況。可選擇的累計(jì)分布圖類型有：灰度、彩色RGB、R分量、G分量、B分量、彩色HSI、H分量、S分量、I分量等。選擇單個(gè)分量時(shí)，顯示所選類型累計(jì)分布圖的最小值、最大值、平均值、標(biāo)準(zhǔn)差、總像素等。圖3.4顯示了全圖區(qū)域彩色RGB的垂直方向累計(jì)分布圖，橫坐標(biāo)表示圖像橫坐標(biāo)，縱坐標(biāo)表示像素的累加值。鼠標(biāo)在累計(jì)分布圖上移動(dòng)時(shí)，在圖像上顯示鼠標(biāo)所處位置，并劃線表示。同上述線剖面一樣，可對(duì)累計(jì)分布圖進(jìn)行移動(dòng)平滑和小波平滑。也可以選擇水平分布圖。3.1.43D剖面3.1像素分布一、功能介紹3D剖面用于將圖像中各部分的RGB值使用對(duì)應(yīng)顏色海拔高低（即高程）來(lái)表示的圖。X軸表示圖像的x坐標(biāo)，Y軸表示圖像的y坐標(biāo)，Z軸表示像素的灰度值。在該功能中，可以看到全局圖像中不同區(qū)域RGB像素分布的情況，在圖3.5左側(cè)圖像中，人物兩側(cè)背景很亮并且整體發(fā)白，在所對(duì)應(yīng)的3D剖面圖中可以看到x軸靠近兩側(cè)的顏色海拔比較高。3.1.43D剖面3.1像素分布二、基于ImageSys的功能實(shí)踐打開ImageSys，讀入一幀彩色或灰度圖像，然后依次點(diǎn)擊菜單：像素分布處理——3D剖面——3D剖面或OpenGL3D剖面，打開圖3.5（a）或圖3.5（b）的3D剖面圖。圖3.5（a）、（b）分別是一般3D剖面和OpenGL3D剖面。其中，一般3D剖面圖需要設(shè)定參數(shù)后點(diǎn)擊執(zhí)行；而OpenGL3D剖面設(shè)定采樣空間后，3D畫面會(huì)自動(dòng)調(diào)整，可以用鼠標(biāo)按住3D畫面自由旋轉(zhuǎn)，方便查看像素分布情況。為了更加靈活地分析圖像，也可以設(shè)定圖像的采樣空間，或者進(jìn)行反色處理。不僅如此，還可以根據(jù)圖像分析的需要，設(shè)定分布圖的Z軸高度尺度、最大亮度、基亮度、涂抹顏色、背景顏色等。（a）3D剖面（b）OpenGL3D剖面圖3.53D剖面圖3.1.5應(yīng)用案例——水田管理導(dǎo)航路線檢測(cè)及視頻演示3.1像素分布一、水田管理機(jī)器人導(dǎo)航路線檢測(cè)及視頻演示插秧之后，在水稻從幼苗到成熟期間，需要使用水稻管理機(jī)器人進(jìn)行施肥、噴藥、除草和生長(zhǎng)調(diào)查等水田管理工作，在工作過(guò)程中水田管理機(jī)器人需要沿著苗列間行走，如圖3.6所示。本案例的目標(biāo)是研究一種導(dǎo)航路線的圖像檢測(cè)算法，可以應(yīng)用于水稻從幼苗到成熟的整個(gè)生長(zhǎng)時(shí)期。圖3.6水田管理機(jī)械作業(yè)場(chǎng)景1.圖像采集用索尼DCR–PC10數(shù)碼攝像機(jī)采集樣本圖像，該攝像機(jī)為NTSC制式，幀率為每秒30幀。采用MicrosoftVisualC++6.0進(jìn)行軟件開發(fā)。從插秧后的第2天開始，每周采樣一次，共采樣10次。采樣期間，水稻苗大約高出水面（當(dāng)?shù)咎镏袩o(wú)水時(shí)高出地面）10cm至90cm。將相機(jī)放置于稻株上方20cm處，水平向下，此時(shí)，無(wú)論是天空背景還是稻田的周邊環(huán)境都不在相機(jī)的視野范圍內(nèi)。并將相機(jī)設(shè)置為自動(dòng)對(duì)焦和自動(dòng)白平衡。每一次采樣均從不同地點(diǎn)和方向來(lái)獲取視頻圖像樣本。采集的圖像為512×480像素。圖3.3和圖3.4的原圖是本案例的例圖之一。3.1.5應(yīng)用案例——水田管理導(dǎo)航路線檢測(cè)及視頻演示3.1像素分布一、水田管理機(jī)器人導(dǎo)航路線檢測(cè)及視頻演示2．目標(biāo)苗列間的確定利用垂直方向的像素值累計(jì)分布圖來(lái)確認(rèn)機(jī)器人行走的目標(biāo)苗列間。如圖3.4所示，從右側(cè)的垂直方向像素值累計(jì)分布可以看出，在目標(biāo)苗列間，B分量的累計(jì)數(shù)據(jù)最大，因此將B分量垂直方向累計(jì)分布的最大位置，作為目標(biāo)苗列間的中心位置。3.掃描線方向候補(bǔ)點(diǎn)的檢測(cè)

為了檢測(cè)目標(biāo)苗列間的中心線（導(dǎo)航線），在每個(gè)橫向掃描線上檢測(cè)一個(gè)目標(biāo)苗列間的中心點(diǎn)（方向候補(bǔ)點(diǎn)），圖像高度是480像素，也就是有480條橫向掃描線，可以檢測(cè)出480個(gè)方向候補(bǔ)點(diǎn)（方向候補(bǔ)點(diǎn)群）。以方向候補(bǔ)點(diǎn)群中心為已知點(diǎn)，用9.4.1節(jié)的過(guò)已知點(diǎn)Hough變換檢測(cè)出導(dǎo)航線。從圖3.3的線剖面曲線可以看出，在苗列上G分量遠(yuǎn)大于B分量，利用此特點(diǎn)，在各個(gè)橫向掃描線上，從確定的目標(biāo)苗列間中心位置分別向左、向右檢測(cè)到第一個(gè)苗列位置，然后取兩者的中間點(diǎn)作為該掃描線的方向候補(bǔ)點(diǎn)。圖3.7是檢測(cè)出的方向候補(bǔ)點(diǎn)群及導(dǎo)航線的實(shí)例，有田端時(shí)也可以檢測(cè)出來(lái)。對(duì)10周拍攝的所有圖像都正確檢測(cè)出了導(dǎo)航線，視頻里演示了10周的檢測(cè)案例。

（a）插秧后第2周（b）插秧后第4周圖3.7方向候補(bǔ)點(diǎn)群及導(dǎo)航線檢測(cè)實(shí)例4.視頻演示3.1.5應(yīng)用案例——水田管理導(dǎo)航路線檢測(cè)及視頻演示3.1像素分布二、微型除草機(jī)器人行駛路線檢測(cè)及視頻演示為了減小除草劑的使用，日本多個(gè)大學(xué)在對(duì)水田微型除草機(jī)器人進(jìn)行研究。對(duì)于微型除草機(jī)器人來(lái)說(shuō)，水田環(huán)境非常復(fù)雜，由于其體型小，當(dāng)秧苗長(zhǎng)高時(shí)，在秧苗間通行就像穿行在隧洞中，姿態(tài)少有變化，視野中的圖像就會(huì)完全不一樣。因此，當(dāng)微型除草機(jī)器人完成除草作業(yè)，在繼續(xù)行駛之前，必須確認(rèn)行駛方向。本案例旨在研究一種圖像處理方法，引導(dǎo)微型機(jī)器人在水田中行駛。由于水稻從秧苗到收獲的整個(gè)生長(zhǎng)階段，微型除草機(jī)器人均需在水田中作業(yè)，因此研究的算法必須能夠適應(yīng)水稻全部生長(zhǎng)過(guò)程的水田環(huán)境。1.圖像采集。攝像機(jī)的長(zhǎng)、寬、高分別為68mm、32mm和27mm，鏡頭焦距為3.7mm，光圈設(shè)置為f2.0，發(fā)送圖像的頻率為2.4GHz。將錄制的錄像帶轉(zhuǎn)化為數(shù)字圖像進(jìn)行圖像處理，處理軟件使用MicrosoftVisualC++6.0進(jìn)行開發(fā)。從插秧后的第2天開始，每周采集一次樣本圖像。分別將攝像機(jī)放置于水面上方大約10cm、20cm和30cm處，且在每一個(gè)高度處將攝像機(jī)依次水平、水平向下10o和20o進(jìn)行設(shè)置。對(duì)攝像機(jī)進(jìn)行360o旋轉(zhuǎn)，獲得每個(gè)高度、每個(gè)角度的錄像帶樣本，如圖3.8所示。在采樣期間，稻株的高度大約高出水面10-65cm。圖3.8水田和微型攝像機(jī)3.1.5應(yīng)用案例——水田管理導(dǎo)航路線檢測(cè)及視頻演示3.1像素分布二、微型除草機(jī)器人行駛路線檢測(cè)及視頻演示

2.目標(biāo)圖像的確定及導(dǎo)航線檢測(cè)目標(biāo)圖像為相機(jī)旋轉(zhuǎn)一周所獲取的24幀圖像中，水稻行之間的區(qū)域離圖像中心最近的圖像，也就是B分量垂直累計(jì)分布圖的中心離圖像中心最近的圖像。因此對(duì)每幀圖像進(jìn)行B分量垂直累計(jì)分布圖數(shù)據(jù)分析處理，確定最終的目標(biāo)圖像。確定目標(biāo)圖像后，對(duì)目標(biāo)圖像，利用前述水田管理機(jī)器人導(dǎo)航路線檢測(cè)方法，檢測(cè)出導(dǎo)航線。由于每組有24幀圖像，而且環(huán)境復(fù)雜多變，因此在處理過(guò)程中設(shè)定了許多判斷條件，對(duì)每幀圖像處理時(shí)只要有一個(gè)條件不滿足就進(jìn)入下一幀處理，這樣從24幀中找到目標(biāo)圖像且處理處導(dǎo)航線，0.1秒以內(nèi)即可完成。具體處理方法這里不做詳細(xì)說(shuō)明。圖3.9是水田環(huán)境的例圖像，水面反光、葉面遮擋等，圖像非常復(fù)雜。圖3.9水田環(huán)境例圖像圖3.10是目標(biāo)圖像及導(dǎo)航線檢測(cè)結(jié)果的例圖像，69個(gè)樣本視頻，都正確檢測(cè)出了目標(biāo)圖像和導(dǎo)航線?？梢酝ㄟ^(guò)視頻演示觀看檢測(cè)過(guò)程。圖3.10目標(biāo)圖像及導(dǎo)航線檢測(cè)結(jié)果例圖像3.視頻演示微型除草機(jī)器人路線檢測(cè)3.2灰度分割與實(shí)踐首先，做如下準(zhǔn)備工作：1.打開ImageSys系統(tǒng)，點(diǎn)擊菜單：文件——圖像文件，讀入一幅灰度圖像。2.在“狀態(tài)窗”上設(shè)定“原幀保留”，以便重復(fù)使用原圖像。3.點(diǎn)擊菜單：圖像分割，打開圖像分割窗口。圖3.11是圖像分割窗口的默認(rèn)設(shè)置，圖像上的水色區(qū)域表示閾值分割后的目標(biāo)區(qū)域，非水色區(qū)域是分割后的背景區(qū)域。該圖并沒有展示水色的原圖像和直方圖，相關(guān)信息可以參考圖3.2(a)。圖像分割窗口中間顯示的是圖像的直方圖，其他功能在后面的處理中將予以介紹。圖3.11原圖像與圖像分割功能3.2灰度分割與實(shí)踐3.2.1常規(guī)閾值分割二值化處理（binarization）是將目標(biāo)物從圖像中提取出來(lái)的一種方法。二值化處理的方法有很多，最簡(jiǎn)單的一種叫做閾值處理（thresholding），即針對(duì)輸入圖像的各像素，當(dāng)其灰度值在某設(shè)定值（稱為閾值，threshold）以上或以下時(shí)，賦予對(duì)應(yīng)的輸出圖像的像素為白色（255）或黑色（0）?？捎檬?3.1)或式(3.2)表示。其中f(x,y)、g(x,y)分別是處理前和處理后的圖像在(x,y)處像素的灰度值，t為閾值。3.2灰度分割與實(shí)踐在圖3.11上滑動(dòng)水色滑柄或者在后面輸入框內(nèi)直接輸入數(shù)字，可以設(shè)定閾值。通過(guò)點(diǎn)擊“改變視圖”，可以查看分割效果，點(diǎn)擊“運(yùn)行”，圖像窗口顯示分割結(jié)果，點(diǎn)擊“確定”，關(guān)閉窗口。圖3.12閾值30、結(jié)果顏色黑色3.2.1常規(guī)閾值分割在“狀態(tài)窗”上選擇顯示原圖像，在圖像分割窗上設(shè)定閾值為60，結(jié)果顏色為白色，然后點(diǎn)擊“運(yùn)行”，結(jié)果如圖3.13所示。圖3.12是設(shè)定閾值為30、結(jié)果顏色選擇“黑色”的“運(yùn)行”結(jié)果圖像。圖3.13閾值60、結(jié)果顏色白色3.2灰度分割與實(shí)踐3.2.1常規(guī)閾值分割結(jié)合圖像情況，實(shí)際有時(shí)需要提取兩個(gè)閾值之間的部分，如式(3.3)所示。這種方法稱為雙閾值二值化處理。在“狀態(tài)窗”上選擇顯示原圖像，在圖像分割窗上設(shè)定閾值為80～150，結(jié)果顏色為白色，然后點(diǎn)擊“運(yùn)行”，結(jié)果如圖3.14所示。圖3.14雙閾值80～150、結(jié)果顏色白色3.2灰度分割與實(shí)踐3.2.2模態(tài)法自動(dòng)分割模態(tài)法（modemethod）是通過(guò)計(jì)算機(jī)程序，自動(dòng)分析直方圖的分布，查找到兩個(gè)峰值之間的凹點(diǎn)，將其作為閾值進(jìn)行圖像二值化處理的方法。在“狀態(tài)窗”上選擇顯示原圖像。在分割窗口上，“二值化處理”選“自動(dòng)”，“方法”選“模態(tài)法”，然后點(diǎn)擊“運(yùn)行”，即可獲得圖3.15所示的模態(tài)法處理結(jié)果。自動(dòng)計(jì)算的閾值是45，直方圖上的水印右端正好處于兩個(gè)峰的中間位置。圖3.15模態(tài)法自動(dòng)分割對(duì)于背景單一的圖像，一般在直方圖上有兩個(gè)峰值，一個(gè)是背景的峰值（圖3.11直方圖右側(cè)高峰），另一個(gè)是目標(biāo)物的峰值（圖3.11直方圖左側(cè)低峰）。對(duì)于這種在直方圖上具有明顯雙峰的圖像，把閾值設(shè)在雙峰之間的凹點(diǎn)，即可較好地提取出目標(biāo)物。如果原圖像的直方圖凹凸不平，很難找到一個(gè)合適的凹點(diǎn)，可以采取在直方圖上對(duì)鄰域點(diǎn)進(jìn)行平均化處理。3.2灰度分割與實(shí)踐3.2.3P參數(shù)法自動(dòng)分割P參數(shù)法是當(dāng)物體占整個(gè)圖像的比例已知時(shí)（如p%），在直方圖上將暗灰度（或者亮灰度）一側(cè)起的累計(jì)像素?cái)?shù)達(dá)到總像素?cái)?shù)p%的位置處作為閾值的方法。對(duì)于微分圖像（參考第8章）的二值化處理，一般設(shè)定閾值在亮度從高到低的5%處，都能獲得較好的分割效果。在“狀態(tài)窗”上選擇顯示原圖像。點(diǎn)擊菜單：濾波增強(qiáng)——多模版，打開多模版窗口，然后點(diǎn)擊“執(zhí)行”，獲得了圖3.16所示的Prewitt算子微分圖像（參考第8章）。圖3.16Prewitt算子微分圖像在分割窗口上，“二值化處理”選“自動(dòng)”，“結(jié)果顏色”選“白色”，“方法”選“p參數(shù)法”，設(shè)定P參數(shù)為5。然后點(diǎn)擊“運(yùn)行”，即可獲得圖3.17所示的P參數(shù)法二值化處理結(jié)果，效果比較理想。圖3.17微分圖像的P參數(shù)法二值化處理結(jié)果3.2灰度分割與實(shí)踐3.2.4大津法自動(dòng)分割

大津法（Otsu）也叫最大類間方差法，是由日本學(xué)者大津于1979年提出的。它是按圖像的灰度特性，將圖像分成背景和目標(biāo)兩部分。背景和目標(biāo)之間的類間方差越大，說(shuō)明構(gòu)成圖像的2部分的差別越大。因此，使類間方差最大的分割意味著錯(cuò)分概率最小。

經(jīng)數(shù)學(xué)推導(dǎo)，區(qū)域間方差可表示為：被分割的兩區(qū)域間方差達(dá)到最大時(shí)，被認(rèn)為是兩區(qū)域的最佳分離狀態(tài)，由此確定最終分割閾值T。3.2灰度分割與實(shí)踐3.2.4大津法自動(dòng)分割在“狀態(tài)窗”上選擇顯示原圖像，在分割窗口上，“二值化處理”選“自動(dòng)”，“結(jié)果顏色”選“白色”，“方法”選“大津法”。然后點(diǎn)擊“運(yùn)行”，即可獲得圖3.18所示的大津法二值化處理結(jié)果，計(jì)算的閾值是78，與模態(tài)法獲得的結(jié)果相差不多。圖3.18大津法二值化結(jié)果3.2灰度分割與實(shí)踐3.2.5應(yīng)用案例——排種器試驗(yàn)臺(tái)圖像拼接與分割為了便于測(cè)量分析，在圖像處理前，先將保存的視頻連續(xù)幀拼接成一幅完整的測(cè)量圖像。視頻文件的采集方法，參考“2.7.1排種器試驗(yàn)臺(tái)圖像采集與保存”。以穴播為例，圖3.19是從玉米穴播實(shí)驗(yàn)合成圖像中截取的片段灰度圖像（總共10幀），為方便瀏覽，將其逆時(shí)針旋轉(zhuǎn)90度，最右側(cè)為起始幀，最左側(cè)為第10幀。圖3.19合成圖像中的片斷一、圖像拼接3.2灰度分割與實(shí)踐3.2.5應(yīng)用案例——排種器試驗(yàn)臺(tái)圖像拼接與分割二、籽粒的二值化分割由于籽粒和噪聲在圖像上只占很小的比例，在直方圖上看不出雙峰特性，所以傳統(tǒng)的自動(dòng)閾值確定方法均不適用。通過(guò)研究分析，將灰度平均值的2倍作為分割閾值，無(wú)論對(duì)那種圖像都獲得了很好的分割效果。這種閾值設(shè)置方法，可以認(rèn)為是一種判別分析法。圖3.20是采用該方法對(duì)圖3.19進(jìn)行閾值分割的結(jié)果圖像。從圖3.20可以看出，經(jīng)過(guò)二值化處理后，可以去除各幀之間的拼接痕跡，但還存在少許背景反光引起的噪聲。圖3.20合成圖像二值化在實(shí)際操作中，可以通過(guò)設(shè)定處理窗口，僅保留中間排種區(qū)域，并將低于50像素的白色區(qū)域作為噪聲去除。圖3.21為設(shè)定處理區(qū)域和去除噪聲的處理結(jié)果。圖3.21合成圖像處理結(jié)果3.2灰度分割與實(shí)踐3.2.5應(yīng)用案例——排種器試驗(yàn)臺(tái)圖像拼接與分割二、籽粒的二值化分割圖3.22(a)和(b)分別為小麥的條播和兩行精播片斷的處理結(jié)果。(a)條播(b)精播圖3.22小麥排種的提取結(jié)果3.3彩色分割與實(shí)踐在ImageSys的“狀態(tài)窗”上選擇“彩色”，點(diǎn)擊菜單：文件——圖像文件，讀入一幅彩色圖像。如圖3.23所示，圖像分割窗口自動(dòng)變?yōu)镽GB模式。圖3.23圖像分割彩色功能3.3彩色分割與實(shí)踐3.3.1 RGB彩色分割如圖3.23所示，在圖像分割窗口，“二值化處理”選“RGB”，中央顯示了R、G、B的3個(gè)直方圖，下方默認(rèn)勾選了R、G、B，也可以取消某個(gè)分量的勾選。R、G、B的分割閾值，可以用對(duì)應(yīng)的滑動(dòng)手柄設(shè)定，也可以直接輸入數(shù)字。通過(guò)雙擊鼠標(biāo)方式，可以自動(dòng)設(shè)定各個(gè)分量的閾值。具體方法如下：1.設(shè)定“顏色采樣”的“尺寸”，默認(rèn)為7。其含義是在圖像上雙擊鼠標(biāo)時(shí)，以雙擊點(diǎn)為中心，獲得7×7區(qū)域的像素最小值和最大值，分別設(shè)定為最小閾值和最大閾值。在不同位置雙擊多次時(shí)，獲取多次雙擊區(qū)域范圍內(nèi)的像素最小值和最大值，將其設(shè)定為分割的最小閾值和最大閾值。雙擊次數(shù)自動(dòng)顯示在“次數(shù)”窗口?？梢渣c(diǎn)擊“重設(shè)定”，重新雙擊取樣。2.將鼠標(biāo)移動(dòng)到要提取顏色的位置，然后雙擊鼠標(biāo)左鍵，可以在不同位置多點(diǎn)擊幾次提高分割效果。雙擊鼠標(biāo)確定閾值后，選擇“結(jié)果顏色”，通過(guò)點(diǎn)擊“改變視圖”，查看分割效果，點(diǎn)擊“運(yùn)行”，圖像窗口顯示分割結(jié)果，點(diǎn)擊“確定”，關(guān)閉窗口。圖3.24是對(duì)圖3.23通過(guò)RGB自動(dòng)設(shè)置閾值的分割結(jié)果。其中，“結(jié)果顏色”選“黑色”，“顏色采樣”“尺寸”默認(rèn)7，在圖像上的紅色區(qū)域不同位置雙擊鼠標(biāo)8次。圖3.24RGB紅色分割效果3.3彩色分割與實(shí)踐3.3.2 HSI彩色分割在“狀態(tài)窗”上選擇顯示原圖像。在圖像分割窗口，“二值化處理”選“HSI”，在下方勾選S和H，取消I的勾選，中央顯示了H和S的直方圖。與RGB分割相同，“結(jié)果顏色”選“黑色”，“顏色采樣”“尺寸”默認(rèn)7，在圖像上的紅色區(qū)域不同位置雙擊鼠標(biāo)8次，分割結(jié)果如圖3.25所示。可以看出，只用H、S分量的紅色區(qū)域分割效果優(yōu)于RGB分割。圖3.25HS紅色分割效果3.4圖像間運(yùn)算及實(shí)踐一、運(yùn)算內(nèi)容圖像間運(yùn)算實(shí)際就是圖像對(duì)應(yīng)像素之間的運(yùn)算，包括：算術(shù)運(yùn)算和邏輯運(yùn)算。算術(shù)運(yùn)算就我們平常所說(shuō)的十進(jìn)制的算術(shù)加減乘除，只是運(yùn)算對(duì)象為原圖像像素的值，目標(biāo)像素的值由兩個(gè)輸入圖像對(duì)應(yīng)位置像素的加減乘除求得。算數(shù)算子：＋加，－減，Ｘ乘，／除。邏輯運(yùn)算是一種只存在于二進(jìn)制中的運(yùn)算，將兩張輸入圖像（灰度圖像或彩色圖像均可）的每個(gè)像素值進(jìn)行二進(jìn)制的“與”、“或”、“非”、“異或”“異或非”操作。主要實(shí)現(xiàn)圖像裁剪、反色等。邏輯算子：AND與，OR或，XOR異或，XNOR異或非。3.4圖像間運(yùn)算及實(shí)踐二、運(yùn)算實(shí)踐打開ImageSys軟件，點(diǎn)擊菜單：文件——多媒體文件，打開多媒體文件窗口，讀入Badminton（羽毛球）視頻。點(diǎn)擊菜單：圖像間變換——圖像間運(yùn)算，打開圖像間運(yùn)算窗口，如圖3.26所示。圖3.26圖像間運(yùn)算功能3.4圖像間運(yùn)算及實(shí)踐二、運(yùn)算實(shí)踐1.窗口功能介紹（1）輸入幀1）表示開始運(yùn)算的圖像幀序號(hào)，或圖像幀的范圍。2）表示與(1)運(yùn)算的圖像幀序號(hào)，或圖像幀的范圍。（2）算子

1）算術(shù)算子：＋，－，Ｘ，／。

2）邏輯算子：AND，OR，XOR，XNOR。

3）系數(shù)：算術(shù)運(yùn)算時(shí)，對(duì)各個(gè)像素的運(yùn)算所乘的系數(shù)，可以任意指定。4）輸出幀：表示運(yùn)算結(jié)果輸出的幀序號(hào)，或幀范圍。5）連續(xù)處理：同時(shí)處理多幀圖像時(shí)選擇。6）幀固定：連續(xù)處理時(shí)，輸入幀（1）或（2）固定不變時(shí)選擇。3.4圖像間運(yùn)算及實(shí)踐二、運(yùn)算實(shí)踐2.算術(shù)運(yùn)算實(shí)踐讀入Badminton（羽毛球）視頻,選擇第1幀與第2幀之間的算術(shù)運(yùn)算，運(yùn)算結(jié)果輸出到第3幀。圖3.27、圖3.28、圖3.29、圖3.30，分別顯示了算術(shù)＋、－、Ｘ、／的運(yùn)算結(jié)果，窗口上顯示有不同運(yùn)算的系數(shù)設(shè)定值。圖3.27+運(yùn)算結(jié)果圖3.28–運(yùn)算結(jié)果3.4圖像間運(yùn)算及實(shí)踐二、運(yùn)算實(shí)踐2.算術(shù)運(yùn)算實(shí)踐圖3.29Ｘ運(yùn)算結(jié)果圖3.30/運(yùn)算結(jié)果3.4圖像間運(yùn)算及實(shí)踐二、運(yùn)算實(shí)踐3.邏輯運(yùn)算演示在此制作兩個(gè)黑白圖像進(jìn)行邏輯運(yùn)算。制作步驟如下：（1）清除讀入的圖像。點(diǎn)擊菜單：幀編輯，打開“幀復(fù)制和清除”窗口。如圖3.31所示，選擇“清除”、“連續(xù)方式”，輸出幀設(shè)定從第1幀到最后一幀，然后點(diǎn)擊“運(yùn)行”，即可清除全部圖像。圖3.31清除圖像（2）在第1幀和第2幀上分別制作2個(gè)白色圖像。點(diǎn)擊菜單：畫圖，打開“畫圖”窗口，分別在第1幀和第2幀上畫個(gè)白色圓圈和矩形，如圖3.32和3.33所示。圖3.32第1幀上畫白色圓圈圖3.33第2幀上畫白色矩形3.4圖像間運(yùn)算及實(shí)踐二、運(yùn)算實(shí)踐3.邏輯運(yùn)算演示下面對(duì)第1幀和第2幀進(jìn)行邏輯運(yùn)算，運(yùn)算結(jié)果輸出到第3幀。圖3.34（a）、（b）、（c）、（d），分別顯示了邏輯AND、OR、XOR、XNOR的運(yùn)算結(jié)果。圖3.34邏輯運(yùn)算結(jié)果3.5應(yīng)用案例3.5.1車流量檢測(cè)及視頻演示研究背景和實(shí)驗(yàn)用視頻采集，參考“2.7.2車流量檢測(cè)視頻采集”。采集的彩色圖像，以其紅色分量R為處理對(duì)象。一、背景圖像計(jì)算與更新將采集的前150幀（5秒視頻）圖像作為初始背景計(jì)算幀，利用中值濾波方法提取初始背景圖像。具體而言，就是將每個(gè)像素的150幀像素值進(jìn)行排序，取中間像素值作為背景像素值。由于車道上不能停車，正常情況下5秒時(shí)間的視頻圖像中值是沒有車輛的背景像素。為了適應(yīng)天氣的變化，可以設(shè)定間隔幾分鐘（例如5分鐘）計(jì)算一次背景圖像，并進(jìn)行背景值更新。3.5應(yīng)用案例3.5.1車流量檢測(cè)及視頻演示二、基于背景差分的車輛區(qū)域提取將實(shí)時(shí)采集的圖像與背景圖像進(jìn)行差分處理，并進(jìn)行二值化處理，即可獲得車輛的二值圖像。圖3.35是一組背景差分的圖像示例。其中，（a）是公路背景圖像，（b）是某一瞬間的現(xiàn)場(chǎng)圖像，（c）是（a）與（b）差分圖像進(jìn)行閾值分割和去除噪聲處理的結(jié)果。閾值設(shè)定為背景圖像像素值的標(biāo)準(zhǔn)偏差。3.5應(yīng)用案例3.5.1車流量檢測(cè)及視頻演示三、車影去除本案例提出一種基于陰影的灰度特征來(lái)去除陰影的算法。首先確定陰影的分布位置。車輛區(qū)域邊緣的平均灰度值，在向陽(yáng)的一側(cè)要高于有陰影的背陽(yáng)一側(cè)（如圖3.36所示）。從上到下、從左到右逐行掃描二值圖像，遇到白色像素以后，將原圖像上的對(duì)應(yīng)點(diǎn)及其右側(cè)連續(xù)兩個(gè)點(diǎn)的像素值加到左側(cè)累加器中，然后在二值圖像上進(jìn)行換行掃描。反復(fù)上述操作，直到將整幅圖像掃描完畢。與此類似，從上到下、從右到左逐行掃描二值圖像，以獲得記錄右側(cè)邊緣像素累加值的右側(cè)累加器的數(shù)據(jù)。左右累加器中，數(shù)值較小的一側(cè)即對(duì)應(yīng)陰影分布的一側(cè)。在原圖像中，同一水平線上陰影的灰度值從外側(cè)向著車身逐漸減小，到車體邊緣處達(dá)到極?。ㄈ鐖D3.36（b）的B點(diǎn)）。因此在確定了車影的位置后，從陰影分布的一側(cè)向車內(nèi)側(cè)逐行掃描原圖像，在每10個(gè)像素點(diǎn)組成的像素段內(nèi)，若有2/3以上的像素點(diǎn)的值大于它內(nèi)側(cè)鄰點(diǎn)的值，則說(shuō)明這段像素點(diǎn)對(duì)應(yīng)陰影，在二值圖像上將該段像素值都置0。3.5應(yīng)用案例3.5.1車流量檢測(cè)及視頻演示四、車輛區(qū)分和計(jì)數(shù)要實(shí)現(xiàn)車輛計(jì)數(shù)，不僅要判斷出一幀圖像中出現(xiàn)的不同車輛，而且由于檢測(cè)區(qū)域和車輛具有一定長(zhǎng)度，車輛通過(guò)時(shí)必然在連續(xù)數(shù)幀中都留下記錄，要準(zhǔn)確計(jì)數(shù)，就必須判斷出連續(xù)幀上出現(xiàn)的車輛是否為相同的車輛，避免重復(fù)計(jì)數(shù)。在差分后的二值圖像中，一個(gè)車輛對(duì)應(yīng)的像素應(yīng)該聚集成一個(gè)較為緊密的團(tuán)塊。因?yàn)檐囕v一般垂直通過(guò)檢測(cè)區(qū)域，因此在檢測(cè)區(qū)域中，左右相鄰的兩輛車之間應(yīng)該存在間隙，而連續(xù)通過(guò)的車輛在水平方向上也存在間隙，因此通過(guò)判斷二值圖像中的各個(gè)團(tuán)塊之間水平和垂直的間隙，可判斷出各個(gè)不同的車輛區(qū)域，如圖3.37所示。五、視頻演示車流量檢測(cè)3.5應(yīng)用案例3.5.2車輛尺寸顏色實(shí)時(shí)檢測(cè)及視頻演示系統(tǒng)構(gòu)成和視頻采集，參考“2.7.3車輛尺寸顏色參數(shù)檢測(cè)視頻采集與演示”。本節(jié)介紹車輛參數(shù)的檢測(cè)方法。一、車輛進(jìn)出判斷由后相機(jī)來(lái)判斷是否有車輛駛?cè)?，如果判斷有車輛駛?cè)霗z測(cè)工位區(qū)，則啟動(dòng)視覺采集系統(tǒng)，5部攝像機(jī)開始同步采集圖像。與此同時(shí)，前相機(jī)開始判斷檢測(cè)工位內(nèi)的車輛是否駛出，當(dāng)判斷車輛駛出后，即刻停止視覺采集系統(tǒng)，系統(tǒng)將自動(dòng)對(duì)采集到的圖像進(jìn)行處理，計(jì)算車輛的輪廓尺寸和顏色，并存入數(shù)據(jù)庫(kù)中。因此，在整個(gè)測(cè)量系統(tǒng)中，車輛的駛?cè)腭偝雠袛嘤葹橹匾?，決定了后續(xù)圖像處理過(guò)程的正常運(yùn)行。在車輛駛?cè)氲倪^(guò)程中，后相機(jī)顯示的圖像可以描述為從無(wú)車到有車的過(guò)程，如圖3.38(a)所示?？梢钥闯?，在車輛駛?cè)霗z測(cè)工位的過(guò)程中，圖像首先發(fā)生變化的區(qū)域?yàn)閳D像的上半部分即紅色處理區(qū)域內(nèi)。因此，在判斷車輛是否駛?cè)霑r(shí)，選擇紅色處理區(qū)域作為圖像處理區(qū)域即可有效判斷車輛的駛?cè)?。在車輛駛出的過(guò)程中，前相機(jī)顯示的圖像為從有車到無(wú)車的過(guò)程，如圖3.38(b)所示?？梢钥闯?，在車輛駛出的過(guò)程中，圖像發(fā)生變化的區(qū)域?yàn)閳D像上半部分，即紅色處理區(qū)域內(nèi)。與車輛駛?cè)氩煌?，車輛駛出時(shí)，圖像變化最明顯的部分是紅色區(qū)域左右兩側(cè)，即車輛的左右邊界處。因此車輛駛出的處理區(qū)域設(shè)定的長(zhǎng)度較長(zhǎng)。在處理區(qū)域內(nèi)，對(duì)圖像的R（紅色）分量進(jìn)行前后幀的差分處理，差分后將灰度值小于50的像素點(diǎn)設(shè)為黑色，其他像素點(diǎn)保持原差分結(jié)果不變。通過(guò)對(duì)差分后圖像的像素值分布變化，判斷車輛的進(jìn)出。3.5應(yīng)用案例3.5.2車輛尺寸顏色實(shí)時(shí)檢測(cè)及視頻演示一、車輛進(jìn)出判斷1、車輛駛?cè)霝榱藢④囕v駛?cè)霗z測(cè)工位的判斷定量化，對(duì)后相機(jī)的前后兩幀圖像的差分結(jié)果進(jìn)行灰度值水平累計(jì)。圖3.39是后相機(jī)車輛駛?cè)脒^(guò)程中的差分結(jié)果圖像，（a）和（b）分別是無(wú)車駛?cè)牒陀熊囕斎氲牟罘謭D。圖3.40（a）、（b）分別是圖3.39（a）、（b）的灰度值水平累計(jì)圖，x軸是處理區(qū)域的橫坐標(biāo)，縱坐標(biāo)為像素累計(jì)值。通過(guò)檢測(cè)像素水平累計(jì)值的突變，判斷車輛進(jìn)入。3.5應(yīng)用案例3.5.2車輛尺寸顏色實(shí)時(shí)檢測(cè)及視頻演示一、車輛進(jìn)出判斷2.車輛駛出圖3.41(a)是車身中部駛過(guò)前相機(jī)圖像處理區(qū)域時(shí)的差分結(jié)果圖像，在車輛駛出的過(guò)程中，因車身寬度的變化，差分結(jié)果主要出現(xiàn)在處理區(qū)域的兩側(cè)。圖3.41(b)為車輛后沿開始駛出后相機(jī)圖像處理區(qū)域時(shí)的差分結(jié)果圖像。圖3.41(c)為車輛駛出后相機(jī)圖像處理區(qū)域時(shí)的差分效果圖。為了將車輛駛出檢測(cè)工位的判斷定量化，對(duì)圖3.41(a)、(b)、(c)三幅圖像的差分結(jié)果進(jìn)行灰度值垂直累計(jì)，分布圖如圖3.42所示。在圖3.41(a)中，僅有車身的左右邊沿產(chǎn)生差分效果，因此垂直累計(jì)分布圖3.42(a)僅在x軸的左右兩端具有曲線波動(dòng)，在左右波動(dòng)之間為縱坐標(biāo)近似為0的一條水平線段。圖3.42(b)為車輛開始駛出時(shí)的垂直累計(jì)分布圖，可以看到圖像上不僅x軸的左右兩端存在波峰，x軸中間部位也開始出現(xiàn)波峰。圖3.42(c)的垂直累計(jì)分布圖，顯示了車輛駛出時(shí)的情況，可以看出僅有一個(gè)波峰出現(xiàn)。3個(gè)垂直累計(jì)分布圖的平均值、標(biāo)準(zhǔn)偏差也有較大差別。綜上所述，根據(jù)車輛駛出過(guò)程中垂直累計(jì)分布圖上的波峰個(gè)數(shù)、平均值和標(biāo)準(zhǔn)偏差大小，即可判定車輛是否駛出檢測(cè)工位。3.5應(yīng)用案例3.5.2車輛尺寸顏色實(shí)時(shí)檢測(cè)及視頻演示二、車輛尺寸檢測(cè)1．高度檢測(cè)（1）輪胎接地位置檢測(cè)圖像處理區(qū)域?yàn)橐詸M向白色標(biāo)志線（圖2.17（b）上3的線）為中心線，寬度為白色標(biāo)志線寬度2~3倍，高度為能夠檢測(cè)到車輛前后車輪胎的矩形區(qū)域。在處理區(qū)域內(nèi)對(duì)R幀圖像進(jìn)行灰度值水平累計(jì)。如圖3.43是輪胎下沿檢測(cè)過(guò)程中的幾個(gè)具有代表性的水平累計(jì)曲線。根據(jù)對(duì)處理區(qū)域內(nèi)水平累計(jì)分布圖的觀察可知，在輪胎和地面的接觸點(diǎn)處，圖像的水平累計(jì)值會(huì)出現(xiàn)很明顯的波谷。利用算法檢測(cè)出分布圖曲線的凹點(diǎn)位置就可找出輪胎的接地位置。3.5應(yīng)用案例3.5.2車輛尺寸顏色實(shí)時(shí)檢測(cè)及視頻演示二、車輛尺寸檢測(cè)1．高度檢測(cè)（2）車上沿檢測(cè)在輪胎接地位置檢測(cè)區(qū)域上方，以相同寬度，