機器視覺第1章緒論01第2章圖像數(shù)據(jù)及存儲與采集02第3章像素分布與圖像分割03第4章顏色空間及測量與變換04第5章幾何變換及單目測量05第6章傅里葉變換06第7章小波變換07第8章濾波增強08第9章二值運算與參數(shù)測量09第10章雙目視覺測量10第11章二維三維運動圖像測量實踐11第12章模式識別12第13章神經(jīng)網(wǎng)絡(luò)13第14章深度學(xué)習(xí)14目錄第1章緒論思維導(dǎo)圖點擊添加文本1.1機器視覺的基礎(chǔ)知識1.1.1發(fā)展與展望一、機器視覺的作用提起“視覺”，自然就聯(lián)想到了“人眼”，機器視覺通俗來講就是“機器眼”。同理，由人眼在人身上的作用，很容易聯(lián)想到機器視覺在機器上的作用。不過，雖然兩者功能大同小異，但是也存在一些本質(zhì)的差別。二者的相同點在于都是主體（人或者機器）獲得外界信息的“器官”，不同點在于獲得信息的途徑和處理信息的能力不同。對于人眼，一眼望去，人可以馬上知道所看到的東西種類、數(shù)量、顏色、形狀、距離等，八九不離十地都呈現(xiàn)在人的腦海里?；谌藦男〉酱箝L期積累的知識經(jīng)驗，能夠不假思索地說出所看到東西的大致信息，這是人眼結(jié)合人腦的優(yōu)勢。但是，請注意前面所說的人眼看到的只是“大致”信息，而非準確信息。例如，我們一眼就能看出自己視野里有幾個人，甚至知道有幾個男人、幾個女人以及他們的胖瘦和穿著打扮等，包括目標（人）以外的環(huán)境都很清楚，但是我們無法準確說出他們的身高、腰圍、與自己的距離等具體數(shù)據(jù)，最多只能說“大概是XX吧”，這又是人眼的劣勢。再比如，讓工人到工廠的生產(chǎn)線上去挑選有缺陷的零件，即使在很慢速的生產(chǎn)線上，干一會兒也會出現(xiàn)視覺疲勞，不僅辛苦，而且還可能會出現(xiàn)檢查錯誤的情況，工人難免不發(fā)牢騷：“這哪里是人干的事”，對于那些快速生產(chǎn)線就更不適合人干了。的確，這些確實不是人眼能干的事，而是機器視覺該干的事。對于機器視覺而言，上述的工廠在線檢測就是其強項，不僅能夠檢測產(chǎn)品的缺陷，還能精確地檢測出產(chǎn)品的尺寸大小等外觀特征，只要相機解像度足夠，精度便可達到0.001mm甚至更高。人一眼可判斷出視野中的全部物品，機器視覺則缺乏足夠的經(jīng)驗，很難具備這樣的能力。機器視覺并非如同人眼一般會自動存儲曾經(jīng)“看到過”的事物，如果沒有給它輸入相關(guān)的分析判斷程序，它就是個“睜眼瞎”，雖然能夠看到事物，但是依然什么都不知道。當然，它也可以像人那樣，通過輸入學(xué)習(xí)程序不斷學(xué)習(xí)，但是也仍然很難像人一樣，什么都懂，至少目前還未達到這個水平?？傊?，機器視覺是機器的眼睛，可以通過程序?qū)崿F(xiàn)對目標物體的分析判斷，可以檢測目標的缺陷，可以測量目標的尺寸、大小和顏色等外觀特征，可以為機器的特定動作提供特定的精確信息。點擊添加文本ClickAddtext1.1機器視覺的基礎(chǔ)知識1.1.1發(fā)展與展望二、機器視覺的應(yīng)用領(lǐng)域表1.1機器視覺的應(yīng)用領(lǐng)域及應(yīng)用事例應(yīng)用領(lǐng)域應(yīng)用事例醫(yī)學(xué)基于X射線圖像、超聲波圖像、顯微鏡圖像、核磁共振（MRI）圖像、CT圖像、紅外圖像、人體器官三維圖像等的病情診斷和治療，病人監(jiān)測與看護等遙感利用衛(wèi)星圖像進行地球資源調(diào)查、地形測量、地圖繪制、天氣預(yù)報，以及農(nóng)業(yè)、漁業(yè)、環(huán)境污染調(diào)查、城市規(guī)劃等宇宙探測海量宇宙圖像的壓縮、傳輸、恢復(fù)與處理等軍事運動目標跟蹤，精確定位與制導(dǎo)，警戒系統(tǒng)，自動火控，反偽裝，無人機偵查等公安、交通監(jiān)控，人臉識別，指紋識別，車流量監(jiān)測，車輛違規(guī)判斷及車牌照識別，車輛尺寸檢測，汽車自動導(dǎo)航等工業(yè)電路板檢測，計算機輔助設(shè)計（CAD），計算機輔助制造（ComputerAidedManufacturing,CAM），產(chǎn)品質(zhì)量在線檢測，裝配機器人視覺檢測，搬運機器人視覺導(dǎo)航，生產(chǎn)過程視覺檢測控制等農(nóng)業(yè)、林業(yè)、生物果蔬采摘，果蔬分級，農(nóng)田導(dǎo)航，作物生長監(jiān)測及3D建模，病蟲害檢測，森林火災(zāi)檢測，微生物檢測，動物行為分析等郵電、通信、網(wǎng)絡(luò)郵件自動分揀，圖像數(shù)據(jù)的壓縮、傳輸與恢復(fù)，電視電話，視頻聊天，手機圖像的無線網(wǎng)絡(luò)傳輸與分析等體育人體動作測量，球類軌跡跟蹤測量等影視、娛樂3D電影，虛擬現(xiàn)實，廣告設(shè)計，電影特技設(shè)計，網(wǎng)絡(luò)游戲等辦公文字識別，文本掃描輸入，手寫輸入，指紋密碼等服務(wù)看護機器人，清潔機器人等點擊添加文本ClickAddtext1.1機器視覺的基礎(chǔ)知識1.1.1發(fā)展與展望三、機器視覺的發(fā)展前景1、2023年ChatGPT的橫空出世，使人們對人工智能有了新的認識，被認為是一場前所未有的工業(yè)革命。2、2021年12月，工信部等15部門發(fā)布了《“十四五”機器人產(chǎn)業(yè)發(fā)展規(guī)劃》。提出到2035年，我國機器人產(chǎn)業(yè)綜合實力達到國際領(lǐng)先水平，機器人成為經(jīng)濟發(fā)展、人民生活、社會治理的重要組成。3、2018年，教育部推出了“新工科、新醫(yī)科、新農(nóng)科和新文科”的“四新”建設(shè)計劃。響應(yīng)該計劃，近年農(nóng)業(yè)院校陸續(xù)開設(shè)了“農(nóng)業(yè)智能裝備工程”專業(yè)。其他院校也增設(shè)了相關(guān)領(lǐng)域的智能專業(yè)。4、國際資訊公司預(yù)測，預(yù)計到2025年全球機器視覺市場規(guī)模將突破130億美元，2026年將接近140億美元。據(jù)國內(nèi)新產(chǎn)業(yè)智庫GGII預(yù)測，我國機器視覺產(chǎn)業(yè)未來三年，復(fù)合增速接近24％，預(yù)計到2026年我國機器視覺市場規(guī)模將突破300億元。5、目前，國際機器視覺高端品牌市場主要被美、德、日占據(jù)。我國機器視覺起步較晚，但由于我國下游行業(yè)應(yīng)用較為廣泛，發(fā)展較為迅速。目前，我國各種類型的機器視覺企業(yè)已超過4000家。1.1.2機器視覺的硬件構(gòu)成圖1.1簡易機器視覺系統(tǒng)一、計算機1.中央處理器2.硬盤3.內(nèi)存4.顯示器1.1.2機器視覺的硬件構(gòu)成圖1.2計算機核心部件二、圖像采集設(shè)備1.攝像裝置2.鏡頭1.1.2機器視覺的硬件構(gòu)成圖1.4鏡頭圖1.3攝像裝置二、圖像采集設(shè)備3.圖像輸入接口4.光源圖1.6光源圖1.5圖像輸入接口1.1.2機器視覺的硬件構(gòu)成1.1.3機器視覺的算法軟件本教材配套專業(yè)版軟件：通用圖像處理系統(tǒng)ImageSys，二維三維運動圖像測量系統(tǒng)在VS2010（VisualC++）上開發(fā)完成，使用方便，功能強大。

計算機的軟件開發(fā)工具包括C、C++、VisualC++、C#、Python、Java、BASIC、FORTRAN等等1.1.4機器視覺、機器人和智能裝備圖1.7不同形式的機器人

智能機床工業(yè)機器人農(nóng)田機器人人形機器人探測機器人1.判斷功能2.精密測量1.1.5

機器視覺的功能與精度圖1.8有缺陷的圖像圖1.9精密測量圖1.10標定圖1.1.5

機器視覺的功能與精度3.攝像測量4.運動測量(a)單目(b)雙目圖1.11攝像測量點擊添加文本ClickAddtext1.2深度學(xué)習(xí)基礎(chǔ)知識1.2.1發(fā)展歷程2012年6月，《紐約時報》披露了GoogleBrain項目，訓(xùn)練一種稱為“深度神經(jīng)網(wǎng)絡(luò)”（DeepNeuralNetworks，DNN）的機器學(xué)習(xí)模型，在語音識別和圖像識別等領(lǐng)域獲得了巨大的成功。2012年11月，微軟在中國天津的一次活動上公開演示了一個全自動的同聲傳譯系統(tǒng)，講演者用英文演講，后臺的計算機利用深度學(xué)習(xí)（DeepLearning，DL）一氣呵成自動完成語音識別、英中機器翻譯和中文語音合成，效果非常流暢。2013年1月，在百度年會上，創(chuàng)始人兼CEO李彥宏高調(diào)宣布要成立百度研究院，其中第一個成立的就是“深度學(xué)習(xí)研究所”（InstitueofDeepLearning，IDL）。機器學(xué)習(xí)（MachineLearning）是一門專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識或技能，并重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能的學(xué)科。DL是ML發(fā)展的高級階段。點擊添加文本ClickAddtext1.2深度學(xué)習(xí)基礎(chǔ)知識1.2.2基本原理假設(shè)有一個系統(tǒng)S，它有n層（S1,…Sn）總輸入是I，總輸出是O

表示為：I=>S1=>S2=>…..=>Sn=>O深度學(xué)習(xí)的思想：

設(shè)計多個層，每一層的輸出都是下一層的輸入，通過這種方式，實現(xiàn)對輸入信息的分級表達。ClickAddtext1.3實踐用專業(yè)軟件介紹與基本設(shè)定1.3.1通用圖像處理系統(tǒng)ImageSys一、系統(tǒng)簡介

ImageSys是一部大型圖像處理系統(tǒng)。主要功能包括圖像/多媒體文件處理、圖像/視頻捕捉、圖像濾波、圖像變換、圖像分割、特征測量與統(tǒng)計、開發(fā)平臺等。可處理彩色、灰度、靜態(tài)和動態(tài)圖像。ImageSys提供了二次開發(fā)平臺，附帶包含400多條圖像處理函數(shù)的函數(shù)庫。本教材的應(yīng)用案例算法都是在此平臺上開發(fā)完成。

ImageSys包含了本教材前9章內(nèi)容，為了配合實踐教學(xué)，本節(jié)介紹一下軟件的基本設(shè)定和操作。課程實驗軟件界面1.3.1通用圖像處理系統(tǒng)ImageSys一、系統(tǒng)簡介1.3.1通用圖像處理系統(tǒng)ImageSys二、“狀態(tài)窗”功能說明狀態(tài)窗用于顯示模式、幀模式以及處理區(qū)域的設(shè)定。

顯示模式

用于設(shè)定：灰度、為彩色、彩色、R分量、G分量、B分量的切換顯示。2.幀模式

用于設(shè)定：當前的顯示幀、起始幀和結(jié)束幀的連續(xù)循環(huán)顯示、處理結(jié)果顯示在當前幀或下一幀。3.處理區(qū)域

用于設(shè)定和顯示：處理區(qū)域的起點和終點坐標。一般用鼠標設(shè)定處理區(qū)域。1.3.1通用圖像處理系統(tǒng)ImageSys三、系統(tǒng)基本設(shè)定ImageSys的默認系統(tǒng)幀設(shè)置為：圖面大小為寬640像素、高480像素，圖像幀數(shù)為灰度圖像12幀、彩色圖像4幀。默認界面語言為漢語，可以進行英語界面設(shè)置。

在讀入圖像時，如果讀入圖像的大小與系統(tǒng)幀設(shè)置不同時，會自動彈出提示窗口，如圖1.13(b)所示，點擊“確認”后，自動重新啟動，完成設(shè)置，然后重新讀入圖像。(a)初期設(shè)定(b)讀入圖像設(shè)定圖1.13系統(tǒng)幀設(shè)置1.3.2 二維三維運動圖像測量分析系統(tǒng)一、二維運動圖像測量分析系統(tǒng)MIAS1、測量數(shù)據(jù)位置、距離、速度、加速度、角度、角速度、角加速度、兩點間的距離、兩線間夾角(三點間角度)、角變量、位移量、相對坐標位置等。2、應(yīng)用領(lǐng)域人體動作的解析；物體運動解析；動物、昆蟲、微生物等的行為解析；應(yīng)力變形量的解析；浮游物體的震動、沖擊解析；下落物體的速度解析；機器人視覺反饋等。3、二次開發(fā)功能提供有二次開發(fā)平臺，帶有一個400多條圖像處理函數(shù)庫。本教材二維運動圖像檢測應(yīng)用案例都是在此平臺上開發(fā)完成。二、三維運動圖像測量分析系統(tǒng)MIAS3D1、簡介MIAS3D系統(tǒng)是一套集多通道同步圖像采集、二維運動圖像測量、三維數(shù)據(jù)重建、數(shù)據(jù)管理、三維軌跡聯(lián)動表示等多種功能于一體的軟件系統(tǒng)。2、測量數(shù)據(jù)

測量的二維三維參數(shù)包括：位置、距離、速度、加速度、角度、角速度、角加速度、角變位、位移量、相對坐標位置等。3、應(yīng)用領(lǐng)域

人體動作解析，人體重心測量，動物昆蟲行為解析，剛體姿態(tài)解析，浮游物體的震動沖擊解析，機器人視覺的反饋，科研教學(xué)等。

本教材的雙目視覺檢測和三維應(yīng)用案例是在此軟件上開發(fā)完成。1.3.2 二維三維運動圖像測量分析系統(tǒng)點擊添加文本1.4多種場景下的車輛視覺導(dǎo)航視頻演示車道實線車道虛線車道彎線激光耕地棉花播種棉花噴藥收割機地縫紅棗收獲

謝謝大家！機器視覺第1章緒論01第2章圖像數(shù)據(jù)及存儲與采集02第3章像素分布與圖像分割03第4章顏色空間及測量與變換04第5章幾何變換及單目測量05第6章傅里葉變換06第7章小波變換07第8章濾波增強08第9章二值運算與參數(shù)測量09第10章雙目視覺測量10第11章二維三維運動圖像測量實踐11第12章模式識別12第13章神經(jīng)網(wǎng)絡(luò)13第14章深度學(xué)習(xí)14目錄第2章圖像數(shù)據(jù)及存儲與采集思維導(dǎo)圖2.1數(shù)字圖像的采樣與量化在計算機內(nèi)部，所有的信息都表示為一連串的0或1碼（二進制的字符串）。計算機和數(shù)碼照相機等數(shù)碼設(shè)備中的。圖像都是數(shù)字圖像，在拍攝照片或者掃描文件時輸入的是連續(xù)模擬信號，需要經(jīng)過采樣和量化兩個步驟，將輸入的模擬信號轉(zhuǎn)化為最終的數(shù)字信號。2.1數(shù)字圖像的采樣與量化

采樣（sampling）是把空間上的連續(xù)的圖像分割成離散像素的集合。采樣越細，像素越小，越能精細地表現(xiàn)圖像，比如圖2.1。

圖2.1不同空間分辨率的圖像效果一、采樣2.1數(shù)字圖像的采樣與量化

ImageSys功能實踐。依次點擊菜單：顏色變換——自由變換——馬賽克。如圖2.2所示，通過馬賽克來看不同分辨率的效果。圖2.2采樣實踐一、采樣2.1數(shù)字圖像的采樣與量化

量化（quantization）是把像素的亮度（灰度）變換成離散的整數(shù)值的操作。量化越細致（比特數(shù)越大），灰度級數(shù)表現(xiàn)越豐富。比如：1位（bit）的兩種狀態(tài)（2級）來量化，為二值圖像；6比特（64級）以上的圖像，人眼幾乎看不出有什么區(qū)別。

圖2.3灰度分辨率的影響

二、量化2.1數(shù)字圖像的采樣與量化

ImageSys功能實踐。依次點擊菜單：顏色變換——顏色亮度變換——N值化。如圖2.4所示，用N值化功能，實踐量化效果。圖2.

4量化實踐二、量化2.2彩色圖像與灰度圖像所有顏色都是由紅色（Red,R）、綠色（Green,G）和藍色（Blue,B）3種顏色調(diào)配而成，每種顏色一個字節(jié)（8位），每個字節(jié)從0到255分成了256個級，所以根據(jù)R、G、B的不同組合可以表示256×256×256=16777216種顏色，被稱為全彩色圖像（full-colorimage）或者真彩色圖像（true-colorimage），也被稱為24位彩色圖像。

當前數(shù)碼設(shè)備流行使用RGBA的32位顏色圖像，每個像素在RGB顏色之后增加了一個字節(jié)，用于放置透明度(Alpha,A)數(shù)據(jù)。當A為255時，表示圖像完全不透明，就是一般的彩色圖像；當A為0時，表示圖像完全透明，就是看不見圖像；透明度數(shù)據(jù)，一般用在影視效果中，圖像處理一般不使用該類數(shù)據(jù)。

一、彩色圖像2.2彩色圖像與灰度圖像灰度圖像（grayscaleimage）是指只含亮度信息，不含色彩信息的圖像。

二、灰度圖像

彩色圖像可以由公式（2.1）變?yōu)榛叶葓D像，其中Y為灰度值，各個顏色的系數(shù)是由國際電訊聯(lián)盟（InternationalTelecommunicationUnion--ITU）根據(jù)人眼的適應(yīng)性確定。公式（2.1）2.2彩色圖像與灰度圖像

灰度圖像（grayscaleimage）是指只含亮度信息，不含色彩信息的圖像。

彩色圖像的R、G、B分量，也可以看作灰度圖像。

二、灰度圖像圖2.5灰度圖像及各個分量圖像2.2彩色圖像與灰度圖像

ImageSys功能實踐，如圖2.6所示，讀一幀彩色圖像，點擊狀態(tài)窗上的“全彩色”按鈕，會依次顯示“R分量”—“G分量”—“B分量”—“全彩色”圖像。選擇“灰度”后，再讀入圖像，如果讀入的是彩色圖像，會按公式（2.1）計算成灰度圖像，并顯示。二、灰度圖像圖2.6彩色與灰度圖像實踐2.3圖像的計算機顯示圖2.7像素值實踐

ImageSys功能實踐。依次點擊菜單：查看——像素值。如圖2.7表示了以“+”符號為中心7×7范圍的像素（pixel）R、G、B顏色值。2.3圖像的計算機顯示圖2.8像素放大顯示

依次點擊菜單：查看——比例。圖2.8顯示了局部放大后的圖像，放大后可以看見圖中的各個小方塊即為像素。

2.4圖像文件

圖像文件包含文件頭和文件體兩部分。文件頭的主要內(nèi)容包括圖像文件的信息以及圖像本身的參數(shù)。文件體主要包括圖像數(shù)據(jù)以及顏色變換查找表或調(diào)色板數(shù)據(jù)。主要格式為：

（1）BMP格式：文件后綴：bmp，一般無壓縮（2）TIFF格式：文件后綴為：tiff、tif，無損壓縮（3）GIF格式：文件后綴為：gif，無損壓縮（4）JPEG格式：文件后綴為：jpeg、jpg，有損壓縮2.4.1理論介紹2.4圖像文件2.4.2ImageSys圖像文件功能一、功能介紹

依次點擊菜單：文件——圖像文件。如圖2.9圖像文件操作界面，可以載入、保存和刪除圖像文件，可以通過點擊“信息”查看要讀入文件的屬性。圖2.9圖像文件2.4圖像文件2.4.2ImageSys圖像文件功能一、功能介紹文件的“起始X”和“起始Y”，用于設(shè)定讀入圖像文件的起始位置。幀的“開始”與“結(jié)束”，選擇設(shè)定“連續(xù)文件”時有效，用于設(shè)定連續(xù)圖像的開始幀和結(jié)束幀。“存儲操作”在選擇連續(xù)保存時（存儲,連續(xù)文件）有效。幀單位：以整幀圖像為單位保存。場單位：以掃描場為單位保存。選擇后，可進一步選擇“從奇數(shù)場開始”或“從偶數(shù)領(lǐng)域開始”。一幅圖像由奇數(shù)掃描場和偶數(shù)掃描場構(gòu)成。以場單位連續(xù)保存后，圖像數(shù)量將增加一倍。間隔：從開始幀到結(jié)束幀間隔的圖像數(shù)。運行：開始執(zhí)行選定的圖像文件處理。停止：停止正在進行的運行命令。2.4圖像文件2.4.2ImageSys圖像文件功能二、載入的使用方法1.在“狀態(tài)窗”選擇“載入”的模式：灰度或彩色。（以下各項在本窗口“圖像文件”中進行）2.選擇“載入”。3.輸入或選擇文件名（瀏覽）。讀入連續(xù)文件時選擇連續(xù)文件名。4.只讀入窗口部分時，設(shè)定“窗口內(nèi)”。5.不想從文件的開始位置（左上角）讀入圖像時，設(shè)定讀入的起始點（起始X,起始Y）。6.讀入連續(xù)文件時，設(shè)定“連續(xù)文件”。7.讀入連續(xù)文件時，設(shè)定讀入開始幀和結(jié)束幀（開始,結(jié)束）。8.運行。2.4圖像文件2.4.2ImageSys圖像文件功能三、存儲當前顯示的一幀圖像方法1.選擇“存儲”。2.輸入或瀏覽保存的文件名稱。輸入文件名時，需加擴展名，例如：TEMP.BMP、ABC.JPG、ABC.TIF等；3.只保存處理窗口內(nèi)的圖像時選擇“窗口內(nèi)”。4.設(shè)定“連續(xù)文件”為非選擇狀態(tài)（方框中沒有對號）。5.運行。2.4圖像文件2.4.2ImageSys圖像文件功能四、連續(xù)存儲的使用方法1.“存儲”。2.輸入或瀏覽文件名。3.只保存處理窗口內(nèi)的圖像時選擇“窗口內(nèi)”。4.設(shè)定“連續(xù)文件”為選擇狀態(tài)（方框中有對號）。5.設(shè)定連續(xù)保存的開始幀（開始）。6.設(shè)定連續(xù)保存的結(jié)束幀（結(jié)束）。7.設(shè)定存儲方式（存儲操作）。8.開始保存時執(zhí)行“運行”。9.想停止正在進行的保存時執(zhí)行“停止”。2.4圖像文件2.4.2ImageSys圖像文件功能五、清除位圖文件的執(zhí)行步驟1選擇“清除”。2.輸入或瀏覽文件名。清除連續(xù)文件時選擇連續(xù)文件名。3.運行。2.5視頻文件2.5.1理論介紹

視頻文件也稱為多媒體文件，一般包含三部分：文件頭、數(shù)據(jù)塊和索引塊。常見的視頻文件格式如下：

（1）AVI格式（2）WMV格式（3）MPEG格式2.5視頻文件2.5.2ImageSys多媒體文件功能

依次點擊菜單：文件——多媒體文件，彈出圖2.10所示的對媒體文件讀入界面。圖2.10多媒體文件讀入界面2.5視頻文件2.5.2ImageSys多媒體文件功能可以讀入avi,mp4,wmv,mkv,flv,rm,dat,mov,vob,mpg,mpeg等多種視頻文件格式。一、讀入功能介紹1.載入：選擇視頻圖像文件的讀入。2.文件：顯示讀入的文件名稱。3.瀏覽：載入文件選擇窗口，選擇要讀入的多媒體文件。4.播放：預(yù)覽要讀入的多媒體文件。5.窗口內(nèi)：非選擇，讀入整幀畫面；選擇，讀入所選定的處理窗口內(nèi)畫面。6.系統(tǒng)幀：設(shè)定讀入視頻的開始幀和結(jié)束幀。

7.文件幀：間隔，設(shè)定視頻圖像文件的讀入間隔。8.運行：開始讀入圖像。9.停止：停止正在執(zhí)行的讀入操作。10.關(guān)閉：關(guān)閉窗口。2.5視頻文件2.5.2ImageSys多媒體文件功能可以讀入avi,mp4,wmv,mkv,flv,rm,dat,mov,vob,mpg,mpeg等多種視頻文件格式。二、多媒體文件的讀入方法1.選擇“載入(L)”。2.選擇或瀏覽讀入文件。3.選擇文件后，想預(yù)覽文件時可以執(zhí)行“播放”。播放控制面板如圖2.11所示。4.如需讀入到指定的處理窗口內(nèi)圖像時,選擇“窗口內(nèi)”。5.設(shè)定讀入系統(tǒng)幀的開始幀和結(jié)束幀。6.設(shè)定文件的讀入方法（視頻幀），內(nèi)容有：圖像“間隔”、圖面上的起點（起始X，起始Y）和圖像開始幀。7..運行。8.想停止正在進行的讀入時執(zhí)行“停止”。圖2.11視頻播放界面2.5視頻文件2.5.2ImageSys多媒體文件功能

圖2.12是多媒體文件的保存界面，可以保存成avi和mov視頻文件格式，可以選擇多種壓縮模式。

三、保存功能介紹圖2.12多媒體文件保存界面2.5視頻文件2.5.2ImageSys多媒體文件功能三、保存功能介紹1.保存：選擇多媒體文件的保存。2.文件：可輸入或瀏覽多媒體文件名。3.瀏覽：選擇保存位置和設(shè)定保存文件名。4.窗口內(nèi)：非選擇，保存整幀圖像；選擇，保存處理窗口內(nèi)的圖像。5.幀存儲：起始幀，設(shè)定要保存的系統(tǒng)的起始幀。終止幀，設(shè)定要保存的系統(tǒng)的終止幀。6.存儲操作：幀比率，設(shè)定視頻文件的播放速度。7.運行：開始保存多媒體文件。8.停止：停止正在執(zhí)行的保存操作。9.關(guān)閉：關(guān)閉窗口。

2.5視頻文件2.5.2ImageSys多媒體文件功能四、多媒體文件的保存方法1.選擇“保存”。2.輸入或瀏覽要保存的多媒體文件名。3.只保存處理窗口內(nèi)的圖像時選擇“窗口內(nèi)”。4.選擇要保存圖像的起始幀和終止幀。5.設(shè)定保存方式（存儲操作）：

a.設(shè)定文件的播放速度（幀比率）。

b.設(shè)定要保存圖像的間隔（間隔）。

c.以整幀圖像為單位保存時選擇幀單位(各幀)。

d.以掃描場為單位保存時選擇場單位(各場)。

e.選擇場單位后，進一步選擇“先奇數(shù)場”或“先偶數(shù)場”。6.運行保存。出現(xiàn)壓縮選擇窗口時，選擇壓縮方式。7.想停止正在進行的保存時執(zhí)行“停止”。2.5視頻文件2.5.3多媒體文件編輯

依次點擊菜單：文件——多媒體文件編輯，彈出圖2.13所示的對媒體文件編輯界面。可以進行1個或2個視頻（圖像）文件的編輯，載入兩個視頻文件時可以兩個視頻文件進行穿插編輯。

圖2.13多媒體文件編輯界面

2.5視頻文件2.5.3多媒體文件編輯

1.操作文件數(shù)選擇：選擇對1個文件或2個文件進行編輯。2.文件1：選擇載入第一個多媒體文件。3.文件2：選擇載入第二個多媒體文件。4.瀏覽：載入文件選擇窗口，選擇要讀入的多媒體文件。5.文件幀數(shù)：顯示所載入的多媒體文件的幀數(shù)。6.讀取幀數(shù)：

設(shè)定連續(xù)讀取幀數(shù)。7.間隔數(shù)：設(shè)定讀入間隔數(shù)。8.起始幀：設(shè)定要讀入視頻文件的起始幀。9.結(jié)束幀：設(shè)定要讀入視頻文件的結(jié)束幀。10.保存到：設(shè)置保存的文件路徑和文件名字。11.運行：開始按設(shè)置編輯圖像。12.停止：停止正在執(zhí)行的編輯操作。13.關(guān)閉：關(guān)閉窗口。2.6圖像視頻采集2.6.1基礎(chǔ)知識一、基本概念1.圖像采集卡：圖像采集卡是圖像采集部分和處理部分的接口。圖像經(jīng)過采樣、量化以后轉(zhuǎn)換為數(shù)字圖像并輸入、存儲到幀存儲器的過程，叫做采集，或者稱為數(shù)字化。2.A/D轉(zhuǎn)換：圖像量化處理是指將相機所輸出的模擬圖像信號（Analogimagesignal）轉(zhuǎn)換為計算機所能識別的數(shù)字信號（DigitalSignal）的過程，即A/D轉(zhuǎn)換。圖像信號的量化處理是圖像采集處理的重要組成部分。3.傳輸通道數(shù)：采集卡同時對多個相機進行A/D轉(zhuǎn)換的能力。如：2通道、4通道。4.分辨率：采集卡能支持的最大點陣反映了其分辨率的性能,即其所能支持的相機最大分辨率。5.采樣頻率：采樣頻率反映了采集卡處理圖像的速度和能力。在進行高速圖像采集時，需要注意采集卡的采樣頻率是否滿足要求。6.傳輸速率：傳輸速率是指圖像由采集卡到達內(nèi)存的速度。普通PCI（PeripheralComponentInterconnect，外圍設(shè)備互連）接口理論傳輸速度為132MB/S，PCI-E，PCI-X是更高速的總線接口。7.圖像格式（像素格式）：1)黑白圖像：通常情況下，圖像灰度等級可分為256級，即以8位表示。在對圖像灰度有更精確要求時，可用10位，12位等來表示。2)彩色圖像：彩色圖像可由RGB或YUV（Y明亮度，U和V色度）3種色彩組合而成，根據(jù)其亮度級別的不同有8－8－8，10－10－10等格式。8.顏色空間：對一種顏色進行編碼的方法統(tǒng)稱為“顏色空間”或“色域”。一般有：RGB（16位/24位/32位），YUV(YCbCr)，HSI（Hue,Saturation,Intensity），Alpha通道等。顏色空間知識可以參考第3章。9.幀和場：標準的模擬圖像信號是隔行信號，一幀分成兩場，偶數(shù)場包含所有的偶數(shù)行（0,2,...），奇數(shù)場包含所有的奇數(shù)行（1,3,...）。采集和傳輸?shù)倪^程中使用的是場，而不是幀，一幀圖像的兩場之間有時間差。2.6圖像視頻采集2.6.1基礎(chǔ)知識二、基本原理圖像視頻采集就是將視頻源的模擬信號經(jīng)過接口送到采集卡，在集卡上的模擬數(shù)字轉(zhuǎn)換器ADC（Analog-to-DigitalConverter）上進行采樣和量化處理轉(zhuǎn)變成數(shù)碼信息，并將這些數(shù)碼信息存儲在計算機上。通常在采集過程中，對數(shù)碼信息還需進行一定形式的實時壓縮處理。ADC實際上也是一個視頻解碼器，采用不同的顏色空間可選擇不同的視頻輸入解碼器芯片。當圖像采集卡的信號輸入速率較高時，需要考慮圖像采集卡與圖像處理系統(tǒng)之間的帶寬問題。在使用計算機時，圖像采集卡采用PCI接口的理論帶寬峰值為132MB/S。2.6圖像視頻采集2.6.1基礎(chǔ)知識三、可采集圖像視頻信號分類1.模擬視頻和數(shù)字視頻信號；2.標準視頻和非標準視頻信號；3.隔行和逐行掃描視頻信號；4.灰度（黑白）和彩色視頻信號；5.復(fù)合和各種分量式彩色視頻信號。2.6圖像視頻采集2.6.1基礎(chǔ)知識四、圖像采集卡分類1.按照信號源：數(shù)字采集卡（使用數(shù)字接口）和模擬采集卡。2.按照安裝鏈接方式：外置采集卡（盒）和內(nèi)置式板卡。3.按照視頻壓縮方式：軟壓卡（消耗CPU資源）和硬壓卡。4.按照視頻信號輸入輸出接口：1394采集卡、USB采集卡、HDMI（HighDefinitionMultimediaInterface）采集卡、DVI/VGA（DigitalVisualInterface，VideoGraphicsArray）視頻采集卡、PCI視頻卡。5.按照其性能作用：電視卡、圖像采集卡、DV采集卡、電腦視頻卡、監(jiān)控采集卡、多屏卡、流媒體采集卡、分量采集卡、高清采集卡、筆記本采集卡、DVR（DigitalVideoRecorder）卡、VCD卡、非線性編輯卡（簡稱非編卡）。6.按照其用途：廣播級圖像采集卡，專業(yè)級圖像采集卡，民用級圖像采集卡，檔次的高低主要取決于采集圖像的質(zhì)量，采集的圖像指標有所不同。由于VGA圖像采集卡一般都是內(nèi)置式板卡，在安裝使用時，需要插在PCI擴展槽中。2.6圖像視頻采集2.6.1基礎(chǔ)知識五、輸出接口類型根據(jù)不同的應(yīng)用方向，為配合所接攝像頭，圖像采集卡有多種輸出接口，其主要接口有BNC（BayonetNutConnector）、VGA、Cameralink、LVDS（Low-VoltageDifferentialSignaling）、DVI、USB、FireWire等。2.6圖像視頻采集2.6.2CCD與CMOS傳感器一、CCD傳感器CCD傳感器（ChargedCoupledDevice）于1969年在貝爾試驗室研制成功，之后由日商等公司開始量產(chǎn)。其基本原理是采用一種高感光度的半導(dǎo)體材料，將光線照射導(dǎo)致的電信號變化轉(zhuǎn)換成數(shù)字信號，使其高效存儲、編輯、傳輸成為可能。經(jīng)過多年的發(fā)展，從初期的10多萬像素已經(jīng)發(fā)展至目前主流應(yīng)用的兩千多萬像素。CCD可分為線陣（Linear）與面陣（Area）兩種，其中線陣主要應(yīng)用于影像掃瞄器及傳真機上，而面陣則主要應(yīng)用于工業(yè)相機、數(shù)碼相機（DSC）、攝錄影機、監(jiān)視攝影機等多種影像輸入產(chǎn)品上。2.6圖像視頻采集2.6.2CCD與CMOS傳感器二、CMOS傳感器CMOS是ComplementaryMetalOxideSemiconductor（互補金屬氧化物半導(dǎo)體）的縮寫，是一種大規(guī)模應(yīng)用于集成電路芯片制造的原料。CMOS在下述三個應(yīng)用領(lǐng)域，呈現(xiàn)出迥然不同的外觀特征。1.用于計算機信息保存，CMOS作為可擦寫芯片使用，在這個應(yīng)用領(lǐng)域，用戶通常不會關(guān)心CMOS的硬件問題，而只關(guān)心寫在CMOS上的信息，也就是BIOS的設(shè)置問題，其中被提及最多的就是系統(tǒng)故障時拿掉主板上的電池，進行CMOS放電操作，以此還原BIOS設(shè)置。2.在數(shù)字影像應(yīng)用領(lǐng)域，CMOS作為一種低成本的感光元件技術(shù)被發(fā)展出來，市面上常見的數(shù)碼產(chǎn)品，其感光元件主要就是CCD或者CMOS，尤其是低端攝像頭產(chǎn)品，而高端攝像頭通常都是CCD感光元件。3.在更加專業(yè)的集成電路設(shè)計與制造領(lǐng)域的應(yīng)用。2.6圖像視頻采集2.6.2CCD與CMOS傳感器三、CCD與CMOS圖像傳感器區(qū)別1.成像過程CCD與CMOS圖像傳感器光電轉(zhuǎn)換的原理相同，它們最主要的差別在于信號的讀出過程不同；由于CCD僅有一個（或少數(shù)幾個）輸出節(jié)點統(tǒng)一讀出，其信號輸出的一致性非常好，而CMOS芯片中，每個像素都有各自的信號放大器，各自進行電荷-電壓的轉(zhuǎn)換，其信號輸出的一致性相對較差；CCD為了讀出整幅圖像信號，往往要求輸出放大器有較寬的信號帶寬，而CMOS芯片中，每個像元中放大器的信號帶寬要求較低，大大降低了芯片的功耗，這是CMOS芯片比CCD功耗低的主要原因。盡管降低了功耗，但是數(shù)以百萬放大器的不一致性卻帶來了更高的固定噪聲，這又是CMOS相對CCD的固有劣勢。2.集成性從制造工藝的角度來看，CCD中電路和器件是集成在半導(dǎo)體單晶硅材料上，工藝較復(fù)雜，世界上只有少數(shù)幾家廠商能夠生產(chǎn)CCD晶元，如DALSA、SONY、松下等。CCD僅能輸出模擬電信號，需要后續(xù)的地址譯碼器、模擬轉(zhuǎn)換器、圖像信號處理器處理，并且還需要提供三組不同電壓的電源同步時鐘控制電路，集成度非常低。而CMOS則是集成在互補金屬氧化物半導(dǎo)體材料上，這種工藝與生產(chǎn)數(shù)以萬計的計算機芯片和存儲設(shè)備等半導(dǎo)體集成電路的工藝相同，因此聲場CMOS的成本相對CCD低很多。同時CMOS芯片能將圖像信號放大器、信號讀取電路、A/D轉(zhuǎn)換電路、圖像信號處理器及控制器等集成到一塊芯片上，只需一塊芯片就可以實現(xiàn)相機的所有基本功能，集成度很高，芯片級相機概念就是從這產(chǎn)生的。隨著CMOS成像技術(shù)的不斷發(fā)展，有越來越多的公司可以提供高品質(zhì)的CMOS成像芯片，包括：Micron、CMOSIS、Cypress等。3.速度CCD采用逐個光敏輸出，只能按照規(guī)定的程序輸出，速度較慢。CMOS有多個電荷-電壓轉(zhuǎn)換器和行列開關(guān)控制，讀出速度快很多，目前大部分500fps以上的高速相機都是CMOS相機。此外CMOS的地址選通開關(guān)可以隨機采樣，實現(xiàn)子窗口輸出，在僅輸出子窗口圖像時可以獲得更高的速度。4.噪聲CCD技術(shù)發(fā)展較早，比較成熟，采用PN結(jié)或二氧化硅（SiO2）隔離層隔離噪聲，成像質(zhì)量相對CMOS光電傳感器有一定優(yōu)勢。由于CMOS圖像傳感器集成度高，各元件、電路之間距離很近，干擾比較嚴重，噪聲對圖像質(zhì)量影響很大。近年來，隨著CMOS電路消噪技術(shù)的不斷發(fā)展，為生產(chǎn)高密度優(yōu)質(zhì)的CMOS圖像傳感器提供了良好的條件。隨著CMOS圖像傳感技術(shù)的日趨進步，同時兼具成像速度快、功耗低、成本低的優(yōu)勢，所以現(xiàn)在市面上的工業(yè)相機大部分使用的都是CMOS圖像傳感器。2.6圖像視頻采集2.6.3DirectX圖像采集系統(tǒng)DirectShow是微軟公司提供的一套在Windows平臺上進行流媒體處理的開發(fā)包，9.0版本之前與DirectX開發(fā)包一起發(fā)布，之后包含在windowsSDK中。ImageSys中基于DirectShow的直接圖像采集可支持一般民用CCD數(shù)碼攝像機（IEEE1394接口）、PC相機（USB接口）和部分工業(yè)相機。點擊ImageSys的“圖像采集”菜單，可以打開如圖2.14所示的圖像采集界面，圖中默認采集顯示的是電腦自帶攝像頭的圖像，外接其他攝像裝置時，可以選擇相應(yīng)攝像裝置。圖2.14圖像采集界面2.6圖像視頻采集2.6.3DirectX圖像采集系統(tǒng)、界面功能1.裝置一覽：列出與計算機連接的有效攝像裝置以供選擇。2.關(guān)閉：關(guān)閉窗口。3.操作一覽：列出攝像裝置的功能設(shè)置一覽表，打開各項可設(shè)置攝像裝置的功能。項目內(nèi)容與攝像裝置有關(guān)。4.采集速率：默認為相機的額定幀率。可以小于默認幀率。5.采集文件：顯示被采集到硬盤中的圖像的位置及文件，選擇“捕捉方式--硬盤”后，可點擊“重設(shè)定”鍵進行設(shè)定。6.重設(shè)定：重新設(shè)定被采集到硬盤中的視頻圖像的位置及文件名，設(shè)定后顯示在“采集文件”的下面。7.回放：播放被采集到硬盤中的視頻文件。8.另存為：將采集后的視頻文件，另存為其他文件名稱。9.可用硬盤空間：硬盤的空容量或硬盤可利用的容量。10.硬盤到存儲器：選擇后“變換”鍵有效。11.變換：將采集到硬盤（視頻文件）的圖像轉(zhuǎn)換到系統(tǒng)幀上。12.限定時間：設(shè)定采集到硬盤的時間，默認為1秒。13.限定幀數(shù)：設(shè)定采集到硬盤的幀數(shù)。14.最大：將采集幀數(shù)設(shè)為硬盤最大容量（幀數(shù)）。15.內(nèi)存：選擇后將圖像捕捉到系統(tǒng)幀上。16.硬盤：選擇后將圖像采集到硬盤上（視頻文件）。17.開始：設(shè)定捕捉到系統(tǒng)幀上的開始幀號。18.終止：設(shè)定捕捉到系統(tǒng)幀上的終止幀號。19.捕捉：開始捕捉圖像。20.停止：停止捕捉圖像。21.預(yù)覽（停止預(yù)覽）：當動態(tài)顯示圖像時，執(zhí)行后停止動態(tài)顯示；當非動態(tài)顯示時，執(zhí)行后進行動態(tài)顯示。22.捕捉信息：顯示已采集幀數(shù)及采集時間。2.6圖像視頻采集2.6.3DirectX圖像采集系統(tǒng)二、使用方法：1.連接攝像裝置到計算機上（IEEE1394,USB），攝像裝置有電源時打開電源，設(shè)定到攝像狀態(tài)或者播放狀態(tài)。2.打開圖像采集窗口。打開圖像采集窗口后將自動預(yù)覽（非攝像狀態(tài)時須執(zhí)行播放）。3.連接有兩臺以上攝像裝置時，可以分別選擇各裝置（裝置一覽）以確認是否正常。4.可以執(zhí)行“預(yù)覽”或“停止預(yù)覽”。5.捕捉圖像到系統(tǒng)幀上時：1）選擇幀捕捉方式（捕捉方式-內(nèi)存）。2）設(shè)定系統(tǒng)幀的開始幀號和終止幀號（系統(tǒng)幀–開始,終止）。如果終止幀不夠，可以在“狀態(tài)窗”上增設(shè)終止幀。3）在“狀態(tài)窗”上確認采集圖像的模式：灰度或彩色。4）執(zhí)行“捕捉”命令。5）捕捉途中想停止時，執(zhí)行“停止”。6）在“狀態(tài)窗”上逐次選擇“顯示幀”或者執(zhí)行“連續(xù)顯示”，以確認采集的圖像。7）重新預(yù)覽圖像（預(yù)覽）。6.采集圖像到硬盤上時：1）選擇硬盤捕捉方式（捕捉方式-硬盤）。2）如需改變文件名，執(zhí)行“重設(shè)定”。3）為了有效地采集圖像，可以按需“預(yù)設(shè)文件空間”，默認值為10MB。4）可按需輸入設(shè)置圖像“采集速率”。默認幀率為相機的最大幀率，采集比較穩(wěn)定。5）可按需輸入設(shè)置采集的“限定時間”。6）可按需輸入設(shè)置采集的“限定幀數(shù)”，或點擊“最大”按鈕，將幀數(shù)設(shè)置為硬盤可存儲的最大幀數(shù)。時間限定優(yōu)先。7）選擇采集到硬盤時，以相機的固有模式（彩色相機或灰度相機）進行采集。8）點擊“捕捉”按鈕開始捕捉。9）捕捉中途如需停止，執(zhí)行“停止”，否則完成設(shè)定幀數(shù)后自動停止采集。10）捕捉后執(zhí)行“回放”以確認捕捉的圖像。11）如需將采集后的圖像轉(zhuǎn)換到幀號上，可以選擇“硬盤到存儲器”后執(zhí)行“變換”。12）重新“預(yù)覽”圖像。7.“關(guān)閉”窗口。2.7應(yīng)用案例2.7.1排種器試驗臺視頻采集與保存本應(yīng)用案例的目標是基于機器視覺技術(shù)，實現(xiàn)排種器性能檢測中的種子粒數(shù)、行距、穴距等基本參數(shù)的自動測量。一、機械裝置及工作原理機械裝置包括臺架、排種裝置、傳輸裝置、噴油裝置、圖像采集裝置等。機械裝置的安裝結(jié)構(gòu)如示意圖2.15所示。圖2.15排種器實驗臺機械裝置安裝結(jié)構(gòu)示意圖2.7應(yīng)用案例2.7.1排種器試驗臺視頻采集與保存二、攝像頭型號及主要參數(shù)名稱參數(shù)攝像頭傳感器類型CMOS攝像頭傳感器像素數(shù)130萬攝像頭最高分辨率651×496像素最大幀率60幀/s對焦方式手動曝光控制1394可編程外型尺寸65.7×44×29mm輸出接口形式IEEE1394表2.1BaslerA601f相機性能參數(shù)2.7應(yīng)用案例2.7.1排種器試驗臺視頻采集與保存三、視頻圖像采集與保存在傳送帶一側(cè)邊緣上，每隔20cm均勻分布直徑為5mm的觸發(fā)孔。在臺架上安裝一個光電傳感器，該傳感器發(fā)射部分位于傳送帶下方，接收部分位于傳送帶上方，為圖像采集系統(tǒng)提供觸發(fā)信號。傳送帶運行速度為0.5～3.5m/s，具體速度可根據(jù)需要設(shè)定。系統(tǒng)啟動時，創(chuàng)建一個AVI視頻文件；在傳送帶運行過程中，光電信號觸發(fā)一次，拍攝一幀圖像，存入AVI視頻文件；系統(tǒng)停止時，關(guān)閉創(chuàng)建的AVI視頻文件，用于后期的圖像檢測。采集的圖像數(shù)據(jù)格式為灰度，大小為640×480像素。2.7應(yīng)用案例2.7.2車流量檢測視頻采集交通流量檢測是智能交通系統(tǒng)（IntelligentTransportationSystem，ITS）中的一個重要課題。傳統(tǒng)的交通流量信息采集方法有：地埋感應(yīng)線圈法、超聲波探測器法和紅外線檢測法等，這些方法的設(shè)備成本高，設(shè)立和維護也比較困難。隨著計算機視覺技術(shù)的飛速發(fā)展，交通流量的視覺檢測技術(shù)正以其安裝簡單、操作容易、維護方便等特點，逐漸取代傳統(tǒng)的方法。本應(yīng)用案例的目的是開發(fā)一種不受天氣狀況、陰影等影響的道路車流量圖像檢測算法。圖2.16實際場景圖像

本應(yīng)用案例所使用的硬件設(shè)備為：筆記本電腦，CPU2.4GHz，256MB內(nèi)存，WindowsXP系統(tǒng)；SONYDCR-TRV18K數(shù)碼攝相機，34萬像素，設(shè)定圖像大小為640×480像素，NTSC制式，圖像采集幀率為30幀/秒。攝像機與計算機通過IEEE1394接口進行連接。實現(xiàn)程序是在北京富博科技有限公司的二維圖像分析平臺MIAS上，利用MicrosoftVisualC++開發(fā)實現(xiàn)的。相機安裝在距地面高約6.6m的過街天橋上，俯角約60o。圖2.16是拍攝的實際場景圖像。2.7應(yīng)用案例2.7.3車輛尺寸顏色參數(shù)檢測視頻采集與演示本應(yīng)用案例的目標是基于機器視覺開發(fā)出一套能夠在汽車檢測站或公路等自然環(huán)境下實時檢測車輛外型尺寸、顏色和重量參數(shù)的系統(tǒng)。一、系統(tǒng)構(gòu)成系統(tǒng)采用5臺高清高速千兆網(wǎng)絡(luò)攝像機，分別安裝在測量工位的上方和側(cè)面，如圖2.17（a）所示。其中，上方前后兩個攝像機，用于判斷車輛的駛?cè)?、駛出并測量車的長度；上方左右兩個攝像機，用于測量車輛的寬度；側(cè)面攝像機，用于測量車輛高度和顏色。圖2.17(b)為現(xiàn)場地面的白色標志線結(jié)構(gòu)圖。上面4部相機的圖像中心分別與地面上的四個十字中心對齊。地面白色標志線的前方放置一臺地磅（圖上沒有標出），用于稱重。(a)相機安裝圖(b)地面結(jié)構(gòu)圖圖2.17系統(tǒng)構(gòu)成示意圖2.7應(yīng)用案例2.7.3車輛尺寸顏色參數(shù)檢測視頻采集與演示二、視頻圖像采集流程為了在車輛通過檢測工位時獲得盡量多的圖像信息，本系統(tǒng)在車輛通過檢測工位時只進行圖像采集、車輛進出判斷和視頻圖像保存，判斷車輛通過后，再利用保存的視頻圖像進行車輛長、寬、高和顏色參數(shù)的檢測。車輛長度、寬度的測量均需要攝像機在同一時刻采集兩幀圖像才能夠求出。因此，測量系統(tǒng)所采用的圖像采集模式是單線程串行圖像采集模式，即5部相機按照后-前–左–右–側(cè)的順序依次采集一幀圖像。采用千兆網(wǎng)(GigE)數(shù)碼相機，傳感器類型CMOS，采集圖像分辨率640×480，采集幀率30幀/秒。同時采集5路視頻。三、車輛通過視頻演示車輛通過檢測工位謝謝大家！機器視覺第1章緒論01第2章圖像數(shù)據(jù)及存儲與采集02第3章像素分布與圖像分割03第4章顏色空間及測量與變換04第5章幾何變換及單目測量05第6章傅里葉變換06第7章小波變換07第8章濾波增強08第9章二值運算與參數(shù)測量09第10章雙目視覺測量10第11章二維三維運動圖像測量實踐11第12章模式識別12第13章神經(jīng)網(wǎng)絡(luò)13第14章深度學(xué)習(xí)14目錄第3章像素分布與圖像分割思維導(dǎo)圖3.1像素分布3.1.1直方圖一、功能介紹這里的直方圖是指圖像的像素值累計分布圖。灰度圖像像素的最大值是255（白色），最小值是0（黑色），從0到255，共有256級，計算出一幅圖像上每一級的像素數(shù)，然后用分布圖表示出來。如圖3.1所示，直方圖的橫坐標表示0～255的像素級，縱坐標表示像素的個數(shù)或者占總像素的比例。計算出直方圖，是灰度圖像目標提取的重要步驟之一。圖3.1直方圖3.1像素分布3.1.1直方圖二、基于ImageSys的功能實踐打開ImageSys，讀入一幀灰度或彩色圖像，然后依次點擊菜單：像素分布處理——直方圖，可以打開如圖3.2所示的直方圖界面。圖3.2（a）為讀入灰度圖像時的直方圖界面。圖3.2（b）為讀入彩色圖像時的直方圖界面，可以選擇直方圖的類型：灰度、彩色RGB、R分量、G分量、B分量，彩色HSI（參考第4章）、H分量、S分量、I分量?？梢砸来物@示所選類型的像素區(qū)域分布直方圖的最小值、最大值、平均值、標準差、總像素等，也可以顯示所選類型的像素區(qū)域分布直方圖，以及剪切和打印直方圖?？梢圆榭粗狈綀D上數(shù)據(jù)的分布情況。可以讀出以前保存的數(shù)據(jù)、保存當前數(shù)據(jù)、打印當前數(shù)據(jù)。保存的數(shù)據(jù)可以用MicrosoftExcel將其打開，重新做分布圖。（a）灰度圖像模式（b）彩色圖像模式圖3.2直方圖功能界面3.1.2線剖圖3.1像素分布一、功能介紹線剖面圖用于查看一條線上的灰度值或彩色值分布曲線。在圖像中任意畫一條線段，即可知道該線段上的像素分布情況，非常的靈活方便。比如圖3.3中，如需了解桃子和周圍背景在顏色上的明顯差異，可用鼠標橫向選取一條貫穿最上邊桃子的線段，在右側(cè)的線剖圖中可以觀察到，該線段對應(yīng)桃子所在的位置，R曲線明顯高于G和B曲線，在右側(cè)線剖圖窗口中左右移動鼠標時，對應(yīng)有一條垂直線條跟隨鼠標移動，同時在對應(yīng)的原圖中，，也有一個亮點一并在鼠標所選取的線段中同步跟隨移動，由此可以分析在該條線段上，每一處的像素分布情況，該功能對于分析目標特征非常實用。3.1.2線剖圖3.1像素分布二、基于ImageSys的功能實踐圖3.3線剖面功能界面打開ImageSys，讀入一幀彩色或灰度圖像，然后依次點擊菜單：像素分布處理——線剖面，打開線剖面界面。按鼠標左鍵在圖像上畫線，線上的像素便顯示在線剖面界面上，如圖3.3所示。鼠標在線剖圖上移動時，在圖像上顯示鼠標所處位置?？蛇x擇線剖面的分布圖類型包括：灰度、彩色RGB、R分量、G分量、B分量、彩色HSI、H分量、S分量、I分量等。選擇單個分量時，在窗口左側(cè)會顯示該分量線剖面信息的平均值和標準偏差?？梢詫€剖面進行移動平滑和小波平滑（參考第7章）。移動平滑可以設(shè)定平滑距離。小波平滑，可以設(shè)定平滑系數(shù)、平滑次數(shù)、去高頻和去低頻。去高頻是將高頻信號置零，留下低頻信號，即平滑信號。去低頻是將低頻信號置零，留下高頻信號，是為了觀察高頻信號。線剖面是非常有用的圖像解析工具。3.1.3累計分布3.1像素分布一、功能介紹累計分布圖是指垂直方向或者水平方向的像素值累加曲線。由于該功能是實現(xiàn)一個特定方向（垂直或者水平）上的像素值累加，對于具有明顯垂直或者水平規(guī)律的圖像使用該功能，能夠更清晰的找出圖像在對應(yīng)方向上的變化規(guī)律。比如圖3.4電器柜開關(guān)圖像中，如果采用人眼判斷開關(guān)閉合情況，，面對上百個電器柜，人在判斷的時候不僅容易疲勞，而且還容易出錯，于是可以使用視覺進行判斷。可觀察到電器柜的面板顏色比較淺，也比較均勻，上面開關(guān)的排布非常有規(guī)律，不會造成特定顏色的累計，但是閉合的開關(guān)（比如第一行左側(cè)的連續(xù)5個黃色開關(guān)、第二行左側(cè)的連續(xù)2個黃色開關(guān)，以及倒數(shù)第二行右側(cè)第3個紅色開關(guān)）在垂直方向上會有特定顏色的累計，為此可可根據(jù)垂直方向的像素累計，分析累計曲線的波峰，以及不同顏色曲線波峰之間的關(guān)系，從而得知打開和關(guān)閉按鈕的個數(shù)。3.1.3累計分布3.1像素分布一、基于ImageSys的功能實踐圖3.4垂直方向累計分布圖打開ImageSys，讀入一幀彩色或灰度圖像，然后依次點擊菜單：像素分布處理——累計分布圖，打開對應(yīng)功能窗口即顯示處理窗口內(nèi)像素的累計分布情況，若未選擇處理窗口，則顯示整幅圖內(nèi)像素的累計分布情況。可選擇的累計分布圖類型有：灰度、彩色RGB、R分量、G分量、B分量、彩色HSI、H分量、S分量、I分量等。選擇單個分量時，顯示所選類型累計分布圖的最小值、最大值、平均值、標準差、總像素等。圖3.4顯示了全圖區(qū)域彩色RGB的垂直方向累計分布圖，橫坐標表示圖像橫坐標，縱坐標表示像素的累加值。鼠標在累計分布圖上移動時，在圖像上顯示鼠標所處位置，并劃線表示。同上述線剖面一樣，可對累計分布圖進行移動平滑和小波平滑。也可以選擇水平分布圖。3.1.43D剖面3.1像素分布一、功能介紹3D剖面用于將圖像中各部分的RGB值使用對應(yīng)顏色海拔高低（即高程）來表示的圖。X軸表示圖像的x坐標，Y軸表示圖像的y坐標，Z軸表示像素的灰度值。在該功能中，可以看到全局圖像中不同區(qū)域RGB像素分布的情況，在圖3.5左側(cè)圖像中，人物兩側(cè)背景很亮并且整體發(fā)白，在所對應(yīng)的3D剖面圖中可以看到x軸靠近兩側(cè)的顏色海拔比較高。3.1.43D剖面3.1像素分布二、基于ImageSys的功能實踐打開ImageSys，讀入一幀彩色或灰度圖像，然后依次點擊菜單：像素分布處理——3D剖面——3D剖面或OpenGL3D剖面，打開圖3.5（a）或圖3.5（b）的3D剖面圖。圖3.5（a）、（b）分別是一般3D剖面和OpenGL3D剖面。其中，一般3D剖面圖需要設(shè)定參數(shù)后點擊執(zhí)行；而OpenGL3D剖面設(shè)定采樣空間后，3D畫面會自動調(diào)整，可以用鼠標按住3D畫面自由旋轉(zhuǎn)，方便查看像素分布情況。為了更加靈活地分析圖像，也可以設(shè)定圖像的采樣空間，或者進行反色處理。不僅如此，還可以根據(jù)圖像分析的需要，設(shè)定分布圖的Z軸高度尺度、最大亮度、基亮度、涂抹顏色、背景顏色等。（a）3D剖面（b）OpenGL3D剖面圖3.53D剖面圖3.1.5應(yīng)用案例——水田管理導(dǎo)航路線檢測及視頻演示3.1像素分布一、水田管理機器人導(dǎo)航路線檢測及視頻演示插秧之后，在水稻從幼苗到成熟期間，需要使用水稻管理機器人進行施肥、噴藥、除草和生長調(diào)查等水田管理工作，在工作過程中水田管理機器人需要沿著苗列間行走，如圖3.6所示。本案例的目標是研究一種導(dǎo)航路線的圖像檢測算法，可以應(yīng)用于水稻從幼苗到成熟的整個生長時期。圖3.6水田管理機械作業(yè)場景1.圖像采集用索尼DCR–PC10數(shù)碼攝像機采集樣本圖像，該攝像機為NTSC制式，幀率為每秒30幀。采用MicrosoftVisualC++6.0進行軟件開發(fā)。從插秧后的第2天開始，每周采樣一次，共采樣10次。采樣期間，水稻苗大約高出水面（當?shù)咎镏袩o水時高出地面）10cm至90cm。將相機放置于稻株上方20cm處，水平向下，此時，無論是天空背景還是稻田的周邊環(huán)境都不在相機的視野范圍內(nèi)。并將相機設(shè)置為自動對焦和自動白平衡。每一次采樣均從不同地點和方向來獲取視頻圖像樣本。采集的圖像為512×480像素。圖3.3和圖3.4的原圖是本案例的例圖之一。3.1.5應(yīng)用案例——水田管理導(dǎo)航路線檢測及視頻演示3.1像素分布一、水田管理機器人導(dǎo)航路線檢測及視頻演示2．目標苗列間的確定利用垂直方向的像素值累計分布圖來確認機器人行走的目標苗列間。如圖3.4所示，從右側(cè)的垂直方向像素值累計分布可以看出，在目標苗列間，B分量的累計數(shù)據(jù)最大，因此將B分量垂直方向累計分布的最大位置，作為目標苗列間的中心位置。3.掃描線方向候補點的檢測

為了檢測目標苗列間的中心線（導(dǎo)航線），在每個橫向掃描線上檢測一個目標苗列間的中心點（方向候補點），圖像高度是480像素，也就是有480條橫向掃描線，可以檢測出480個方向候補點（方向候補點群）。以方向候補點群中心為已知點，用9.4.1節(jié)的過已知點Hough變換檢測出導(dǎo)航線。從圖3.3的線剖面曲線可以看出，在苗列上G分量遠大于B分量，利用此特點，在各個橫向掃描線上，從確定的目標苗列間中心位置分別向左、向右檢測到第一個苗列位置，然后取兩者的中間點作為該掃描線的方向候補點。圖3.7是檢測出的方向候補點群及導(dǎo)航線的實例，有田端時也可以檢測出來。對10周拍攝的所有圖像都正確檢測出了導(dǎo)航線，視頻里演示了10周的檢測案例。

（a）插秧后第2周（b）插秧后第4周圖3.7方向候補點群及導(dǎo)航線檢測實例4.視頻演示3.1.5應(yīng)用案例——水田管理導(dǎo)航路線檢測及視頻演示3.1像素分布二、微型除草機器人行駛路線檢測及視頻演示為了減小除草劑的使用，日本多個大學(xué)在對水田微型除草機器人進行研究。對于微型除草機器人來說，水田環(huán)境非常復(fù)雜，由于其體型小，當秧苗長高時，在秧苗間通行就像穿行在隧洞中，姿態(tài)少有變化，視野中的圖像就會完全不一樣。因此，當微型除草機器人完成除草作業(yè)，在繼續(xù)行駛之前，必須確認行駛方向。本案例旨在研究一種圖像處理方法，引導(dǎo)微型機器人在水田中行駛。由于水稻從秧苗到收獲的整個生長階段，微型除草機器人均需在水田中作業(yè)，因此研究的算法必須能夠適應(yīng)水稻全部生長過程的水田環(huán)境。1.圖像采集。攝像機的長、寬、高分別為68mm、32mm和27mm，鏡頭焦距為3.7mm，光圈設(shè)置為f2.0，發(fā)送圖像的頻率為2.4GHz。將錄制的錄像帶轉(zhuǎn)化為數(shù)字圖像進行圖像處理，處理軟件使用MicrosoftVisualC++6.0進行開發(fā)。從插秧后的第2天開始，每周采集一次樣本圖像。分別將攝像機放置于水面上方大約10cm、20cm和30cm處，且在每一個高度處將攝像機依次水平、水平向下10o和20o進行設(shè)置。對攝像機進行360o旋轉(zhuǎn)，獲得每個高度、每個角度的錄像帶樣本，如圖3.8所示。在采樣期間，稻株的高度大約高出水面10-65cm。圖3.8水田和微型攝像機3.1.5應(yīng)用案例——水田管理導(dǎo)航路線檢測及視頻演示3.1像素分布二、微型除草機器人行駛路線檢測及視頻演示

2.目標圖像的確定及導(dǎo)航線檢測目標圖像為相機旋轉(zhuǎn)一周所獲取的24幀圖像中，水稻行之間的區(qū)域離圖像中心最近的圖像，也就是B分量垂直累計分布圖的中心離圖像中心最近的圖像。因此對每幀圖像進行B分量垂直累計分布圖數(shù)據(jù)分析處理，確定最終的目標圖像。確定目標圖像后，對目標圖像，利用前述水田管理機器人導(dǎo)航路線檢測方法，檢測出導(dǎo)航線。由于每組有24幀圖像，而且環(huán)境復(fù)雜多變，因此在處理過程中設(shè)定了許多判斷條件，對每幀圖像處理時只要有一個條件不滿足就進入下一幀處理，這樣從24幀中找到目標圖像且處理處導(dǎo)航線，0.1秒以內(nèi)即可完成。具體處理方法這里不做詳細說明。圖3.9是水田環(huán)境的例圖像，水面反光、葉面遮擋等，圖像非常復(fù)雜。圖3.9水田環(huán)境例圖像圖3.10是目標圖像及導(dǎo)航線檢測結(jié)果的例圖像，69個樣本視頻，都正確檢測出了目標圖像和導(dǎo)航線?？梢酝ㄟ^視頻演示觀看檢測過程。圖3.10目標圖像及導(dǎo)航線檢測結(jié)果例圖像3.視頻演示微型除草機器人路線檢測3.2灰度分割與實踐首先，做如下準備工作：1.打開ImageSys系統(tǒng)，點擊菜單：文件——圖像文件，讀入一幅灰度圖像。2.在“狀態(tài)窗”上設(shè)定“原幀保留”，以便重復(fù)使用原圖像。3.點擊菜單：圖像分割，打開圖像分割窗口。圖3.11是圖像分割窗口的默認設(shè)置，圖像上的水色區(qū)域表示閾值分割后的目標區(qū)域，非水色區(qū)域是分割后的背景區(qū)域。該圖并沒有展示水色的原圖像和直方圖，相關(guān)信息可以參考圖3.2(a)。圖像分割窗口中間顯示的是圖像的直方圖，其他功能在后面的處理中將予以介紹。圖3.11原圖像與圖像分割功能3.2灰度分割與實踐3.2.1常規(guī)閾值分割二值化處理（binarization）是將目標物從圖像中提取出來的一種方法。二值化處理的方法有很多，最簡單的一種叫做閾值處理（thresholding），即針對輸入圖像的各像素，當其灰度值在某設(shè)定值（稱為閾值，threshold）以上或以下時，賦予對應(yīng)的輸出圖像的像素為白色（255）或黑色（0）?？捎檬?3.1)或式(3.2)表示。其中f(x,y)、g(x,y)分別是處理前和處理后的圖像在(x,y)處像素的灰度值，t為閾值。3.2灰度分割與實踐在圖3.11上滑動水色滑柄或者在后面輸入框內(nèi)直接輸入數(shù)字，可以設(shè)定閾值。通過點擊“改變視圖”，可以查看分割效果，點擊“運行”，圖像窗口顯示分割結(jié)果，點擊“確定”，關(guān)閉窗口。圖3.12閾值30、結(jié)果顏色黑色3.2.1常規(guī)閾值分割在“狀態(tài)窗”上選擇顯示原圖像，在圖像分割窗上設(shè)定閾值為60，結(jié)果顏色為白色，然后點擊“運行”，結(jié)果如圖3.13所示。圖3.12是設(shè)定閾值為30、結(jié)果顏色選擇“黑色”的“運行”結(jié)果圖像。圖3.13閾值60、結(jié)果顏色白色3.2灰度分割與實踐3.2.1常規(guī)閾值分割結(jié)合圖像情況，實際有時需要提取兩個閾值之間的部分，如式(3.3)所示。這種方法稱為雙閾值二值化處理。在“狀態(tài)窗”上選擇顯示原圖像，在圖像分割窗上設(shè)定閾值為80～150，結(jié)果顏色為白色，然后點擊“運行”，結(jié)果如圖3.14所示。圖3.14雙閾值80～150、結(jié)果顏色白色3.2灰度分割與實踐3.2.2模態(tài)法自動分割模態(tài)法（modemethod）是通過計算機程序，自動分析直方圖的分布，查找到兩個峰值之間的凹點，將其作為閾值進行圖像二值化處理的方法。在“狀態(tài)窗”上選擇顯示原圖像。在分割窗口上，“二值化處理”選“自動”，“方法”選“模態(tài)法”，然后點擊“運行”，即可獲得圖3.15所示的模態(tài)法處理結(jié)果。自動計算的閾值是45，直方圖上的水印右端正好處于兩個峰的中間位置。圖3.15模態(tài)法自動分割對于背景單一的圖像，一般在直方圖上有兩個峰值，一個是背景的峰值（圖3.11直方圖右側(cè)高峰），另一個是目標物的峰值（圖3.11直方圖左側(cè)低峰）。對于這種在直方圖上具有明顯雙峰的圖像，把閾值設(shè)在雙峰之間的凹點，即可較好地提取出目標物。如果原圖像的直方圖凹凸不平，很難找到一個合適的凹點，可以采取在直方圖上對鄰域點進行平均化處理。3.2灰度分割與實踐3.2.3P參數(shù)法自動分割P參數(shù)法是當物體占整個圖像的比例已知時（如p%），在直方圖上將暗灰度（或者亮灰度）一側(cè)起的累計像素數(shù)達到總像素數(shù)p%的位置處作為閾值的方法。對于微分圖像（參考第8章）的二值化處理，一般設(shè)定閾值在亮度從高到低的5%處，都能獲得較好的分割效果。在“狀態(tài)窗”上選擇顯示原圖像。點擊菜單：濾波增強——多模版，打開多模版窗口，然后點擊“執(zhí)行”，獲得了圖3.16所示的Prewitt算子微分圖像（參考第8章）。圖3.16Prewitt算子微分圖像在分割窗口上，“二值化處理”選“自動”，“結(jié)果顏色”選“白色”，“方法”選“p參數(shù)法”，設(shè)定P參數(shù)為5。然后點擊“運行”，即可獲得圖3.17所示的P參數(shù)法二值化處理結(jié)果，效果比較理想。圖3.17微分圖像的P參數(shù)法二值化處理結(jié)果3.2灰度分割與實踐3.2.4大津法自動分割

大津法（Otsu）也叫最大類間方差法，是由日本學(xué)者大津于1979年提出的。它是按圖像的灰度特性，將圖像分成背景和目標兩部分。背景和目標之間的類間方差越大，說明構(gòu)成圖像的2部分的差別越大。因此，使類間方差最大的分割意味著錯分概率最小。

經(jīng)數(shù)學(xué)推導(dǎo)，區(qū)域間方差可表示為：被分割的兩區(qū)域間方差達到最大時，被認為是兩區(qū)域的最佳分離狀態(tài)，由此確定最終分割閾值T。3.2灰度分割與實踐3.2.4大津法自動分割在“狀態(tài)窗”上選擇顯示原圖像，在分割窗口上，“二值化處理”選“自動”，“結(jié)果顏色”選“白色”，“方法”選“大津法”。然后點擊“運行”，即可獲得圖3.18所示的大津法二值化處理結(jié)果，計算的閾值是78，與模態(tài)法獲得的結(jié)果相差不多。圖3.18大津法二值化結(jié)果3.2灰度分割與實踐3.2.5應(yīng)用案例——排種器試驗臺圖像拼接與分割為了便于測量分析，在圖像處理前，先將保存的視頻連續(xù)幀拼接成一幅完整的測量圖像。視頻文件的采集方法，參考“2.7.1排種器試驗臺圖像采集與保存”。以穴播為例，圖3.19是從玉米穴播實驗合成圖像中截取的片段灰度圖像（總共10幀），為方便瀏覽，將其逆時針旋轉(zhuǎn)90度，最右側(cè)為起始幀，最左側(cè)為第10幀。圖3.19合成圖像中的片斷一、圖像拼接3.2灰度分割與實踐3.2.5應(yīng)用案例——排種器試驗臺圖像拼接與分割二、籽粒的二值化分割由于籽粒和噪聲在圖像上只占很小的比例，在直方圖上看不出雙峰特性，所以傳統(tǒng)的自動閾值確定方法均不適用。通過研究分析，將灰度平均值的2倍作為分割閾值，無論對那種圖像都獲得了很好的分割效果。這種閾值設(shè)置方法，可以認為是一種判別分析法。圖3.20是采用該方法對圖3.19進行閾值分割的結(jié)果圖像。從圖3.20可以看出，經(jīng)過二值化處理后，可以去除各幀之間的拼接痕跡，但還存在少許背景反光引起的噪聲。圖3.20合成圖像二值化在實際操作中，可以通過設(shè)定處理窗口，僅保留中間排種區(qū)域，并將低于50像素的白色區(qū)域作為噪聲去除。圖3.21為設(shè)定處理區(qū)域和去除噪聲的處理結(jié)果。圖3.21合成圖像處理結(jié)果