機器視覺陳兵旗陳思瑤王僑第1章緒論01第2章圖像數(shù)據(jù)及存儲與采集02第3章像素分布與圖像分割03第4章顏色空間及測量與變換04第5章幾何變換及單目測量05第6章傅里葉變換06第7章小波變換07第8章濾波增強08第9章二值運算與參數(shù)測量09第10章雙目視覺測量10第11章二維三維運動圖像測量實踐11第12章模式識別12第13章神經(jīng)網(wǎng)絡(luò)13第14章深度學習14目錄第1章緒論思維導圖點擊添加文本1.1機器視覺的基礎(chǔ)知識1.1.1發(fā)展與展望一、機器視覺的作用提起“視覺”，自然就聯(lián)想到了“人眼”，機器視覺通俗來講就是“機器眼”。同理，由人眼在人身上的作用，很容易聯(lián)想到機器視覺在機器上的作用。不過，雖然兩者功能大同小異，但是也存在一些本質(zhì)的差別。二者的相同點在于都是主體（人或者機器）獲得外界信息的“器官”，不同點在于獲得信息的途徑和處理信息的能力不同。對于人眼，一眼望去，人可以馬上知道所看到的東西種類、數(shù)量、顏色、形狀、距離等，八九不離十地都呈現(xiàn)在人的腦海里。基于人從小到大長期積累的知識經(jīng)驗，能夠不假思索地說出所看到東西的大致信息，這是人眼結(jié)合人腦的優(yōu)勢。但是，請注意前面所說的人眼看到的只是“大致”信息，而非準確信息。例如，我們一眼就能看出自己視野里有幾個人，甚至知道有幾個男人、幾個女人以及他們的胖瘦和穿著打扮等，包括目標（人）以外的環(huán)境都很清楚，但是我們無法準確說出他們的身高、腰圍、與自己的距離等具體數(shù)據(jù)，最多只能說“大概是XX吧”，這又是人眼的劣勢。再比如，讓工人到工廠的生產(chǎn)線上去挑選有缺陷的零件，即使在很慢速的生產(chǎn)線上，干一會兒也會出現(xiàn)視覺疲勞，不僅辛苦，而且還可能會出現(xiàn)檢查錯誤的情況，工人難免不發(fā)牢騷：“這哪里是人干的事”，對于那些快速生產(chǎn)線就更不適合人干了。的確，這些確實不是人眼能干的事，而是機器視覺該干的事。對于機器視覺而言，上述的工廠在線檢測就是其強項，不僅能夠檢測產(chǎn)品的缺陷，還能精確地檢測出產(chǎn)品的尺寸大小等外觀特征，只要相機解像度足夠，精度便可達到0.001mm甚至更高。人一眼可判斷出視野中的全部物品，機器視覺則缺乏足夠的經(jīng)驗，很難具備這樣的能力。機器視覺并非如同人眼一般會自動存儲曾經(jīng)“看到過”的事物，如果沒有給它輸入相關(guān)的分析判斷程序，它就是個“睜眼瞎”，雖然能夠看到事物，但是依然什么都不知道。當然，它也可以像人那樣，通過輸入學習程序不斷學習，但是也仍然很難像人一樣，什么都懂，至少目前還未達到這個水平?？傊瑱C器視覺是機器的眼睛，可以通過程序?qū)崿F(xiàn)對目標物體的分析判斷，可以檢測目標的缺陷，可以測量目標的尺寸、大小和顏色等外觀特征，可以為機器的特定動作提供特定的精確信息。點擊添加文本ClickAddtext1.1機器視覺的基礎(chǔ)知識1.1.1發(fā)展與展望二、機器視覺的應(yīng)用領(lǐng)域表1.1機器視覺的應(yīng)用領(lǐng)域及應(yīng)用事例應(yīng)用領(lǐng)域應(yīng)用事例醫(yī)學基于X射線圖像、超聲波圖像、顯微鏡圖像、核磁共振（MRI）圖像、CT圖像、紅外圖像、人體器官三維圖像等的病情診斷和治療，病人監(jiān)測與看護等遙感利用衛(wèi)星圖像進行地球資源調(diào)查、地形測量、地圖繪制、天氣預報，以及農(nóng)業(yè)、漁業(yè)、環(huán)境污染調(diào)查、城市規(guī)劃等宇宙探測海量宇宙圖像的壓縮、傳輸、恢復與處理等軍事運動目標跟蹤，精確定位與制導，警戒系統(tǒng)，自動火控，反偽裝，無人機偵查等公安、交通監(jiān)控，人臉識別，指紋識別，車流量監(jiān)測，車輛違規(guī)判斷及車牌照識別，車輛尺寸檢測，汽車自動導航等工業(yè)電路板檢測，計算機輔助設(shè)計（CAD），計算機輔助制造（ComputerAidedManufacturing,CAM），產(chǎn)品質(zhì)量在線檢測，裝配機器人視覺檢測，搬運機器人視覺導航，生產(chǎn)過程視覺檢測控制等農(nóng)業(yè)、林業(yè)、生物果蔬采摘，果蔬分級，農(nóng)田導航，作物生長監(jiān)測及3D建模，病蟲害檢測，森林火災(zāi)檢測，微生物檢測，動物行為分析等郵電、通信、網(wǎng)絡(luò)郵件自動分揀，圖像數(shù)據(jù)的壓縮、傳輸與恢復，電視電話，視頻聊天，手機圖像的無線網(wǎng)絡(luò)傳輸與分析等體育人體動作測量，球類軌跡跟蹤測量等影視、娛樂3D電影，虛擬現(xiàn)實，廣告設(shè)計，電影特技設(shè)計，網(wǎng)絡(luò)游戲等辦公文字識別，文本掃描輸入，手寫輸入，指紋密碼等服務(wù)看護機器人，清潔機器人等點擊添加文本ClickAddtext1.1機器視覺的基礎(chǔ)知識1.1.1發(fā)展與展望三、機器視覺的發(fā)展前景1、2023年ChatGPT的橫空出世，使人們對人工智能有了新的認識，被認為是一場前所未有的工業(yè)革命。2、2021年12月，工信部等15部門發(fā)布了《“十四五”機器人產(chǎn)業(yè)發(fā)展規(guī)劃》。提出到2035年，我國機器人產(chǎn)業(yè)綜合實力達到國際領(lǐng)先水平，機器人成為經(jīng)濟發(fā)展、人民生活、社會治理的重要組成。3、2018年，教育部推出了“新工科、新醫(yī)科、新農(nóng)科和新文科”的“四新”建設(shè)計劃。響應(yīng)該計劃，近年農(nóng)業(yè)院校陸續(xù)開設(shè)了“農(nóng)業(yè)智能裝備工程”專業(yè)。其他院校也增設(shè)了相關(guān)領(lǐng)域的智能專業(yè)。4、國際資訊公司預測，預計到2025年全球機器視覺市場規(guī)模將突破130億美元，2026年將接近140億美元。據(jù)國內(nèi)新產(chǎn)業(yè)智庫GGII預測，我國機器視覺產(chǎn)業(yè)未來三年，復合增速接近24％，預計到2026年我國機器視覺市場規(guī)模將突破300億元。5、目前，國際機器視覺高端品牌市場主要被美、德、日占據(jù)。我國機器視覺起步較晚，但由于我國下游行業(yè)應(yīng)用較為廣泛，發(fā)展較為迅速。目前，我國各種類型的機器視覺企業(yè)已超過4000家。1.1.2機器視覺的硬件構(gòu)成圖1.1簡易機器視覺系統(tǒng)一、計算機1.中央處理器2.硬盤3.內(nèi)存4.顯示器1.1.2機器視覺的硬件構(gòu)成圖1.2計算機核心部件二、圖像采集設(shè)備1.攝像裝置2.鏡頭1.1.2機器視覺的硬件構(gòu)成圖1.4鏡頭圖1.3攝像裝置二、圖像采集設(shè)備3.圖像輸入接口4.光源圖1.6光源圖1.5圖像輸入接口1.1.2機器視覺的硬件構(gòu)成1.1.3機器視覺的算法軟件本教材配套專業(yè)版軟件：通用圖像處理系統(tǒng)ImageSys，二維三維運動圖像測量系統(tǒng)在VS2010（VisualC++）上開發(fā)完成，使用方便，功能強大。

計算機的軟件開發(fā)工具包括C、C++、VisualC++、C#、Python、Java、BASIC、FORTRAN等等1.1.4機器視覺、機器人和智能裝備圖1.7不同形式的機器人

智能機床工業(yè)機器人農(nóng)田機器人人形機器人探測機器人1.判斷功能2.精密測量1.1.5

機器視覺的功能與精度圖1.8有缺陷的圖像圖1.9精密測量圖1.10標定圖1.1.5

機器視覺的功能與精度3.攝像測量4.運動測量(a)單目(b)雙目圖1.11攝像測量點擊添加文本ClickAddtext1.2深度學習基礎(chǔ)知識1.2.1發(fā)展歷程2012年6月，《紐約時報》披露了GoogleBrain項目，訓練一種稱為“深度神經(jīng)網(wǎng)絡(luò)”（DeepNeuralNetworks，DNN）的機器學習模型，在語音識別和圖像識別等領(lǐng)域獲得了巨大的成功。2012年11月，微軟在中國天津的一次活動上公開演示了一個全自動的同聲傳譯系統(tǒng)，講演者用英文演講，后臺的計算機利用深度學習（DeepLearning，DL）一氣呵成自動完成語音識別、英中機器翻譯和中文語音合成，效果非常流暢。2013年1月，在百度年會上，創(chuàng)始人兼CEO李彥宏高調(diào)宣布要成立百度研究院，其中第一個成立的就是“深度學習研究所”（InstitueofDeepLearning，IDL）。機器學習（MachineLearning）是一門專門研究計算機怎樣模擬或?qū)崿F(xiàn)人類的學習行為，以獲取新的知識或技能，并重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能的學科。DL是ML發(fā)展的高級階段。點擊添加文本ClickAddtext1.2深度學習基礎(chǔ)知識1.2.2基本原理假設(shè)有一個系統(tǒng)S，它有n層（S1,…Sn）總輸入是I，總輸出是O

表示為：I=>S1=>S2=>…..=>Sn=>O深度學習的思想：

設(shè)計多個層，每一層的輸出都是下一層的輸入，通過這種方式，實現(xiàn)對輸入信息的分級表達。ClickAddtext1.3實踐用專業(yè)軟件介紹與基本設(shè)定1.3.1通用圖像處理系統(tǒng)ImageSys一、系統(tǒng)簡介

ImageSys是一部大型圖像處理系統(tǒng)。主要功能包括圖像/多媒體文件處理、圖像/視頻捕捉、圖像濾波、圖像變換、圖像分割、特征測量與統(tǒng)計、開發(fā)平臺等?？商幚聿噬⒒叶?、靜態(tài)和動態(tài)圖像。ImageSys提供了二次開發(fā)平臺，附帶包含400多條圖像處理函數(shù)的函數(shù)庫。本教材的應(yīng)用案例算法都是在此平臺上開發(fā)完成。

ImageSys包含了本教材前9章內(nèi)容，為了配合實踐教學，本節(jié)介紹一下軟件的基本設(shè)定和操作。課程實驗軟件界面1.3.1通用圖像處理系統(tǒng)ImageSys一、系統(tǒng)簡介1.3.1通用圖像處理系統(tǒng)ImageSys二、“狀態(tài)窗”功能說明狀態(tài)窗用于顯示模式、幀模式以及處理區(qū)域的設(shè)定。

顯示模式

用于設(shè)定：灰度、為彩色、彩色、R分量、G分量、B分量的切換顯示。2.幀模式

用于設(shè)定：當前的顯示幀、起始幀和結(jié)束幀的連續(xù)循環(huán)顯示、處理結(jié)果顯示在當前幀或下一幀。3.處理區(qū)域

用于設(shè)定和顯示：處理區(qū)域的起點和終點坐標。一般用鼠標設(shè)定處理區(qū)域。1.3.1通用圖像處理系統(tǒng)ImageSys三、系統(tǒng)基本設(shè)定ImageSys的默認系統(tǒng)幀設(shè)置為：圖面大小為寬640像素、高480像素，圖像幀數(shù)為灰度圖像12幀、彩色圖像4幀。默認界面語言為漢語，可以進行英語界面設(shè)置。

在讀入圖像時，如果讀入圖像的大小與系統(tǒng)幀設(shè)置不同時，會自動彈出提示窗口，如圖1.13(b)所示，點擊“確認”后，自動重新啟動，完成設(shè)置，然后重新讀入圖像。(a)初期設(shè)定(b)讀入圖像設(shè)定圖1.13系統(tǒng)幀設(shè)置1.3.2 二維三維運動圖像測量分析系統(tǒng)一、二維運動圖像測量分析系統(tǒng)MIAS1、測量數(shù)據(jù)位置、距離、速度、加速度、角度、角速度、角加速度、兩點間的距離、兩線間夾角(三點間角度)、角變量、位移量、相對坐標位置等。2、應(yīng)用領(lǐng)域人體動作的解析；物體運動解析；動物、昆蟲、微生物等的行為解析；應(yīng)力變形量的解析；浮游物體的震動、沖擊解析；下落物體的速度解析；機器人視覺反饋等。3、二次開發(fā)功能提供有二次開發(fā)平臺，帶有一個400多條圖像處理函數(shù)庫。本教材二維運動圖像檢測應(yīng)用案例都是在此平臺上開發(fā)完成。二、三維運動圖像測量分析系統(tǒng)MIAS3D1、簡介MIAS3D系統(tǒng)是一套集多通道同步圖像采集、二維運動圖像測量、三維數(shù)據(jù)重建、數(shù)據(jù)管理、三維軌跡聯(lián)動表示等多種功能于一體的軟件系統(tǒng)。2、測量數(shù)據(jù)

測量的二