機(jī)器視覺(jué)三維測(cè)量技術(shù)第1頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月大綱機(jī)器視覺(jué)的概念攝像機(jī)模型三維視覺(jué)傳感器的類型多視覺(jué)傳感器測(cè)量系統(tǒng)的組成攝像機(jī)與視覺(jué)傳感器的標(biāo)定測(cè)量系統(tǒng)的全局標(biāo)定應(yīng)用舉例第2頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月機(jī)器視覺(jué)技術(shù)的概念測(cè)量檢測(cè)識(shí)別

引導(dǎo)光源傳感器光學(xué)鏡組傳感單元信號(hào)處理單元控制單元

采用光學(xué)成像技術(shù)（通常使用攝像機(jī)）獲取被測(cè)目標(biāo)的圖像，再經(jīng)過(guò)快速圖像處理與圖形識(shí)別算法，從攝取圖像中獲取目標(biāo)的尺寸、位置、方向、光譜特征、結(jié)構(gòu)以及缺陷等信息，從而可以執(zhí)行產(chǎn)品檢驗(yàn)、分類與分組，裝配線上的機(jī)械手運(yùn)動(dòng)引導(dǎo)、零部件的識(shí)別與定位，生產(chǎn)過(guò)程中質(zhì)量監(jiān)控與過(guò)程控制反饋等等任務(wù)。第3頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月應(yīng)用領(lǐng)域舉例

IC及一般電子業(yè)：PCB、BGA、LCD屏幕、被動(dòng)組件形狀腳位及定位、生產(chǎn)插件、晶元(Wafer)鏡面研磨、生產(chǎn)組裝、被動(dòng)組件辨識(shí)

MEMS組件：微小器件的尺寸、形貌、表面缺陷的檢測(cè)，組件動(dòng)態(tài)特性的測(cè)量等。

機(jī)械工具/自動(dòng)化機(jī)械：零件尺寸、外形、瑕疵檢測(cè)、零件分類比對(duì)、裝配定位、加工定位、熔焊檢測(cè)

電機(jī)工業(yè)：控制器紅外線熱像儀檢測(cè)、電線瑕疵、裂縫檢測(cè)、纜線配置檢測(cè)

金屬鋼鐵業(yè)：鋼板尺寸檢測(cè)、表面瑕疵檢測(cè)、鑄件瑕疵檢測(cè)、材料金像檢測(cè)

橡膠/塑料制品：保特瓶口尺寸檢測(cè)、制品顏色分類檢測(cè)

食品加工/包裝業(yè)：瓶?jī)?nèi)液位高度、異物或灰塵檢測(cè)、包裝印刷辨識(shí)、打印字形及零件編號(hào)檢測(cè)與識(shí)別

紡織皮革工業(yè)：表面針織紋路檢測(cè)、色差檢測(cè)、皮革表面特性檢測(cè)

汽車工業(yè)：陶軸裁切定位、零件涂黃油檢測(cè)、白車身檢驗(yàn)

家電/辦公：產(chǎn)品外殼印刷檢測(cè)、1維/2維條形碼辨識(shí)

保全/監(jiān)視系統(tǒng)：人像特征辨識(shí)、指紋辨識(shí)等第4頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月機(jī)器視覺(jué)在精密測(cè)量中的應(yīng)用照明光源圖像傳感器成像內(nèi)部三維表面表面輪廓粗糙度缺陷紋理內(nèi)部結(jié)構(gòu)應(yīng)力變形缺陷被測(cè)場(chǎng)景方位三維形貌尺寸坐標(biāo)第5頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月二、攝像機(jī)的建模影射幾何與坐標(biāo)變換攝像機(jī)建模鏡頭畸變攝像機(jī)內(nèi)部參數(shù)的修正攝像機(jī)的精確模型攝像機(jī)的簡(jiǎn)化模型第6頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月歐式幾何與影射幾何的概念不變量:Distanceandangle不變量:Crossratio第7頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月齊次矩陣第8頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月坐標(biāo)變換第9頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月眼睛的光學(xué)模型像平面物體透鏡Imageplaneobjectlens第10頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月攝像機(jī)的光學(xué)投影變換ImageplaneobjectlensImageplaneFocusplane第11頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月攝像機(jī)的光學(xué)投影變換（續(xù)）ImageplaneImageplaneFocusplane第12頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月像平面與幀存體的對(duì)應(yīng)關(guān)系ImageplaneComputerframe第13頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月幀存體與攝像機(jī)坐標(biāo)的關(guān)系ImageplaneComputerframe第14頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月2.4攝像機(jī)建模ImageplaneComputerframe第15頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月攝像機(jī)建模（續(xù)）未知參數(shù)：(1)Intrinsicparameters:(2)ExtrinsicparametersOrientation:Translation:9,independent33第16頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月鏡頭畸變的概念I(lǐng)mageplaneRadialdistortionTangentialdistortionDecenteringdistortionThinprismdistortion第17頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月徑向畸變第18頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月偏心畸變偏心畸變既含有徑向畸變又有切向畸變最大切向畸變與x軸的夾角,設(shè)在直角坐標(biāo)系下第19頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月薄棱鏡畸變薄棱鏡畸變是由鏡頭與攝像機(jī)面有小的傾角造成的最大切向畸變與x軸的夾角,設(shè)第20頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月鏡頭總畸變?nèi)艨紤]分項(xiàng)的前兩項(xiàng)化簡(jiǎn)第21頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月攝像機(jī)內(nèi)部參數(shù)的修正Intrinsicparameters第22頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月攝像機(jī)的精確模型計(jì)算機(jī)屏幕Imageplane第23頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月攝像機(jī)的精確模型（續(xù)）計(jì)算機(jī)屏幕一般情況下，取徑向與切向畸變的的第一項(xiàng)就可以達(dá)到滿意的效果Imageplane第24頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月6攝像機(jī)的簡(jiǎn)化模型像平面計(jì)算機(jī)屏幕第25頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月三、視覺(jué)傳感器的類型主動(dòng)與被動(dòng)單目與雙目點(diǎn)、線、面結(jié)構(gòu)光編碼結(jié)構(gòu)光第26頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月三角法測(cè)量原理激光器鏡頭CCD鏡頭CCD激光器鏡頭鏡頭第27頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月視覺(jué)傳感器的坐標(biāo)系統(tǒng)zwxwywTyTxTzxw0yw0xsyszsosPointωφκOXYOzxyLaserImageplaneOriginSensorcoordinatesystem(SCS)GlobalCoordinatesystem(GCS)Cameracoordinatesystem(CCS)第28頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月單一攝像機(jī)二維傳感器ImageplaneMeasuredplane(CCS)SCS第29頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月點(diǎn)結(jié)構(gòu)光視覺(jué)傳感器CCSSCSLaser第30頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月線結(jié)構(gòu)光視覺(jué)傳感器LaserLightplaneImageplaneCCSSCS第31頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月條紋結(jié)構(gòu)光視覺(jué)傳感器Thek-thlightstripeplaneImageplaneProjectorpattern第32頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月ImageplaneCCSSCS00110010011001Projector條紋編碼三維視覺(jué)傳感器第33頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月彩色編碼視覺(jué)傳感器projectorcameraCCSSCSobject第34頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月被動(dòng)雙目視覺(jué)傳感器lampcamera2CCS2(CCS1)SCSobjectcamera1第35頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月編碼照明雙目視覺(jué)傳感器projectorcamera2CCS2(CCS1)SCSobjectcamera1第36頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月多視覺(jué)傳感器測(cè)量系統(tǒng)的組成第37頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月CAN總線網(wǎng)絡(luò)控制視覺(jué)測(cè)量系統(tǒng)圖像采集卡計(jì)算機(jī)多路視頻切換開(kāi)關(guān)CAN接口卡CAN網(wǎng)絡(luò)控制總線傳感器控制單元傳感器視頻信號(hào)數(shù)據(jù)總線第38頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月1394總線并行圖像處理系統(tǒng)傳感器控制單元傳感器計(jì)算機(jī)接口卡數(shù)據(jù)與控制總線

第39頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月基于工控PC機(jī)的多計(jì)算機(jī)分布式并行圖像處理架構(gòu)PC控制器運(yùn)動(dòng)驅(qū)動(dòng)機(jī)構(gòu)可編程光源可編程光源多PC并行處理器HUB生產(chǎn)與管理系統(tǒng)主機(jī)辦公電腦遠(yuǎn)端大型資料庫(kù)視覺(jué)系統(tǒng)主控計(jì)算機(jī)PC三軸控制器攝像機(jī)第40頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月常用總線的比較RS232小于15m傳輸速率25kb/sRS485最大傳輸速度10Mb/sCAN小于40m傳輸速率1Mb/sUSB最高速率480Mb/s，可掛接127個(gè)外設(shè)CameraLink最高4.8Gbps，最遠(yuǎn)可傳輸10米。Gigabitethernet帶寬可達(dá)到1000Mbps，最遠(yuǎn)可傳輸100米。

Firewire，最遠(yuǎn)可傳輸100米，帶寬3.2G第41頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月雙總線架構(gòu)總線接口PC多路視頻切換器視覺(jué)傳感器1視覺(jué)傳感器N視覺(jué)傳感器2控制總線…………視頻圖像圖像采集處理平臺(tái)數(shù)據(jù)總線第42頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月單總線架構(gòu)計(jì)算機(jī)總線接口視覺(jué)傳感器1總線 視覺(jué)傳感器2視覺(jué)傳感器N

傳感器控制、圖像采集與并行處理模塊

傳感器控制、圖像采集與并行處理模塊

傳感器控制、圖像采集與并行處理模塊第43頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月攝像機(jī)內(nèi)部參數(shù)的標(biāo)定第44頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月1攝像機(jī)攝標(biāo)定靶標(biāo)第45頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月標(biāo)定靶標(biāo)的控制點(diǎn)類型標(biāo)定靶標(biāo)的控制點(diǎn)類型幾何中心與投影中心的偏移第46頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月2直接線性變換法(DLT)1用一個(gè)齊次矩陣建立場(chǎng)景與控制點(diǎn)的對(duì)應(yīng)關(guān)系2從上式中解出DLT矩陣參數(shù)第47頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月直接線性變換法(DLT)在最小二乘意義下可求出參數(shù)，為了避免解很小的，必須使用合適的正則化方法，一種方法是令然后用偽逆法求解，但當(dāng)，這種正則化可能產(chǎn)生奇異性，為了克服這個(gè)缺點(diǎn)，可以令3矩陣參數(shù)分解：RQ方法矩陣M和T分別表示靶標(biāo)世界坐標(biāo)系相對(duì)于攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)矢量與平移矢量（b1b2)為仿射失真系數(shù)第48頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月3RAC兩步法徑向準(zhǔn)直約束：1）徑向畸變不影響矢量的方向2）有效焦距不影響矢量的方向3）光軸沿Z軸平移不影響矢量的方向該方法第一步采用最小二乘方法求解超定方程組求出外部參數(shù)，第二步求解內(nèi)部參數(shù)第49頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月

計(jì)算：（1）（2）（3）令把（2）代入（1）第50頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月傳感器坐標(biāo)系與攝像機(jī)外部參數(shù)的標(biāo)定LaserLightplaneImageplaneCCSSCS第51頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月

測(cè)量系統(tǒng)的全局標(biāo)定第52頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月Target1標(biāo)定的基本原理TCSTheodolitesGCSMeasuredobjectSCSVisualsensor第53頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月Target標(biāo)定的基本原理TCSLaserTrackerGCSMeasuredobjectSCSVisualsensor第54頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月經(jīng)緯儀的標(biāo)定abRulerTCSABSensor2Sensor1Sensor4Sensor3Sensor6Sensor5SCS(WCS)targetlightplaneGCS第55頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月直接變換標(biāo)定法

SCSGCSPtheodolitestargetSCSCSCLaserCamera第56頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月間接變換標(biāo)定法SCSCCSLaserCameraCCS=>SCSGCSTheodolitesTargetWCSCamera第57頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月應(yīng)用舉例第58頁(yè)，課件共60頁(yè)，創(chuàng)作于2023年2月鋼管直線度視覺(jué)在線檢測(cè)技術(shù)MoveleftorrightPositioningswitchGuidanceOptoelectronicdetectorFluiddrive