1、,1,Sherlock 機(jī)器視覺應(yīng)用軟件,2,Sherlock 是什么？,功能齊全，性能優(yōu)越，配置簡便，多視野的視覺分析軟件,Sherlock是一先進(jìn)的機(jī)器視覺軟件，極易配置操作，適用于各種各樣自動化檢測應(yīng)用。其基于Windows，點(diǎn)擊式，可快速試驗(yàn)及開發(fā)的圖形式環(huán)境平臺提供部署了豐富的經(jīng)實(shí)踐證明的圖像工具和處理功能。,3,通過鼠標(biāo)點(diǎn)擊，即可配置，無需傳統(tǒng)編程 豐富的高性能機(jī)器視覺處理操作和算法 全面的圖形式用戶界面，開發(fā)實(shí)施迅速 接口靈活，允許算子接口定制 OPC兼容接口允許數(shù)據(jù)與其它應(yīng)用分享 廣泛的調(diào)試和幫助支持,Sherlock 是什么？,4,Sherlock 是什么？,多應(yīng)用工具箱：

2、各種面性和線性感興趣區(qū)域 廣泛的預(yù)處理器 先進(jìn)的定位/模式尋找 精確的測量工具 實(shí)用的標(biāo)定，糾正線性/非線性畸變 強(qiáng)大的分析工具：Blob分析，邊緣計數(shù)等。 準(zhǔn)確的彩色對映/分類 可靠的讀碼器，OCR/一維碼/二維碼 方便的腳本編輯工具 易用的算法定制 靈活的I/O接口，PLC和VB前端用戶接口,5,Sherlock界面介紹,主菜單欄,主工具欄,打開和關(guān)閉各種圖形窗口（程序窗口，監(jiān)視窗口等）,控制并執(zhí)行圖像窗口所顯示的內(nèi)容,控制Sherlock應(yīng)用程序的外觀及通訊設(shè)置,控制圖像窗口的版面分布,創(chuàng)建一個新的程序,粘貼/復(fù)制程序模塊,單步/連續(xù)運(yùn)行程序,停止/中斷、調(diào)試程序,控制Sherlock應(yīng)

3、用程序的外觀及通訊設(shè)置,保存或另存當(dāng)前的程序,6,Sherlock界面介紹,添加ROIs檢測區(qū)域,顯示選項(xiàng)設(shè)置對話窗,放大，還原，縮小圖像,開始/停止圖象窗口中的相機(jī)采集圖像，不進(jìn)行處理功能,裝載、保存圖像文件,Sherlock圖像窗口,7,Sherlock界面介紹,當(dāng)你在圖像窗口中進(jìn)行了算法與預(yù)處理的添加、設(shè)置后，與之相關(guān)的詳細(xì)處理過程及各種結(jié)果參數(shù)都將會在程序窗口中顯示出來。,每一個算法的輸入或輸出都會通過程序窗口顯示 出來。在Sherlock中總共有五種類型的變量： Number ( N ), Boolean ( B ), String ( S ) , Point ( P ), Line

4、 ( L ). 每種類型的變量都有相應(yīng)的數(shù)組變量： N 、B 、S 、P 、L ,8,Sherlock界面介紹,程序單元的排列設(shè)置： 當(dāng)你在向程序窗口中添加程序時，由于邏輯上的要求你可能要重新布置各模塊 單元的位置. 你只需通過拖拉的方式便能實(shí)現(xiàn)程序單元位置的調(diào)整。,要將 ROI LineA 移動到 RectA的上方, 首先選中它,然后按住鼠標(biāo)左鍵不放, 拖拉它至 RectA的頂部, 然后釋放鼠標(biāo)左鍵,9,Sherlock界面介紹,通過通用指令你可以控制程序的執(zhí)行。在 Program 圖形工具欄都可以選擇這些指令。,調(diào)用子程序,設(shè)置程序 執(zhí)行的邏 輯判斷條 件,在某一條件下重復(fù)執(zhí)行指令,添加設(shè)

5、置子程序,從某一執(zhí)行語句跳變到程序 任意位置,指令窗口,10,Sherlock界面介紹,變量窗口快捷工具欄： 用于向程序中添加各種類型的變量 以便保存檢測數(shù)據(jù),變量窗口用于在程序運(yùn)行時候，顯示程序中各種類型的輸入/輸出參數(shù)變量值。 參數(shù)變量的值都要隨著程序的運(yùn)行進(jìn)行實(shí)時的更新,變量窗口,11,Sherlock界面介紹,The Monitor 監(jiān)視窗口顯示程序運(yùn)行信息, 例如警告，錯誤， 以及執(zhí)行時間。如要打開監(jiān)視窗口, 選擇主菜單欄 View ViewMonitor。,清除顯示信息,開啟/關(guān)閉信息,保存顯示信息為文檔,設(shè)置顯示信息內(nèi)容,監(jiān)視窗口,12,Sherlock界面介紹,通過 IO:Re

6、porter Print 指令我們可以將程序中的檢測數(shù)據(jù)輸出到報表窗口中以便查看。,當(dāng)你定制需要打印的字符串內(nèi)容時, 需要在變量名兩邊加上個 號，以指明變量值將會被打印到報表窗口中。 你不能夠打印已知讀數(shù)，只能打印變量值。 IO:Reporter Clear指令用于清除報表窗口。,清除報表內(nèi)容,將報表內(nèi)容生成文檔,報表窗口,13,Sherlock主要功能介紹,1. Landmark 位置標(biāo)定 2. Calibration 刻度校準(zhǔn) 3. Search 區(qū)域搜索 4. Color Processing 顏色處理,14,Sherlock位置標(biāo)定介紹,目前一個標(biāo)準(zhǔn)的機(jī)器視覺應(yīng)用都要求能夠分析出一組圖

7、像中相同的特征。但是由于運(yùn)動控制和圖象采集設(shè)備本身, 或者待檢工件自身的因素，致使每幅所拍攝的圖像不可能完全靜止不動。所以當(dāng)物體發(fā)生了偏移或旋轉(zhuǎn)時，在對感興趣區(qū)域進(jìn)行像素統(tǒng)計的時候就不可能得到準(zhǔn)確的分析數(shù)據(jù). 解決這個問題的唯一方法就是為ROI進(jìn)行坐標(biāo)位置的自我標(biāo)定。,15,Sherlock位置標(biāo)定介紹,在圖中我們使用了一個 矩形ROI 結(jié)合配置Barcode 1D 算法，用于測量圖書封面所印刷的條形碼。,16,Sherlock位置標(biāo)定介紹,當(dāng)圖像向右發(fā)生移動時，矩形ROI所檢測的圖像內(nèi)容發(fā)生變化，這時矩形ROI便不能夠正確的識別出圖書封面上的條形碼。,17,Sherlock位置標(biāo)定介紹,在圖

8、書封面條碼商標(biāo)左邊的邊界可以通過一個線形ROI 配置First Edge算法，并將邊緣強(qiáng)度參數(shù)設(shè)置為100來實(shí)現(xiàn)探測。,18,Sherlock位置標(biāo)定介紹,在圖像窗口的 Options 對話窗Alignment頁面下進(jìn)行校正設(shè)置(Alignment scheme)的創(chuàng)建。,點(diǎn)擊 Create alignment 按鈕創(chuàng)建一個 alignment scheme。默認(rèn)情況下, alignment schemes被命名為alignmentA, alignmentB, etc.圖中的 alignment scheme我們更名為 alignLeftEdge.,將通過First Edge 算法探測到的點(diǎn)從

9、Point readings 窗口中拖移到 alignLeftEdge下方；這個便完成了一個標(biāo)定點(diǎn)。,19,Sherlock位置標(biāo)定介紹,校準(zhǔn)設(shè)置完成后，必須把它應(yīng)用到需要標(biāo)定的ROI 上，以便ROI移動到正確的圖像位置實(shí)現(xiàn)像素的分析。 要將校準(zhǔn)設(shè)置應(yīng)用 到ROI, 首先打開 Edit 窗口并點(diǎn)擊屬性 欄。在 Alignment下拉菜單中顯示有程序中所有的校準(zhǔn)設(shè)置點(diǎn)，選擇正確的校準(zhǔn)設(shè)置點(diǎn)。,20,Sherlock位置標(biāo)定介紹,現(xiàn)在如果圖書發(fā)生水平移動, t線形 ROIs 通過First Edge 算法探測到條碼商標(biāo)左邊界點(diǎn)并計算出從原始位置到新位置發(fā)生了多少偏移. 執(zhí)行 Barcode 1D

10、算法的矩形ROI將會根據(jù)標(biāo)定點(diǎn)自動調(diào)整位置。圖中虛線表示出了矩形ROI的原始位置。,21,如果目標(biāo)物體發(fā)生了旋轉(zhuǎn), 要實(shí)現(xiàn)標(biāo)定則需要設(shè)置兩個標(biāo)定 alignment scheme。在商標(biāo)的左下和右上角,各包括了 0 和 90000, 我們用兩個矩形 ROIs培訓(xùn)其圖樣，配置Search Line Based 算法。,Sherlock位置標(biāo)定介紹,22,Sherlock位置標(biāo)定介紹,將兩個算法探測的點(diǎn)作為標(biāo)定點(diǎn)，添加它們到 alignRotate中去。,23,通過為矩形條碼檢測 ROI設(shè)置alignRotate 標(biāo)定點(diǎn)后。如果圖書發(fā)生旋轉(zhuǎn)，條碼檢測ROI也會根據(jù)兩個標(biāo)定點(diǎn)來實(shí)現(xiàn)自我位置的調(diào)整。,

11、Sherlock位置標(biāo)定介紹,24,Sherlock尺寸校準(zhǔn)Calibration,在我們使用機(jī)器視覺進(jìn)行檢測時候，相機(jī)所拍攝 的圖像都是以像素作為單位，如果要獲得實(shí)際的 物理尺寸單位則需要經(jīng)過Calibration 刻度校準(zhǔn)來 實(shí)現(xiàn)像素單位到物理單位的轉(zhuǎn)換。Sherlock7中可 以通過以下兩種方式來實(shí)現(xiàn)。,方法 1: 利用點(diǎn)坐標(biāo) 使用IO公式:Calibration:Calibrate Using Points 方法 2 : 轉(zhuǎn)換測量值 使用IO公式:Calibration:Calibrate Using Transformation Values 我們主要介紹通過第一種方法來實(shí)現(xiàn)單位的轉(zhuǎn)

12、換。,25,以測量 PDA屏幕的寬度為例, 用兩條線形 ROIs 配置 First Edge 算法, 將探測到的兩點(diǎn)坐標(biāo)輸入到幾何算法:PtToPtDist中。測量出的屏幕尺寸寬度如圖所示為 311.58 像素。,Calibration,26,Calibration,定義四個點(diǎn) 在右邊的圖像窗口中，在四個圓上使用四個放射形ROIs配置First Edge算法 作為校準(zhǔn)目標(biāo)。在這幅圖中，相鄰圓心之間水平和垂直的距離都是 1 英尺。,實(shí)現(xiàn)轉(zhuǎn)化第一步：,27,Calibration,將每個放射形 ROI探測到的一組邊緣點(diǎn)作為幾何公式:PtsToBestCircle 的輸入。通過指令計算出相應(yīng)圓環(huán)的中

13、心點(diǎn)坐標(biāo)。,28,Calibration,將通過幾何公式PtsToBestCircle求出的四個圓心坐標(biāo)作為IO:Calibration:Calibrate Using Points公式的輸入數(shù)據(jù)。 左上圓心坐標(biāo)：(0.00, 0.00) 右上圓心坐標(biāo)：(4.00, 0.00) 左下圓心坐標(biāo)：(0.00, 3.00) 右下圓心坐標(biāo)：(4.00. 3.00) 左上圓心到右上圓心相隔四個間距單位，上下圓心相隔三個間距單位。 在實(shí)際應(yīng)用中左上圓心坐標(biāo)或許是 (2.125, 7.500)，則其它的圓心坐標(biāo)就要作到相應(yīng)的調(diào)整。,29,Calibration,創(chuàng)建和設(shè)置校準(zhǔn)對象 可以在任何圖想窗口的 Op

14、tions對話窗Calibration面板上創(chuàng)建一個空的校準(zhǔn)對象。,點(diǎn)擊Add按鈕創(chuàng)建一個空白的校準(zhǔn)對象,30,Calibration,在IO公式 Calibrate Using Points 中, 鼠標(biāo)左鍵雙擊HDL 彈出輸入選擇對話窗。 選擇 (CalibrationA) 作為輸入轉(zhuǎn)換。,31,Calibration,校準(zhǔn)對象的應(yīng)用 打開圖像窗口的 Options 對話窗中的Calibration面板, 在下拉菜單中選擇校準(zhǔn)對象CalibrationA。,32,現(xiàn)在在經(jīng)過校準(zhǔn)的圖象窗口中再來測量屏幕兩點(diǎn)之間的距離, 它們將返回真實(shí)的物理尺寸。這個PDA的屏幕寬度是 2.59英寸。,Cali

15、bration,33,Sherlock區(qū)域搜索算法Search,Sherlock 7中的搜索算法主要有3種，分別是： Search Correlation Search Geometric Search Line,機(jī)器視覺最普通的應(yīng)用便是搜索某一特征區(qū)域, 例如, 檢驗(yàn)?zāi)繕?biāo) (電阻, 螺釘, 商標(biāo), 藥片)是否在正確位置上 或者判斷某特征的位置離預(yù)期位置有多少 距離。 以上三種Search算法都使用相同的用法： 1.首先在一幅圖像中培訓(xùn)特征區(qū)域。 2.制定搜索參數(shù)和搜索區(qū)域。 3.在新的圖像中搜索特征區(qū)域, 如果找到則返回它的坐標(biāo)位置以及匹配分?jǐn)?shù)。,34,Search-Correlation算

16、法,Search Correlation算法是通過一個ROI繪制特征圖像里面所有像素的亮度分布圖， 然后通過灰度值之間的相關(guān)性在搜索區(qū)域內(nèi)找到最佳匹配的圖形。特征圖像內(nèi)部像素亮度變化差異越大，搜索便更為容易。,35,Search-Correlation算法,當(dāng)你在 ROI 的算法選擇列表中選擇了該算法后，特征圖像便會被自動的學(xué)習(xí)。,擴(kuò)大同一個 ROI 的面積以次來定義搜索區(qū)域。,當(dāng)執(zhí)行搜索時, 尋找到的特征位置以及匹配分?jǐn)?shù)都會被反饋出來，見下圖所示：,36,Search-Correlation算法,這是一幅與特征圖像相比有缺陷的圖像，所以搜索分析后得出的分?jǐn)?shù)明顯低于標(biāo)準(zhǔn)值。,37,Search

17、-Correlation算法,當(dāng)搜索圖像焦距模糊或亮度發(fā)生變化時，該算法仍能穩(wěn)定工作。（盡管在穩(wěn)定的環(huán)境中, 不會發(fā)生大幅度的變化）,38,Search-Geometric算法,The Search Geometric算法學(xué)習(xí)ROI內(nèi)部明顯的邊緣， 然后在搜索區(qū)域內(nèi)找到與之最匹配的圖像。,ROI內(nèi)最為明顯的邊緣被識別和培訓(xùn)。并以這些邊緣作為特征，非邊緣的像素不與理采。,39,Search-Geometric算法,你可以通過修改參數(shù)對話窗中的數(shù)據(jù)來控制算法公式的執(zhí)行。這里我們將默認(rèn)的最小 contour length從20修改為100后，特征圖像將會被重新培訓(xùn) (execution mode =

18、 train). 輪廓低于20的像素部分將會被去除。,40,Search-Geometric算法,擴(kuò)大同一個 ROI的面積以次來定義搜索區(qū)域。 當(dāng)執(zhí)行搜索時, 尋找到的特征位置以及匹配分?jǐn)?shù)都會被反饋出來。,41,Search Geometric 算法能夠查找到發(fā)生任何角度旋轉(zhuǎn)的特征。旋轉(zhuǎn)偏移了多少角度將以弧度的值反饋出來。,Search-Geometric算法,Search Geometric算法可以在搜索區(qū)域中尋找到多個相似的特征圖樣，并且反饋數(shù)組中將包含從最佳到最差匹配圖樣的坐標(biāo)位置及匹配分?jǐn)?shù)。,42,Search-Line算法,Search Line 算法學(xué)習(xí) ROI 內(nèi)明顯變化的邊緣輪廓, 然后尋找搜索區(qū)域內(nèi)與特征最為匹配的圖樣。,43,Search-Line算法,Search Line算法能夠查找到發(fā)生任何角度旋轉(zhuǎn)的特征。旋轉(zhuǎn)偏移了多少角度將以弧度的讀數(shù)反饋出來。,Search Line算法只找出一個與培訓(xùn)特征最為匹配的圖樣。,44,Sherlock色彩處理功能介紹,目前市面上大多數(shù)的機(jī)器視覺技術(shù)都不涉及到彩色的處理。 然而IPD新一代的機(jī)器視覺軟件Sherlock 7 率先具備了這一功能。 Sherlock 7中新增的色