1、基于圖像處理的應(yīng)用1. 自動(dòng)調(diào)焦理論與方法 2. 單幀圖像清晰質(zhì)量判定3. 目標(biāo)跟蹤技術(shù)自動(dòng)調(diào)焦理論與方法11) 常用自動(dòng)調(diào)焦方法2) 基于圖像處理的自動(dòng)調(diào)焦3) 調(diào)焦評(píng)價(jià)函數(shù)4) 調(diào)焦搜索策略機(jī)器視覺系統(tǒng)工業(yè)相機(jī)光源照明 控制系統(tǒng)圖像處理軟件編程自動(dòng)調(diào)焦方法1.1成像公式：光學(xué)成像模型 自動(dòng)調(diào)焦方法PSD測(cè)距： 1.1PSD測(cè)距公式： 基于圖像處理的自動(dòng)調(diào)焦1.2鏡頭系統(tǒng)點(diǎn)擴(kuò)散函數(shù)PSF 自動(dòng)調(diào)焦三個(gè)核心問題1.2要解決三個(gè)核心問題1、清晰度評(píng)價(jià)函數(shù)的選擇3、鏡頭移動(dòng)搜索策略2、調(diào)焦窗口的選擇1.3清晰度評(píng)價(jià)函數(shù)常用方法梯度評(píng)價(jià)函數(shù) 頻率評(píng)價(jià)函數(shù) 統(tǒng)計(jì)學(xué)函數(shù) 熵評(píng)價(jià)函數(shù) 測(cè)試序列圖像 序列1

2、 序列2 序列3 1.3梯度評(píng)價(jià)函數(shù)（1）圖像梯度和函數(shù) 1.3梯度評(píng)價(jià)函數(shù)(3)Roberts 梯度和函數(shù)： 1.3梯度評(píng)價(jià)函數(shù)根據(jù)情況可以取不同的模板：0-10-14-10-10評(píng)價(jià)函數(shù)： (4)拉普拉斯函數(shù)： 對(duì)圖像進(jìn)行二階微分運(yùn)算1.3制約的因素在不能改變目標(biāo)本身移動(dòng)量條件下，通過提高幀頻，縮短前后幀的間隔時(shí)間，使前后幀取樣圖像的盡可能相似。再有通過擴(kuò)大兩幀間的離焦量，使得評(píng)價(jià)值克服的變化量的影響。既要采樣速度快，又要兩幀間有一定的離焦量，這是一個(gè)相互制約的因素 1.3圖像穩(wěn)定性判斷 幀間變化率：設(shè)一個(gè)閾值T，前后幀灰度差在閾值內(nèi)的像素為相似點(diǎn)統(tǒng)計(jì)： 事先設(shè)定閾值當(dāng)序列圖像的相似度在閾

3、值內(nèi)，認(rèn)為圖像穩(wěn)定，可以進(jìn)行自動(dòng)調(diào)焦。相關(guān)性：1.3基于排序梯度和評(píng)價(jià)函數(shù) 把評(píng)價(jià)的焦點(diǎn)定位在梯度大的邊緣上，忽略小梯度的值1.3對(duì)大于某一閾值的梯度按大小順序，取排在前n位的梯度和做為調(diào)焦評(píng)價(jià)函數(shù)，1、梯度的值2、大梯度的數(shù)量排序梯度和函數(shù)實(shí)驗(yàn)結(jié)果1.3 評(píng)價(jià)曲線的平滑性優(yōu)于前面介紹的評(píng)價(jià)函數(shù)?；谂判蛱荻群驮u(píng)價(jià)函數(shù)在沒有進(jìn)行非線性平方運(yùn)算的前提下，既保持了良好的陡峭尖銳性，也避免放大脈沖噪聲帶來對(duì)評(píng)價(jià)曲線的影響 基于閾值梯度數(shù)比較函數(shù) 前提：對(duì)不同清晰程度的圖像，大于某一閾值的梯度數(shù)量與清晰度成正比。1.3為進(jìn)一步減少噪聲的影響，提出一種基于閾值梯度數(shù)方向幀評(píng)價(jià)函數(shù)的方法。以前后幀大于某一

4、閾值的梯度數(shù)量來比較清晰度從梯度數(shù)量而不是值的大小的角度來評(píng)價(jià)。基于閾值梯度數(shù)函數(shù)1.3基于閾值梯度數(shù)函數(shù)1.3閾值閾值梯度k-1幀k幀k+1幀基于閾值梯度數(shù)函數(shù)評(píng)價(jià)函數(shù)有著良好的抗干擾性能 1.3試驗(yàn)結(jié)果與分析(a)梯度平方和函數(shù) (b)排序梯度和函數(shù) (c)基于閾值梯度數(shù)函數(shù)梯度平方和函數(shù)，目標(biāo)的面積減小，參加計(jì)算的梯度數(shù)相應(yīng)減小，使得盡管清晰程度接近，但評(píng)價(jià)值卻出現(xiàn)了大幅下降，失去了調(diào)焦評(píng)價(jià)的作用。對(duì)于排序梯度和函數(shù)與閾值梯度數(shù)函數(shù)來說，表現(xiàn)明顯優(yōu)于梯度平方函數(shù)，盡管目標(biāo)變化較大，但評(píng)價(jià)值基本保持穩(wěn)定，波動(dòng)的范圍很小。評(píng)價(jià)值與圖像的清晰程度保持了很好的對(duì)應(yīng)關(guān)系，受目標(biāo)大小變化的影響有限。

5、1.3抗干擾性能實(shí)驗(yàn) （二）一組目標(biāo)大小變化，同時(shí)清晰程度也變化的圖像，序列開始和結(jié)尾屬于目標(biāo)大，但是離焦量也大，模糊程度高，在序列中間，目標(biāo)變小，離焦量也變小，清晰度相對(duì)高。 清晰度與目標(biāo)大小均變化序列 1.3試驗(yàn)結(jié)果與分析梯度平方和函數(shù)受到了明顯的干擾，在序列的中間段找不到最清晰的位置，這是由于目標(biāo)大小變化，導(dǎo)致前后幀的梯度數(shù)量波動(dòng)引起的。對(duì)于排序梯度和函數(shù)與閾值梯度數(shù)函數(shù)表現(xiàn)相當(dāng)穩(wěn)定，有良好的可靠性，準(zhǔn)確性、平滑性，在目標(biāo)有變化情況下，也仍然符合調(diào)焦評(píng)價(jià)函數(shù)的要求。1.3調(diào)焦搜索策略 調(diào)焦系統(tǒng)的搜索策略就是準(zhǔn)確快速的找到評(píng)價(jià)函數(shù)的峰值位置，搜索的方向就是相前或向后，屬于求解一維函數(shù)極大值

6、的問題 1.4爬山法（MCS） 斐波那契(Fibonacci)法 曲線擬合爬山法1.4判斷前一步圖像和當(dāng)前圖像清晰度評(píng)價(jià)函數(shù)值的大小，決定下一步的方向 調(diào)焦搜索策略搜索的步數(shù)要少，速度優(yōu)先于精度 1.4搜索不能大范圍往復(fù)移動(dòng) 步距的選擇要體現(xiàn)兩幅圖像評(píng)價(jià)值的區(qū)分度，也要克服目標(biāo)變化量帶給評(píng)價(jià)曲線的影響 改進(jìn)搜索策略1.4(1) 方向搜索第一類： 第二類： 第三類： 第四類： 改進(jìn)搜索策略1.4（2）位置搜索用當(dāng)前的評(píng)價(jià)值與前面兩步評(píng)價(jià)值的均值比較，防止評(píng)價(jià)曲線上某個(gè)點(diǎn)出現(xiàn)異常波動(dòng)引起判斷失誤 由于動(dòng)目標(biāo)的特點(diǎn)和齒輪間隙的影響。測(cè)量電視的調(diào)焦難以達(dá)到很精確的準(zhǔn)焦位置。在準(zhǔn)焦位置附近反復(fù)搜索的方式

7、不能保證找到準(zhǔn)焦點(diǎn)，反而會(huì)對(duì)成像質(zhì)量帶來影響，比如抖動(dòng)問題 第一類型方式，找到第三類型，然后反向兩步停止單幀圖像清晰質(zhì)量判定 1、圖像質(zhì)量判斷必要性 2、圖像質(zhì)量評(píng)價(jià)方法 3、圖像邊緣類型 4、單幀圖像清晰度判定 5、實(shí)驗(yàn)結(jié)果 2圖像質(zhì)量判斷必要性2.1連續(xù)自動(dòng)調(diào)焦流程：動(dòng)態(tài)調(diào)焦就是在測(cè)量電視或動(dòng)目標(biāo)觀測(cè)的整個(gè)過程中，間隔一段時(shí)間或一定幀數(shù)后，觸發(fā)自動(dòng)調(diào)焦 如果調(diào)焦初始時(shí)，當(dāng)前幀圖像本身是清晰的。那么在調(diào)焦初始，盲動(dòng)掃描中，鏡頭會(huì)離開準(zhǔn)焦面，這樣反而造成圖像變模糊。對(duì)目標(biāo)跟蹤的穩(wěn)定性和測(cè)量精度造成不良影響 圖像的客觀質(zhì)量評(píng)價(jià)方法 2.2圖像的客觀質(zhì)量評(píng)價(jià)方法 均方誤差( MSE)和峰值信噪比(

8、PSNR) 圖像的主觀質(zhì)量評(píng)價(jià)方法2.2主觀質(zhì)量評(píng)價(jià)尺度級(jí)別絕對(duì)測(cè)量尺度相對(duì)測(cè)量尺度1很好一群中最好的2較好好于該群中平均水平3一般該群平均水平4較差差于該群中平均水平5很差該群中最差的無法應(yīng)用數(shù)學(xué)模型對(duì)其進(jìn)行描述，從工程應(yīng)用的角度看，難以應(yīng)用到實(shí)際系統(tǒng)。因此，圖像的主觀質(zhì)量評(píng)價(jià)方法受到了嚴(yán)重限制。調(diào)焦系統(tǒng)圖像判斷特殊性2.3調(diào)焦系統(tǒng)圖像判斷特殊性上述圖像清晰質(zhì)量的評(píng)價(jià)判斷適用于多幀圖像的比較，或處理后的圖像與原始圖像的比較，不能根據(jù)單幀圖像的信息判斷圖像的清晰質(zhì)量。連續(xù)自動(dòng)調(diào)焦系統(tǒng)的工作過程，要求在調(diào)焦前，先判斷當(dāng)前圖像的清晰度，如果在可接受范圍，就不再調(diào)焦。需要采用一種數(shù)學(xué)手段來建立人的主

9、觀判斷和圖像清晰度的對(duì)應(yīng)關(guān)系 數(shù)字圖像邊緣模型 2.3對(duì)數(shù)字圖像來說，邊緣過渡區(qū)剖面是一個(gè)斜坡，過渡區(qū)的寬度取決于從初始灰度變化到最終灰度的斜坡的長(zhǎng)度。這個(gè)長(zhǎng)度又取決于斜度，而斜度是由圖像的模糊程度約定的。(a) 理想數(shù)字邊緣模型 (b) 斜坡數(shù)字邊緣模型邊緣的法向梯度值變化趨勢(shì) 2.3不同模糊度圖像 法向梯度值變化圖單幀圖像清晰度判定2.4邊緣方向和位置 區(qū)域內(nèi)有無邊緣判斷 單幀圖像清晰度判定2.4邊緣灰度過渡參數(shù)m1和m3單幀圖像清晰度判定2.4試驗(yàn)結(jié)果2.5優(yōu)點(diǎn)：根據(jù)邊緣法向梯度的分布特征來判斷目標(biāo)成像的清晰程度，原有的算法是比較兩幅以上的圖像，只能得到圖像的相對(duì)清晰質(zhì)量，只需要對(duì)當(dāng)前一

10、幀圖像判斷就能得到與主觀清晰程度對(duì)應(yīng)的參量。缺點(diǎn)：該算法對(duì)背景簡(jiǎn)單的擴(kuò)展目標(biāo)，具有良好邊緣的目標(biāo)有較高的判斷成功率。對(duì)于小目標(biāo)，復(fù)雜背景圖像，以及邊緣比較雜亂的圖像判斷效果不好。 程序演示調(diào)焦窗口規(guī)劃技術(shù) 1、選擇調(diào)焦窗口的原因 2、靜態(tài)目標(biāo)調(diào)焦窗口規(guī)劃技術(shù)3、動(dòng)態(tài)目標(biāo)調(diào)焦窗口規(guī)劃技術(shù)4、試驗(yàn)結(jié)果3選擇調(diào)焦窗口的原因3.11、處理速度的要求 2、調(diào)焦準(zhǔn)確性的要求 處理圖像的幅度 評(píng)價(jià)函數(shù)的復(fù)雜程度 執(zhí)行機(jī)構(gòu)響應(yīng)處理速度 靜態(tài)目標(biāo)調(diào)焦窗口規(guī)劃技術(shù)3.2中央選窗口法 多區(qū)域選窗口法 基于黃金分割點(diǎn)的窗口 調(diào)焦窗口規(guī)劃 3.2皮膚探測(cè)算法 皮膚探測(cè)算法可以主動(dòng)尋找人物所在的位置，優(yōu)于固定區(qū)域的窗口選

11、擇方案，但是皮膚探測(cè)算法只能應(yīng)用在有明顯皮膚特征的圖像，而且，與皮膚顏色接近的物體也很多，可靠性不是很高非均勻采樣窗口 調(diào)焦窗口規(guī)劃3.2幀差閾值算法幀差閾值算法適用與目標(biāo)有位置移動(dòng)，兩幀間或一定間隔時(shí)間內(nèi)有體現(xiàn)幀差的位置移動(dòng)量。同時(shí)背景要處于靜止?fàn)顟B(tài)，否則背景的差別也被檢測(cè)出來，影響對(duì)焦的準(zhǔn)確性。質(zhì)心跟蹤窗口規(guī)劃3.3動(dòng)態(tài)閾值質(zhì)心跟蹤目標(biāo)在畫面上的位置不確定，采用固定區(qū)域或非均勻采樣窗口的方式是不合適的，同時(shí)由于攝像機(jī)隨目標(biāo)移動(dòng)，背景有變化，使得幀差方式也不能滿足要求。需要讓調(diào)焦窗口在畫面上跟著目標(biāo)移動(dòng) 目標(biāo)窗口 背景小窗計(jì)算目標(biāo)區(qū)域與背景區(qū)域的平均灰度，由此判斷目標(biāo)的亮暗信息。質(zhì)心跟蹤窗口

12、規(guī)劃3.3質(zhì)心跟蹤窗口規(guī)劃3.3可以把目標(biāo)的主體部分分割出來。由于對(duì)快速目標(biāo)的跟蹤，只要能夠找到目標(biāo)主體或特征部位，就可以確定目標(biāo)的位置，以在目標(biāo)位置為中心取一個(gè)大小固定的窗口，作為調(diào)焦窗口。 質(zhì)心跟蹤窗口規(guī)劃3.3基于目標(biāo)質(zhì)心跟蹤的對(duì)焦窗口具有計(jì)算簡(jiǎn)單，運(yùn)算速度快的優(yōu)點(diǎn)，可以應(yīng)用在實(shí)時(shí)處理的自動(dòng)聚焦場(chǎng)合。在背景簡(jiǎn)單（天空），目標(biāo)大小合適的畫面，具有良好的跟蹤性能，目標(biāo)的質(zhì)心可以作為調(diào)焦窗口的中心位置。當(dāng)背景中出現(xiàn)云層、成像質(zhì)量差、受光照影響引起目標(biāo)變光、圖像對(duì)比度低等情況，質(zhì)心跟蹤方式難以準(zhǔn)確提取出目標(biāo)特征，引起跟蹤失敗?；谙嚓P(guān)跟蹤的調(diào)焦窗口規(guī)劃 3.3二維最小絕對(duì)差累加和算法MAD：基于最多鄰近點(diǎn)距離 MCD：相關(guān)跟蹤的調(diào)焦窗口規(guī)劃3.3自適應(yīng)相關(guān)匹配跟蹤思想 相關(guān)跟蹤的調(diào)焦窗口規(guī)劃3.3相關(guān)跟蹤的調(diào)焦窗口規(guī)劃3.3相關(guān)跟蹤的調(diào)焦窗口規(guī)劃3.3實(shí)驗(yàn)結(jié)果3.4離焦圖像準(zhǔn)焦圖像基于圖像處理的連續(xù)變焦技術(shù) 4.1基于圖像處理的連續(xù)變焦技術(shù)4.1固定閾值分割4.2固定