1、高級數(shù)字圖像處理配套課件數(shù)字圖像處理 編程框架、理論分析、實例應(yīng)用和源碼實現(xiàn)數(shù)字圖像處理1高級數(shù)字圖像處理數(shù)字圖像處理技術(shù)不斷發(fā)展的方向可以分為三種類型：將二維圖像技術(shù)應(yīng)用于三維視頻任務(wù)，這里更多的是要利用不同圖像幀之間的時基相關(guān)性；內(nèi)容上的擴(kuò)展光流分析對原有的數(shù)字圖像處理思路進(jìn)行反思，從不同或者甚至是相反的思路來分析相同的圖像處理問題；技術(shù)上的擴(kuò)展興趣點的技術(shù)將現(xiàn)有的數(shù)字圖像處理技術(shù)應(yīng)用于不同的領(lǐng)域，并結(jié)合具體的領(lǐng)域先驗知識來進(jìn)一步推動圖像技術(shù)的發(fā)展。應(yīng)用上的擴(kuò)展基于內(nèi)容的圖像檢索數(shù)字圖像處理2光流分析光流反映了在可視場景中物體、平面或邊緣的外觀運動模式，由觀察者（眼睛或者攝像頭）和場景之間

2、的相對運動所造成的。數(shù)字圖像處理3基于特征的方法基于梯度的方法基于相關(guān)性的方法Horn & Schunck算法Lucas & Kanade算法多尺度匹配算法基于特征的方法首先尋找特征（例如為圖像邊緣、角點和其它在二維空間容易定位的結(jié)構(gòu)），然后在幀與幀之間進(jìn)行跟蹤。一般涉及兩個階段。首先，在兩個或者更多連續(xù)幀圖像之間進(jìn)行特征搜索。大多數(shù)過去用于光流尋找的邊緣檢測方法，要么是關(guān)于在圖像的一階導(dǎo)數(shù)中尋找最大值，要么是關(guān)于在圖像的二階導(dǎo)數(shù)（例如LOG - Laplacian of Gaussian）中尋找過零點。基于二維特征檢測的光流方法（這里也可以稱為角點）具有如下的優(yōu)點，就是在每一個測量的位置上光

3、流的全部信息都是可以知道的。其次，進(jìn)行幀與幀之間的特征匹配。數(shù)字圖像處理4基于梯度的方法數(shù)字圖像處理5Horn和Schunk算法數(shù)字圖像處理6基于相關(guān)性的方法在圖像序列中，前一幀圖像的部分區(qū)域與后一幀圖像的部分區(qū)域之間的相關(guān)性可以用來進(jìn)行光流估算通常情況下只是作為光流估算算法的一部分進(jìn)行使用，而不是作為單獨的一個方法進(jìn)行處理。結(jié)合基于梯度的方法，基于相關(guān)性的光流可以在圖像的特征點處達(dá)到最好的條件滿足?？梢栽趫D像多尺度上使用相關(guān)性進(jìn)行光流尋找，以處理在圖像序列中出現(xiàn)多個運動的情況。更多的情況下，相關(guān)性被用于輔助進(jìn)行圖像特征的匹配，或者是在特征被確定的情況下進(jìn)行圖像運動的搜尋。數(shù)字圖像處理7Hor

4、n & Schunck算法數(shù)字圖像處理8問題領(lǐng)域約束條件約束平滑性約束偏導(dǎo)數(shù)估算光流速度的拉普拉斯數(shù)值估計最小化約束后的最小化迭代解決條件約束數(shù)字圖像處理9平滑性約束數(shù)字圖像處理10偏導(dǎo)數(shù)估算數(shù)字圖像處理11光流速度的拉普拉斯數(shù)值估計數(shù)字圖像處理12最小化數(shù)字圖像處理13約束后的最小化數(shù)字圖像處理14迭代解決數(shù)字圖像處理15Horn & Schunck算法數(shù)字圖像處理16Lucas & Kanade算法在計算機(jī)視覺領(lǐng)域中，Lucas & Kanade算法是用于光流估算的兩幀差分方法，由Bruce D. Lucas和Takeo Kanade所提出來的。應(yīng)該說，Lucas & Kanade算法目前

5、仍然屬于最為流行的用于光流估算的兩幀差分方法之一。當(dāng)應(yīng)用于諸如立體匹配等圖像配準(zhǔn)問題，或者帶有很大位移的圖像，Lucas & Kanade算法通常使用由粗到細(xì)的迭代方式來進(jìn)行。也就是說，在一個尺度空間（或金字塔）中首先在粗尺度上計算空間導(dǎo)數(shù)，并根據(jù)所計算的形變矩陣進(jìn)行圖像卷積操作，然后在連續(xù)的細(xì)尺度上進(jìn)行迭代更新計算。Lucas & Kanade算法的特點是不能夠產(chǎn)生很高密度的光流向量，不過對噪聲相對比較魯棒。數(shù)字圖像處理17Lucas & Kanade算法數(shù)字圖像處理18用于光流分析的特征窗口的選取Lucas & Kanade算法數(shù)字圖像處理19多尺度塊匹配算法數(shù)字圖像處理20多尺度塊匹配算

6、法數(shù)字圖像處理21匹配誤差函數(shù)搜索過程塊尺寸的選擇基于積分圖像的低通濾波基于子塊均值的匹配誤差函數(shù)基于積分圖像的混合塊匹配算法匹配誤差函數(shù)數(shù)字圖像處理22匹配誤差函數(shù)數(shù)字圖像處理23搜索過程最簡單的搜索過程就是將“搜索窗口”中所有的像素都搜索一遍，這種完全搜索過程能夠找到全局最小匹配誤差，但是非常耗時?；趩畏逭`差平面假設(shè)的梯度下降技術(shù)，從初始點開始沿著水平和垂直方向進(jìn)行逐個像素的搜索，可以找到具有局部最小匹配誤差的運動向量，所檢查的搜索點數(shù)目依賴于初始點與局部最小匹配誤差對應(yīng)“谷點”之間的距離。梯度下降技術(shù)可以在多精度的運動向量空間中進(jìn)行由粗到細(xì)的搜索過程，并分成若干個搜索步驟。三步搜索算法

7、（TSS）二維對數(shù)搜索算法交叉搜索算法數(shù)字圖像處理24塊尺寸的選擇分級塊匹配法的基本思想是從最低分辨率級開始，在每一級依次進(jìn)行運動估算。較低分辨率級用于確定相對較大塊的位移的粗略估算，較高分辨率級用于精確調(diào)整位移矢量估算。較低分辨率級的位移矢量的估算值作為初始值傳遞到下一個較高分辨率級進(jìn)行新的估算。在較高分辨率級，一旦有了一個較理想的初始值就可以使用相對較小的搜索窗口。數(shù)字圖像處理25基于積分圖像的低通濾波數(shù)字圖像處理26基于積分圖像的低通濾波數(shù)字圖像處理27基于子塊均值的匹配誤差函數(shù)將匹配塊劃分為子塊，可以提供匹配塊的分布信息；計算子塊的均值，可以根據(jù)積分圖像進(jìn)行加速?；谧訅K均值的匹配誤差

8、函數(shù)與子抽樣的思想比較相似，都是首先將匹配塊劃分為多個子塊，然后根據(jù)子塊進(jìn)行投影操作。不同的是，子抽樣技術(shù)取的是每個子塊的中心像素灰度值用于投影操作，而基于子塊均值的技術(shù)用的是子塊的均值，很顯然子塊均值所具有的信息量比單個子塊的中心像素要多，所以基于子塊均值的技術(shù)應(yīng)該優(yōu)于子抽樣技術(shù)。數(shù)字圖像處理28基于子塊均值的匹配誤差函數(shù)數(shù)字圖像處理29基于積分圖像的混合塊匹配算法積分圖像的主要貢獻(xiàn)是在以下兩個方面提供了快速塊匹配算法，一是基于局域平均值的低通濾波，二是基于子塊均值的匹配誤差函數(shù)?；诰钟蚱骄档牡屯V波既可以用于簡單塊匹配，又可以用于分級塊匹配。基于子塊均值的匹配誤差函數(shù)可以與其它快速局部

9、匹配誤差函數(shù)相結(jié)合，只要將每個子塊看作一個像素，每個像素值就是子塊均值，就好像用縮小后的匹配塊參與匹配誤差計算一樣。也就是說，基于積分圖像的塊匹配技術(shù)與其它塊匹配技術(shù)相兼容，這就為基于積分圖像的混合塊匹配算法提供了保證。數(shù)字圖像處理30基于積分圖像的混合塊匹配算法混合塊匹配算法主要涉及匹配誤差函數(shù)、搜索過程和塊尺寸的選擇這三個部分，其中匹配誤差函數(shù)選用基于子塊均值的平方誤差和函數(shù)（SBM_SSE），搜索過程選用二維對數(shù)搜索算法，塊尺寸的選擇是用分級塊匹配法來確定，圖像的低通濾波是通過基于積分圖像的局域平均值來實現(xiàn)。數(shù)字圖像處理31在塊匹配的運動估算中，可以使用位移幀差（DFD-Displace

10、ment Frame Difference）的信噪比峰值（PSNR-Peak Signal Noise Ratio）、二維運動場的熵和匹配時間作為評價準(zhǔn)則。多尺度塊匹配算法數(shù)字圖像處理32興趣點檢測與特征描述數(shù)字圖像處理33興趣點的概念擁有清晰的定義，最好具有數(shù)學(xué)依據(jù)。在圖像空間中擁有良好定義的位置。興趣點周圍的局域圖像結(jié)構(gòu)具有豐富的局部信息內(nèi)容，以使得興趣點的應(yīng)用能夠簡化在視覺系統(tǒng)中的進(jìn)一步處理。對圖像空域中的局部和全局干擾具有良好的穩(wěn)定性，包括來自透視變換（有時縮小為仿射變換、尺度變化、旋轉(zhuǎn)和平移等）的形變和光照及亮度上的變化，以使得興趣點能夠得到可靠的計算，且擁有很高的重現(xiàn)性。可選的，興

11、趣點的表示應(yīng)該包括一個尺度屬性，以使得對現(xiàn)實圖像和尺度變化圖像的興趣點計算變得可能。數(shù)字圖像處理34角點檢測角點可以定義為兩條邊緣的交叉點，也可以定義為在其局部鄰域中具有兩個主要不同邊緣方向的點。數(shù)字圖像處理35Harris & StephensShi & Tomasi等位曲線曲率SUSANFASTHarris & Stephens數(shù)字圖像處理36Harris & Stephens數(shù)字圖像處理37Harris & Stephens數(shù)字圖像處理38等位曲線曲率數(shù)字圖像處理39SUSAN數(shù)字圖像處理40SUSAN角點檢測結(jié)果示例數(shù)字圖像處理41FAST數(shù)字圖像處理42FAST數(shù)字圖像處理43斑點檢

12、測在計算機(jī)視覺領(lǐng)域中，斑點檢測（Blob detection）是指一種視覺模塊，用以檢測圖像中比周圍區(qū)域更亮或者更暗的點或者區(qū)域。存在兩種主要的斑點檢測器：基于導(dǎo)數(shù)表達(dá)式的微分方法；基于局部亮度極值的方法。數(shù)字圖像處理44LoGDoGDoHMSERPCBRLoG數(shù)字圖像處理45DoG數(shù)字圖像處理46DoH數(shù)字圖像處理47MSER數(shù)字圖像處理48MSER數(shù)字圖像處理49PCBR基于主曲率區(qū)域檢測器，是用于計算機(jī)視覺和圖像分析領(lǐng)域的特征檢測器。Principal Curvature-Based Region Detector PCBR局部區(qū)域檢測器主要可以分為兩大類，一是基于亮度的檢測器，二是基于

13、結(jié)構(gòu)的檢測器?；诹炼鹊臋z測器，是依賴于分析局部微分幾何或者亮度模式來尋找滿足特定唯一性和穩(wěn)定性準(zhǔn)則的點或者區(qū)域?；诮Y(jié)構(gòu)的檢測器，則依賴于諸如直線、邊緣和曲線等結(jié)構(gòu)圖像特征來定義興趣點和區(qū)域。PCBR檢測器是屬于基于結(jié)構(gòu)的具有仿射不變性的斑點檢測器，其設(shè)計的目的是解決類內(nèi)變化大的問題，所適用情況的是當(dāng)局部亮度不穩(wěn)定的時候，檢測的對象是半局部的特色區(qū)域。數(shù)字圖像處理50背脊檢測數(shù)字圖像處理51背脊檢測數(shù)字圖像處理52特征描述子興趣點，可以看作是圖像或者相應(yīng)的尺度空間中的一點，這點對于所處理的任務(wù)來說應(yīng)該是屬于“令人感興趣”的；所謂“令人感興趣”，就是所檢測的點能夠最大程度的反映出當(dāng)前圖像區(qū)別于

14、其它圖像的特點，并具有諸多的性質(zhì)，如檢測可重復(fù)性、仿射不變性和光照不變性等等。興趣點，一般涉及兩個方面，分別為點的位置確定和點所在鄰域的特征刻畫。特征描述子并不是完全獨立于興趣點檢測的，其不但需要點的水平和垂直坐標(biāo)，所在鄰域的形狀信息（包括尺寸和朝向等），而且還涉及點所在尺度空間的位置等等。數(shù)字圖像處理53特征描述子SIFTScale-invariant feature transform尺度空間極值檢測精確關(guān)鍵點定位方向賦值關(guān)鍵點描述子SURFSpeeded Up Robust Features GLOHGradient Location and Orientation形狀上下文Shape

15、context數(shù)字圖像處理54SIFTSIFT特征可以從混亂的背景中和在局部遮擋的情況下進(jìn)行魯棒的目標(biāo)識別，其原因就是SIFT特征描述子對尺度、朝向和仿射形變具有良好的不變性，并對光照改變具有局部的不變性（只需要三個SIFT特征就足夠計算目標(biāo)的位置和姿態(tài)）。SIFT特征屬于局部特征，并基于特定興趣點上的目標(biāo)外觀信息。尺度空間極值檢測精確關(guān)鍵點定位方向賦值關(guān)鍵點描述子數(shù)字圖像處理55尺度空間極值檢測數(shù)字圖像處理56高斯差分圖像計算數(shù)字圖像處理57局域極值點計算數(shù)字圖像處理58精確關(guān)鍵點定位數(shù)字圖像處理59方向賦值數(shù)字圖像處理60關(guān)鍵點描述子數(shù)字圖像處理61SURFSURF特征在一定程度上是受SI

16、FT特征的啟發(fā)。標(biāo)準(zhǔn)的SURF特征要比SIFT特征快上好幾倍，并據(jù)作者聲稱，其相比SIFT特征對于不同的圖像變換更加的魯棒。SURF特征是基于二維Haar小波響應(yīng)之和，并有效的利用了積分圖像。作為基本的圖像特征，SURF特征使用Haar小波來近似Hessian行列式斑點檢測器。SURF特征的大部分性能的提升要歸功于一種中間圖像表示的使用，即積分圖像。積分圖像可以從輸入圖像快速計算得到，并用于加速矩形區(qū)域面積的計算。數(shù)字圖像處理62SURF在圖像中定位尺度和旋轉(zhuǎn)不變的興趣點的任務(wù)，可以分為三個如下的步驟：對響應(yīng)進(jìn)行閾值化，以使得所有低于預(yù)設(shè)閾值的數(shù)值被剔除掉；執(zhí)行非最大抑制操作來尋找一個候選點的

17、集合；根據(jù)近鄰數(shù)據(jù)進(jìn)行插值，以實現(xiàn)在圖像和尺度位置上亞像素精度的定位。數(shù)字圖像處理63SURF數(shù)字圖像處理64GLOH梯度位置與方向直方圖是一種魯棒的圖像描述子，與SIFT特征描述子類似，其為直方圖考慮了更多的空間區(qū)域。不像SIFT特征和SURF特征既涉及興趣點的特征檢測，又涉及興趣點的特征描述，GLOH特征只涉及特征描述，其可以使用一般的興趣點檢測結(jié)果，例如DoG檢測（為SIFT特征所采用）。GLOH特征描述子，作為SIFT特征描述子的一種擴(kuò)展，要優(yōu)于SIFT特征描述子和其它描述子。GLOH特征描述子的目的，是提高SIFT特征描述子的魯棒性和可分辨性。數(shù)字圖像處理65GLOH數(shù)字圖像處理66

18、形狀上下文數(shù)字圖像處理67形狀上下文數(shù)字圖像處理68基于內(nèi)容的圖像檢索傳統(tǒng)的圖像索引方法所面臨的問題就導(dǎo)致了基于內(nèi)容的圖像檢索技術(shù)的產(chǎn)生，其利用的是自動抽取的圖像特征，例如顏色、紋理和形狀。Content-Based Image Retrieval - CBIRCBIR不同于經(jīng)典信息檢索的地方在于，圖像數(shù)據(jù)庫實質(zhì)上是非結(jié)構(gòu)化的，因為數(shù)字圖像僅僅由像素亮度數(shù)組組成，而沒有固有的意義?；诘讓犹卣鞯膱D像檢索色彩檢索紋理檢索形狀檢索其它特征檢索基于語義特征的圖像檢索人機(jī)交互與搜索效率數(shù)字圖像處理69未來研究方向數(shù)字圖像處理70綜合的多特征檢索技術(shù)高層概念和低層特征的關(guān)聯(lián)高維索引技術(shù)性能評價準(zhǔn)則內(nèi)容描述標(biāo)準(zhǔn)用戶查詢接口圖像檢索實驗系統(tǒng)數(shù)字圖像處理71檢索參數(shù)設(shè)置數(shù)字圖像處理72檢索進(jìn)程控制數(shù)字圖像處理73檢索結(jié)果瀏覽數(shù)字圖像處理74檢索性能