線性濾波北京郵電大學圖像類型來源：UlasBagci

2025/10/20北京郵電大學1二值圖灰度圖彩色圖二值圖像表示來源：UlasBagci

2025/10/20北京郵電大學2灰度圖像表示來源：UlasBagci

2025/10/20北京郵電大學3彩色圖像-一個顏色通道來源：UlasBagci

2025/10/20北京郵電大學4彩色圖像表示來源：UlasBagci

2025/10/20北京郵電大學5動機：圖像去噪如何減少照片中的噪聲點？來源：S.Lazebnik2025/10/20北京郵電大學6將每個像素替換為其鄰域的加權平均值這些權重組成一個濾波核3x3鄰域的平均值的權重是多少？滑動平均111111111“盒式濾波器”來源：S.Lazebnik2025/10/20北京郵電大學7我HGFedC乙A我HGFedC乙A卷積的定義

令f為圖像，g為卷積核。f與g卷積的輸出表示為f*g。ghidefabc約定：

濾波核“翻轉”

2025/10/20北京郵電大學8主要性質線性（比例性和疊加性）：

filter(

k1f1+k2

f2)=k1filter(f1)+k2filter(f2)平移不變性：無論像素位置如何，所進行的操作相同：filter(shift(f))=shift(filter(f))等價：任何線性的具有平移不變性的算子都可以用卷積表示來源：S.Lazebnik2025/10/20北京郵電大學9更多性質交換律：a*b=b*a從概念上講，濾波器和信號之間沒有區(qū)別結合律：a*(b*c)=(a*b)*c通常依次使用多個濾波器：(((a*b1)*b2)*b3)這相當于使用一個濾波器：a*(b1*b2*b3)分配率：a*(b+c)=(a*b)+(a*c)比例性：ka*b=a*kb=k(a*b)恒等式：單位脈沖e=[…,0,0,1,0,0,…],

a*e=a來源：S.Lazebnik2025/10/20北京郵電大學10要注意的細節(jié)濾波輸出的尺寸是多少？MATLAB：filter2（g，f，shape）shape='full'：輸出大小是f和g大小的總和shape='same'：輸出大小與f相同shape='valid'：輸出大小是f和g的大小之差FGGGGFGGGGFGGGGfullsamevalid來源：S.Lazebnik2025/10/20北京郵電大學11要注意的細節(jié)如果靠近邊緣怎么辦？卷積核窗口從圖像邊緣脫落需要擴展圖像方法：零填充邊緣拉伸復制邊緣沿邊翻轉資料來源：S.Marschner來源：S.Marschner2025/10/20北京郵電大學12要注意的細節(jié)如果靠近邊緣怎么辦？卷積核窗口從圖像邊緣脫落需要擴展圖像方法（MATLAB）：零填充：imfilter(f,g,0)邊緣拉伸：imfilter(f,g,'circular')復制邊緣：imfilter(f,g,'replicate‘)沿邊翻轉：imfilter(f,g,'symmetric')資料來源：S.Marschner來源：S.Marschner2025/10/20北京郵電大學13線性濾波器練習000010000原圖？資料來源：D.Lowe來源：D.Lowe2025/10/20北京郵電大學14線性濾波器練習000010000

濾波后的圖像（沒有變化）來源：D.Lowe2025/10/20北京郵電大學15原圖線性濾波器練習000100000？來源：D.Lowe2025/10/20北京郵電大學16原圖線性濾波器練習000100000

左移1個像素資料來源：D.Lowe來源：D.Lowe2025/10/20北京郵電大學17原圖線性濾波器練習？111111111來源：D.Lowe2025/10/20北京郵電大學18原圖線性濾波器練習111111111

模糊

來源：D.Lowe2025/10/20北京郵電大學19原圖線性濾波器練習111111111000020000-？（請注意，濾波核權重總和為1）來源：D.Lowe2025/10/20北京郵電大學20原圖線性濾波器練習111111111000020000-

銳化核凸顯與局部平均水平的差異來源：D.Lowe2025/10/20北京郵電大學21原圖銳化來源：D.Lowe2025/10/20北京郵電大學22銳化模糊究竟去除了圖像的什么信息？原圖平滑(5x5)–細節(jié)=來源：D.Lowe2025/10/20北京郵電大學23銳化模糊究竟帶走了圖像的什么信息？銳化=如果將其加回來：原圖細節(jié)+來源：D.Lowe2025/10/20北京郵電大學24原圖平滑(5x5)–細節(jié)=重新審視盒式平滑濾波器這張照片有什么問題嗎？怎么解決呢？資料來源：D.福賽思來源：D.Forsyth2025/10/20北京郵電大學25重新審視盒式平滑濾波這張照片有什么問題嗎？怎么解決呢？為了消除邊緣效應，根據鄰域像素與中心像素的接近程度來對它們的貢獻進行加權“模糊的斑點”來源：S.Lazebnik2025/10/20北京郵電大學26高斯核前面的常數因子使體積總和為1（計算濾波器權重時可以忽略，因為在任何情況下我們都應該將權重重新歸一化使其和為1）0.0030.0130.0220.0130.0030.0130.0590.0970.0590.0130.0220.0970.1590.0970.0220.0130.0590.0970.0590.0130.0030.0130.0220.0130.0035x5，=1資料來源：C.Rasmussen

來源：C.Rasmussen2025/10/20北京郵電大學27標準差：決定平滑程度σ=2，卷積核大小為30x30σ=5，卷積核大小為30x30來源：K.Grauman2025/10/20北京郵電大學28高斯核選擇窗寬高斯函數定義在無限空間，但離散的濾波器可以用有限的卷積核進行描述來源：K.Grauman2025/10/20北京郵電大學29選擇窗寬經驗法則：將濾波器窗口的半寬設置為約3σ來源：S.Lazebnik2025/10/20北京郵電大學30高斯濾波對比盒式濾波來源：S.Lazebnik2025/10/20北京郵電大學31高斯濾波器從圖像中去除“高頻”分量（低通濾波器）與自身的卷積得到的仍是高斯核因此可以用小-核的高斯濾波器進行平滑，經過多次重復，得到與大-核相同的結果使用標準

的高斯核進行兩次卷積與用

作為標準差進行一次卷積的結果相同?？煞蛛x性一個二維高斯卷積核可以拆分為兩個一維高斯卷積核的乘積來源：K.Grauman2025/10/20北京郵電大學32高斯濾波器的可分離性資料來源：D.Lowe來源：D.Lowe2025/10/20北京郵電大學33一個二維的高斯函數可以表示為兩個一維的高斯函數的乘積，一個是x的函數，另一個是y的函數在這個例子中，兩個函數都是一維高斯函數可分離性示例**==2D卷積

（只對中心位置）將2D卷積核分解

為1D卷積核的乘積

：逐行進行卷積沿著剩余列進行卷積：

來源：K.Grauman2025/10/20北京郵電大學34為什么可分離性有用？用m×m的濾波器對n×n的圖像進行濾波，計算復雜度是多少？O(n2m2)如果卷積核是可分離的，計算復雜度會如何？O(n2m)來源：S.Lazebnik2025/10/20北京郵電大學35噪點椒鹽噪聲：包含隨機出現的黑白像素脈沖噪聲：包含隨機出現的白色像素高斯噪聲：符合高斯正態(tài)分布的強度變化資料來源：S.塞茨來源：S.Seitz2025/10/20北京郵電大學36高斯噪聲數學模型：許多獨立因素的疊加效應適用于小標準差假設：獨立、零均值噪聲資料來源：M.赫伯特來源：M.Hebert2025/10/20北京郵電大學37使用較大標準差的卷積核進行平滑可以抑制噪聲，但也會使圖像模糊減少高斯噪聲來源：S.Lazebnik2025/10/20北京郵電大學38減少椒鹽噪聲結果有什么問題嗎？3x35x57x7來源：S.Lazebnik2025/10/20北京郵電大學39另一種思路：中值濾波中值濾波器：將窗口內中心點的灰度值設置為該點鄰域窗口內的所有像素點灰度值的中值

中值濾波操作是線性的嗎？資料來源：K.格勞曼來源：K.Grauman2025/10/20北京郵電大學40中值濾波器中值濾波相對于高斯濾波有什么優(yōu)勢？對異常值的魯棒性資料來源：K.格勞曼來源：K.Grauman2025/10/20北京郵電大學41中值濾波器椒鹽噪聲中值濾波來源：M.Hebert2025/10/20北京郵電大學42高斯濾波對比中值濾波3x35x57x7高斯濾波中值濾波來源：S.Lazebnik2025/10/20北京郵電大學43重新審視銳化資料來源：D.Lowe來源：D.Lowe2025/10/20北京郵電大學44重新審視銳化模糊究竟去除了圖像的什么信息？銳化=如果將其加回來：原圖細節(jié)+來源：D.Lowe2025/10/20北京郵電大學45原圖平滑(5x5)–細節(jié)=

反銳化掩膜濾波高斯單位脈沖高斯拉普拉斯算子

圖像圖像模糊單位脈沖

（相等）來源：S.Lazebnik2025/10/20北京郵電大學46邊緣檢測計算機學院北京郵電大學邊緣檢測2025/10/20北京郵電大學48目標：識別圖像中的突變（不連續(xù)性）直觀地說，圖像中的大多數語義和形狀信息都可以反映在邊緣中比像素更緊湊

理想情況：藝術家的線條畫（但藝術家也在使用對象級知識）資料來源：D.Lowe來源：D.Lowe邊緣的起源邊緣是由多種因素產生：2025/10/20北京郵電大學49深度不連續(xù)性表面顏色不連續(xù)光照不連續(xù)性表面法線不連續(xù)性資料來源：史蒂夫·塞茨來源：SteveSeitz邊緣特征邊緣是圖像強度函數快速變化的位置2025/10/20北京郵電大學50圖像強度函數

（沿水平掃描線）一階導數邊緣對應于

導數的極值點來源：S.Lazebnik卷積導數對于2D函數f(x,y)，偏導數為：對于離散數據，可以使用有限差分進行近似：如果將上述操作用卷積來實現，相應的卷積核是什么？2025/10/20北京郵電大學51資料來源：K.格勞曼來源：K.Grauman圖像的偏導數2025/10/20北京郵電大學52哪個圖顯示了圖像x方向的變化？-111-1或-1

1來源：S.Lazebnik有限差分濾波器導數卷積核的其他近似：2025/10/20北京郵電大學53資料來源：K.格勞曼Prewitt：Sobel：Roberts：

梯度點位于強度增加最快的方向上

圖像漸變圖像的梯度：

2025/10/20北京郵電大學54梯度方向由下式給出資料來源：史蒂夫·塞茨邊緣強度由梯度的幅度給出這個方向與邊緣的方向有何關系？來源：S.Seitz梯度幅值2025/10/20北京郵電大學55梯度幅值X方向導數Y方向導數噪聲的影響考慮圖像的單行或單列將強度繪制為位置的函數，給出信號2025/10/20北京郵電大學56邊緣在哪里？資料來源：S.塞茨來源：S.Seitz解決辦法：先進行平滑操作2025/10/20北京郵電大學57要找到邊緣，請尋找FGf*g來源:S.Seitz的峰值卷積導數定理微分是卷積，而卷積具有結合性：

這為我們節(jié)省了一次操作：2025/10/20北京郵電大學58F來源：S.Seitz高斯一階偏導核這些濾波器可以分離嗎？2025/10/20北京郵電大學59x方向y方向來源：S.Lazebnik高斯一階偏導核哪一個是用來找到水平/垂直邊緣的？2025/10/20北京郵電大學60

x方向

y方向來源：S.Lazebnik高斯一階偏導核的尺寸平滑導數消除了噪聲，但模糊了邊緣。同樣可以找到不同“尺度”的邊緣2025/10/20北京郵電大學611像素3像素7像素資料來源：D.福賽思來源：D.Forsyth回顧：高斯核與高斯一階偏導核高斯核高斯函數：去除“高頻”成分；

“低通”濾波器高斯核的值可以為負嗎？這些值的總和應該是多少？一：恒定區(qū)域不受濾波器影響高斯一階偏導核高斯函數的一階偏導數高斯一階偏導核的值可以為負嗎？這些值的總和應該是多少？零：恒定區(qū)域無響應高對比度的點的絕對值高2025/10/20北京郵電大學62來源：S.LazebnikCanny邊緣檢測器原始圖像2025/10/20北京郵電大學63來源：SteveSeitzCanny邊緣檢測器2025/10/20北京郵電大學64梯度范數來源：S.LazebnikCanny邊緣檢測器2025/10/20北京郵電大學65閾值化來源：S.LazebnikCanny邊緣檢測器2025/10/20北京郵電大學66閾值化如何將這些漸變的較粗的區(qū)域變成細的曲線？來源：S.Lazebnik非極大值抑制沿梯度方向檢查像素是否是局部最大值，選擇邊緣寬度上的單個最大值需要檢查梯度正反方向上的像素p和r2025/10/20北京郵電大學67來源：S.LazebnikCanny邊緣檢測器2025/10/20北京郵電大學68細化（非極大值抑制）問題：沿該邊緣的像素無法達到給定閾值來源：S.Lazebnik雙閾值使用高閾值提取梯度較大的邊緣，使用低閾值找回梯度較小的邊緣。2025/10/20北京郵電大學69資料來源：史蒂夫·塞茨來源：S.Seitz原始圖像高門檻（強邊緣）門檻低（弱邊緣）雙閾值資料來源：L.Fei-Fei來源：L.Fei-Fei雙閾值2025/10/20北京郵電大學70回顧：Canny邊緣檢測器用高斯一階偏導核濾波圖像求梯度的幅值和方向非極大值抑制：將寬“脊”細化至單像素寬度鏈接和閾值化（雙閾值）：定義兩個閾值：高閾值和低閾值使用高閾值提取強邊緣曲線，使用低閾值找到弱邊緣曲線MATLAB：邊緣（圖像，'canny'）；2025/10/20北京郵電大學71J.Canny，邊緣檢測的計算方法，IEEETrans：PatternAnalysisandMachineIntelligence,8：679-714，1986。來源：S.Lazebnik邊緣檢測只是開始……伯克利圖像分割數據集：

/Research/Projects/CS/vision/grouping/segbench/2025/10/20北京郵電大學72原始圖片

圖像分割

梯度幅值來源：S.Lazebnik擬合（最小二乘法和RANSAC）北京郵電大學擬合2025/10/20北京郵電大學74我們已經學習了如何檢測邊緣，現在要解決什么問題呢？我們希望用一個簡單的模型對多種特征進行分組，從而形成一個更高層次、更緊湊的圖像特征表示。9300HarrisCornersPkwy,夏洛特,NC來源：S.Lazebnik來源：K.Grauman擬合選擇一個參數化模型來表示一組特征2025/10/20北京郵電大學75簡單模型：直線簡單模型：圓復雜模型：汽車擬合：要解決的問題要檢測的特征區(qū)域存在噪聲無關數據：雜點（外點）、多條直線缺失數據：遮擋2025/10/20北京郵電大學76案例研究：直線檢測來源：S.Lazebnik擬合：概述如果我們知道哪些點屬于直線，那么我們如何找到“最佳”直線參數？最小二乘法如果有外點怎么辦？Robustfitting，RANSAC如果有很多直線怎么辦？投票方式：RANSAC、Houghtransform如果我們不確定這是一條直線怎么辦？模型選擇2025/10/20北京郵電大學77來源：S.Lazebnik最小二乘法直線擬合數據：(x1

,y1)

,…,(xn,yn)直線方程：yi=mxi

+b找到(m,b)來最小化正規(guī)方程：XB=Y的最小二乘解(xi,yi)y=mx+b來源：S.Lazebnik“垂直”最小二乘法的問題非旋轉不變的無法描述垂直線2025/10/20北京郵電大學79來源：S.Lazebniky=mx+b數據：

(

x1

,y1),…,(xn,yn)直線方程：yi=mxi

+b找到(m,b)來最小化全最小二乘法點(xi,yi)與直線之間的距離

ax+by=d(a2+b2=1):

|axi+byi–d|(xi,yi)單位法向量：N=(a,b)來源：S.Lazebnikax+by=d全最小二乘法點(xi,yi)與直線之間的距離

ax+by=d(a2+b2=1):

|axi+byi–d|

找到(a,b,d)以最小化垂直距離的平方和(xi,yi)ax+by=d單位法向量：N=(a,b)來源：S.Lazebnik全最小二乘法點(xi,yi)與直線之間的距離

ax+by=d(a2+b2=1):|axi+byi–d|

找到(a,b,d)以最小化垂直距離平方和(xi,yi)ax+by=d（UTU)N=0的解，滿足||N||2=1：解為UTU的最小特征值對應的特征向量（齊次線性系統的最小二乘解

UN=0)來源：S.Lazebnik單位法向量：N=(a,b)全最小二乘法二階矩矩陣來源：S.Lazebnik全最小二乘法N=(a,b)二階矩矩陣來源：S.Lazebnik

最小二乘用作極大似然估計2025/10/20北京郵電大學85(x,y)(u,v)ε生成模型：對共線的點獨立采樣，并在垂直于線的方向上引入高斯噪聲線上的點噪聲：采樣自零均值標準差為σ的高斯分布法線

方向來源：S.Lazebnikax+by=d最小二乘用作極大似然估計2025/10/20北京郵電大學86當給定線的參數(a,b,d)時，點的出現概率可表示為：對數似然：(x,y)(u,v)ε來源：S.Lazebnikax+by=d生成模型：對共線的點獨立采樣，并在垂直于線的方向上引入高斯噪聲最小二乘法：對噪聲的魯棒性最小二乘法擬合紅色的點：2025/10/20北京郵電大學87來源：S.Lazebnik最小二乘法：對噪聲的魯棒性存在一個外點時的最小二乘法擬合：2025/10/20北京郵電大學88問題：平方誤差嚴重懲罰外點來源：S.Lazebnik魯棒估計

2025/10/20北京郵電大學89

魯棒函數ρ對于較小殘差u表現為平方距離，但對于較大的u值飽和來源：S.Lazebnik選擇尺度：恰到好處外點的影響被最小化來源：S.Lazebnik每個點的誤差值幾乎相同，擬合得很差選擇尺度：太小來源：S.Lazebnik選擇尺度：太大結果與最小二乘法非常相似來源：S.Lazebnik魯棒估計：細節(jié)魯棒擬合是一個非線性優(yōu)化問題，必須迭代求解最小二乘解可用于初始化自適應尺度選擇：大約1.5倍平均殘差（F&P，第15.5.1節(jié)）2025/10/20北京郵電大學93來源：S.LazebnikRANSAC魯棒擬合可以處理少量外點-如果我們有很多外點怎么辦？隨機采樣一致性(RANSAC)：

在存在外點的情況下進行模型擬合的非常通用的框架概述隨機均勻地選擇一小部分樣本點，作為一個子集根據該子集擬合模型找到所有與該模型“接近”的剩余點，并將其余點作為外點丟棄多次執(zhí)行此操作并選擇最佳模型2025/10/20北京郵電大學94來源：S.LazebnikM.A.Fischler,R.C.Bolles.RandomSampleConsensus:AParadigmforModelFittingwithApplicationstoImageAnalysisandAutomatedCartography.Comm.oftheACM,Vol24,pp381-395,1981.

RANSAC用于直線擬合的示例2025/10/20北京郵電大學95來源：R.RaguramRANSAC用于直線擬合的示例2025/10/20北京郵電大學96最小二乘擬合來源：R.RaguramRANSAC用于直線擬合的示例2025/10/20北京郵電大學97隨機選擇點的最小子集資料來源：R.RaguramRANSAC用于直線擬合的示例2025/10/20北京郵電大學98隨機選擇點的最小子集假設一個模型來源：R.RaguramRANSAC用于直線擬合的示例2025/10/20北京郵電大學99隨機選擇點的最小子集假設一個模型計算誤差函數來源：R.RaguramRANSAC用于直線擬合的示例2025/10/20北京郵電大學100隨機選擇點的最小子集假設一個模型計算誤差函數選擇符合模型點來源：R.RaguramRANSAC用于直線擬合的示例2025/10/20北京郵電大學101隨機選擇點的最小子集假設一個模型計算誤差函數選擇與模型一致的點重復假設和驗證循環(huán)來源：R.RaguramRANSAC用于直線擬合的示例2025/10/20北京郵電大學102隨機選擇點的最小子集假設一個模型計算誤差函數選擇與模型一致的點重復假設和驗證循環(huán)來源：R.RaguramRANSAC用于直線擬合的示例2025/10/20北京郵電大學103隨機選擇點的最小子集假設一個模型計算誤差函數選擇與模型一致的點重復假設和驗證循環(huán)未受污染的樣本來源：R.Raguram隨機選擇點的最小子集假設一個模型計算誤差函數選擇與模型一致的點重復假設和驗證循環(huán)來源：R.RaguramRANSAC用于直線擬合的示例RANSAC用于直線擬合重復N次：隨機均勻抽取s個點對這些點進行線擬合在剩余點中查找該線的內點（即與該線的距離小于t的點）如果有d個或更多內點，則接受該線并使用所有內點重新擬合2025/10/20北京郵電大學105來源：S.Lazebnik來源：M.Pollfeys選擇參數2025/10/20北京郵電大學106

選擇參數2025/10/20北京郵電大學107來源：M.Pollfeys外點的比例

es5%10%20%25%30%40%50%22356711173347911193543591317347254612172657146647162437972937482033541635888592644782721177

選擇參數2025/10/20北京郵電大學108來源：M.Pollfeys

選擇參數2025/10/20北京郵電大學109來源：M.Pollfeys

自適應確定樣本數量

2025/10/20北京郵電大學110來源：M.PollfeysRANSAC的優(yōu)點和缺點優(yōu)點簡單通用適用于許多不同的問題在實踐中往往效果很好缺點有很多參數需要調整內點比率較低時效果不佳（迭代次數太多，

或者可能完全失效）不能總是基于最小樣本數

得到一個很好的初始化模型

2025/10/20北京郵電大學111來源：S.LazebnikAB

擬合（霍夫變換）北京郵電大學擬合：霍夫變換來源：S.Lazebnik投票方案對于每個特征給與其兼容的所有模型投票希望對于噪聲特征不會一致地投票給任何單一模型存在缺失數據影響并不大，只要剩余特征足夠擬合成一個好的模型來源：S.Lazebnik霍夫變換一種早期的投票方案總體概要：將參數空間離散化為一個個格子對于圖像中的每個特征點，在參數空間中可以生成該點的每個格子中進行投票查找得票最多的格子

圖像空間

霍夫參數空間來源：S.LazebnikP.V.C.Hough,MachineAnalysisofBubbleChamberPictures,Proc.Int.Conf.HighEnergyAcceleratorsandInstrumentation,1959參數空間表示圖像中的一條線對應于霍夫空間中的一個點圖像空間霍夫參數空間來源：S.Seitz參數空間表示圖像空間中的一個點(x0,y0)映射到霍夫空間是什么?圖像空間霍夫參數空間來源：S.Lazebnik參數空間表示圖像空間中的一個點(x0,y0)映射到霍夫空間是什么?答案：b=–x0m+y0的解這是霍夫空間中的一條線圖像空間霍夫參數空間來源：S.Lazebnik參數空間表示包含(x0,y0)和(x1,y1)的線在哪里？圖像空間霍夫參數空間(x0,y0)(x1,y1)b=–x1m+y1來源：S.Lazebnik參數空間表示包含(x0,y0)和(x1,y1)的線在哪里？b=–x0m+y0和b=–x1m+y1的交點圖像空間霍夫參數空間(x0,y0)(x1,y1)b=–x1m+y1來源：S.Lazebnik參數空間表示(m,b)空間的問題：參數域無界垂直線的m取無窮大來源：S.Lazebnik參數空間表示(m,b)空間的問題：參數域無界垂直線的m取無窮大替代方案：極坐標表示每個點都會在(

,

)參數空間中對應一條正弦曲線

來源：S.Lazebnik算法概要將累加器H初始化為全零對于圖像中的每個邊緣點(x,y)

對于θ=0到180

ρ=xcosθ+ysinθ

H(θ,ρ)=H(θ,ρ)+1

結束

結束找到H(θ,ρ)取局部最大值時參數(θ,ρ)圖像中檢測到的線由下式給出

ρ=xcosθ+ysinθρθ來源：S.Lazebnik特征投票基本效果來源：S.Lazebnik正方形圓形其他形狀來源：S.Lazebnik多條直線來源：S.Lazebnik更復雜的圖像/files/images/ss_hough.jpg來源：S.Lazebnik特征投票噪聲的影響來源：S.Lazebnik特征投票噪聲的影響峰值變得模糊且難以定位來源：S.Lazebnik噪聲的影響隨噪聲強度增加，一個具有20個點的線的得票數：來源：S.Lazebnik隨機點均勻的噪聲可能導致在投票陣列中出現偽峰特征投票來源：S.Lazebnik隨機點隨著均勻噪聲強度的增加，最大投票數也會增加：來源：S.Lazebnik處理噪聲選擇一個好的格子/離散化太粗：當太多不同的直線對應于一個單一bucket時將會獲得大量選票太細了：錯過一些直線，因為一些不完全共線的點將投票給不同的buckets增量式的鄰居網格（在累加器數組中進行平滑的投票）嘗試去掉不相關的特征只取具有顯著梯度的邊緣點來源：S.Lazebnik結合圖像梯度回顧：當我們檢測到邊緣點時，也會知道它的梯度方向這意味著要檢測的線已經獨一無二的確定了！改進的霍夫變換：對于每個邊緣點(x,y)：

θ=(x,y)處的梯度方向

ρ=xcosθ+ysinθ

H(θ,ρ)=H(θ,ρ)+1結束來源：S.Lazebnik圓的霍夫變換參數空間有多少維？給定一個邊緣點及其梯度方向，它可以投票給哪些可能的格子？來源：S.Lazebnik圓的霍夫變換

Xy(x,y)Xyr圖像空間霍夫參數空間來源：S.Lazebnik圓的霍夫變換概念上等價的過程：對于每個（x，y，r），在圖像中繪制相應的圓圈并計算其“支持度”Xyr這相比于使用特征投票效率更高還是更低？來源：S.Lazebnik廣義霍夫變換我們希望在穩(wěn)定的空間配置中找到一個由其參考點（中心）和幾種不同類型的標志點定義的模板C模板來源：S.Lazebnik廣義霍夫變換模板表示：對于每種類型的標志點，存儲所有可能的朝向中心的位移矢量模板模型來源：S.Lazebnik廣義霍夫變換檢測模板：對于新圖像中的每個特征，在模型中查找該特征類型，并投票選出與模型中該類型特征關聯的可能中心位置模型測試圖像來源：S.Lazebnik識別中的應用按“視覺碼字”索引位移矢量

訓練圖像具有位移向量的視覺碼字

來源：S.LazebnikB.Leibe,A.Leonardis,andB.Schiele,CombinedObjectCategorizationandSegmentationwithanImplicitShapeModel,ECCVWorkshoponStatisticalLearninginComputerVision2004識別中的應用按“視覺碼字”索引位移矢量測試圖像來源：S.LazebnikB.Leibe,A.Leonardis,andB.Schiele,CombinedObjectCategorizationandSegmentationwithanImplicitShapeModel,ECCVWorkshoponStatisticalLearninginComputerVision2004霍夫變換：討論優(yōu)點可以處理非局部性和遮擋可以檢測模型的多個實例對噪聲有一定的魯棒性：噪聲點不太可能同時對幾個格子產生影響缺點搜索時間的復雜度隨著模型參數的數量呈指數增長非目標形狀可能會在參數空間中產生偽峰很難選擇合適的離散化網格尺寸霍夫變換與RANSAC來源：S.Lazebnik擬合：回顧如果我們知道哪些點屬于直線，我們如何找到“最佳”直線參數？最小二乘法如果有異常值怎么辦？魯棒擬合，RANSAC如果有很多線怎么辦？投票方式：RANSAC、Hough變換如果我們甚至不確定這是一條線怎么辦？模型選擇來源：S.Lazebnik隱式形狀模型：訓練使用聚類圍繞提取的興趣點構建視覺詞典（本課程稍后將詳細介紹）來源：S.Lazebnik隱式形狀模型：訓練使用聚類圍繞提取的興趣點構建視覺詞典將每個興趣點周圍的圖像區(qū)域映射到碼本中最近的單詞來源：S.Lazebnik隱式形狀模型：訓練使用聚類圍繞提取的興趣點構建視覺詞典將每個興趣點周圍的圖像區(qū)域映射到碼本中最近的單詞對于每個單詞，存儲找到的相對于對象中心的所有位置來源：S.Lazebnik隱式形狀模型：測試給定測試圖像，提取感興趣區(qū)域，與視覺詞典中的單詞進行匹配對目標中心的可能位置進行投票在投票空間中搜索最大值基于存儲的詞典出現的掩碼提取加權分割掩碼來源：S.Lazebnik其他示例來源：S.LazebnikB.Leibe,A.Leonardis,andB.Schiele,CombinedObjectCategorizationandSegmentationwithanImplicitShapeModel,ECCVWorkshoponStatisticalLearninginComputerVision2004隱式形狀模型：細節(jié)有監(jiān)督訓練需要每個訓練樣本的參考位置和分段掩碼投票空間是連續(xù)的，而不是離散的尋找最大值所需的聚類算法如何處理尺度變化？選項1：搜索一系列尺度，如圓的霍夫變換選項2：使用尺度協變興趣點驗證階段非常重要一旦我們有了位置假設，我們就可以在圖像上覆蓋一張更詳細的模板，逐像素比較、平移分割掩碼等。來源：S.Lazebnik識別中的應用來源：S.LazebnikF.JurieandC.Schmid,Scale-invariantshapefeaturesforrecognitionofobjectcategories,CVPR2004

霍夫圓與拉普拉斯斑點原始圖像拉普拉斯圓類霍夫圓對尺度和干擾的魯棒性來源：S.LazebnikF.JurieandC.Schmid,Scale-invariantshapefeaturesforrecognitionofobjectcategories,CVPR2004

紋理北京郵電大學紋理

什么是紋理？包括：規(guī)則的圖案來源：KristenGrauman包括：隨機的圖案來源：KristenGrauman紋理相關任務由紋理推斷形狀根據圖像紋理估計表面方向或形狀來源：KristenGrauman由紋理推斷形狀利用紋理從點到點的變形來估計表面形狀來源：KristenGrauman紋理相關任務由紋理推斷形狀根據圖像紋理估計表面方向或形狀根據紋理細節(jié)進行分割/分類分析、表示紋理對具有一致紋理的圖像區(qū)域進行分組合成給出一些紋理示例，生成新的紋理區(qū)塊/圖像來源：KristenGrauman分析與合成來源：BillFreeman,A.Efros為什么要分析紋理？紋理相關任務由紋理推斷形狀根據圖像紋理估計表面方向或形狀根據紋理線索進行分割/分類分析、表示紋理對具有一致紋理的圖像區(qū)域進行分組合成給出一些示例，生成新的紋理區(qū)塊/圖像來源：KristenGrauman來源：KristenGrauman/來源：KristenGrauman對這些圖像使用邊緣檢測器我們會得到什么樣的響應？圖片來自Malik和Perona，1990年……對于這張圖像呢？來源：D.Forsyth為什么要分析紋理？對感知的重要性：通常表示材料的特性可能是重要的外觀線索，特別是當物體之間的形狀相似時旨在區(qū)分形狀、邊界和紋理技術上：在表示方面，我們想要一個比濾波器響應、邊緣更高一級的特征。來源：KristenGrauman紋理表示紋理由重復的局部圖案組成，因此：尋找圖案模式使用看起來像圖案的濾波器（斑點、條紋、粗糙的區(qū)塊……）考慮響應的幅度描述每個局部窗口中的統計數據平均值、標準差直方圖“原型”特征出現頻率的直方圖來源：KristenGrauman紋理表示：示例平均d/dx值平均d/dy值Win.

#1410原始圖像導數濾波器響應，平方統計總結小窗口中的模式……來源：KristenGrauman紋理表示：示例原始圖像導數濾波器響應，平方平均

d/dx值平均

d/dy值Win.

#1410Win.

#2187統計總結小窗口中的模式……來源：KristenGrauman紋理表示：示例平均d/dx值平均d/dy值Win.

#1410Win.

#2187Win.

#92020…原始圖像導數濾波器響應，平方統計總結小窗口中的模式……來源：KristenGrauman紋理表示：示例平均d/dx值平均d/dy值Win.

#1410Win.

#2187Win.

#92020統計總結小窗口中的模式……維度1（平均d/dx值）維度2（平均d/dy值）來源：KristenGrauman…紋理表示：示例統計總結小窗口中的模式平均d/dx值平均d/dy值Win.

#1410Win.

#2187Win.

#92020……維度1（平均d/dx值）維度2（平均d/dy值）兩個方向都有小梯度的窗口主要具有垂直邊緣的窗口主要具有水平邊緣的窗口兩個都有的窗口來源：KristenGrauman…紋理“類型”的可視化原始圖像導數濾波器響應，平方來源：KristenGrauman紋理表示：示例紋理表示：示例平均d/dx值平均d/dy值Win.

#1410Win.

#217Win.

#92020遠：不同的紋理近：相似的紋理統計總結小窗口中的模式……維度1（平均d/dx值）維度2（平均d/dy值）來源：KristenGrauman…紋理表示：示例維度1維度2來源：KristenGrauman紋理表示：示例距離揭示了窗口a中的紋理與窗口b中的紋理有多么不同。維度1維度2來源：KristenGrauman紋理表示：窗口比例假設我們知道收集的這些統計數據的窗口尺寸大小?？梢酝ㄟ^尋找紋理描述不改變的窗口尺度來選擇尺度的大小來源：KristenGrauman濾波器組我們之前的示例使用了兩個濾波器，并產生了一個二維特征向量來描述窗口中的紋理。x和y導數揭示了局部結構的一些信息。我們可以推廣使用多個（d）濾波器的集合：“濾波器組”那么我們的特征向量將是d維的。紋理分析仍然可以考慮特征空間中的遠近距離來源：KristenGrauman濾波器組要放什么濾波器？通常我們需要尺度、方向和不同類型的圖案模式的組合?？捎糜谶@些示例的Matlab代碼：http://www.robots.ox.ac.uk/~vgg/research/texclass/filters.html尺度方向“邊緣”“條紋”“斑點”來源：KristenGrauman多元高斯來源：KristenGrauman濾波器組來源：KristenGraumanImagefrom/austincap2.jpg來源：KristenGraumanShowingmagnitudeofresponsesKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGraumanKristenGrauman來源：KristenGrauman來源：KristenGraumanABC卷積核組123嘗試一下：你能將紋理與響應相匹配嗎？平均abs響應123ABC通過平均絕對響應來表示紋理卷積核組[r1，r2，...，r38]我們可以在每個像素位置的響應列表中形成一個特征向量。KristenGrauman來源：KristenGraumand維特征。。。2d3d歐氏距離(L2)來源：KristenGrauman紋理在視覺中的應用示例：分析對材料進行分類來源：Varma&Zisserman用于圖像檢索的紋理特征來源：KristenGraumanY.Rubner,C.Tomasi,andL.J.Guibas.Theearthmover'sdistanceasametricforimageretrieval.InternationalJournalofComputerVision,40(2):99-121,November2000,通過紋理表征場景類別來源：KristenGraumanL.W.RenningerandJ.Malik.Whenissceneidentificationjusttexturerecognition?VisionResearch44(2004)2301–2311按紋理分割航拍圖像/2004/gallery/images/073104_satellite.jpg來源：KristenGrauman總結紋理是一個有用的屬性，經常表示材料類別、外觀線索紋理表示嘗試總結局部結構的重復模式濾波器組可用于測量局部鄰域的冗余結構特征空間可以是多維的來源：KristenGrauman局部特征：角點計算機學院北京郵電大學為什么要提取特征？動機：全景拼接我們有兩個圖像——如何將它們拼接起來？來源：S.Lazebnik為什么要提取特征？動機：全景拼接我們有兩個圖像——如何將它們拼接起來？第1步：提取特征第2步：匹配特征來源：S.Lazebnik為什么要提取特征？動機：全景拼接我們有兩個圖像——如何將它們拼接起來？第1步：提取特征第2步：匹配特征第3步：對齊圖像來源：S.Lazebnik良好特征應具備的性質可重復性盡管進行了幾何和光學變換，但在多張圖像中仍可以找到相同的特征可區(qū)分性每個特征都是獨特的緊湊和高效性特征點比圖像像素少得多局部性從圖像局部的小區(qū)域就可以提取特征，因此對干擾和遮擋具有魯棒性來源：S.Lazebnik應用領域特征點可以用于：圖像對齊3D重建運動追蹤機器人導航索引和數據庫檢索目標識別來源：S.Lazebnik尋找角點關鍵屬性：在角點周圍的區(qū)域，圖像梯度有兩個或多個主導方向角點可重復且可區(qū)分來源：S.LazebnikC.HarrisandM.Stephens."ACombinedCornerandEdgeDetector.“

Proceedingsofthe4thAlveyVisionConference:pages147--151.

角點檢測：基本思想透過小窗口我們應該很容易識別角點無論向哪個方向移動窗口都會使窗口內的像素強度發(fā)生很大變化“邊緣”：

沿邊緣方向沒有變化“角落”：

各個方向都有顯著變化“平坦”區(qū)域：

各個方向均無變化來源：A.Efros角點檢測：數學方法移動[u,v]后，窗口w(x,y)

中的圖像變化E(3,2)w(x,y)E(0,0)來源：S.LazebnikI(x,y)E(u,v)角點檢測：數學方法圖像強度平移后的強度窗口函數或者窗口函數w(x,y)=高斯窗口內1，窗口外0來源：R.Szeliski移動[u,v]后，窗口w(x,y)

中的圖像變化角點檢測：數學方法我們想了解對于小平移量這個函數如何變化E(u,v)來源：S.Lazebnik移動[u,v]后，窗口w(x,y)

中的圖像變化角點檢測：數學方法

E(u,v)在(0,0)鄰域內的局部二階近似由二階泰勒展開式給出：來源：S.Lazebnik我們想了解對于小平移量這個函數如何變化移動[u,v]后，窗口w(x,y)

中的圖像變化角點檢測：數學方法E(u,v)關于(0,0)的二階泰勒展開式：

來源：S.Lazebnik角點檢測：數學方法E(u,v)關于(0,0)的二階泰勒展開式：

來源：S.Lazebnik角點檢測：數學方法二階近似簡化為其中M是根據圖像導數計算的二階矩矩陣：來源：S.LazebnikM曲面E（u，v）局部近似為二次型。讓我們試著理解它的形狀。解釋二階矩矩陣來源：S.Lazebnik首先，考慮軸對齊的情況（梯度方向為水平或垂直）如果任何特征值λ接近0，那么這不是一個角點，所以尋找兩個特征值都大的位置。解釋二階矩矩陣來源：S.Lazebnik考慮E(u，v)的水平“切片”：解釋二階矩矩陣這就是橢圓的方程。來源：S.LazebnikE(u,v)的水平“切片”：解釋二階矩矩陣這就是橢圓的方程。橢圓的軸長由特征值決定，方向由R決定M的對角化：來源：S.Lazebnik變化最慢的方向變化最快的方向(

max)-1/2(

min)-1/2二階矩矩陣的可視化來源：S.Lazebnik解釋特征值

2“角點”

1和

2都是很大的值，

1~2;

E延所有方向增加

1和2都是很小的值；

E在所有方向上幾乎恒定不變“邊緣”

1>>

2“邊緣”

2>>

1“平坦”區(qū)域根據M的特征值對圖像點進行分類：來源：S.Lazebnik

1角點響應函數α：常數（0.04到0.06之間）“角點”

R>0“邊緣”

R<0“邊緣”

R<0“平坦”區(qū)域|R|小來源：S.LazebnikHarris角點檢測器：步驟計算每個像素的高斯導數利用高斯窗函數計算每個像素的二階矩矩陣M計算角點響應函數R設定閾值找到響應函數的局部最大值（非極大值抑制）來源：S.LazebnikC.HarrisandM.Stephens."ACombinedCornerandEdgeDetector.“

Proceedingsofthe4thAlveyVisionConference:pages147--151.

Harris角點檢測器：步驟來源：S.LazebnikHarris角點檢測器：步驟計算角點響應R來源：S.LazebnikHarris角點檢測器：步驟尋找具有大角點響應量的點：R>閾值來源：S.LazebnikHarris角點檢測器：步驟只取R的局部極大值點來源：S.LazebnikHarris角點檢測器：步驟來源：S.Lazebnik不變性和協變性我們希望角點位置對光度變換不變，對幾何變換協變不變性：圖像發(fā)生變換，角點位置不變協變性：對同一圖像如果我們有兩個不同變換的版本，則在相應的位置應該檢測到特征來源：S.Lazebnik仿射強度變化只使用導數=>對強度偏移的不變性I

I

+

b

強度縮放：

I

a

Ix（圖像坐標）閾值x（圖像坐標）對于仿射強度變化保持部分不變性來源：S.LazebnikI

a

I+bRR圖像的平移導數和窗函數具有平移不變性角點位置對圖像平移保持協變性來源：S.Lazebnik圖像的旋轉二階矩橢圓旋轉，但其形狀（即特征值）保持不變角點位置對圖像旋轉保持協變性來源：S.Lazebnik縮放所有點都將被歸類為邊角點角點位置對尺度縮放不具有協變性！來源：S.Lazebnik局部特征：

斑點檢測計算機學院北京郵電大學斑點檢測來源：S.Lazebnik實現尺度協變目標：獨立檢測同一圖像在不同尺度下的相應區(qū)域需要尺度選擇機制用于尋找與圖像變換協變的特征區(qū)域尺寸來源：S.Lazebnik回顧：邊緣檢測F來源：S.Seitz邊緣高斯一階偏導

邊緣=導數的最大值點邊緣檢測F邊緣高斯的二階導數（拉普拉斯）

邊緣=二階導數的過零點來源：S.Seitz從邊緣到斑點邊緣=波紋斑點=兩條波紋的疊加尺度空間選擇：拉普拉斯算子響應的幅度將在斑點的中心達到最大值，前提是拉普拉斯算子的尺度與斑點的尺度“匹配”最大響應來源：S.Lazebnik尺度選擇我們希望通過在多個尺度上將斑點與拉普拉斯算子進行卷積并尋找最大響應來確定斑點的特征尺度然而，拉普拉斯響應隨著尺度的增加而衰減：為什么會出現這種情況？增加σ原始信號

（半徑=8）來源：S.Lazebnik尺度歸一化高斯偏導核對理想階躍邊緣的響應隨著σ的增加而減小來源：S.Lazebnik尺度歸一化高斯偏導核對理想階躍邊緣的響應隨著σ的增加而減小為了保持響應相同（對尺度不變），必須將高斯導數乘以σ拉普拉斯算子是高斯二階導數，因此必須乘以σ2來源：S.Lazebnik尺度歸一化的影響問題？尺度歸一化拉普拉斯響應非標準化拉普拉斯響應原始信號最大值點來源：S.Lazebnik二維斑點檢測高斯拉普拉斯算子：用于二維斑點檢測的圓形對稱算子來源：S.Lazebnik二維斑點檢測

高斯拉普拉斯算子：用于二維斑點檢測的圓形對稱算子尺度歸一化：來源：S.Lazebnik尺度選擇拉普拉斯算子對半徑為r的圓的二值圖，拉普拉斯算子在什么尺度上能夠獲得最大響應？r圖像來源：S.Lazebnik尺度選擇對半徑為r的圓的二值圖，拉普拉斯算子在什么尺度上能夠獲得最大響應？為了獲得最大響應，拉普拉斯算子的零點必須與圓的邊界對齊r圖像圓拉普拉斯算子0來源：S.Lazebnik0圓拉普拉斯算子00對半徑為r的圓的二值圖，拉普拉斯算子在什么尺度上能夠獲得最大響應？為了獲得最大響應，拉普拉斯算子的零點必須與圓的邊界對齊尺度選擇尺度選擇對半徑為r的圓的二值圖，拉普拉斯算子在什么尺度上能夠獲得最大響應？為了獲得最大響應，拉普拉斯算子的零點必須與圓的邊界對齊拉普拉斯算子由下式給出（按尺度）：

因此，最大響應發(fā)生在r圖像圓拉普拉斯算子0來源：S.Lazebnik特征尺度我們將斑點的特征尺度定義為在斑點中心的位置拉普拉斯響應達到峰值時對應的尺度特征尺度來源：S.LazebnikT.Lindeberg(1998)."Featuredetectionwithautomaticscaleselection."

InternationalJournalofComputerVision

30(2):pp77--116.尺度空間斑點檢測器在多個尺度上將圖像與尺度歸一化拉普拉斯算子進行卷積來源：S.Lazebnik尺度空間斑點檢測器：示例來源：S.Lazebnik尺度空間斑點檢測器：示例來源：S.Lazebnik尺度空間斑點檢測器在多個尺度上將圖像與尺度歸一化拉普拉斯算子進行卷積找到尺度空間中拉普拉斯響應平方的最大值來源：S.Lazebnik尺度空間斑點檢測器：示例來源：S.LazebnikHarris-Laplacian求局部最大值：–尺度空間中的Harris角點檢測器（圖像坐標）–拉普拉斯尺度SIFT(Lowe)求局部最大值：

–高斯在空間和尺度上的差異高效實現方法[1]K.Mikolajczyk,C.Schmid.“IndexingBasedonScaleInvariantInterestPoints”.ICCV2001

[2]D.Lowe.“DistinctiveImageFeaturesfromScale-InvariantKeypoints”.IJCV2004

高效實現方法用高斯差分近似拉普拉斯算子：（拉普拉斯算子）（高斯差分算子）來源：S.Lazebnik高效實現方法

來源：S.Lazebnik

DavidG.Lowe."Distinctiveimagefeaturesfromscale-invariantkeypoints.”

IJCV60(2),pp.91-110,2004.不變性和協變性拉普拉斯響應（對斑點）相對于旋轉和縮放是不變的斑點位置和縮放相對于旋轉和縮放是協變的強度變化如何？來源：S.Lazebnik實現仿射協變仿射變換近似于平面物體與正交相機的視角變化來源：S.LazebnikK.MikolajczykandC.Schmid,ScaleandAffineinvariantinterestpointdetectors,IJCV60(1):63-86,2004.

實現仿射協變變化最慢的方向變化最快的方向考慮包含斑點的窗口的二階矩矩陣：回顧：這個橢圓可視化了窗口的“特征形狀”來源：S.Lazebnik(

max)-1/2(

min)-1/2仿射變換自適應示例尺度不變區(qū)域（斑點）來源：S.Lazebnik仿射變換自適應示例仿射適應的斑點來源：S.Lazebnik從協變性檢測到不變性描述同一鄰域的幾何變換版本通過相同變換可產生相關的區(qū)域如果我們想比較這些圖像區(qū)域的內容該怎么辦？歸一化：將這些區(qū)域轉換為相同尺寸的圓形區(qū)域來源：S.Lazebnik仿射歸一化問題：橢圓與單位圓之間的變換不唯一我們可以旋轉或翻轉一個單位圓，它仍然是一個單位圓

來源：S.Lazebnik消除旋轉歧義要為圓形圖像窗口指定唯一方向，請執(zhí)行以下操作：對圖像塊建立局部梯度方向的直方圖在平滑直方圖的峰值處指定規(guī)范方向02p來源：S.Lazebnik從協變區(qū)域到不變特征提取仿射區(qū)域標準化區(qū)域消除旋轉歧義計算內容

描述符SIFT(Lowe’04）來源：S.Lazebnik不變性與協變性對比不變性：特征（變換（圖像））=

特征（圖像）

協變性：特征（變換（圖像））=

變換（特征（圖像））協變檢測=>不變描述來源：S.Lazebnik問題？圖像分類北京郵電大學演講

14-飛飛

李?

介紹目標識別

–

表示

–

學習

–

識別?

詞袋模型

–

基本的表示

–

不同的學習和識別算法2011年11月14日22025/10/20北京郵電大學285我們將要學習什么？視覺識別任務有哪些不同？來源：Fei-FeiLi2025/10/20北京郵電大學286這張圖像包含一個建筑？

[是/否]

是的！來源：Fei