工業(yè)機(jī)器視覺(jué)常用算法認(rèn)知數(shù)字圖像處理算法介紹?1.1數(shù)字圖像介紹?1.2圖像運(yùn)算?1.3圖像濾波?1.4圖像基本變換?1.5圖像灰度信息?1.6圖像學(xué)?1.7圖像特征?1.8圖像配準(zhǔn)目錄1.1數(shù)字圖像介紹數(shù)字圖像，又稱數(shù)碼圖像或者數(shù)位圖像，是由模擬圖像數(shù)字化后得到的可以用數(shù)字計(jì)算機(jī)或數(shù)字電路進(jìn)行儲(chǔ)存和處理的圖像。數(shù)字圖像的基本元素為像素，像素是在模擬圖像數(shù)字化時(shí)對(duì)連續(xù)空間進(jìn)行離散后得到的。每個(gè)像素具有整數(shù)行和列的位置坐標(biāo)，同時(shí)每個(gè)像素都具有整數(shù)灰度值或顏色值。每張數(shù)字圖像都可以視為由多個(gè)采樣值組成的二維數(shù)組，根據(jù)這些采樣值以及特性的不同，數(shù)字圖像主要分為二值圖像、灰度圖像和彩色圖像。二值圖像指圖像中每個(gè)像素的亮度值僅可以取自0到1的圖像，如圖1-

1a)所示?；叶葓D像指圖像中每個(gè)像素的灰度等級(jí)根據(jù)像元深度可覆蓋多個(gè)等級(jí)，如圖1-1b)所示。在數(shù)字圖像中，灰度圖像的像元深度通常為8位，因此常見(jiàn)的灰度圖像的灰度等級(jí)可以覆蓋0~255級(jí)，其中0表示純黑色，255表示純白色。彩色圖像的每幅彩色圖像是由多個(gè)通道組合而成的，最常見(jiàn)的彩色圖像為RBG三通道彩色圖像，如圖1-1c)所示，三個(gè)通道分別代表紅色、藍(lán)色、綠色。圖1-1不同種類的數(shù)字圖像b)灰度圖像a)二值圖像c)彩色圖像1.1數(shù)字圖像介紹數(shù)字圖像上的每一個(gè)像素都由坐標(biāo)來(lái)確定位置，而在不同的坐標(biāo)系下，同一坐標(biāo)值所表示的位置也會(huì)有所不同，因此在進(jìn)行數(shù)字圖像處理前需要明確所使用的機(jī)器視覺(jué)處理軟件的坐標(biāo)系設(shè)置。例如，廣東奧普特公司的Smart3軟件的坐標(biāo)系設(shè)置如下圖1-2所示，左上角為原點(diǎn)(0,0)，向右水平方向?yàn)閤軸正方向，向下豎直方向?yàn)閥軸正方向，本模塊在闡述設(shè)計(jì)坐標(biāo)變換的內(nèi)容時(shí)也會(huì)以這一坐標(biāo)系為基準(zhǔn)。圖1-2數(shù)字圖像的坐標(biāo)系常見(jiàn)的圖像文件格式有許多種，如BMP

、TIFF

、JPEG

、PNG等。各個(gè)圖像格式各有優(yōu)缺點(diǎn)，有的質(zhì)量好，包含信息全，占用空間大；有的壓縮率高，占用空間小，圖像細(xì)節(jié)有損失。機(jī)器視覺(jué)所采用的圖像一般都是未經(jīng)壓縮的原始數(shù)據(jù)，因?yàn)锽MP文件格式中包含著原始的圖像數(shù)據(jù)，一般常用BMP格式。1.2圖像運(yùn)算圖像是像素點(diǎn)及對(duì)應(yīng)的灰度值的集合，通過(guò)運(yùn)算操作各個(gè)像素點(diǎn)的灰度值可以改變圖像的特征。如圖1-3所示，使用黑白的掩膜(白色區(qū)域?yàn)?，黑色區(qū)域?yàn)?)與原圖進(jìn)行乘法運(yùn)算，獲得白色掩膜所代表的工件的區(qū)域，消除背景的影響。圖像運(yùn)算是數(shù)字圖像處理的基礎(chǔ)，圖像處理算法基于圖像運(yùn)算的組合。圖1-3圖像邏輯運(yùn)算示例圖像運(yùn)算主要可分為數(shù)學(xué)運(yùn)算、位運(yùn)算與比較運(yùn)算，需要通過(guò)其工作原理與期望效果來(lái)選擇使用。設(shè)原圖像灰度值為g1，常量值或輸入圖像的灰度值為g2

，輸出的范圍為0~255的整數(shù)。數(shù)學(xué)運(yùn)算的主要操作類型有加、減、乘、除、平均值、絕對(duì)差值6種類型，其運(yùn)算規(guī)則如表1-1所示，其中加運(yùn)算的效果如圖1-4所示，通過(guò)兩張圖像的疊加提高了圖像的亮度。c)運(yùn)算結(jié)果b)掩膜a)原圖運(yùn)算類型加減乘除平均值絕對(duì)差值輸出值g1

+g2g1

?g2g1

g2g1

g2(g1

+g2

)2g1

?g2

1.2圖像運(yùn)算表1-1數(shù)學(xué)運(yùn)算規(guī)則圖1-4加運(yùn)算效果b)輸入圖像c)輸出圖像a)原圖運(yùn)算類型與(&)或(|)取反(~

)異或(⊕)規(guī)則如同一位都為1，則運(yùn)算結(jié)果的相同位取1，否則取0如同一位都為0，則運(yùn)算結(jié)果的相同位取0，否則取1若原位為0，則運(yùn)算結(jié)果的相同位取1，否則取0如同一位數(shù)字相同，則運(yùn)算結(jié)果的相同位取0，否則取1輸入00101011&0111001100101011|01110011~0010101100101011⊕01110011輸出00100011011110111101010001011000效果保留掩膜圖像中白色覆蓋的區(qū)域保留掩膜圖像中黑色覆蓋的區(qū)域使圖像顏色反轉(zhuǎn)使掩膜圖像中白色覆蓋的區(qū)域顏色反轉(zhuǎn)1.2圖像運(yùn)算位運(yùn)算包含的操作類型主要有與、或、取反、或非4種類型。位運(yùn)算是將灰度值轉(zhuǎn)換為二進(jìn)制數(shù)后再進(jìn)行的運(yùn)算。設(shè)像素點(diǎn)1的灰度值為43，轉(zhuǎn)換為二進(jìn)制后表達(dá)為00101011；像素點(diǎn)2的灰度值為115，轉(zhuǎn)換為二進(jìn)制后表達(dá)為01110011，則以上4種位運(yùn)算的運(yùn)算規(guī)則及示例如表1-2所示。其中在圖像處理中常用的是與運(yùn)算，通過(guò)與運(yùn)算可以將特定的區(qū)域灰度值置為0，效果如圖1-5所示，掩膜圖中的黑色區(qū)域灰度值為0，白色區(qū)域灰度值設(shè)255，經(jīng)過(guò)與原圖與操作后，原圖背景區(qū)域變成了黑色，而中間前景區(qū)域圖像被提取出來(lái)，前景和背景對(duì)比更明顯。表1-2位運(yùn)算規(guī)則a)原圖b)掩膜c)輸出圖像圖1-5與運(yùn)算效果比較運(yùn)算包括的運(yùn)算類型主要有較大值、較小值、小于時(shí)清零等。其運(yùn)算規(guī)則如表1-3所示，其中小于時(shí)清零的效果如圖1-6所示，此處掩膜圖中的黑色區(qū)域灰度值為0，白色區(qū)域灰度值設(shè)255，當(dāng)采用小于時(shí)清零運(yùn)算時(shí)，由于原像亮度小于中間圖片白色區(qū)域亮度，所以輸出圖像中間區(qū)域變成了黑色。1.2圖像運(yùn)算ggggggggggggggggg22222221111111111

運(yùn)算類型較大值較小值小于時(shí)清零等于時(shí)清零大于時(shí)清零條件g1

>

g2g1

<

g2g1

<

g2g1

=

g2g1

>

g2條件成立時(shí)輸出值11000條件不成立時(shí)輸出值221111.2圖像運(yùn)算表1-3比較運(yùn)算規(guī)則b)掩膜圖1-6小于時(shí)清零運(yùn)算效果c)輸出圖像a)原圖gggggggg圖像在成像、傳輸和描述等過(guò)程中往往會(huì)受到多種信號(hào)的干擾而產(chǎn)生噪聲，對(duì)成像質(zhì)量造成影響，而圖像濾波算法能夠在盡量保留圖像細(xì)節(jié)特征的條件下對(duì)圖像中的噪聲信號(hào)進(jìn)行抑制，圖1-7展示了濾波對(duì)圖像質(zhì)量的影響，圖中的亮色斑點(diǎn)得到了抑制。圖像濾波分為空間域?yàn)V波和頻域?yàn)V波。1.3圖像濾波圖1-7濾波對(duì)圖像質(zhì)量的影響b)濾波后a)濾波前1.3圖像濾波1.3.1空間域?yàn)V波空間域?yàn)V波指的是對(duì)構(gòu)成數(shù)字圖像的每個(gè)像素進(jìn)行處理，也就是直接對(duì)像素的值進(jìn)行操作的過(guò)程?？臻g域?yàn)V波的關(guān)鍵要素是濾波核，濾波核可以視為一種模板，它包含了待處理的像素點(diǎn)及其周圍的數(shù)個(gè)像素點(diǎn)，并使得這些被包含在濾波核中的像素點(diǎn)按照某種定義進(jìn)行運(yùn)算，得到待處理像素點(diǎn)的最終像素值。根據(jù)濾波核選取的不同，空間域?yàn)V波還可分為均值濾波、高斯濾波、中值濾波以及Canny濾波。1.均值濾波均值濾波也稱為線性濾波，其采用的主要方法為鄰域平均法。均值濾波的基本原理是用均值代替原圖像中的各個(gè)像素值，即對(duì)待處理的當(dāng)前像素點(diǎn)(x,y)，求取該像素點(diǎn)以及其鄰近范圍內(nèi)數(shù)個(gè)像素點(diǎn)的灰度值的均值，其中包含的像素點(diǎn)的數(shù)量是由濾波核的尺寸決定的。把該均值賦予當(dāng)前像素點(diǎn)作為處理后圖像上該點(diǎn)的灰度值g(x,

y)，即g

(x,

y)

=

f

(x,

y)/

m

，m

為該濾波核中包含當(dāng)前像素在內(nèi)的像素總個(gè)數(shù)。均值濾波的運(yùn)算過(guò)程如圖1-8所示，實(shí)例中選取了尺寸為1×1的濾波核，對(duì)待處理像素點(diǎn)及其周圍八鄰域內(nèi)的像素點(diǎn)進(jìn)行處理。濾波核計(jì)算的基本規(guī)則就是待處理像素點(diǎn)及其鄰近點(diǎn)的像素值分別與濾波核中對(duì)應(yīng)位置的權(quán)重系數(shù)相乘后相加，最后除以濾波核中權(quán)重系數(shù)的總和。均值濾波運(yùn)算簡(jiǎn)單、計(jì)算速度快，但是在去噪的同時(shí)也破壞了圖像的細(xì)節(jié)，從而使圖像變得模糊，對(duì)椒鹽噪聲和高斯噪聲的平滑效果也不夠理想。因此均值濾波的一個(gè)重要應(yīng)用是給感興趣的區(qū)域一個(gè)粗略的描述，他可以與動(dòng)態(tài)閾值分割算法配合使用，來(lái)對(duì)光線不均勻的圖像進(jìn)行二值化。b)均值濾波核圖1-8均值濾波計(jì)算1.3圖像濾波a)待處理像素點(diǎn)及其鄰域c)處理后像素值1.3圖像濾波2.高斯濾波高斯濾波是一種線性平滑濾波，適用于消除高斯噪聲。高斯濾波核的計(jì)算規(guī)則和均值濾波核一致，其與均值濾波核的不同之處在于，濾波核內(nèi)的權(quán)重分布是對(duì)高斯函數(shù)進(jìn)行了模擬，具有對(duì)稱性且數(shù)值由中心向四周不斷減小，如圖1-9所示即為兩種高斯函數(shù)的濾波核。b)5×5，總權(quán)重系數(shù)為273a)3×3，總權(quán)重系數(shù)為16圖1-9高斯濾波核1.3圖像濾波3.中值濾波中值濾波是一種非線性平滑濾波，其濾波核計(jì)算規(guī)則與均值濾波和高斯濾波有所不同。在濾波核范圍內(nèi)的像素點(diǎn)按像素值從大到小進(jìn)行排列，選取對(duì)應(yīng)的中值作為處理后圖像上該點(diǎn)的灰度值。中值濾波可以去除孤立線或點(diǎn)，在處理椒鹽噪聲方面有很好的效果，但對(duì)高斯噪聲的平滑效果不如高斯濾波。4.Canny濾波當(dāng)需要關(guān)注圖像中的邊緣信息而非紋理信息時(shí)，可以使用Canny算子對(duì)圖像邊緣進(jìn)行突出。Canny算子通過(guò)判斷圖像中灰度變化的梯度來(lái)對(duì)邊緣進(jìn)行初步篩選，然后采用滯后閾值的方式對(duì)初步篩選的結(jié)果進(jìn)行跟蹤，避免將沒(méi)有組成連續(xù)虛線的噪聲像素當(dāng)成邊緣。Canny算子的濾波效果如圖1-10所示。a)原圖

b)濾波后圖1-10Canny濾波效果圖1-11頻域?yàn)V波過(guò)程其中f

(x,

y)

為原圖，F(xiàn)(u,

v)

為f(x,y)

頻率域正變換的結(jié)果，H(u,

v)

為頻率域中的修正函數(shù)，也稱濾波器；G(u,v)為濾波修正后的結(jié)果，g(x,

y)

為

G(u,

v)逆變換后的結(jié)果，即增強(qiáng)后的圖像。對(duì)于在頻域中修正前的圖像F(u,v)和修正后的圖像G(u,

v)

，存在如下關(guān)系：G(u,v)=F(u,v)H(u,

v)(1.1)頻率域?yàn)V波的好處在于：將空間域中復(fù)雜的卷積濾波操作轉(zhuǎn)換為頻率域中簡(jiǎn)單的乘積計(jì)算。頻域?yàn)V波是采用傅里葉變換將圖像從空間域變換到頻率域，在頻率域?qū)D像進(jìn)行濾波，最后采用傅里葉逆變換將圖像從頻率域轉(zhuǎn)換回空間域，從而對(duì)圖像效果進(jìn)行增強(qiáng)。該處理過(guò)程如圖1-11所示。傅里葉變換F(u,v)修正H(u,v)G(u,v)傅里葉逆變換g(x,y)1.3圖像濾波1.3.2頻域?yàn)V波f(x,y)1.3圖像濾波1.低通濾波低通濾波是一種抑制圖像頻譜的高頻信號(hào)而保留低頻信號(hào)的濾波方式。低通濾波器可以起到突出背景、平滑圖像的作用，常用的低通濾波器包括理想低通濾波器、巴特沃斯低通濾波器、指數(shù)低通濾波器和梯形低通濾波器等。其中理想低通濾波器的傳遞函數(shù)表示如下：(1,D(u,v)D0H(u,v)=〈

0,D(u,v)>D0(1.2)其中D0表示理想低通濾波器的截止頻率，即圖像頻譜中小于等于D0的部分都將得到保留，而大于D0

的部分將會(huì)得到濾除。圖1-12中展示了低通濾波的效果。理想低通濾波器的平滑效果較為明顯，但隨

著D0設(shè)置的變小，其處

理后圖像的模糊情況會(huì)

愈發(fā)嚴(yán)重。圖3-12低通濾波前后的圖像對(duì)比(0,D(u,v)D0H(u,v)=〈

1,D(u,v)>D0其中D0

表示理想高通濾波器的截止頻率，即圖像頻譜中小于等于的部分將會(huì)得到濾除，圖1-13中展示了高通濾波的效果。高通濾波是一種抑制圖像頻譜的低頻信號(hào)而保留高頻信號(hào)的濾波方式。高通濾波器可以起到銳化并突出圖像邊緣的作用，常用的高通濾波器包括理想高通濾波器、巴特沃斯高通濾波器、指數(shù)高通濾波器和梯形高通濾波器等。其中理想高通濾波器的傳遞函數(shù)表示如下：(1.3)D0

的部分都將得到保留，而大于D01.3圖像濾波2.高通濾波圖1-13高通濾波前后的圖像對(duì)比1.4圖像基本變換有時(shí)需要對(duì)圖像的位置進(jìn)行一定處理，使它符合檢測(cè)的需求，這時(shí)就需要用到圖像的基本變換。通過(guò)對(duì)圖像的位置進(jìn)行改變，可以使得圖像更便于觀察，并初步突出感興趣的特征。1.4.1圖像平移變換圖像平移變換是指將圖像中的所有像素一同沿著同一的水平/豎直方向進(jìn)行移動(dòng)。設(shè)圖像中某一點(diǎn)的像素坐標(biāo)為

(x0

,

y0

)

，則經(jīng)過(guò)平移變換后的坐標(biāo)

(x,

y)

為：(x

=x0

+

x〈

y

=

y0

+

y

(1.4)其中

x

和y

分別表示該像素點(diǎn)在x

方向和y

方向上移動(dòng)過(guò)的距離，圖像平移的效果如圖1-14所示，圖中的的圖像就是沿x

方向移動(dòng)了3個(gè)像素后再沿y

方向移動(dòng)了1個(gè)像素。a)原圖

b)平移后的效果圖1-14圖像平移1.4圖像基本變換1.4.2圖像鏡像變換圖像鏡像變換是指將圖像整體沿著某一條軸線進(jìn)行翻轉(zhuǎn)的變換，常用的鏡像變換為水平鏡像變換和垂直鏡像變換。設(shè)圖像上一點(diǎn)的像素坐標(biāo)為(x0

,

y0

)

，水平鏡像變換即是保持像素點(diǎn)的縱坐標(biāo)不變，對(duì)橫坐標(biāo)進(jìn)行取反，即鏡像后該像素點(diǎn)的坐標(biāo)變?yōu)??x0,

y0)

。機(jī)器視覺(jué)處理軟件中，圖像的坐標(biāo)一般

是從(0,0)開(kāi)始增加的，沒(méi)有負(fù)數(shù)，因此一般的計(jì)算思路是先將橫坐標(biāo)取反后，再將圖像進(jìn)行平移。設(shè)一圖像的水平方向長(zhǎng)度為M

，豎直方向長(zhǎng)度為N

，則對(duì)于圖像上一像素點(diǎn)(x0

,

y0

)，其經(jīng)過(guò)水平鏡像變換后的坐標(biāo)(x,y)有：(x

=M

?1?x0〈

y

=

y0(1.5)水平鏡像變換的效果如圖1-15所示：圖1-15水平鏡像變換b)水平鏡像變換后的效果a)原圖1.4圖像基本變換垂直鏡像變換與水平鏡像變換同理，設(shè)一圖像的水平方向長(zhǎng)度為M

，豎直方向長(zhǎng)度為N

，則對(duì)于圖像上一像素點(diǎn)(x0

,

y0)

，經(jīng)過(guò)垂直鏡像變換后的坐標(biāo)(x,

y)

有：(x

=x0〈

y

=

N

?1?

y0(1.6)垂直鏡像變換的效果如圖3-16所示。圖1-16垂直鏡像變換b)垂直鏡像變換后的效果a)原圖1.4圖像基本變換1.4.3圖像旋轉(zhuǎn)變換圖像旋轉(zhuǎn)變換是指以圖像中的某點(diǎn)為旋轉(zhuǎn)原點(diǎn)，按照順時(shí)針或逆時(shí)針?lè)较驅(qū)D像整體旋轉(zhuǎn)一定的角度。設(shè)圖像上一點(diǎn)(x0

,y0

)，則該點(diǎn)以圖像原點(diǎn)作為旋轉(zhuǎn)原點(diǎn)，逆時(shí)針旋轉(zhuǎn)9度的理論坐標(biāo)變換公式為：需要指出的是，由于數(shù)字圖像中像素點(diǎn)的坐標(biāo)均為整數(shù)，相鄰的像素之間只能有八個(gè)方向，而需要進(jìn)行旋轉(zhuǎn)的角度可能是任意的，這會(huì)使得旋轉(zhuǎn)后原有像素點(diǎn)之間的關(guān)系往往不再符合原有的相鄰關(guān)系。此外，經(jīng)旋轉(zhuǎn)后的圖像會(huì)出現(xiàn)許多空洞點(diǎn)，可采用差值的方式對(duì)空洞點(diǎn)進(jìn)行填補(bǔ)，常見(jiàn)的插值法有近鄰插值法和均值插值法。近鄰插值法是將被判斷為空洞點(diǎn)的像素使用其同一行或列中的相鄰像素進(jìn)行填充，均值插值法是將空洞點(diǎn)像素用其相鄰四個(gè)像素的平均灰度值作為像素值來(lái)填充。(x

=x0

cos9+y0

sin9〈

y

=?x0

sin9+y0

cos9(1.7)在進(jìn)行旋轉(zhuǎn)變換之后，計(jì)算得到的新的像素點(diǎn)值有可能超過(guò)原圖像所在的空間的范圍，為了避免信息的丟失，應(yīng)當(dāng)根據(jù)計(jì)算結(jié)果創(chuàng)建尺寸更大的畫布，并將計(jì)算結(jié)果轉(zhuǎn)移到新的畫布上，如圖1-17所示。1.4圖像基本變換圖1-17旋轉(zhuǎn)變換對(duì)畫布尺寸的影響b)旋轉(zhuǎn)變換的效果a)原圖1.5圖像灰度信息圖像的灰度信息是指圖像中每個(gè)像素的灰度級(jí)及其分布。通過(guò)灰度信息可以分析圖像的亮度分布、對(duì)比度和紋理等特征。常見(jiàn)的圖像處理任務(wù)，如邊緣檢測(cè)、圖像增強(qiáng)和物體識(shí)別，都可以基于灰度信息進(jìn)行。1.5.1灰度直方圖灰度直方圖是關(guān)于灰度級(jí)分布的函數(shù)，是對(duì)圖像中灰度級(jí)分布的統(tǒng)計(jì)?；叶戎狈綀D是將數(shù)字圖像中的所有像素，按照灰度值的大小，統(tǒng)計(jì)其出現(xiàn)的頻率?；叶戎狈綀D是灰度級(jí)的函數(shù)，它表示圖像中具有某種灰度級(jí)的像素的個(gè)數(shù)，反映了圖像中某種灰度出現(xiàn)的頻率。圖1-18展示了四種圖像的灰度直方圖，其中橫坐標(biāo)表示灰度等級(jí)，縱坐標(biāo)表示某一灰度等級(jí)的像素點(diǎn)的個(gè)數(shù)，也表征了該灰度等級(jí)出現(xiàn)的頻率?？梢钥闯?，圖像較暗時(shí)，灰度直方圖集中在灰度較低的一側(cè)；圖像較亮?xí)r，灰度直方圖集中在灰度較高的一側(cè)。圖像對(duì)

比度大時(shí)，灰度直方圖的灰度等級(jí)分布更廣，對(duì)比度小時(shí)灰度分布更加集中。c)亮圖像d)暗圖像圖1-18四種灰度區(qū)間的圖像及其灰度直方圖b)低對(duì)比度圖像a)高對(duì)比度圖像1.5圖像灰度信息1.5.2閾值分割閾值分割即是將圖像中灰度等級(jí)滿足要求的部分分離出來(lái)，主要可以分為全局閾值分割和動(dòng)態(tài)閾值分割。全局閾值分割又稱二值化，即將整幅圖像都采用一個(gè)固定的閾值范圍來(lái)進(jìn)行分割，分割后的圖像只有0和255兩種像素值，非黑即白。二值化實(shí)現(xiàn)簡(jiǎn)單，可以通過(guò)觀察圖像的灰度直方圖，選取一個(gè)感興趣的閾值區(qū)間，設(shè)其下限為Gdown

，上限為Gup

，如果圖像中某一處像素的灰度值落入該閾值區(qū)間則將該值置為255，若不處于該區(qū)間內(nèi)則置為0。二值化的變化函數(shù)如下所示，其中T為選取的閾值。(0,G

<

Gdown圖1-19展示了圖像二值化的效果，通過(guò)二值化將主要關(guān)注的區(qū)域分離出來(lái)。|Gnew

=〈255,Gdown

G

Gup

|圖1-19全局閾值分割效果展示

0,G

>

Gdownb)二值化后a)原圖(1.8)1.5圖像灰度信息有時(shí)由于圖像的背景并不均勻，難以確定全局閾值，全局閾值的方法則不再適用，此時(shí)可以通過(guò)動(dòng)態(tài)閾值分割對(duì)圖像局部的閾值進(jìn)行分割。動(dòng)態(tài)閾值分割是指在圖像分割的過(guò)程中，不用人為的去設(shè)置閾值，而是根據(jù)圖像中存在的特征進(jìn)行分割。動(dòng)態(tài)分割的原理一般是將原圖像與處理后的圖像作差，然后去計(jì)算差值圖像中的亮色區(qū)域或者暗色區(qū)域。其本質(zhì)相當(dāng)于對(duì)圖像灰度直方圖的平滑，進(jìn)而求取圖像中的波谷或者波峰。動(dòng)態(tài)閾值分割具有抗干擾性強(qiáng)、穩(wěn)定性強(qiáng)的特點(diǎn)，對(duì)光照變化不敏感。圖1-20展示了動(dòng)態(tài)閾值分割和全局閾值分割之間的差異。全局閾值分割能夠?qū)D像中灰度值較高的部分進(jìn)行分割，但灰度較低的字符區(qū)未被分割出來(lái)，動(dòng)態(tài)閾值分割則較好地將字符部分獨(dú)立地分割出來(lái)。a)原圖

b)全局閾值分割效果c)動(dòng)態(tài)閾值分割效果圖1-20全局閾值分割和動(dòng)態(tài)閾值分割的對(duì)比1.5圖像灰度信息1.5.3顏色顏色特征是一種全局特征，描述了圖像或圖像區(qū)域所對(duì)應(yīng)的物體的表面性質(zhì)。顏色的主要描述方法為顏色直方圖，其與灰度直方圖類似，能簡(jiǎn)單描述一幅圖像中顏色的全局分布，即不同色彩在整幅圖像中所占的比例，特別適用于描述那些難以自動(dòng)分割的圖像和不需要考慮物體空間位置的圖像。缺點(diǎn)在于無(wú)法描述圖像中顏色的局部分布及每種色彩所處的空間位置，即無(wú)法描述圖像中的某一具體的對(duì)象或物體。在機(jī)器視覺(jué)中，通常直接對(duì)灰度圖而非彩色圖進(jìn)行處理。當(dāng)需要對(duì)某種顏色的對(duì)象進(jìn)行提取時(shí)，會(huì)選擇將圖像轉(zhuǎn)變到某一顏色空間下或提取當(dāng)前顏色空間的單通道分量。常見(jiàn)的顏色空間為RGB空間，RGB圖像是三通道圖像，其三個(gè)通道分別代表圖像在紅色、綠色和藍(lán)色的分量，如圖1-21所示，紅色、綠色、藍(lán)色分別在R、G

、B三個(gè)通道下表現(xiàn)出更高的灰度值，因此可以對(duì)單通道數(shù)據(jù)進(jìn)行處理提取對(duì)應(yīng)特征。a)彩色圖像b)R通道c)G通道

d)B通道圖1-21RGB顏色空間的三通道分量1.5圖像灰度信息1.5.4紋理紋理特征也是一種全局特征，它也描述了圖像或圖像區(qū)域所對(duì)應(yīng)景物的表面性質(zhì)。由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質(zhì)屬性，所以僅僅利用紋理特征是無(wú)法獲得高層次圖像內(nèi)容的。與顏色特征不同，紋理特征不是基于像素點(diǎn)的特征，需要在包含多個(gè)像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算。統(tǒng)計(jì)方法的典型代表是一種稱為灰度共生矩陣的紋理特征分析方法，即所有估計(jì)的值可以表示成一個(gè)矩陣的形式，因此被稱為灰度共生矩陣。對(duì)于紋理變化緩慢的圖像，其灰度共生矩陣對(duì)角線上的數(shù)值較大；而對(duì)于紋理變化較快的圖像，其灰度共生矩陣對(duì)角線上的數(shù)值較小，對(duì)角線兩側(cè)的值較大。通過(guò)這種方式可以對(duì)圖像中具有相似紋理的部分進(jìn)行提取。1.6圖像形態(tài)學(xué)形態(tài)學(xué)是圖像處理中應(yīng)用最為廣泛的技術(shù)之一，主要用于從圖像中提取對(duì)表達(dá)和描繪區(qū)域形狀有意義的圖像分量，使后續(xù)的識(shí)別工作能夠抓住目標(biāo)對(duì)象最為本質(zhì)的形狀特征，如連通區(qū)域、邊界等。1.6.1連通性分析通過(guò)閾值分割所得到像素點(diǎn)的集合稱為區(qū)域。區(qū)域之間關(guān)系分為連通和分離。相互連通區(qū)域之間存在聯(lián)系，在后續(xù)的形態(tài)學(xué)處理中需要對(duì)其進(jìn)行處理和分析，因此如何判斷區(qū)域之間的連通性顯得尤為重要。區(qū)域是否連通要通過(guò)鄰域進(jìn)行判斷。鄰域指的是圖像中一個(gè)像素點(diǎn)周圍的區(qū)域，如圖1-22所示，有四鄰域和八鄰域之分。當(dāng)兩個(gè)區(qū)域存在公共像素點(diǎn)，則可以說(shuō)這兩個(gè)區(qū)域是連通的。圖1-22像素的鄰域b)八鄰域a)四鄰域1.6圖像形態(tài)學(xué)連通性分析中常用到的方法為種子填充法和兩次遍歷法，這里對(duì)種子填充法的思路進(jìn)行介紹。種子填充法需要選擇一個(gè)像素點(diǎn)作為種子，從這一種子像素點(diǎn)開(kāi)始向鄰域周圍搜索，發(fā)現(xiàn)有相等灰度值的像素點(diǎn)則將其標(biāo)記為相同的序號(hào)，然后繼續(xù)在被標(biāo)記為相同序號(hào)的像素點(diǎn)鄰域進(jìn)行搜索。直到所有序號(hào)相同的像素點(diǎn)鄰域內(nèi)周圍都沒(méi)有相同灰度值的點(diǎn)后，這些序號(hào)相同的像素點(diǎn)的集合就可以視為一個(gè)連通區(qū)域。然后再以其他的像素點(diǎn)作為種子，繼續(xù)搜索下一個(gè)連通區(qū)域。種子填充法的示意如圖1-23所示。a)閾值分割結(jié)果(白色像素點(diǎn))圖1-23種子填充法判斷連通性b)進(jìn)行連通性判斷1.6圖像形態(tài)學(xué)1.6.2腐蝕與膨脹腐蝕與膨脹是形態(tài)學(xué)處理中較為基本的算法。腐蝕是指消除目標(biāo)的邊界點(diǎn)，使目標(biāo)的邊界向內(nèi)部收縮。從圖1-24所示的對(duì)比效果圖中可以看出，原圖的白色方形輪廓框比較粗，而經(jīng)過(guò)腐蝕后變細(xì)了，這就是邊界向內(nèi)部收縮的過(guò)程。原圖上有很多白色小噪聲干擾，經(jīng)過(guò)腐蝕后基本消失。圖1-24圖像的腐蝕b)腐蝕效果圖a)原圖1.6圖像形態(tài)學(xué)膨脹的效果與腐蝕相反，簡(jiǎn)單理解就是將與物體接觸的所有背景點(diǎn)合并到該物體中，使邊界向外部擴(kuò)張的過(guò)程，從圖1-25中的對(duì)比可以看出，原圖中間有劃痕與白色孔洞，而經(jīng)過(guò)膨脹后消失，這就是邊界向外部擴(kuò)張的過(guò)程。說(shuō)明膨脹可有效填補(bǔ)劃痕、孔洞等缺陷。圖1-25圖像的膨脹b)膨脹效果圖a)原圖當(dāng)使用膨脹或者腐蝕對(duì)圖像進(jìn)行處理時(shí)，如果結(jié)構(gòu)元素過(guò)大，會(huì)對(duì)圖像造成嚴(yán)重的形態(tài)失真。為了保持圖像較好的原始形態(tài)，可以使用開(kāi)運(yùn)算或者閉運(yùn)算。開(kāi)運(yùn)算就是先腐蝕后膨脹的過(guò)程，閉運(yùn)算就是先

膨脹后腐蝕的過(guò)程，兩者的具體效果如圖1-26所示。由圖中的運(yùn)算結(jié)果可以看出，開(kāi)運(yùn)算具有斷開(kāi)狹窄的間斷和消除細(xì)的突出物的功能，閉運(yùn)算具有填充物體細(xì)小空間、消除縫隙、連接鄰近物體的功能。1.6圖像形態(tài)學(xué)1.6.3開(kāi)運(yùn)算與閉運(yùn)算圖1-26開(kāi)運(yùn)算與閉運(yùn)算b)開(kāi)運(yùn)算迭代3次c)閉運(yùn)算迭代3次a)原圖1.6圖像形態(tài)學(xué)1.6.4形態(tài)學(xué)邊緣圖像中區(qū)域的邊緣可以通過(guò)形態(tài)學(xué)處理的方式來(lái)提取。使用膨脹后的圖像減去腐蝕后的圖像便可以得到區(qū)域的邊界。如圖1-27所示，墊片的原始圖像經(jīng)過(guò)了形態(tài)學(xué)處理后，得到了圖1-27b)的邊界輪廓圖。圖1-27基于形態(tài)學(xué)處理的邊緣提取b)形態(tài)學(xué)處理得到的邊緣a)原圖1.7圖像特征圖像特征主要有顏色特征、紋理特征、形狀特征，其中形狀特征涵蓋的類別相對(duì)較多，因此在本節(jié)中將著重介紹幾何形狀、中心線與骨架特征的提取。1.7.1幾何形狀圖像中的部分特征會(huì)呈現(xiàn)為常見(jiàn)的幾何形狀，如圓形的孔洞、直線的劃痕等，可以通過(guò)霍夫變換的方式對(duì)這些幾何形狀特征進(jìn)行提取?；舴蜃儞Q是一種在圖像中尋找直線、圓形以及其他簡(jiǎn)單形狀的方法?；舴蜃儞Q采用類似于投票的方式來(lái)獲取當(dāng)前圖像內(nèi)的形狀集合，該變換由霍夫于1962年首次提出。最初的霍夫變換只能用于檢測(cè)直線，經(jīng)過(guò)發(fā)展后，霍夫變換不僅能夠識(shí)別直線，還能識(shí)別其他簡(jiǎn)單的圖形結(jié)構(gòu)，常見(jiàn)的有圓、橢圓等。實(shí)際上，只要是能夠用一個(gè)參數(shù)方程表示的對(duì)象，都適合用霍夫變換來(lái)檢測(cè)。接下來(lái)將主要介紹霍夫直線變換的原理，其它形狀的霍夫變換原理與之類似?；舴蛑本€變換的原理是將待測(cè)對(duì)象的參數(shù)方程從x?

y

坐標(biāo)空間轉(zhuǎn)換到參數(shù)空間a

?

b

中，在圖像坐標(biāo)空間中通過(guò)點(diǎn)(xi

,

yi

)

和點(diǎn)(xj

,

yj

)

的直線上的每一點(diǎn)在參數(shù)空間a

?

b

上各自對(duì)應(yīng)一條直線，這些直線都相交于點(diǎn)(a0

,

b0

)

,而a0

、b0

就是圖像坐標(biāo)空間x?

y

中點(diǎn)(xi

,

yi

)

和點(diǎn)(xj

,

yj

)

所確定的直線的參數(shù)。反之，在參數(shù)空間相交于同一點(diǎn)的所有直線，在圖像坐標(biāo)空間都有共線的點(diǎn)與之對(duì)應(yīng)。根據(jù)這個(gè)特性，給定圖像坐標(biāo)空間的一些邊緣點(diǎn)，就可以通過(guò)霍夫變換確定連接這些點(diǎn)的直線方程。1.7圖像特征1.7.2中心線中心線提取常用于道路檢測(cè)、掃描儀、管道檢測(cè)等。常見(jiàn)的中心線提取方法有區(qū)域中心法、灰度重心法和Steger法。區(qū)域中心法是在求取區(qū)域的邊緣之后，通過(guò)計(jì)算兩側(cè)邊緣的中點(diǎn)作為中心線上的追蹤點(diǎn)的方法；灰度重心法是通過(guò)計(jì)算目標(biāo)位置的灰度分布并求出灰度權(quán)重質(zhì)心的坐標(biāo)作為中心線上的追蹤點(diǎn)的方法。Steger算法是目前使用最廣泛的線結(jié)構(gòu)光條紋中心提取算法之一，該算法是基于Hessian矩陣得到圖像中光條紋的法線方向，Hessian矩陣如下式所示：圖像中點(diǎn)的法線方向由該點(diǎn)的Hessian矩陣最大特征值的絕對(duì)值對(duì)應(yīng)的特征向量給出，通過(guò)在法線方向上求極值點(diǎn)得到光條紋中心的亞像素位置。g(x,

y)

是二維高斯卷積核，用于突出光條的灰度分布特征。z(x,

y)

是以圖像上的點(diǎn)(x,

y)為中心，與二維高斯核大小相等的圖像矩陣。Steger算法的提取效果如圖1-28所示。該方法具有精度高、穩(wěn)定好等優(yōu)點(diǎn)，可以獲得亞像素級(jí)精度的中心線，但是Hessian矩陣對(duì)圖像求方向?qū)?shù)的過(guò)程運(yùn)算量巨大，無(wú)法實(shí)現(xiàn)光條紋中心實(shí)時(shí)提取的效果?！竌2

g(x,y)

a2

g(x,y)]|

ax2

axay

|

「rxx|

a2

g(x,

y)

a2

g(x,

y)

|

|Lrxy|L

axay

ay2

」||ryy

」|(1.9)H(x,

y)

=

|

|

z(x,

y)

=

||

|rxy

]圖1-28Steger算法效果1.7圖像特征b)中心線提取a)結(jié)構(gòu)光條紋1.7圖像特征1.7.3骨架圖像的骨架特征，可以簡(jiǎn)單地理解為圖像的中軸。骨架雖然從原來(lái)的物體圖像中去掉了一些點(diǎn)，但仍然保持了原來(lái)物體的結(jié)構(gòu)信息。骨架提取技術(shù)可以用于壓縮圖像，用在圖像識(shí)別中可以降低計(jì)算量。骨架的獲取主要有兩種方法，一種是火燒模型，即圖像的四周被相同火勢(shì)點(diǎn)燃，燃燒速度一致，火勢(shì)由圖像四周向內(nèi)部燃燒時(shí)，火焰相與處即為骨架。第二種是最大圓盤法，最大圓盤為完全包含在物體內(nèi)部并且與物體邊界至少有兩個(gè)切點(diǎn)的圓，而骨架就是由目標(biāo)內(nèi)所有內(nèi)切圓盤的圓心組成的，如圖1-29所示。圖1-29最大圓盤法示意1.7圖像特征如圖1-30所示的圖像，通過(guò)二值化提取其主要區(qū)域之后，通過(guò)求取該區(qū)域的骨架線并對(duì)骨架線進(jìn)行分析，用于檢測(cè)零件中是否存在損壞的區(qū)域。圖1-30區(qū)域的骨架提取c)獲得骨架線b)二值化a)原圖1.8圖像配準(zhǔn)圖像配準(zhǔn)就是將不同時(shí)間、不同傳感器或不同條件下(天候、照度、攝像位置和角度等)獲取的兩幅或多幅圖像進(jìn)行匹配的過(guò)程。當(dāng)待測(cè)對(duì)象的體積過(guò)大，相機(jī)的視野范圍無(wú)法滿足時(shí)，就可以在圖像配準(zhǔn)的基礎(chǔ)上對(duì)多幅圖像進(jìn)行拼接，從而獲得待測(cè)對(duì)象的整體圖像。此外，在雙目視覺(jué)成像中，有時(shí)也需要通過(guò)圖像配準(zhǔn)的方式獲取左右相機(jī)對(duì)應(yīng)特征點(diǎn)，從而對(duì)拍攝到的物體進(jìn)行三維重建。圖像配準(zhǔn)技術(shù)的流程如下：首先對(duì)兩幅圖像進(jìn)行特征提取得到特征點(diǎn)，通過(guò)進(jìn)行相似性度量找到匹配的特征點(diǎn)對(duì)，然后通過(guò)匹配的特征點(diǎn)對(duì)得到圖像空間坐標(biāo)變換參數(shù)，最后由坐標(biāo)變換參數(shù)進(jìn)行圖像配準(zhǔn)。特征提取是配準(zhǔn)技術(shù)中的關(guān)鍵，準(zhǔn)確的特征提取為特征匹配的成功進(jìn)行提供了保障。因此，尋求具有良好不變性和準(zhǔn)確性的特征提取方法，對(duì)于匹配精度至關(guān)重要。下面將介紹一種經(jīng)典的特征點(diǎn)提取及匹配算法——SIFT算法。尺度不變特征轉(zhuǎn)換(Scale-Invariant

FeatureTransform

，SIFT)是一種用來(lái)偵測(cè)與描述影像中的局部性特征，它在空間尺度中尋找極值點(diǎn)，并提取其位置、尺度、旋轉(zhuǎn)不變量。SIFT算法主要分為以下四個(gè)步驟：1)尺度空間極值檢測(cè)。搜索所有尺度上的圖像位置，識(shí)別潛在的對(duì)于尺度和旋轉(zhuǎn)不變的興趣點(diǎn)；2)關(guān)鍵點(diǎn)定位。在每個(gè)候選的位置上，通過(guò)一個(gè)擬合精細(xì)的模型來(lái)確定位置和尺度。關(guān)鍵點(diǎn)的選擇依據(jù)于它們的穩(wěn)定程度，在關(guān)鍵點(diǎn)定位步驟中會(huì)剔除低對(duì)比度的候選點(diǎn)和邊緣候選點(diǎn)；3)方向確定。基于圖像局部的梯度方向，分配給每個(gè)關(guān)鍵點(diǎn)位置一個(gè)或多個(gè)方向。所有后面的對(duì)圖像數(shù)據(jù)的操作都相對(duì)于關(guān)鍵點(diǎn)的方向、尺度和位置進(jìn)行變換，從而提供對(duì)于這些變換的不變性；4)關(guān)鍵點(diǎn)描述。在每個(gè)關(guān)鍵點(diǎn)周圍的鄰域內(nèi)，在選定的尺度上測(cè)量圖像局部的梯度。這些梯度被變換成一種描述子，這種描述子允許比較大的局部形狀的變形和光照變化。在待配準(zhǔn)的兩幅圖像的描述子生成后，就將兩圖中的各個(gè)描述子進(jìn)行配準(zhǔn)，獲得配準(zhǔn)后的特征點(diǎn)對(duì)。SIFT算子的配準(zhǔn)效果如圖1-31所示，連線兩端點(diǎn)為配準(zhǔn)的特征點(diǎn)對(duì)。圖1-31SIFT算法配準(zhǔn)效果1.8圖像配準(zhǔn)THANKS感謝您的觀看三維點(diǎn)云處理算法?1.1點(diǎn)云簡(jiǎn)介?1.2點(diǎn)云精簡(jiǎn)?1.3點(diǎn)云濾波?1.4點(diǎn)云匹配?1.5點(diǎn)云分割?1.6點(diǎn)云重建目錄點(diǎn)云是空間中點(diǎn)的數(shù)據(jù)集，可以表示三維形狀或?qū)ο螅ǔＳ扇S掃描儀獲取。點(diǎn)云中每個(gè)點(diǎn)的位置都由一組笛卡爾坐標(biāo)(x,

y,

z)

描述，有些還含有色彩信息或物體反射面強(qiáng)度信息。根據(jù)點(diǎn)云的不同應(yīng)用需求，其來(lái)源呈現(xiàn)多樣化的特征，常見(jiàn)的獲取方法有三維激光掃描和相機(jī)掃描。三維激光掃描是通過(guò)發(fā)射激光來(lái)獲取點(diǎn)云數(shù)據(jù)，若將激光束按照某種軌跡進(jìn)行掃描，便會(huì)邊掃描邊記錄到反射的激光點(diǎn)信息，用這種方法獲得的點(diǎn)云一般具有三維空間坐標(biāo)值和激光反射強(qiáng)度這兩種信息。相機(jī)掃描是通過(guò)攝影測(cè)量原理獲得點(diǎn)云，一般具有三維空間坐標(biāo)值以及顏色信息。點(diǎn)云根據(jù)點(diǎn)與點(diǎn)之間的間距差異可以進(jìn)行細(xì)分，通常使用三維激光掃描儀或照相式掃描儀得到的點(diǎn)云數(shù)量比較大且比較密集，稱為密集點(diǎn)云；而通過(guò)三坐標(biāo)測(cè)量機(jī)等接觸式測(cè)量手段所得到的點(diǎn)云數(shù)量較少，點(diǎn)與點(diǎn)的間距也比較大，稱為稀疏點(diǎn)云。此外，按照點(diǎn)云的獲取途徑還可以分為靜態(tài)點(diǎn)云、動(dòng)態(tài)點(diǎn)云、動(dòng)態(tài)獲取點(diǎn)云三類。靜態(tài)點(diǎn)云指物體是靜止的，獲取點(diǎn)云的設(shè)備也是靜止的；動(dòng)態(tài)點(diǎn)云指物體是運(yùn)動(dòng)的，但獲取點(diǎn)云的設(shè)備是靜止的；動(dòng)態(tài)獲取點(diǎn)云指獲取點(diǎn)云的設(shè)備是運(yùn)動(dòng)的。1.1點(diǎn)云簡(jiǎn)介1.2點(diǎn)云精簡(jiǎn)點(diǎn)云精簡(jiǎn)就是在精度允許下減少點(diǎn)云數(shù)據(jù)的數(shù)據(jù)量，提取有效信息，精簡(jiǎn)效果如圖1-1所示。一般分為兩種：去除冗余與抽稀簡(jiǎn)化。冗余數(shù)據(jù)是指在數(shù)據(jù)配準(zhǔn)之后，存在重復(fù)區(qū)域的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)多為無(wú)用數(shù)據(jù)，對(duì)建模的速度以及質(zhì)量有很大影響，因此要予以去除。抽稀簡(jiǎn)化是指掃描的數(shù)據(jù)密度過(guò)大，數(shù)量過(guò)多，其中一部分?jǐn)?shù)據(jù)對(duì)于后期分析用處不大，所以在滿足一定精度以及保持被測(cè)物體幾何特征的前提下對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行精簡(jiǎn)，以提高數(shù)據(jù)的操作運(yùn)算速度與效率。點(diǎn)云精簡(jiǎn)的方法較多，這里主要介紹常用的均勻精簡(jiǎn)方法和曲率適應(yīng)性精簡(jiǎn)方法。圖1-1點(diǎn)云精簡(jiǎn)b)精簡(jiǎn)后a)精簡(jiǎn)前1.2點(diǎn)云精簡(jiǎn)1.2.1均勻柵格精簡(jiǎn)均勻柵格精簡(jiǎn)適用于簡(jiǎn)單曲面，其主要思想是構(gòu)建一個(gè)覆蓋所有測(cè)點(diǎn)的包圍盒，按照設(shè)定柵格大小或精簡(jiǎn)比例，在分割后的柵格中選取采樣點(diǎn)。如圖1-2所示，對(duì)點(diǎn)云進(jìn)行柵格劃分后，計(jì)算同一柵格內(nèi)所有點(diǎn)的重心作為采樣點(diǎn)。通過(guò)改變柵格的邊長(zhǎng)a可以改變柵格的大小，從而控制精簡(jiǎn)后點(diǎn)云的規(guī)模。圖1-2建立長(zhǎng)方體包圍盒并計(jì)算唯一采樣點(diǎn)1.2.2曲率適應(yīng)性精簡(jiǎn)曲率適應(yīng)性精簡(jiǎn)主要用于具有高低曲率特征、薄壁特征的曲面。根據(jù)點(diǎn)云局部的法矢量變化和平均曲率的變化對(duì)精簡(jiǎn)參數(shù)進(jìn)行自適應(yīng)的調(diào)整，在曲面平坦區(qū)域保留均勻的點(diǎn)云，在曲面高曲率區(qū)域保留相對(duì)密集的點(diǎn)云。曲率自適應(yīng)精簡(jiǎn)能使曲面結(jié)構(gòu)特征得到保持，相較于柵格精簡(jiǎn)更有優(yōu)勢(shì)。1.3點(diǎn)云濾波點(diǎn)云濾波用于去除噪聲點(diǎn)、平滑點(diǎn)云等。采集后的點(diǎn)云常會(huì)包含噪聲數(shù)據(jù)，點(diǎn)云噪聲數(shù)據(jù)一方面來(lái)自設(shè)備，比如用掃描儀、深度相機(jī)等設(shè)備獲取點(diǎn)云數(shù)據(jù)時(shí)，設(shè)備掃描精度、電磁波衍射特性等都會(huì)引入噪聲。另一方面來(lái)自環(huán)境因素帶來(lái)的影響，比如被測(cè)物體表面性質(zhì)發(fā)生變化。噪聲數(shù)據(jù)使局部點(diǎn)云特征(如表面法線或曲率變化)的估計(jì)復(fù)雜化，可能導(dǎo)致點(diǎn)云配準(zhǔn)失敗，對(duì)后續(xù)操作的影響比較大，而且這些噪聲數(shù)據(jù)造成的誤差還會(huì)隨著積累進(jìn)行傳導(dǎo)，因此在對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行分析處理前需要通過(guò)濾波來(lái)消除噪聲數(shù)據(jù)。接下來(lái)將介紹四種常用的點(diǎn)云濾波方法。1.3.1統(tǒng)計(jì)濾波器統(tǒng)計(jì)濾波器用于去除明顯離群點(diǎn)。離群點(diǎn)是指在空間中分布稀疏的點(diǎn)，考慮到離群點(diǎn)的特征，可以定義若某處點(diǎn)云密度小于某一閾值時(shí)，則將該點(diǎn)云視為無(wú)效的離群點(diǎn)云。計(jì)算點(diǎn)云中每個(gè)點(diǎn)到其最近數(shù)個(gè)點(diǎn)的平均距離，則點(diǎn)云中所有點(diǎn)的距離應(yīng)構(gòu)成高斯分布。根據(jù)給定均值與方差，可剔除離群點(diǎn)。1.3.2半徑濾波器半徑濾波器的思想是根據(jù)空間點(diǎn)半徑范圍臨近點(diǎn)數(shù)量進(jìn)行濾波。即在點(diǎn)云數(shù)據(jù)中，設(shè)定每個(gè)點(diǎn)一定半徑范圍內(nèi)周圍有足夠多的近鄰，不滿足就會(huì)被剔除。因?yàn)榭臻g點(diǎn)的坐標(biāo)已知，所以可以方便的計(jì)算某個(gè)點(diǎn)與周圍所有點(diǎn)的距離，并通過(guò)直接指定具體的距離閾值進(jìn)行篩選，對(duì)于三維建模很實(shí)用。圖1-3展示了該濾波器的篩選方法，假設(shè)白色圓圈代表指定半徑d

，然后指定該半徑內(nèi)至少有1個(gè)鄰近點(diǎn)，那么圖中黃色點(diǎn)將從點(diǎn)云中刪除；如果指定了半徑內(nèi)至少有2個(gè)臨近點(diǎn)，那么黃色和綠色的點(diǎn)都將從點(diǎn)云中刪除。圖1-3半徑濾波器示意圖1.3.3高斯濾波器高斯濾波是一種非線性濾波器，采用加權(quán)平均的方式。在指定域內(nèi)的權(quán)重是根據(jù)歐式距離的高斯分布，通過(guò)權(quán)重加權(quán)平均的方式得到當(dāng)前點(diǎn)的濾波后的點(diǎn)。高斯濾波的主要特點(diǎn)是平滑效果較好，但是目標(biāo)點(diǎn)云邊緣角點(diǎn)也會(huì)被進(jìn)行一定的平滑處理，可能會(huì)導(dǎo)致這些區(qū)域的信息丟失。1.3.4雙邊濾波器雙邊濾波是一種非線性濾波器，是結(jié)合圖像空間鄰近度和像素值相似度的一種折中處理，同時(shí)考慮了空域信息和灰度相似性，達(dá)到保邊去噪的目的，具有簡(jiǎn)單、非迭代、局部處理的特點(diǎn)。雙邊濾波器的主要優(yōu)點(diǎn)是它可以達(dá)到保持邊緣、降噪平滑的效果，對(duì)高斯噪聲效果比較好，在一定程度上彌補(bǔ)了高斯濾波的缺點(diǎn)。主要缺點(diǎn)是對(duì)于彩色圖像中高頻噪聲的去噪效果不佳。1.3點(diǎn)云濾波1.4點(diǎn)云匹配點(diǎn)云匹配又稱配準(zhǔn)、對(duì)齊、拼合或定位，其本質(zhì)是通過(guò)計(jì)算三維空間的剛體變換參數(shù)，建立點(diǎn)云—設(shè)計(jì)模型、點(diǎn)云—點(diǎn)云之間的空間位姿關(guān)系，用于曲面誤差計(jì)算、加工余量分配、機(jī)器人加工定位等。點(diǎn)云匹配根據(jù)處理階段可分為粗匹配和精匹配，精匹配的準(zhǔn)確度高，但效率低下?？上壤眯矢叩鹊偷拇制ヅ錇榫ヅ涮峁┮粋€(gè)比較好的初始位置，從而縮短精配準(zhǔn)迭代計(jì)算所需時(shí)間。點(diǎn)云匹配方法較多，不同方法在匹配速度、匹配穩(wěn)定性方面各有優(yōu)劣，接下來(lái)將介紹用于粗匹配的4PCS算法以及用于精匹配的迭代最近點(diǎn)(IterativeClosestPoint

，ICP)與方差最小化兩種算法。1.4.1

4PCS算法4PCS

(4-Points

Congruent

Sets)算法是計(jì)算機(jī)圖形學(xué)中一種流行的配準(zhǔn)工具。給定兩個(gè)點(diǎn)集P

、Q

，首先在點(diǎn)集P

中隨機(jī)選擇3個(gè)點(diǎn)，再根據(jù)點(diǎn)集P

、Q

的重疊比例f

選擇距離其它3個(gè)點(diǎn)足夠遠(yuǎn)的第4個(gè)共面點(diǎn)，組成共面四點(diǎn)

基B

；然后根據(jù)仿射不變比從點(diǎn)集Q

中提取出所有在一定距離δ內(nèi)可能與B

相符合的4點(diǎn)集合U

=

U1

,

U2

,

U3

，對(duì)任一Ui

，通過(guò)B

和Ui

的關(guān)系計(jì)算剛性變換

T

；根據(jù)重疊比例測(cè)試

L

組不同的基，當(dāng)P

中恒定數(shù)量的隨機(jī)采樣點(diǎn)在

Q

中有足夠多的對(duì)應(yīng)點(diǎn)時(shí)，得到完成粗配準(zhǔn)的最佳剛性變換矩陣Tbest

。1.4.2

ICP算法ICP算法是一種以點(diǎn)集對(duì)點(diǎn)集配準(zhǔn)方法為基礎(chǔ)的曲面擬合算法，是一種基于四元數(shù)的點(diǎn)集到點(diǎn)集配準(zhǔn)方法。ICP算法的基本原理是：分別在待匹配的目標(biāo)點(diǎn)云P

和源點(diǎn)云Q

中，按照一定的約束條件，找到最鄰近點(diǎn)pi

、qi

，

然后計(jì)算出最優(yōu)匹配參數(shù)R

和t

，使得誤差函數(shù)最小。誤差函數(shù)為E

(R,

t

)為：E

(R,

t

)=

qi

?

(Rpi

+

t

)2(1.1)1.4點(diǎn)云匹配其中n

為最鄰近點(diǎn)對(duì)的個(gè)數(shù)，為目標(biāo)點(diǎn)云P

中的一點(diǎn)，qi

為源點(diǎn)云Q

中與pi

對(duì)應(yīng)的最近點(diǎn)，

R

為旋轉(zhuǎn)矩陣，t為平移向量。ICP算法的關(guān)鍵問(wèn)題是初值的選取，初值的選取直接影響最后的匹配結(jié)果，如果選取不當(dāng)，算法就有可能陷入局部最優(yōu)值，無(wú)法計(jì)算出最佳剛體變換矩陣。此外，初值選取不當(dāng)也會(huì)導(dǎo)致ICP計(jì)算的迭代時(shí)間過(guò)長(zhǎng)，嚴(yán)重影響計(jì)算效率，因此在進(jìn)行ICP精匹配前需要進(jìn)行粗匹配。1.4.3方差最小化匹配算法上述的ICP算法是一種以點(diǎn)云到曲面距離平方和最小化為目標(biāo)的匹配方法，但絕對(duì)距離平方最小化使得測(cè)點(diǎn)匹配過(guò)程傾向于滿足高密度點(diǎn)云、有點(diǎn)云區(qū)域靠近曲面模型(如圖1-4所示)，最終可能導(dǎo)致匹配失真。受光學(xué)傳感器測(cè)量范圍、測(cè)量景深以及曲面結(jié)構(gòu)復(fù)雜性影響，往往需要多次多角度掃描工件，很容易出現(xiàn)測(cè)量的點(diǎn)云密度不均、局部缺失、層疊等現(xiàn)場(chǎng)測(cè)量缺陷。為此下面將介紹一種基于方差最小化原理的匹配方法，有助于解決含固有測(cè)量缺陷的復(fù)雜曲面匹配失真問(wèn)題。圖1-4匹配后高密度點(diǎn)云區(qū)域和有測(cè)量數(shù)據(jù)區(qū)域更靠近曲面設(shè)計(jì)模型(藍(lán)色線)其中符號(hào)di

表示移動(dòng)點(diǎn)pi+

到切平面i

的垂直距離，對(duì)應(yīng)圖1-5中所示的pi+a

，符號(hào)d

表示di

的均值。該目標(biāo)函數(shù)是以所有點(diǎn)云到對(duì)應(yīng)切平面有向距離組成樣本的方差最小化為目標(biāo)計(jì)算(R,

t

)

，有利于保持匹配后所有測(cè)點(diǎn)與曲面設(shè)計(jì)模型最近距離的一致性，克服了ICP算法采用絕對(duì)距離平方最小化導(dǎo)致的高密度點(diǎn)云傾斜問(wèn)題，有利于避免陷入局部最優(yōu)和匹配失真，計(jì)算出最佳剛體變換矩陣。1.4點(diǎn)云匹配方差最小化匹配的目標(biāo)函數(shù)定義為：min

F

(R,

t

)=

(di

?

d

)

22圖1-5方差最小化匹配計(jì)算示意圖iig

(R,t

)pi+(1.2)n

ip

qai1.5點(diǎn)云分割點(diǎn)云分割是通過(guò)人為設(shè)計(jì)提取特征或者利用幾何關(guān)系進(jìn)行約束，將原始三維點(diǎn)云分組為非重疊的點(diǎn)云區(qū)域，這些點(diǎn)云區(qū)域?qū)?yīng)于一個(gè)場(chǎng)景中的特定結(jié)構(gòu)或特定對(duì)象。由于這種分割過(guò)程不需要有監(jiān)督的先驗(yàn)知識(shí)，因此所得到的結(jié)果沒(méi)有很強(qiáng)的語(yǔ)義信息。點(diǎn)云分割方法主要分為四類：基于邊緣的分割、基于區(qū)域增長(zhǎng)的分割、基于模型擬合的分割與基于聚類的分割。1.5.1基于邊緣的分割邊緣是描述點(diǎn)云物體形狀的基本特征，基于邊緣的分割方法通過(guò)檢測(cè)點(diǎn)云的邊緣來(lái)分割點(diǎn)云區(qū)域。點(diǎn)云的邊緣可以通過(guò)點(diǎn)云表面梯度的變化來(lái)判斷和獲取，通過(guò)計(jì)算梯度可以得到點(diǎn)云表面單位法向量方向的變化，一般而言法向量方向產(chǎn)生較大突變的位置就可以認(rèn)為是邊緣點(diǎn)所在處，如圖1-6所示。將邊緣點(diǎn)進(jìn)行擬合，擬合得到的空間線就是邊緣線，最后基于邊緣線對(duì)點(diǎn)云進(jìn)行分割?；谶吘壍姆椒m然分割速度快，但容易受噪聲影響，有時(shí)難以準(zhǔn)確提取邊緣。表面1法向齒面邊緣線表面2法向圖1-6點(diǎn)云邊緣提取示意1.5點(diǎn)云分割1.5.2基于區(qū)域增長(zhǎng)的分割基于區(qū)域的方法使用鄰域信息將具有相似屬性的附近點(diǎn)歸類，以獲得分割區(qū)域，并區(qū)分出不同區(qū)域之間的差異性。基于區(qū)域的方法比基于邊緣的方法更準(zhǔn)確，但是他們?cè)诜指钸^(guò)度或不足以及在如何準(zhǔn)確確定區(qū)域邊界方面存在問(wèn)題，同時(shí)這些方法也需要大量的先驗(yàn)知識(shí)(例如對(duì)象模型、區(qū)域數(shù)量等)。這里主要介紹種子區(qū)域方法和非種子區(qū)域方法。基于種子的區(qū)域分割通過(guò)選擇多個(gè)種子點(diǎn)來(lái)分割，以這些種子點(diǎn)為起始點(diǎn)，通過(guò)添加種子的鄰域點(diǎn)的方式逐漸形成點(diǎn)云區(qū)域，主要包含兩個(gè)步驟：首先基于每個(gè)點(diǎn)的曲率識(shí)別種子點(diǎn)，然后根據(jù)預(yù)定標(biāo)準(zhǔn)來(lái)生長(zhǎng)種子點(diǎn)，該標(biāo)準(zhǔn)可以是點(diǎn)的相似度和點(diǎn)云表面的相似度。種子生長(zhǎng)法對(duì)噪聲點(diǎn)敏感且計(jì)算耗時(shí)大。種子區(qū)域方法高度依賴于選定的種子點(diǎn)，不準(zhǔn)確的種子點(diǎn)選擇會(huì)影響分割過(guò)程，并可能導(dǎo)致分割不足或過(guò)度分割，同時(shí)選擇種子點(diǎn)以及控制生長(zhǎng)過(guò)程耗時(shí)也比較高。非種子區(qū)域方法的過(guò)程與種子區(qū)域方法相反，是一種自上而下的方法。首先將所有點(diǎn)都分為一個(gè)區(qū)域，然后細(xì)分過(guò)程開(kāi)始并將其劃分為更小區(qū)域，非種子區(qū)域方法的主要困難是如何決定細(xì)分的位置和方式。1.5.3基于模型擬合的分割基于模型擬合的分割方法是通過(guò)幾何形狀(例如球形、圓錐、平面和圓柱)對(duì)點(diǎn)云進(jìn)行分組，具有相同的數(shù)學(xué)表示的點(diǎn)將會(huì)被分割為同一組點(diǎn)。這一方法目前通過(guò)引入隨機(jī)樣本一致算法(Random

Sample

Consensus

，RANSAC)檢測(cè)直線、圓等數(shù)

學(xué)特征，這種應(yīng)用極為廣泛且可以認(rèn)為是模型擬合的最先進(jìn)技術(shù)，在點(diǎn)云的分割中需要改進(jìn)的方法都是繼承了這種方法。基于模型的方法具有純粹的數(shù)學(xué)原理，效率高且分割效果好，其主要局限性在于處理不同點(diǎn)云時(shí)的不準(zhǔn)確性。通常零件需要具有設(shè)計(jì)模型，通過(guò)點(diǎn)云匹配來(lái)將設(shè)計(jì)模型與測(cè)量點(diǎn)云進(jìn)行匹配，再根據(jù)設(shè)計(jì)模型的引導(dǎo)來(lái)將點(diǎn)云中待檢測(cè)分析的區(qū)域分割出

來(lái)，相較使用基礎(chǔ)幾何形狀的擬合分割方式而言具有更高的準(zhǔn)確性。這一分割方式的具體思路如圖1-7所示。1.5.4基于聚類的分割基于聚類的分割方法是基于點(diǎn)云數(shù)據(jù)屬性的一種魯棒性較好的分割方法，這種方法一般包括兩個(gè)單獨(dú)的步驟：第一步先計(jì)算出各個(gè)點(diǎn)云數(shù)據(jù)的屬性，第二步根據(jù)計(jì)算點(diǎn)的屬性進(jìn)行聚類。這種聚類方法一般能適應(yīng)空間關(guān)系和點(diǎn)云各種屬性，最終將不同屬性的點(diǎn)云分割出來(lái)，但是這種方法局限性在于高度依賴派生屬性的質(zhì)量，所以要求第一步能夠精確的計(jì)算點(diǎn)云數(shù)據(jù)的屬性，這樣才會(huì)在第二步中根據(jù)屬性類別分割出最佳的效果。這里主要介紹歐式聚類與基于圖像區(qū)域聚類兩種方法。b)設(shè)計(jì)模型與點(diǎn)云匹配圖1-7基于設(shè)計(jì)模型的點(diǎn)云分割1.5點(diǎn)云分割c)分割出局部區(qū)域a)設(shè)計(jì)模型(局部1.5點(diǎn)云分割1.歐式聚類歐式聚類的聚類判斷準(zhǔn)則即為點(diǎn)云之間的歐氏距離。對(duì)于空間某點(diǎn)p

，通過(guò)KD

-Tree近鄰搜索找到

k個(gè)離p

點(diǎn)最近的點(diǎn)，這些點(diǎn)中距離小于設(shè)定閾值的便聚類到集合Q

中。如果Q

中元素的數(shù)目不再增加，整個(gè)

聚類過(guò)程便結(jié)束；否則須在集合

Q

中選取

p

點(diǎn)以外的點(diǎn)，重復(fù)上述過(guò)程，直到Q

中元素的數(shù)目

不再增加為止。若在歐氏距離外增加其余限制條件，這一方法就將被稱為條件歐式聚類，即除了滿足

歐氏距離的限制外，還需同時(shí)滿足給定的條件才可以被加入集合Q

中，相較最初的歐式聚類方法分割效果更好。2.基于圖像的聚類基于圖像的區(qū)域聚類方法主要通過(guò)將點(diǎn)云轉(zhuǎn)換成二值圖像，再通過(guò)圖像方法中的區(qū)域增長(zhǎng)進(jìn)行聚類，再轉(zhuǎn)換成點(diǎn)云。優(yōu)點(diǎn)是速度快，而缺點(diǎn)是存在過(guò)度分割以及分割不足問(wèn)題。現(xiàn)有的改進(jìn)方法是將二維圖像與三維點(diǎn)云根據(jù)掃描儀與相機(jī)之間的標(biāo)定關(guān)系關(guān)聯(lián)起來(lái)，將三維點(diǎn)云投影到二維圖像平面后，再利用二維圖像中各區(qū)域的語(yǔ)義信息對(duì)各個(gè)點(diǎn)云區(qū)域進(jìn)行聚類，分割效果較優(yōu)。1.6點(diǎn)云重建點(diǎn)云重建是指將點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為三維模型的過(guò)程，便于執(zhí)行三維建模、模型渲染等操作，點(diǎn)云重建效果如圖1-8所示。常用點(diǎn)云重建方法包括基于體素的重建、基于網(wǎng)格的重建和基于光滑曲面的重建等。a)三維離散點(diǎn)云b)重建后的三維模型圖1-8點(diǎn)云重建THANKS感謝您的觀看深度學(xué)習(xí)算法介紹?1.1深度學(xué)習(xí)簡(jiǎn)介?1.2卷積神經(jīng)網(wǎng)絡(luò)?1.3生成對(duì)抗網(wǎng)絡(luò)?1.4Transformer網(wǎng)絡(luò)?1.5應(yīng)用案例目錄深度學(xué)習(xí)(DeepLearning，DL)是機(jī)器學(xué)習(xí)(Machine

Learning

，ML)領(lǐng)域一個(gè)新的研究方向，

它被引入機(jī)器學(xué)習(xí)使其更接近于最初的目標(biāo)—人工智能(Artificial

Intelligence

，AI)。深度學(xué)習(xí)是學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，這些學(xué)習(xí)過(guò)程中獲得的信息對(duì)諸如文字、圖像和聲音等數(shù)據(jù)的解釋有很大的幫助。最終目標(biāo)是讓機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力，能夠識(shí)別文字、圖像和聲音等數(shù)據(jù)，因此深度學(xué)習(xí)在圖像識(shí)別中的應(yīng)用研究是現(xiàn)在和未來(lái)很長(zhǎng)一段時(shí)間內(nèi)圖像識(shí)別領(lǐng)域的重要研究課題。深度學(xué)習(xí)是一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)算法，在語(yǔ)音和圖像識(shí)別方面取得的效果，遠(yuǎn)遠(yuǎn)超過(guò)先前相關(guān)技術(shù)。深度學(xué)習(xí)在搜索技術(shù)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、機(jī)器翻譯、自然語(yǔ)言處理、多媒體學(xué)習(xí)、知識(shí)推薦和個(gè)性化技術(shù)，以及其他相關(guān)領(lǐng)域都取得了很多成果。深度學(xué)習(xí)使機(jī)器能夠模仿視聽(tīng)、思考、決策等人類的活動(dòng)，解決了很多復(fù)雜的模式識(shí)別難題，使得人工智能相關(guān)技術(shù)取得了很大進(jìn)步。本節(jié)將主要對(duì)卷積神經(jīng)網(wǎng)絡(luò)、生成對(duì)抗網(wǎng)絡(luò)以及近些年關(guān)注較多的Transformer架構(gòu)進(jìn)行介紹。1.1深度學(xué)習(xí)簡(jiǎn)介1.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional

Neural

Network

，CNN)是一種深度學(xué)習(xí)模型，特別適用于處理具有網(wǎng)格結(jié)構(gòu)的數(shù)據(jù)，例如圖像和音頻。它通過(guò)多個(gè)卷積層、池化層和全連接層等組件，實(shí)現(xiàn)了對(duì)輸入數(shù)據(jù)的高效特征提取和模式識(shí)別能力。CNN的核心組件是卷積層，它使用一組可學(xué)習(xí)的濾波器(也稱為卷積核)在輸入數(shù)據(jù)上進(jìn)行卷積操作，從而提取輸入數(shù)據(jù)中的空間局部特征。卷積操作通過(guò)對(duì)濾波器與輸入數(shù)據(jù)的逐元素乘積求和，將輸入數(shù)據(jù)的局部信息轉(zhuǎn)化為特征映射。這種局部連接和權(quán)重共享的方式使得CNN能夠更有效地處理大規(guī)模輸入數(shù)據(jù)。另一個(gè)重要的組件是池化層，它用于降低特征映射的空間維度，減少參數(shù)數(shù)量，同時(shí)保留重要的特征信息。常用的池化操作是最大池化，它選擇每個(gè)區(qū)域中的最大值作為池化結(jié)果。全連接層將特征映射轉(zhuǎn)換為模型的輸出，全連接層中的每個(gè)神經(jīng)元與前一層的所有神經(jīng)元相連接，通過(guò)學(xué)習(xí)權(quán)重和偏置來(lái)實(shí)現(xiàn)對(duì)輸入特征的分類或回歸。卷積神經(jīng)網(wǎng)絡(luò)在圖像處理中常用于進(jìn)行圖像的分類、目標(biāo)檢測(cè)以及分割，下面介紹用于這三類任務(wù)的經(jīng)典網(wǎng)絡(luò)ResNet、YOLO和UNet。1.2.1ResNet網(wǎng)絡(luò)ResNet

(Residual

Neural

Network)是由Microsoft

Research的Kaiming

He等人在2015年提出的深度學(xué)習(xí)架構(gòu)，它在圖像識(shí)別任務(wù)中取得了重大的突破，也是深度學(xué)習(xí)中一個(gè)重要的里程碑。傳統(tǒng)的深度卷積神經(jīng)網(wǎng)絡(luò)隨著層數(shù)增加，會(huì)遇到梯度消失或梯度爆炸等問(wèn)題，導(dǎo)致訓(xùn)練過(guò)程困難，難以讓網(wǎng)絡(luò)更深。ResNet的主要?jiǎng)?chuàng)新在于引入了“殘差學(xué)習(xí)”(Residual

Learning)的概念，允許在訓(xùn)練過(guò)程中直接對(duì)殘差進(jìn)行學(xué)習(xí)。殘差學(xué)習(xí)的基本思想是將原始輸入與輸出之間的差值(即殘差)作為學(xué)習(xí)目標(biāo)，這樣網(wǎng)絡(luò)可以更容易地學(xué)習(xí)恒等映射，從而解決了梯度問(wèn)題。ResNet通過(guò)引入殘差塊來(lái)實(shí)現(xiàn)殘差學(xué)習(xí)。如圖1-

1所示，每個(gè)殘差塊包含兩個(gè)或更多的卷積層，其中在輸入和輸出之間引入了跳躍連接。跳躍連接允許梯度直接通過(guò)網(wǎng)絡(luò)層傳播，減少了信息的丟失，使得可以訓(xùn)練更深的網(wǎng)絡(luò)。在訓(xùn)練過(guò)程中，如果某個(gè)殘差塊的輸出與輸入相同(即殘差為零)，那么該塊就類似于恒等映射，網(wǎng)絡(luò)就可以選擇不學(xué)習(xí)該塊。ResNet的創(chuàng)新設(shè)計(jì)使得訓(xùn)練深層網(wǎng)絡(luò)成為可能，例如ResNet-50、ResNet-101和ResNet-152等。

ResNet的成功極大地促進(jìn)了深度學(xué)習(xí)模型的發(fā)展，成為許多計(jì)算機(jī)視覺(jué)任務(wù)的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)。ResNet的思想也在其他任務(wù)和領(lǐng)域得到了廣泛應(yīng)用，并激發(fā)了更多深度學(xué)習(xí)架構(gòu)的設(shè)計(jì)和改進(jìn)。卷積層卷積層1.2卷積神經(jīng)網(wǎng)絡(luò)圖1-1殘差塊示意圖卷積運(yùn)算F(x)輸出F(x)+x激活函數(shù)激活函數(shù)輸入x1.2卷積神經(jīng)網(wǎng)絡(luò)1.2.2YOLO網(wǎng)絡(luò)YOLO

(You

Only

Look

Once)是一種實(shí)時(shí)目標(biāo)檢測(cè)算法，由Joseph

Redmon等人于2015年提出。相比于傳統(tǒng)的目標(biāo)檢測(cè)算法，YOLO具有高速和高準(zhǔn)確性的特點(diǎn)，已成為計(jì)算機(jī)視覺(jué)領(lǐng)域中廣泛應(yīng)用的算法之一。YOLO的主要?jiǎng)?chuàng)新在于將目標(biāo)檢測(cè)問(wèn)題轉(zhuǎn)化為一個(gè)回歸問(wèn)題，并將整個(gè)圖像劃分為網(wǎng)格，每個(gè)網(wǎng)格預(yù)測(cè)一組邊界框及其對(duì)應(yīng)的類別概率。YOLO的設(shè)計(jì)思路可以概括為網(wǎng)格劃分、特征提取、邊界框預(yù)測(cè)、類別預(yù)測(cè)以及預(yù)測(cè)處理五個(gè)關(guān)鍵步驟。網(wǎng)格劃分用于將

輸入圖像劃分為固定大小的網(wǎng)格，每個(gè)網(wǎng)格負(fù)責(zé)預(yù)測(cè)該網(wǎng)格內(nèi)是否存在目標(biāo)物體以及目標(biāo)物體的邊界框和類別概率，并使用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)多個(gè)卷積和池化層來(lái)提取特征。然后每個(gè)網(wǎng)格預(yù)測(cè)一組邊界框，每個(gè)邊界框包含物體的位置和類別概率，并進(jìn)一步預(yù)測(cè)每個(gè)邊界框的類別概率，表示該邊界框內(nèi)可能存在的不同物體類別。最后根據(jù)邊界框的位置、類別概率和置信度，通過(guò)非極大值抑制(Non-Maximum

Suppression

，NMS)算法篩選最終檢測(cè)結(jié)果。圖1-2為YOLO的檢測(cè)示意圖。圖1-2YOLO檢測(cè)過(guò)程示意圖YOLO算法具有較快的速度和較高的準(zhǔn)確性，適用于實(shí)時(shí)目標(biāo)檢測(cè)和視頻分析任務(wù)?？梢酝瑫r(shí)檢測(cè)多個(gè)目標(biāo)，具有端到端

的優(yōu)勢(shì)，并且在目標(biāo)尺寸和縱橫比變化較大的情況下仍具有較好性能。隨著YOLO算法不斷提升，衍生出了多個(gè)版本(如YOLOv2、YOLOv3、YOLOv4等)，進(jìn)一步提高了檢測(cè)精度和速度。1.2卷積神經(jīng)網(wǎng)絡(luò)1.2.3UNet網(wǎng)絡(luò)UNet是一種用于圖像分割任務(wù)的深度學(xué)習(xí)架構(gòu)，由Olaf

Ronneberger

、Philipp

Fischer和Thomas

Brox于2015年提出。UNet的設(shè)計(jì)初衷是解決醫(yī)學(xué)圖像分割中的挑戰(zhàn)，但后來(lái)也在其他領(lǐng)域廣泛應(yīng)用。UNet的架構(gòu)特點(diǎn)是U形架構(gòu)，由對(duì)稱的下采樣 (編碼器)和上采樣(解碼器)部分組成，中間有一個(gè)跳躍連接用于跨越編碼器和解碼器之間的層級(jí)，如圖1-3所示。跳躍

連接通過(guò)將輸入圖像下采樣時(shí)產(chǎn)生的特征與上采樣時(shí)產(chǎn)生的特征進(jìn)行結(jié)合，從而減少了池化操作導(dǎo)致的圖像高級(jí)細(xì)節(jié)信息損失對(duì)分割結(jié)果的影響。圖1-3跳躍連接示意圖UNet的架構(gòu)使得網(wǎng)絡(luò)能夠捕獲不同尺度的特征信息，并保留更多的細(xì)節(jié)。跳躍連接有助于將低級(jí)別和高級(jí)別的特征結(jié)合起來(lái)，提高分割結(jié)果的準(zhǔn)確性。UNet在醫(yī)學(xué)圖像分割中表現(xiàn)出色，尤其適用于訓(xùn)練數(shù)據(jù)有限的情況。隨著時(shí)間的推移，UNet的變體和擴(kuò)展算法不斷涌現(xiàn)，如UNet++、ResUNet等，進(jìn)一步提升了性能，并適用于更廣泛的應(yīng)用領(lǐng)域。解碼器深層特征上采樣卷積編碼器特征跳躍連接結(jié)合特征卷積1.3生成對(duì)抗網(wǎng)絡(luò)生成對(duì)抗網(wǎng)絡(luò)(Generative

Adversarial

Networks

，GAN

)是一種深度學(xué)習(xí)模型，由生成器(Generator

)和判別器

(Discriminator)組成。GAN的目標(biāo)是讓生成器能夠生成與真實(shí)數(shù)據(jù)相似的樣本，GAN的基本思想是通過(guò)兩個(gè)模型的對(duì)抗來(lái)實(shí)現(xiàn)訓(xùn)練。生成器的目標(biāo)是生成盡可能逼真的樣本，而判別器的目標(biāo)是盡可能準(zhǔn)確地區(qū)分生成的樣本和真實(shí)的樣本。二者通過(guò)對(duì)

抗的方式相互競(jìng)爭(zhēng)，逐漸提高自己的能力。訓(xùn)練過(guò)程中，生成器接收一個(gè)隨機(jī)噪聲作為輸入，并生成一個(gè)與真實(shí)樣本相似的樣

本。判別器則接收真實(shí)樣本和生成器生成的樣本，并嘗試區(qū)分它們。生成器和判別器之間的對(duì)抗通過(guò)梯度下降進(jìn)行優(yōu)化。生成

器希望生成的樣本能夠騙過(guò)判別器，使其無(wú)法準(zhǔn)確區(qū)分真實(shí)樣本和生成樣本；而判別器希望能夠盡可能準(zhǔn)確地區(qū)分真實(shí)樣本和生成樣本。通過(guò)反復(fù)迭代訓(xùn)練，生成器逐漸學(xué)習(xí)到生成逼真的樣本，而判別器也逐漸提高區(qū)分能力。當(dāng)訓(xùn)練達(dá)到平衡狀態(tài)時(shí)，生成器能夠生成與真實(shí)樣本相似的樣本，而判別器無(wú)法準(zhǔn)確區(qū)分。在實(shí)際工業(yè)檢測(cè)應(yīng)用中，往往存在缺陷樣本量較少的問(wèn)題，因此在訓(xùn)練過(guò)程中正負(fù)樣本量是非常不均衡的，這極大的限制了

模型的性能，甚至導(dǎo)致模型完全不可用。在缺陷外觀多變的場(chǎng)景下，有監(jiān)督學(xué)習(xí)的方法往往無(wú)法滿足正常的生產(chǎn)需求。此外在

實(shí)際的工業(yè)缺陷檢測(cè)場(chǎng)景中，通常存在許多不同種類的缺陷，檢測(cè)的標(biāo)準(zhǔn)和質(zhì)量指標(biāo)往往也不同，這就需要付出大量的人力資

源來(lái)進(jìn)行大量的數(shù)據(jù)標(biāo)注。因此基于GAN進(jìn)行無(wú)監(jiān)督的正樣本檢測(cè)成為了一種研究趨勢(shì)，這類研究的經(jīng)典網(wǎng)絡(luò)為AnoGAN。AnoGAN

(Adversarial

Networks

for

Anomaly

Detection)是一種無(wú)監(jiān)督學(xué)習(xí)的異常檢測(cè)方法，它由Schlegl等人基于GAN的思想在2017年提出，旨在通過(guò)學(xué)習(xí)正常樣本的分布來(lái)檢測(cè)異常樣本。AnoGAN的關(guān)鍵思想是通過(guò)對(duì)抗訓(xùn)練生成器和判別器學(xué)習(xí)正

常樣本的分布，并利用生成器進(jìn)行異常樣本的重建。對(duì)于給定的異常樣本，通過(guò)最小化重建誤差來(lái)找到與其最匹配的潛在向量，使生成器能夠生成與異常樣本最相似的重建樣本