物流人工智能技術(shù)技能培訓(xùn)項(xiàng)目二圖像信息處理任務(wù)三圖像分析目錄CONTENTS數(shù)字圖像分析PART1梯度方向直方圖PART2視頻分析PART3卷積神經(jīng)網(wǎng)絡(luò)CNNPART4【教學(xué)目標(biāo)】過(guò)程與方法：知識(shí)與技能：1.掌握是數(shù)字圖像分析步驟2.了解梯度方向直方圖的計(jì)算原理3.了解視頻分析的方法4.了解卷積神經(jīng)網(wǎng)絡(luò)的原理在學(xué)習(xí)動(dòng)畫(huà)視頻的過(guò)程中，理解其基本工作原理，了解其實(shí)際應(yīng)用價(jià)值。情感、態(tài)度與價(jià)值觀：1.提升對(duì)人工智能的認(rèn)識(shí)，發(fā)展辯證思維，客觀認(rèn)識(shí)人工智能技術(shù)對(duì)社會(huì)的影響，培養(yǎng)正確的科學(xué)技術(shù)應(yīng)用觀。2.堅(jiān)定擁護(hù)中國(guó)共產(chǎn)黨領(lǐng)導(dǎo)和我國(guó)社會(huì)主義制度。一、數(shù)字圖像分析簡(jiǎn)介傳感器輸入數(shù)字圖像分析是圖像處理的高級(jí)階段，它所研究的是使用機(jī)器分析和識(shí)別周?chē)矬w的視覺(jué)圖像，從而可得出結(jié)論性的判斷。圖像分析基本上有四個(gè)過(guò)程。分割識(shí)別解釋二、梯度方向直方圖圖像的梯度相鄰像素之間的差值稱(chēng)為圖像梯度。最簡(jiǎn)單的計(jì)算梯度的方法使用一階微分實(shí)現(xiàn)。一幅圖像可以用函數(shù)

來(lái)表示，則

在坐標(biāo)

處的梯度：計(jì)算方向：方向角：幅值：差分，近似后：在水平梯度圖中，豎向的邊緣會(huì)顯示的比較清楚；在垂直梯度圖中，水平方向的邊緣會(huì)顯示的比較清楚。水平梯度圖垂直梯度圖原圖水平梯度和垂直梯度二、梯度方向直方圖二、梯度方向直方圖三、視頻分析1.視頻的概念人眼在觀察景物時(shí)，光信號(hào)傳入大腦神經(jīng)，需經(jīng)過(guò)一段短暫的時(shí)間，光的作用結(jié)束后，視覺(jué)形象并不立即消失，這種殘留的視覺(jué)稱(chēng)“后像”，視覺(jué)的這一現(xiàn)象則被稱(chēng)為“視覺(jué)暫留”。對(duì)于中等亮度的光刺激，視覺(jué)暫留時(shí)間約為0.1至0.4秒。用攝像機(jī)錄制的動(dòng)態(tài)畫(huà)面，我們稱(chēng)之為視頻。視頻實(shí)際上離散的，它是由一張張的圖片排列而成的圖像序列，當(dāng)我們對(duì)這個(gè)圖像序列按每秒鐘24幀快速播放的時(shí)候，由于人眼的視覺(jué)暫留機(jī)制，原本靜止的畫(huà)面就會(huì)運(yùn)動(dòng)起來(lái)。在視頻中，每一張圖像我們稱(chēng)之為幀，圖像序列也稱(chēng)為幀序列。視覺(jué)暫留視頻2.運(yùn)動(dòng)檢測(cè)最常見(jiàn)的運(yùn)動(dòng)檢測(cè)方法，核心實(shí)現(xiàn)算法是圖像的減法。用于靜止攝像機(jī)及恒定光照的環(huán)境下，通過(guò)在時(shí)間軸上不同位置的圖像幀相減，就可以檢測(cè)出運(yùn)動(dòng)，得到的結(jié)果圖像被稱(chēng)為差值圖像。差分運(yùn)動(dòng)檢測(cè)光流運(yùn)動(dòng)檢測(cè)可以檢測(cè)出圖像中運(yùn)動(dòng)的方向和大小。光流是空間運(yùn)動(dòng)物體在觀察成像平面上的像素運(yùn)動(dòng)的瞬時(shí)速度。光流的計(jì)算基于以下兩個(gè)假設(shè)：a.亮度恒定約束：同一物體點(diǎn)的亮度信息不會(huì)隨著時(shí)間的變化而改變。b.速度平滑約束：在圖像平面內(nèi)，相鄰的點(diǎn)速度接近。光流運(yùn)動(dòng)檢測(cè)提前構(gòu)建一個(gè)背景模型，即背景幀，所有的檢測(cè)幀都和這個(gè)背景幀進(jìn)行差分運(yùn)算，則這種方法稱(chēng)為背景差分。常用的背景建模算法有codebook算法，混合高斯背景建模算法等。背景差分運(yùn)動(dòng)檢測(cè)AB三、視頻分析3.目標(biāo)跟蹤以搜索算法為主的卡爾曼(Kalman)濾波和粒子濾波以?xún)?yōu)化搜索方向?yàn)橹鞯木灯扑惴?Meanshift)和連續(xù)自適應(yīng)均值漂移（Camshift）算法。KLT特征點(diǎn)跟蹤算法、基于光流的跟蹤算法和基于深度學(xué)習(xí)的跟蹤算法等常用算法三、視頻分析圖像中確定好目標(biāo)后，在隨后的圖像序列中對(duì)指定目標(biāo)進(jìn)行定位的過(guò)程稱(chēng)為目標(biāo)跟蹤。目標(biāo)跟蹤實(shí)際上是通過(guò)對(duì)目標(biāo)圖像特征的提取、融合和匹配來(lái)實(shí)現(xiàn)的。目標(biāo)跟蹤卷積神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)稱(chēng)為CNN模型。CNN模型通常用于影像識(shí)別案例中，通過(guò)模型訓(xùn)練，計(jì)算機(jī)系統(tǒng)也能像大腦一樣識(shí)別出圖片、影像中的物體、符號(hào)等。四、卷積神經(jīng)網(wǎng)絡(luò)CNN可用于人臉識(shí)別，快速匹配身份信息，在醫(yī)療領(lǐng)域，通過(guò)對(duì)核磁共振，MRI影像進(jìn)行分析,對(duì)病情進(jìn)行診斷或預(yù)判。另外，在Tesla自動(dòng)駕駛Autopilot模型中。車(chē)載攝像頭可以獲取周邊360度影像，經(jīng)過(guò)CNN模型的訓(xùn)練，對(duì)道路上及周邊出現(xiàn)的各類(lèi)車(chē)輛物體標(biāo)識(shí)進(jìn)行識(shí)別。四、卷積神經(jīng)網(wǎng)絡(luò)CNN1.CNN的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)(CNN)最早是由深度學(xué)習(xí)三大奠基人之一的勒丘恩在1998年提出來(lái)的，并在手寫(xiě)文字識(shí)別等方面得到廣泛應(yīng)用。卷積神經(jīng)網(wǎng)絡(luò)實(shí)際上就是一個(gè)多層感知機(jī)，一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)。其基本結(jié)構(gòu)如下圖所示：四、卷積神經(jīng)網(wǎng)絡(luò)CNN2.卷積層卷積卷積是一種向量和矩陣的數(shù)學(xué)運(yùn)算。因?yàn)閿?shù)字圖像使用矩陣來(lái)表示和存儲(chǔ)，所以卷積是數(shù)字圖像處理的一種基本運(yùn)算方式，對(duì)圖像而言，做卷積實(shí)際上就是一種濾波操作。二維矩陣卷積中，通常大的矩陣是要處理的圖像，小的矩陣稱(chēng)為卷積核，也稱(chēng)為算子。小矩陣的尺寸稱(chēng)為卷積核尺寸（kernelsize），一般為奇數(shù)相乘，如3*3,5*5,7*7等，以保證有一個(gè)中心點(diǎn)。在遍歷圖像時(shí)每次卷積核移動(dòng)的像素個(gè)數(shù)稱(chēng)為步長(zhǎng)（Stride）。當(dāng)卷積核大于1的時(shí)候，卷積操作會(huì)減小目標(biāo)圖像的尺寸，可以通過(guò)填充（Padding）來(lái)填補(bǔ)結(jié)果圖像的邊緣，使其大小與一致。四、卷積神經(jīng)網(wǎng)絡(luò)CNN卷積層是深度學(xué)習(xí)經(jīng)常使用的一種層，如果一個(gè)深度神經(jīng)網(wǎng)絡(luò)主要由卷積層組成時(shí)，我們稱(chēng)之為卷積神經(jīng)網(wǎng)絡(luò)。對(duì)于一幅圖像的多個(gè)通道以及圖像的不同位置區(qū)域使用不同的卷積核，可以獲得多個(gè)卷積結(jié)果，把這些結(jié)果再以不同的通道相組合，即稱(chēng)為特征圖，特征圖即為卷積層的最終輸出。卷積層可以作為神經(jīng)網(wǎng)絡(luò)的隱藏層，它即可以接受原始圖像也可以接受特征圖作為它的輸入，當(dāng)前卷積層產(chǎn)生的特征圖也可以作為下一層卷積層的輸入。在卷積神經(jīng)網(wǎng)絡(luò)卷積層中的卷積操作與數(shù)字圖像處理中的卷積操作過(guò)程是完全相同的，卷積核的尺寸，即參數(shù)數(shù)目也是由人為指定的，但是，卷積神經(jīng)網(wǎng)絡(luò)中的卷積核不是人為指定的，而是通過(guò)不斷地學(xué)習(xí)而獲得的。四、卷積神經(jīng)網(wǎng)絡(luò)CNN縮減圖像分辨率會(huì)解決卷積計(jì)算量過(guò)大的問(wèn)題，這也是前向池化的主要目的之一。池化可以實(shí)現(xiàn)不同尺度特征的提取。常見(jiàn)的池化方法包括平均池化和最大池化。3.池化層池化的效果就是放大或者縮小圖像分辨率。因此，池化分為前向池化（下采樣）和反向池化（上采樣）。池化四、卷積神經(jīng)網(wǎng)絡(luò)CNN平均池化假設(shè)我們池化的窗口為2*2，對(duì)于輸入圖像，展開(kāi)對(duì)2*2的窗口平移并取平均值采樣，即為平均池化的值。四、卷積神經(jīng)網(wǎng)絡(luò)CNN最大池化假設(shè)我們池化的窗口為2*2，對(duì)于輸入圖像，展開(kāi)對(duì)2*2的窗口平移并取最大值采樣，即為最大池化的值四、卷積神經(jīng)網(wǎng)絡(luò)CNN4.全連接層全連接層的每一個(gè)結(jié)點(diǎn)都與上一層的所有結(jié)點(diǎn)相連，用來(lái)把前邊提取到的特征綜合起來(lái)。全連接層可以整合卷積層或者池化層中具有類(lèi)別區(qū)分性的局部信息。為了提升CNN網(wǎng)絡(luò)性能，全連接層每個(gè)神經(jīng)元的激勵(lì)函數(shù)一般采用ReLU函數(shù)。最后一層全連接層的輸出值被傳遞給一個(gè)輸出，可采用softmax邏輯回歸進(jìn)行分類(lèi)，也可稱(chēng)為softmax層。四、卷積神經(jīng)網(wǎng)絡(luò)CNN【課后小結(jié)】圖像分析