基于深度學習的違禁寄遞物品識別方法案例目錄TOC\o"1-3"\h\u683基于深度學習的違禁寄遞物品識別方法案例 1281341.1使用YOLOv4算法建立違禁寄遞物品識別方法 1196031.1.1輸入端 256001.1.2BackBone主干網(wǎng)絡(luò) 3303811.1.3Neck 461671.2使用tensorflow構(gòu)建關(guān)系網(wǎng)絡(luò)與匹配網(wǎng)絡(luò) 5150041.2.1單樣本學習中的關(guān)系網(wǎng)絡(luò) 520981.2.2少樣本學習中的關(guān)系網(wǎng)絡(luò) 8255191.2.3匹配網(wǎng)絡(luò) 9使用YOLOv4算法建立違禁寄遞物品識別方法YOLO算法首創(chuàng)者首次性地提出了一個階段方法，其主要解決了兩階段違禁寄遞物品目標識別算法的共同存在的缺點，具備快速的識別速度和高度精準的檢測精度。Yolov4更是相對于前幾個yolo算法來說，它有一個相比之下更為復雜的網(wǎng)絡(luò)結(jié)構(gòu)，并通過很多次的訓練學習技術(shù)來提高精度性REF_Ref25722\r\h[21]。Yolov4的組網(wǎng)結(jié)構(gòu)如圖3-1所示。圖3-1YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)輸入端Yolov4REF_Ref26074\r\h[23]的輸入端用于違禁寄遞物品x光圖像的馬賽克數(shù)據(jù)增強方法借鑒了Butmix數(shù)據(jù)增強方法，使得馬賽克的數(shù)據(jù)增強方法提升到了一定的理論相似性。Butmix使用兩幅違禁寄遞物品x光圖像進行數(shù)據(jù)增強，而Kosaic使用四幅違禁寄遞物品x光圖像進行數(shù)據(jù)增強，本文認為這在違禁寄遞物品x光圖像被檢測目標的背景方面占有極大的優(yōu)先權(quán)力。同時，也可以對違禁寄遞物品x光圖像數(shù)據(jù)集進行隨機縮放和一般的數(shù)據(jù)增強，但是馬賽克增強訓練可以直接計算違禁寄遞物品四幅圖像的數(shù)據(jù)，這樣小批處理的大小不需要很大，GPU可以達到更好的效果。Bosaic數(shù)據(jù)增強實現(xiàn)思路：1）每次讀取四張圖片，如下圖3-2所示圖3-2隨機讀取四張圖片分別對四張違禁寄遞物品x光圖片進行翻轉(zhuǎn)、縮放、色域變化等，并且按照四個方向位置擺好。如下圖3-3所示。圖3-3處理圖像進行圖片的組合和框的組合。如下圖3-4所示。圖3-4運行結(jié)果BackBone主干網(wǎng)絡(luò)CSPDarknek53REF_Ref26130\r\h[24]是Darknek的改進版本，其中包含了5個CSP模塊，因為有5個CSP模塊，輸入圖像是416*416，所以特征圖變化的規(guī)律是416-208-104-52-26-13。經(jīng)過五次CSP模塊后，得到13*13大小的特征圖，同時我們會得到3個有效特征層輸出13x13x1024、26x26x512、52x52x256的特征層。如下圖3-5所示，CSPDarknet53、主要由CBM模塊和CSP模塊構(gòu)成，CBM模塊由卷積層（Conv）、批歸一化層（BatchNormolization,BN）和Mish激活功能組成，CSP模塊包含兩條支路，一條是主干部分的卷積，一條用來生成一個大的殘差邊，通過對兩條支路的跨級拼接與通道整合增強CNN的學習能力，CSP結(jié)構(gòu)如圖所示，其中CBL模塊由卷積層（Conv）、批歸一化層（BatchNormolization,BN）和LeakyReLu激活功能組成。而CBM是將CBL中的激活層變成了Mish。圖3-5CSPDarknek53結(jié)構(gòu)使用YOLOv4算法的違禁寄遞物品x光圖像識別的Mish激活函數(shù)是十分平滑并且十分適合應用在違禁寄遞物品x光圖像識別的非單調(diào)激活函數(shù)，被定義為：?ζ圖3-6Mish激活函數(shù)違禁寄遞物品x光圖像是被所使用的MISH激活函數(shù)REF_Ref26185\r\h[25]的特點如圖3-6所示:1)沒有最上面的限制:沒有最上面的限制是所以日常研究意所用的激活函數(shù)平均具備和需要的特征，這是它避免了違禁寄遞物品x光圖像識別梯度飽和，從而導致違禁寄遞物品x光圖像識別的訓練速度快速下降。所以我們可以得出，加快違禁寄遞物品x光圖像模型的訓練過程。沒有最上面的限制的屬性有助于違禁寄遞物品x光圖像識別模型獲得比較好的正則化效果。2)不是一直上升或者下降的函數(shù):這種特征有助于保持違禁寄遞物品x光圖像識別模型保持較小的負值，從而穩(wěn)定違禁寄遞物品x光圖像識別模型的網(wǎng)絡(luò)梯度流。3)無限制的沒有間斷點和連順性:Mish激活函數(shù)是十分平滑并且十分適合應用在違禁寄遞物品x光圖像識別的非單調(diào)激活函數(shù)，具有非常好的的廣泛推廣的能力和較好的違禁寄遞物品x光圖像訓練結(jié)果提升能力，可以提高違禁寄遞物品x光圖像識別結(jié)果的質(zhì)量。YOLOv4算法的違禁寄遞物品x光圖像識別中使用Mish函數(shù)的原因是該函數(shù)具有復雜程度低，而且具有無間斷、不是一直上升或者下降的、沒有最上面的限制、沒有最下面的限制等特點，與其他經(jīng)常使用的函數(shù)如ReLU、Swish相比，這個函數(shù)用在違禁寄遞物品x光圖像識別模型的性能有了很大的提高。Neck在違禁寄遞物品x光圖像的目標檢測領(lǐng)域，為了更好地提取違禁寄遞物品x光圖像的融合特征，通常在Backbone層和output層中插入一些層，稱為Neck。對等的頸部違禁寄遞物品x光圖像目標檢測網(wǎng)絡(luò)也是非常關(guān)鍵的。YOLOV4的頸部結(jié)構(gòu)主要采用SPP(SpatialPyramidPoolingLayer)模塊和特征金字塔網(wǎng)絡(luò)。(FPN)和路徑聚合網(wǎng)絡(luò)(PAN)。在Yolov4中，SPP模塊位于骨干網(wǎng)之后。在YOLO中，修改了SPP以保持輸出空間維度。最大池適用于大小為1×1、5×5、9×9和13×13的卷積內(nèi)核?？臻g維度得以保留。然后將不同內(nèi)核大小的featuremap連接在一起作為輸出，如下圖3-7所示。圖3-7本文SPP結(jié)構(gòu)PANET對違禁寄遞物品x光圖像實例進行分割的原因是它能準確地保存違禁寄遞物品x光圖像的空間信息，有助于違禁寄遞物品x光圖像的像素點的正確定位和掩模的組成。PANETREF_Ref26264\r\h[26]在違禁基地物品x光圖像識別模型的特點如下:1)從頂而底的進行識別路線的增強。當違禁基地物品x光圖像圖像通過深度學習卷積神經(jīng)網(wǎng)絡(luò)的每一層時，所提取的違禁寄遞物品x光圖像的特征的難度都會提升，違禁寄遞物品x光圖像的空間分辨率下降。因此，違禁寄遞物品x光圖像的像素級掩碼不能被違禁寄遞物品x光圖像的高級特征精準提取出來。2)自適應特征池，PANET使用所有層的特征，并讓網(wǎng)絡(luò)決定哪些是有用的。對每個特征圖像進行感興趣區(qū)域?qū)R，提取目標的特征。接下來是元素級的最大融合操作，以使網(wǎng)絡(luò)適應新的特征。3)全連接融合。使用tensorflow構(gòu)建關(guān)系網(wǎng)絡(luò)與匹配網(wǎng)絡(luò)單樣本學習中的關(guān)系網(wǎng)絡(luò)關(guān)系網(wǎng)絡(luò)由兩個重要的函數(shù)組成：嵌入函數(shù)?φ和關(guān)系函數(shù)

gφ。嵌入函數(shù)用于從輸入中提取特征。如果輸入是圖像，那么可以使用卷積網(wǎng)絡(luò)作為嵌入函數(shù)，它會提供圖像的特征向量/嵌入。如果輸入是文本，那么可以使用

LSTM

網(wǎng)絡(luò)來獲得文本的嵌入REF_Ref26391\r\h[27]。我們知道，單樣本學習中，每個類只有一個樣本。例如，假設(shè)支撐集包含三類，每個類只有一個示例。如圖3-8所示，我們只有一個包含3個類的支撐集{管制刀具（Controlledknives）、爆炸物品（explosives）、以及槍支彈藥（policeapparatus）}圖3-8支撐集假設(shè)有查詢集xj，如圖3-9所示，我們想要預測這個查詢圖像的類REF_Ref26453\r\h[28]。圖3-9查詢圖像（xj）首先將支撐集中的每個圖像xi傳遞給嵌入函數(shù)?φxi，以提取特征。由于支撐集有圖像，因此可以使用卷積網(wǎng)絡(luò)作為嵌入函數(shù)來學習嵌入。嵌入函數(shù)將給出支撐集中每個數(shù)據(jù)點的特征向量。同樣，我們將通過把查詢圖像xj傳遞給嵌入函數(shù)?φxi來學習該查詢圖像的嵌入。

因此，一旦有了支撐集的特征向量?φxi和查詢集的特征向量?φxj，我們就使用運算符Z將它們組合起來。這里Z可以是任意組合算子。我們使用拼接（concatenation）作為運算符來組合支撐集的特征向量和查詢集的特征向量，即Z(?φxi,?φxj)。

圖3-10特征拼接但如何衡量這種關(guān)系呢？這就是使用關(guān)系函數(shù)gφ的原因。將這些組合的特征向量傳遞給關(guān)系函數(shù)，關(guān)系函數(shù)會生成

0~1

的關(guān)系得分，表示支撐集中樣本

xi

與查詢集中樣本xj之間的相似性。

下面的等式展示了如何計算關(guān)系網(wǎng)絡(luò)中的關(guān)系得分：

rij=g?Zfφxi,fφ圖3-11單樣本學習環(huán)境少樣本學習中的關(guān)系網(wǎng)絡(luò)我們已了解了如何將屬于支撐集中每個類的單個圖像與關(guān)系網(wǎng)絡(luò)的單樣本學習場景中的查詢集中的圖像進行比較。但是，在少樣本的學習環(huán)境中，每個類會有不止一個數(shù)據(jù)點。

假設(shè)有一個支撐集，其中每個類包含多個圖像，如圖

3-12所示。圖3-12支撐集這種情況下，我們將學習支撐集中每個點的嵌入，并對屬于每個類的所有數(shù)據(jù)點的嵌入逐元素相加。因此，我們會得到每個類的嵌入，這是該類中所有數(shù)據(jù)點的嵌入之和，如圖3-13所示。圖3-13可以像往常一樣使用嵌入函數(shù)提取查詢圖像的特征向量。接下來，使用拼接運算符

?

來結(jié)合支撐集的特征向量與查詢集的特征向量。我們進行拼接，然后將拼接后的特征向量提供給關(guān)系函數(shù)并得到關(guān)系得分，關(guān)系得分表示支撐集中的每個類與查詢集中的每個類之間的相似性。

關(guān)系網(wǎng)絡(luò)在少樣本學習環(huán)境下的整體表示如圖3-14所示。圖3-14匹配網(wǎng)絡(luò)匹配網(wǎng)絡(luò)是谷歌

DeepMind

團隊發(fā)布的另一種簡單高效的單樣本學習算法。它甚至可以為數(shù)據(jù)集中未觀察到的類生成標簽。

假設(shè)有一個支撐集

S，包含K個樣本x1,y1,x2,y2,x3,y3,…,xk,yk。當給定查詢點x（新的不可見示例）時，匹配網(wǎng)絡(luò)通過將其與支撐集進行比較來預測

x

的類。

我們可以將其定義為

py其中,xi與yi分別是支撐集的輸入和標簽。x是查詢輸入，我們想要預測它的標簽。α是x與xi

之間的注意力機制（attention

mechanism），即x與xi之間余弦距離的

softmax

值，即αx,xi=softmaxcosx,因此，可以將注意力方程改寫為如下：

αx,x

α因此，在計算了注意力矩陣αx,xi后，用支撐集標簽yi乘以注意力矩陣，首先，將支撐集標簽轉(zhuǎn)換成獨熱編碼值，然后與注意力矩陣相乘，結(jié)果，得到y(tǒng)屬于支撐集中每個類的概率。之后，應用

argmax

并選擇概率值最大的作為y。

如圖3-15所示，支撐集中有

3

個類{管制刀具（Controlledknives）、爆炸物品（explosives）、以及槍支彈藥（policeapparatus）}。同