文及源碼下載）YOLOv4詳細(xì)分析|細(xì)數(shù)當(dāng)前最佳檢測(cè)框架小細(xì)節(jié)（附論文及源碼下載）2021-01-15獲取有趣、好玩的前沿干貨！來源：計(jì)算機(jī)視覺研究院鏈接：/@jonathan_hui/yolov4-c9901eaa8e61前段時(shí)間，突然發(fā)布的YOLOv4成了計(jì)算機(jī)視覺領(lǐng)域一大熱點(diǎn)新聞。這個(gè)目標(biāo)檢測(cè)任務(wù)的SOTA為你一一拆解。目標(biāo)檢測(cè)在近幾年開始發(fā)展成熟，但即便如此，競(jìng)爭依舊激烈。YOLOv4宣稱已經(jīng)實(shí)現(xiàn)了當(dāng)前最前沿技術(shù)的準(zhǔn)確度，同時(shí)還能維持較高的處理幀率。使用TeslaV100GPUMSCOCO數(shù)據(jù)集上以接近65FPS的推理速度，YOLOv4實(shí)現(xiàn)了43.5%AP（65.7%AP）標(biāo)。我們還希望邊緣設(shè)備也能流暢地運(yùn)行這些模型。因此，如何使用低成本硬件實(shí)時(shí)地處理輸入視頻也成為了一個(gè)重要的研究方向。YOLOv4的開發(fā)歷程很有意思，其中評(píng)估、修改和整合了很多有趣的新技術(shù)。而且其也優(yōu)化了計(jì)算效率，使檢測(cè)器在單個(gè)GPU上也能很好地完成訓(xùn)練。Bagoffreebies(BoF)與Bagofspecials(BoS)為了提升準(zhǔn)確度，可以針對(duì)訓(xùn)練過程進(jìn)行一些優(yōu)化，比如數(shù)據(jù)增強(qiáng)、類別不平衡、成本函數(shù)、軟標(biāo)注…… 這些改進(jìn)不會(huì)影響推理速度可被稱為「Bagoffreebies」。另外還有一些改進(jìn)可稱為「bagofspecials」，僅需在推理時(shí)間方面做少許犧牲，就能獲得優(yōu)良的性能回報(bào)。這類改進(jìn)包括增大感受野、使用注意力機(jī)制、集成跳過連接（skip-connection）或FPN等特性、使用非極大值抑制等后處理方法。本文將探討特征提取器和頸部的設(shè)計(jì)方式以及那些好用的BoF和BoS改進(jìn)策略。骨干網(wǎng)絡(luò)密集模塊與DenseNet度來擴(kuò)展感受野和增大模型復(fù)雜度。同時(shí)，為了降低訓(xùn)練難度，還可應(yīng)用跳過連接。我們還可以進(jìn)一步延伸這一概念，即使用高度互連的層。密集模塊包含多個(gè)卷積層，其中每一層H_iReLUH_i的輸入不僅包含前一層的輸x_?,x_,…,x_{i-1H_i都輸出4都增加4然后，通過組合多個(gè)密集模塊與其間的過渡層（由卷積和池化構(gòu)成），可以構(gòu)建出DenseNet。下面給出了這種架構(gòu)設(shè)計(jì)的詳情。交叉階段部分連接（CSP）CSPNet將密集模塊的輸入特征圖分為了兩部分。第一部分入的一部分。第二部分’’則會(huì)通過密集模塊，如下圖所示。這種新設(shè)計(jì)通過將輸入分為兩部分而降低了計(jì)算復(fù)雜度——此時(shí)僅有一部分輸入會(huì)經(jīng)過密集模塊。CSPDarknet53YOLOv4使用了上面的CSP與下面的Darknet-53作為特征提取的骨干。相比于基于ResNet的設(shè)計(jì)，CSPDarknet53模型的目標(biāo)檢測(cè)準(zhǔn)確度更高，不過ResNet的分類性能更好一些。但是，借助后文將討論的Mish和其它技術(shù)，CSPDarknet53的分類準(zhǔn)確度可以得到提升。因此，YOLOv4最終選擇了CSPDarknet53。頸部（Neck）目標(biāo)檢測(cè)器由用于特征提取的骨干部分和用于目標(biāo)檢測(cè)的頭部（head，下圖最右邊的模塊）構(gòu)成。而為了檢測(cè)不同大小的目標(biāo)，需要使用一種分層結(jié)構(gòu)，使得頭部可探測(cè)不同空間分辨率的特征圖。為了讓輸入頭部的信息更豐富，在輸入頭部前，會(huì)將來自自底向上和自上而下的數(shù)據(jù)流按逐元素的方式相加或相連。因此，頭部的輸入將包含來自自底向上數(shù)據(jù)流的豐富空間信息以及來自自上而下數(shù)據(jù)流的豐富語義信息。該系統(tǒng)的這一部分稱為頸部（neck）細(xì)地談?wù)勥@一設(shè)計(jì)。特征金字塔網(wǎng)絡(luò)（FPN）YOLOv3采用了與FPN類似的方法來實(shí)現(xiàn)不同大小層次的目標(biāo)檢測(cè)預(yù)測(cè)。FPN會(huì)對(duì)自上而下的數(shù)據(jù)流進(jìn)行上采樣（2倍），并將其與自底向上的相鄰層相加（見下圖）。得到的結(jié)果會(huì)被傳遞給一個(gè)3×3P4。SPP（空間金字塔池化層）SPP應(yīng)用了略有不同的策略來檢測(cè)不同尺寸大小的目標(biāo)，即使用一個(gè)空間金字塔池化層替代了最后的池化層（在最后的卷積層之后）。其特征圖在空間上分成了m×m個(gè)其中m可以分別為、2、4等值。然后針對(duì)每個(gè)通道，為每個(gè)bin用一次最大池化。這會(huì)形成一個(gè)長度固定的表征，然后可以使用FC層對(duì)該表征進(jìn)行進(jìn)一步的分析。許多基于CNN的模型都包含F(xiàn)C層，因此只能接受指定尺寸的輸SPP可使用不同大小的圖像。然而，也還存在不包含F(xiàn)C層的技術(shù)，比如全卷積網(wǎng)絡(luò)這些技術(shù)可以接受不同尺寸的圖像。對(duì)于空間信息非常重要的圖像分割等任務(wù)而言，這類設(shè)計(jì)尤為重要。因此，對(duì)于，并不必需將2D特征圖轉(zhuǎn)化為固定大小的1D使用SPP的YOLOYOLO中使用的SPP經(jīng)過修改，以保留輸出的空間尺寸大小。而且還在大小為1×1、5×5、9×9、13×13等的滑動(dòng)核應(yīng)用了最大池化?？臻g尺寸大小得以保留。然后將來自不同核大小的特征圖連接起來作為輸出。下圖展示了SPP是如何整合進(jìn)YOLO的。路徑聚合網(wǎng)絡(luò)（一層的輸入都來自其上一層。更前面的層會(huì)提取局部的紋理和圖案信息，并構(gòu)建出后續(xù)層所需的語義信息。但是，隨著網(wǎng)絡(luò)向右側(cè)推進(jìn)，微調(diào)優(yōu)化預(yù)測(cè)結(jié)果時(shí)所需的局部信息可能會(huì)丟失。在后來的深度學(xué)習(xí)開發(fā)中，層之間的互連方式變得更加復(fù)雜。DenseNet在這方面達(dá)到了極致。其中每一層都連接了其前面的所有層。在FPN中，來自自底向上和自上而下數(shù)據(jù)流的鄰近層的信息會(huì)結(jié)合到一起。層之間信息的流動(dòng)方式變成了模型設(shè)計(jì)中需要考慮的又一關(guān)鍵事項(xiàng)。下圖是用于目標(biāo)檢測(cè)的路徑聚合網(wǎng)絡(luò)（PAN）。其中，自底向上的路徑得到增強(qiáng)，使得低層信息更容易傳播到頂部。在FPN中，局部空間信息會(huì)向上傳播，如紅色箭頭所示。盡管圖中可能沒有展示清楚，但這條紅色路徑穿過了大約100多層。PAN引入了一個(gè)捷徑路徑（綠色路徑），其僅需10層左右就能抵達(dá)頂部的N層。這個(gè)短回路概念使得頂層也能獲取到細(xì)粒度的局部信息。順帶一提，頸部設(shè)計(jì)可以進(jìn)行如下的可視化：但是，YOLOv4并沒有將鄰近層加到一起，而是將特征圖連接到一起。在FPN中，不同尺寸大小的目標(biāo)是分開獨(dú)立檢測(cè)的。這可能會(huì)導(dǎo)致出現(xiàn)重復(fù)的預(yù)測(cè)結(jié)果，而且無法利用來自其它特征圖的信息。PAN最早使用了逐元素最大運(yùn)算將這些信息融合到一起（這里不再詳述相關(guān)細(xì)節(jié)）。空間注意力模塊（SAM）注意力已經(jīng)在深度學(xué)習(xí)設(shè)計(jì)中得到了廣泛的應(yīng)用。SAM會(huì)為輸入特征圖分別應(yīng)用最大池化和平均池化，從而得到兩個(gè)特征圖集合。其結(jié)果會(huì)被送入一個(gè)卷積層，之后再由一個(gè)sigmoid函數(shù)創(chuàng)建出空間注意力。特征圖。YOLOv4使用了一種修改版的SAM，其中沒有使用最大池化和平均池化。YOLOv4使用修改版的SPP、PAN和SAM逐步實(shí)現(xiàn)/替換了FPN概念。用于骨干部分的Bagoffreebies(BoF)用于YOLOv4骨干部分的BoF特征包括：CutMix和MosaicDropBlock類別標(biāo)簽平滑化CutMix數(shù)據(jù)增強(qiáng)Cutout數(shù)據(jù)增強(qiáng)會(huì)移除圖像的部分區(qū)域（見下圖）。這會(huì)迫使模型在執(zhí)行分類時(shí)不過于相信特定的特征。但是，如CutMix的做法則不同，其是將圖像的一部分剪切下來再粘貼到另一張圖像上。其基本真值標(biāo)簽會(huì)根據(jù)補(bǔ)丁的面積比例進(jìn)行調(diào)整，比如狗的部分占0.6，。從概念上講，CutMix在目標(biāo)的可能組成成分方面有更寬廣的視角。裁減掉的部分會(huì)迫使模型學(xué)習(xí)使用不同的特征組合進(jìn)行分類。這可避免信心過高。因?yàn)槭怯昧硪粡垐D像替代該區(qū)域，所以圖像中的信息量和訓(xùn)練效率都不會(huì)受到顯著的影響。Mosaic數(shù)據(jù)增強(qiáng)Mosaic這種數(shù)據(jù)增強(qiáng)方法是將4張訓(xùn)練圖像組合成一張來進(jìn)行訓(xùn)練（而非CutMix中的2張）的環(huán)境中能更好地執(zhí)行目標(biāo)檢測(cè)。此外，由于每個(gè)mini-batch都包含圖像的較多變體（4×），因此在估計(jì)均值和方差時(shí)，對(duì)較大batchDropBlock正則化在全連接層中，我們可通過丟棄一些連接來迫使模型學(xué)習(xí)不同的特征，而不是過于依賴少量特征。但是，這可能不適用于卷積層。相鄰的位置可能高度相關(guān)。所以即使丟棄一些像素（如中部的圖所示），仍然可以檢測(cè)出空間信息。DropBlock正則化基于類似的概念，但適用于卷積層。不過DropBlock丟棄的不是各個(gè)像素，而是大小為block_size×block_size的一個(gè)像素塊。類別標(biāo)簽平滑化每當(dāng)你覺得自己完全正確時(shí)，你可能只是想錯(cuò)了。如果一個(gè)預(yù)測(cè)結(jié)果的置信度為100%，可能只是說明模型記憶了這個(gè)數(shù)據(jù)，而非學(xué)習(xí)了什么東西。標(biāo)簽平滑化將預(yù)測(cè)結(jié)果的目標(biāo)上界調(diào)整至了一個(gè)更低的值，比如0.9。然后在計(jì)算損失時(shí)，模型會(huì)以這個(gè)值為目標(biāo)，而不是1.0。這一方法可緩解過擬合問題。p=tf.placeholder(tf.float32,shape=[None,10])#Use0.9insteadof1.0.feed_dict={p:[[0,0,0,0.9,0,0,0,0,0,0]]#Imagewithlabel'3'}#logits_real_imageisthelogitscalculatedby#thediscriminator for real images.d_real_loss =tf.nn.sigmoid_cross_entropy_with_logits(logits=logits_real_image)用于骨干部分的BagofSpecials（BoS）Mish交叉階段部分連接多輸入加權(quán)的殘差連接

labels=p,Mish激活假設(shè)激活函數(shù)的形式為：其中一元或二元算子有很多不同的候選函數(shù)，比如余弦函數(shù)。在選用這些函數(shù)時(shí)，我們可以隨機(jī)猜測(cè)，然后基于不同的任務(wù)（比如分類）和數(shù)據(jù)集來評(píng)估對(duì)應(yīng)模型的表現(xiàn)。最終，我們可以選出能讓模型表現(xiàn)最好的激活函數(shù)。我們還可以應(yīng)用強(qiáng)化學(xué)習(xí)來更高效地搜索解空間。使用此方法并進(jìn)行實(shí)驗(yàn)，結(jié)果發(fā)現(xiàn)了下面這個(gè)新激活函數(shù) 其表現(xiàn)優(yōu)于ReLU以及其它許多激活函數(shù)。具有不同β值的Swish激活函數(shù)Mish是另一個(gè)與ReLU和Swish很相似的激活函數(shù)。Mish的論文（arXiv:1908.08681）宣稱使用Mish的深度網(wǎng)絡(luò)在許多不同數(shù)據(jù)集上的表現(xiàn)都更優(yōu)。為CSPDarknet53和檢測(cè)器使用Mish，YOLOv4的兩個(gè)準(zhǔn)確度都獲得了提升。多輸入加權(quán)的殘差連接該向網(wǎng)絡(luò)層輸入哪些特征圖。有時(shí)候，我們會(huì)突破僅使用之前一層的傳統(tǒng)方法?，F(xiàn)在，更重要的是層的連接方式，尤其是目標(biāo)檢測(cè)器中層的連接方式。前面已經(jīng)討論過FPN和PAN示例。下圖中的d展示了另一種頸部設(shè)計(jì)BiFPN，其論文（arXiv:1911.09070）宣稱BiFPN在準(zhǔn)確度與效率的權(quán)衡方面表現(xiàn)更好。YOLOv4比較了其與EfficientDet的表現(xiàn)，而后者被認(rèn)為是目前最先進(jìn)的技術(shù)之一。我們來看看這種技術(shù)。如下所示，EfficientDet以EfficientNet作骨干，以BiFPN為頸部。為便參照，下面給出了基于MBConv層構(gòu)建的EfficientNet的架構(gòu)，這些層由反向殘差模塊組成。正如其論文（arXiv:1801.04381）中提到的那樣，這種反向殘差模塊的構(gòu)成方式為：第一層稱為逐深度卷積，其通過為每個(gè)輸入通道應(yīng)用單個(gè)卷積過濾器來執(zhí)行輕量級(jí)的過濾。第二層是一個(gè)1×1卷積，稱為逐點(diǎn)卷積，負(fù)責(zé)通過計(jì)算輸入通道的線性組合來構(gòu)建新特征。假設(shè)輸入的維度為h?×w?×d?。則其會(huì)應(yīng)用d?個(gè)k×k的卷積過濾器——每個(gè)通道一個(gè)。然后其會(huì)為所有通道應(yīng)用1×1卷積過濾器，得到大小為h?×w?×d?的輸出。因此，總計(jì)算復(fù)雜度為：其關(guān)鍵優(yōu)勢(shì)是所需的計(jì)算量比傳統(tǒng)卷積層要少得多。在許多機(jī)器學(xué)習(xí)和深度學(xué)習(xí)問題中，我們都要學(xué)習(xí)輸入的低維表征。我們會(huì)通過創(chuàng)建「信息」瓶頸來提取數(shù)據(jù)的核心信息。這會(huì)迫使我們發(fā)現(xiàn)最重要的信息，這正是學(xué)習(xí)的核心原理。遵循這一原理，反向殘差模塊以低維表征為輸入，然后使用卷積（線性運(yùn)算）和非線性性運(yùn)算會(huì)不成比例地拉伸或壓縮某些區(qū)域。在發(fā)生這樣的壓縮時(shí)，輸入可能會(huì)映射到同樣的區(qū)域/點(diǎn)。舉個(gè)例子，可能會(huì)將通道折疊進(jìn)這片低維空間中，從而導(dǎo)致信息不可避免地丟失。正如其論文中寫道：移除窄小層中的非線性特性是很重要的，這樣才能維持表征能力。為了解決這一問題，我們可對(duì)維度（通道的數(shù)量）息仍可能保存于某些通道之中。下面給出了反向殘差模塊的一些細(xì)節(jié)：可以看到，低維表征首先被擴(kuò)展到了t_k個(gè)通道。然后，使用輕量的3×3約減回低維。當(dāng)其保持在高維空間中時(shí)，就加入非線性運(yùn)算。該模塊的起始處和終點(diǎn)之間添加了一個(gè)殘差連接。下面左圖是傳統(tǒng)的殘差模塊，右圖是這里描述的反向殘差模塊。理解EfficientDet的核心概念是很有趣的。但 EfficientDet在YOLOv4上的主要貢獻(xiàn)是多輸入加權(quán)的殘差連接。在EfficientDet論文中，可以觀察到不同分辨率下不同的輸入特征，它們對(duì)輸出特征的貢獻(xiàn)也不相等。但在之前的討論中，我們無差別地添加了這些特征。在EfficientDet中，在構(gòu)建輸出時(shí)，輸入特征的加權(quán)是各不相同的：其中w的訓(xùn)練和學(xué)習(xí)方式與其它可訓(xùn)練參數(shù)一樣。用于檢測(cè)器的Bagoffreebies(BoF)用于YOLOv4檢測(cè)器的BoF特征包括：CIoU-lossCmBNDropBlockMosaic自對(duì)抗訓(xùn)練消除網(wǎng)格敏感度為單個(gè)基本真值使用多個(gè)錨余弦退火調(diào)度器最優(yōu)超參數(shù)隨機(jī)訓(xùn)練形狀CIoU-loss損失函數(shù)能為我們提供如何調(diào)整權(quán)重以降低成本的信號(hào)。所以在預(yù)測(cè)結(jié)果錯(cuò)誤時(shí)，我們期望其能為我們提供前進(jìn)的方向。但在使用IoU且基本真值框與預(yù)測(cè)結(jié)果不重疊時(shí)，這卻無法實(shí)現(xiàn)。假設(shè)有兩個(gè)預(yù)測(cè)結(jié)果與基本真值都不重疊，則IoU個(gè)結(jié)果更好——即便其中一個(gè)結(jié)果可能與基本真值更接近。GeneralizedIoU（GIoU）通過將該損失優(yōu)化為以下形式而解決了這一問題：但這個(gè)損失函數(shù)通常會(huì)首先擴(kuò)展其預(yù)測(cè)邊界框，直到其與基本真值區(qū)域有重疊。然后它會(huì)縮小以增大IoU需求，這個(gè)過程實(shí)際需要更多迭代次數(shù)。首先，引入Distance-IoULoss（DIoU）：其引入了一個(gè)新的目標(biāo)以減少兩個(gè)框的中心點(diǎn)之間的距離。最后，引入CompleteIoULoss（CIoU）以便：增大基本真值框與預(yù)測(cè)框之間的重疊面積；最小化它們的中心點(diǎn)之間的距離；維持框的長寬比的一致性。其最終定義為：CmBN以白化（whiten）層輸入。但是，如果小批量數(shù)據(jù)規(guī)模很小，則這些估計(jì)結(jié)果將具有很高的噪聲。一種解決方案是在許多小批量數(shù)據(jù)上估計(jì)它們。但是，由于每次迭代中權(quán)重都會(huì)變化，因此在這些權(quán)重下收集的統(tǒng)計(jì)數(shù)據(jù)可能會(huì)在新的權(quán)重下變得不準(zhǔn)確。單純地求平均可能出錯(cuò)。幸運(yùn)的是，權(quán)重的改變是逐漸發(fā)生的。交叉迭代批歸一化（k個(gè)之前的迭代估計(jì)這些統(tǒng)計(jì)數(shù)據(jù)。CmBN是一個(gè)經(jīng)過修改的選項(xiàng)，其僅收集單個(gè)批次內(nèi)小批量數(shù)據(jù)之間的統(tǒng)計(jì)數(shù)據(jù)。自對(duì)抗訓(xùn)練（SAT）SAT是一種數(shù)據(jù)增強(qiáng)技術(shù)。其首先會(huì)在訓(xùn)練樣本上執(zhí)行一次前向通過。使用傳統(tǒng)方法時(shí)，我們會(huì)在反向傳播過程中調(diào)整模型的權(quán)重來提升檢測(cè)器檢測(cè)圖像中目標(biāo)的能力。但這里所采樣的方向卻相反。它會(huì)修改圖像，使其能在最大程度上降低檢測(cè)器的性能，即創(chuàng)建以當(dāng)前模型為目標(biāo)的對(duì)抗攻擊——即使新圖像可能在人眼看來與原來的一樣。接下來，使用這張新圖像與原始的邊界框和類別標(biāo)簽來訓(xùn)練該模型。這有助于提升模型的泛化能力并降低過擬合。消除網(wǎng)格敏感度邊界框b的計(jì)算方式為：對(duì)于b?=c?和的情況，我們需要t?分別具有很大的負(fù)值和正值。但我們可以將σ與一個(gè)比例因子（>1.0）相乘，從而更輕松地實(shí)現(xiàn)這一目標(biāo)。以下是對(duì)源代碼的修改：如果IoU(groundtruth,anchor)>IoUthreshold，則為單個(gè)基本真值使用多個(gè)錨點(diǎn)。（注：作者沒有更YOLOv4）余弦退火調(diào)度器余弦調(diào)度會(huì)根據(jù)一個(gè)余弦函數(shù)來調(diào)整學(xué)習(xí)率。首先，較大的學(xué)習(xí)率會(huì)以較慢的速度減小。然后在中途時(shí)，學(xué)習(xí)的減小速度會(huì)變快，最后學(xué)習(xí)率的減小速度又會(huì)變得很慢。這張圖展示了學(xué)習(xí)率衰減的方式（下圖中還應(yīng)用了學(xué)習(xí)率預(yù)熱）及其對(duì)mAP的影響?？赡芸雌饋聿⒉幻黠@，這種新的調(diào)度方法的進(jìn)展更為穩(wěn)定，而不是在停滯一段時(shí)間后又取得進(jìn)展。余弦學(xué)習(xí)率+預(yù)熱使用遺傳算法（進(jìn)化算法）的超參數(shù)選擇進(jìn)化算法是一種有根據(jù)的猜測(cè)方法。其遵循「適者生存」的概念。舉個(gè)例子，如果我們隨機(jī)選擇100組超參數(shù)。然后使用它們訓(xùn)練100個(gè)模型。之后，我們從中選出表現(xiàn)最好的10個(gè)模型。對(duì)于每個(gè)被選中的模型，都根據(jù)原始版本創(chuàng)建10個(gè)超參數(shù)略有不同的變體版本。再使用這些新的超參數(shù)重新訓(xùn)練模型，再次選出其中表現(xiàn)最好的。隨著我們不斷迭代，我們應(yīng)該可然后再執(zhí)行突變。正如其論文:2004.10934）中寫道：遺傳算法使用，根據(jù)GIoU損失進(jìn)行訓(xùn)練，并為min-val5k數(shù)據(jù)集搜索