基于孿生網(wǎng)絡(luò)和注意力機(jī)制的血管造影圖像匹配算法分析綜述目錄TOC\o"1-3"\h\u11430基于孿生網(wǎng)絡(luò)和注意力機(jī)制的血管造影圖像匹配算法分析綜述 1178451.1數(shù)據(jù)標(biāo)注 126761.2網(wǎng)絡(luò)結(jié)構(gòu) 3308811.3對(duì)比損失函數(shù) 5297781.4評(píng)價(jià)指標(biāo)的選擇 6318161.5實(shí)驗(yàn)分析與結(jié)果 7190021.5.1孿生網(wǎng)絡(luò)衍生結(jié)構(gòu)的對(duì)比 8271581.5.2主干網(wǎng)絡(luò)的對(duì)比 10317111.5.3注意力結(jié)構(gòu)的對(duì)比 1118191.5.4圖像預(yù)處理方法的對(duì)比 111.1數(shù)據(jù)標(biāo)注由于匹配任務(wù)的研究目標(biāo)是用預(yù)先提取的有造影顯影的血管圖像去匹配術(shù)中實(shí)時(shí)的無造影視頻序列，因此標(biāo)注數(shù)據(jù)時(shí)以無造影圖像為基準(zhǔn)，即對(duì)每一張無造影圖像，在所有的X射線造影血管圖像中尋找與其相匹配的目標(biāo)圖像，如圖1.1所示。同時(shí)，因有的視頻序列包含多個(gè)心跳周期，因此每張無造影圖像可能有一張或多張匹配的目標(biāo)血管造影圖像。此外，因?yàn)椴煌颊叩难苄螒B(tài)具有一定的差異性，故每一張無造影圖像只在其對(duì)應(yīng)患者圖像序列內(nèi)進(jìn)行匹配，即需要將所有圖像按所屬患者分開保存在不同的文件夾內(nèi)，單獨(dú)對(duì)每個(gè)患者的數(shù)據(jù)進(jìn)行標(biāo)注。圖STYLEREF1\s4.SEQ圖\*ARABIC\s11匹配方案示意圖首先對(duì)于已經(jīng)按有無造影顯影完成分類的圖像數(shù)據(jù)，將其按患者序列編號(hào)分開保存。由于介入手術(shù)中一定會(huì)使用到介入器械導(dǎo)絲和導(dǎo)管，而介入器械一定位于人體血管內(nèi)部，因此可以借助這一先驗(yàn)知識(shí)，通過X射線下可見的介入器械的位置來確定無造影圖像中不可見的血管的位置。由此，先借助Zhou等人提出的導(dǎo)絲分割算法ADDINEN.CITE<EndNote><Cite><Author>Zhou</Author><Year>2020</Year><RecNum>95</RecNum><DisplayText><styleface="superscript">[38]</style></DisplayText><record><rec-number>95</rec-number><foreign-keys><keyapp="EN"db-id="t0vxtp2e825zpwerp2axvwz02p9rza5wdz99"timestamp="1617867419">95</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Y.J.Zhou,</author><author>X.L.Xie,</author><author>X.H.Zhou,</author><author>Z.G.Hou,</author><author>S.Q.Liu,</author></authors></contributors><titles><title>AReal-timeMulti-functionalFrameworkforGuidewireMorphologicalandPositionalAnalysisinInterventionalX-rayFluoroscopy</title><secondary-title>IEEETransactionsonCognitiveDevelopmentalSystems</secondary-title></titles><periodical><full-title>IEEETransactionsonCognitiveDevelopmentalSystems</full-title></periodical><pages>1-1</pages><volume>PP</volume><number>99</number><dates><year>2020</year></dates><urls></urls></record></Cite></EndNote>[38]分割出所有無造影圖像的導(dǎo)絲部分，得到導(dǎo)絲的二值分割圖像，白色部分即為導(dǎo)絲前端位置，同時(shí)也為導(dǎo)絲所在血管的位置，如圖1.2所示。然后，對(duì)于每一序列中所有的X射線血管造影圖像，將分割出的二值圖像依次投射到這些圖像中。如果觀察到投射的導(dǎo)絲在造影圖像的血管內(nèi)，就標(biāo)注為匹配（記為數(shù)字0），否則為不匹配（記為數(shù)字1），如圖1.3所示。由于要以“導(dǎo)絲是否在血管內(nèi)”為參照標(biāo)準(zhǔn)標(biāo)注數(shù)據(jù)，故剔除所有無介入導(dǎo)絲的血管圖像，保證選用的所有數(shù)據(jù)都是有導(dǎo)絲介入的血管圖像。(a)無造影X射線圖像(b)導(dǎo)絲分割二值圖像圖STYLEREF1\s4.SEQ圖\*ARABIC\s12導(dǎo)絲分割結(jié)果圖(a)匹配圖像示例(b)不匹配圖像示例圖STYLEREF1\s4.SEQ圖\*ARABIC\s13導(dǎo)絲投射圖像示例最終標(biāo)記得到訓(xùn)練集數(shù)據(jù)共969對(duì)匹配圖像，測(cè)試集單獨(dú)另外采用五個(gè)患者序列的X射線造影血管圖像，包括共計(jì)74對(duì)匹配圖像。1.2網(wǎng)絡(luò)結(jié)構(gòu)孿生網(wǎng)絡(luò)由兩個(gè)完全相同且共享權(quán)值的CNN構(gòu)成，而偽孿生網(wǎng)絡(luò)由兩個(gè)完全相同但不共享權(quán)值的CNN構(gòu)成。由于本任務(wù)中匹配的輸入是有造影的圖像和無造影的圖像，兩張輸入圖像之間有一定差異，故采用偽孿生網(wǎng)絡(luò)結(jié)構(gòu)，從而能夠更好地捕捉到差異較大的圖像之間的關(guān)聯(lián)特征。由于孿生網(wǎng)絡(luò)的特殊結(jié)構(gòu)，其模型大小是單獨(dú)一個(gè)主干網(wǎng)絡(luò)大小的兩倍，故而在本任務(wù)中不宜選用過深的卷積神經(jīng)網(wǎng)絡(luò)，以免模型太大，導(dǎo)致程序運(yùn)算速度太慢甚至硬件條件無法支持的情況出現(xiàn)。常用于孿生網(wǎng)絡(luò)結(jié)構(gòu)的主干網(wǎng)絡(luò)為VGG16和VGG19。VGGNet所有卷積核呈線性堆疊，卷積層數(shù)較少（VGG16有16層卷積，VGG19有19層卷積），是一個(gè)結(jié)構(gòu)簡(jiǎn)單但性能較強(qiáng)的經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)。VGGNet所采用的卷積核都是3×3大小，因?yàn)?×3卷積比起較大的卷積核能夠捕獲更有效的信息，且計(jì)算量較小。由于VGGNet模型占內(nèi)存較小，結(jié)構(gòu)簡(jiǎn)潔高效，很適合作為孿生網(wǎng)絡(luò)的主干網(wǎng)絡(luò)，因此本任務(wù)中選用VGGNet作為主干網(wǎng)絡(luò)。在主干網(wǎng)絡(luò)的輸出之后、全連接層的輸入之前加入注意力模塊，可以從已經(jīng)提取的特征圖中進(jìn)一步強(qiáng)化重要特征，使得后續(xù)匹配結(jié)果更加準(zhǔn)確。在本任務(wù)中采用2018年ECCV上提出的CBAM。CBAM是一種輕量結(jié)構(gòu)，可以輕便地加入模型中，且同時(shí)關(guān)注了通道注意力和空間注意力，提取的特征更加具有代表性。其中，CBAM的空間注意力模塊的結(jié)構(gòu)如圖1.4所示。該模塊對(duì)于輸入的特征圖分別采用了最大池化和平均池化來聚合不同的空間信息，通過一個(gè)共享的多層感知器（MLP）提取特征，最后通過sigmoid函數(shù)激活加和后的特征。比起SENet中只采用最大池化和兩個(gè)全連接層提取特征的空間注意力模塊，CBAM提取到的空間特征更加豐富。圖STYLEREF1\s4.SEQ圖\*ARABIC\s14CBAM空間注意力模塊ADDINEN.CITE<EndNote><Cite><Author>Woo</Author><Year>2018</Year><RecNum>98</RecNum><DisplayText><styleface="superscript">[34]</style></DisplayText><record><rec-number>98</rec-number><foreign-keys><keyapp="EN"db-id="t0vxtp2e825zpwerp2axvwz02p9rza5wdz99"timestamp="1620717389">98</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>S.Woo,</author><author>J.Park,</author><author>J.Y.Lee,</author><author>I.S.Kweon,</author></authors></contributors><titles><title>CBAM:ConvolutionalBlockAttentionModule</title><secondary-title>EuropeanConferenceonComputerVision</secondary-title></titles><periodical><full-title>EuropeanConferenceonComputerVision</full-title></periodical><dates><year>2018</year></dates><urls></urls></record></Cite></EndNote>[34]CBAM的通道注意力模塊的結(jié)構(gòu)如圖1.5所示。首先對(duì)輸入的特征圖在通道維度分別進(jìn)行最大池化和平均池化，突出顯示跨通道的空間信息，并將結(jié)果連接起來通過卷積融合特征，生成空間上的注意力圖。圖STYLEREF1\s4.SEQ圖\*ARABIC\s15CBAM通道注意力模塊ADDINEN.CITE<EndNote><Cite><Author>Woo</Author><Year>2018</Year><RecNum>98</RecNum><DisplayText><styleface="superscript">[34]</style></DisplayText><record><rec-number>98</rec-number><foreign-keys><keyapp="EN"db-id="t0vxtp2e825zpwerp2axvwz02p9rza5wdz99"timestamp="1620717389">98</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>S.Woo,</author><author>J.Park,</author><author>J.Y.Lee,</author><author>I.S.Kweon,</author></authors></contributors><titles><title>CBAM:ConvolutionalBlockAttentionModule</title><secondary-title>EuropeanConferenceonComputerVision</secondary-title></titles><periodical><full-title>EuropeanConferenceonComputerVision</full-title></periodical><dates><year>2018</year></dates><urls></urls></record></Cite></EndNote>[34]最終采用的網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1.6所示，一對(duì)輸入圖像分別送入兩個(gè)不共享權(quán)值的CNN分支后，在主干網(wǎng)絡(luò)的輸出端分別送入CBAM的通道注意力模塊和空間注意力模塊對(duì)特征進(jìn)行提取和強(qiáng)化，最后將兩個(gè)特征圖通過三個(gè)共享參數(shù)的全連接層后分別輸出其特征向量。通過輸出的兩個(gè)特征向量計(jì)算對(duì)比損失函數(shù)，進(jìn)行反向傳播、優(yōu)化模型。主干網(wǎng)絡(luò)采用VGG19。圖STYLEREF1\s4.SEQ圖\*ARABIC\s16匹配網(wǎng)絡(luò)結(jié)構(gòu)圖1.3對(duì)比損失函數(shù)孿生網(wǎng)絡(luò)常用的損失函數(shù)為對(duì)比損失函數(shù)ADDINEN.CITE<EndNote><Cite><Author>Hadsell</Author><Year>2006</Year><RecNum>58</RecNum><DisplayText><styleface="superscript">[39]</style></DisplayText><record><rec-number>58</rec-number><foreign-keys><keyapp="EN"db-id="t0vxtp2e825zpwerp2axvwz02p9rza5wdz99"timestamp="1610629764">58</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>R.Hadsell,</author><author>S.Chopra,</author><author>Y.LeCun,</author></authors></contributors><titles><title>Dimensionalityreductionbylearninganinvariantmapping</title><secondary-title>2006IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition(CVPR'06)</secondary-title></titles><pages>1735-1742</pages><volume>2</volume><dates><year>2006</year></dates><publisher>IEEE</publisher><isbn>0769525970</isbn><urls></urls></record></Cite></EndNote>[39]。該損失函數(shù)適用于成對(duì)輸入數(shù)據(jù)的情況，假設(shè)輸入數(shù)據(jù)的標(biāo)簽為0（匹配數(shù)據(jù)對(duì)）和1（不匹配數(shù)據(jù)對(duì)），則其公式如下： 其中，公式（1.1）表示的為損失函數(shù)，是所有數(shù)據(jù)對(duì)的單獨(dú)損失函數(shù)之和。公式（1.3）表示的是兩個(gè)輸入通過網(wǎng)絡(luò)后的輸出向量之間的歐氏距離，是輸出，分別是兩個(gè)輸入。公式（1.2）是的具體內(nèi)容，其中第一項(xiàng)加和項(xiàng)是針對(duì)匹配數(shù)據(jù)對(duì)的損失函數(shù)，為兩個(gè)輸入對(duì)應(yīng)輸出向量之間的歐氏距離的平方，則輸出之間距離越小，損失函數(shù)越?。坏诙?xiàng)加和項(xiàng)是針對(duì)不匹配數(shù)據(jù)對(duì)的損失函數(shù)，為某一閾值m與歐氏距離之差的平方或0，則輸出之間距離越大，損失函數(shù)越小。設(shè)置閾值m的目的是相當(dāng)于設(shè)定一個(gè)半徑，使得只有歐氏距離在一定范圍內(nèi)的不匹配數(shù)據(jù)對(duì)才能對(duì)模型優(yōu)化有貢獻(xiàn)。由此，對(duì)比損失函數(shù)可以使得匹配數(shù)據(jù)對(duì)的歐氏距離變小，不匹配數(shù)據(jù)對(duì)的歐氏距離變大，從而增加匹配的準(zhǔn)確性。1.4評(píng)價(jià)指標(biāo)的選擇首先對(duì)于標(biāo)記好的匹配圖像對(duì)，可以根據(jù)標(biāo)簽來直接統(tǒng)計(jì)匹配的rank-n正確率。將所有輸入圖像對(duì)的特征向量的歐氏距離按升序排序，rank-n正確率即為歐氏距離最小的前n張圖像中有標(biāo)記為匹配的圖像的預(yù)測(cè)正確率。然而，由于待匹配圖像都是從視頻序列里導(dǎo)出的連續(xù)幀，彼此之間形態(tài)和位置差異很小，因此在本任務(wù)中只要預(yù)測(cè)圖像的前后相鄰幀中有標(biāo)記匹配圖像，也認(rèn)為預(yù)測(cè)正確。由于血管內(nèi)介入手術(shù)通常都會(huì)先放入導(dǎo)絲做后續(xù)介入器械的指引，且導(dǎo)絲只能在血管內(nèi)移動(dòng)，因此可以考慮采用“導(dǎo)絲在血管內(nèi)的占比”作為一項(xiàng)評(píng)價(jià)指標(biāo)。召回率（Recall）是用于評(píng)價(jià)正樣本中有多少被預(yù)測(cè)正確的指標(biāo)，在本任務(wù)中被預(yù)測(cè)正確的正樣本即導(dǎo)絲占預(yù)測(cè)圖像中血管部分的面積，因此可以用“導(dǎo)絲與血管重合的面積占導(dǎo)絲總面積的比例”作為本任務(wù)中的召回率。導(dǎo)絲與血管重合的面積占導(dǎo)絲總面積的比例越大，匹配效果越好。當(dāng)Recall=1時(shí)，代表導(dǎo)絲全部位于血管內(nèi)，匹配效果最好；當(dāng)Recall=0時(shí)，代表導(dǎo)絲全部位于血管外，匹配效果最差。豪斯多夫距離（HausdorffDistance）是用于度量空間中真子集之間的距離的指標(biāo)，它可以表明兩個(gè)點(diǎn)集之間的最大不匹配程度，具體計(jì)算方式如公式（1.4）所示。相比于歐氏距離，豪斯多夫距離更加靈活、也更適應(yīng)于本任務(wù)中點(diǎn)集形狀不規(guī)則的情況。在本實(shí)驗(yàn)中通過統(tǒng)計(jì)無造影圖像中導(dǎo)絲與X射線造影圖像中血管之間的豪斯多夫距離，來判斷兩幅圖的匹配情況。豪斯多夫距離越小，說明兩幅圖中導(dǎo)絲和血管的位置越吻合，兩幅圖更可能處于同一心跳周期狀態(tài)中，即兩幅圖更匹配。此外，在實(shí)驗(yàn)中發(fā)現(xiàn)，匹配任務(wù)中常用的區(qū)域的灰度值的均方誤差（MeanSquareError,MSE）和結(jié)構(gòu)相似性（StructureSIMilarity,SSIM）在面對(duì)匹配圖像和不匹配圖像時(shí)，求得的數(shù)值相差不多，幾乎不會(huì)出現(xiàn)較大波動(dòng)。這可能是因?yàn)楣诿}血管在不同時(shí)刻的X射線造影圖像本就極為相似，只是位置和形態(tài)發(fā)生了較小的變化，對(duì)于圖像整體的灰度值、亮度和對(duì)比度等指標(biāo)都沒有明顯影響，因此在實(shí)驗(yàn)中不使用這兩項(xiàng)常用指標(biāo)。1.5實(shí)驗(yàn)分析與結(jié)果采用圖1.6中所示網(wǎng)絡(luò)結(jié)構(gòu)，損失函數(shù)為對(duì)比損失函數(shù)，優(yōu)化器為Adam，參數(shù)為0.0001，訓(xùn)練的epoch數(shù)為300，batch大小為20，得到模型的在測(cè)試集上的匹配結(jié)果如表1.1所示。表STYLEREF1\s4.SEQ表\*ARABIC\s11匹配CNN性能統(tǒng)計(jì)表rank-1豪斯多夫距離rank-1召回率rank-3豪斯多夫距離rank-3召回率rank-1accurank-3accurank-5accu5.58116073.53%5.4735971.25%48.00%85.41%95.20%其中，表1.1第一列和第三列所列出的“rank-n豪斯多夫距離”為按歐氏距離計(jì)算出無造影圖像的導(dǎo)絲與最匹配的前n張?jiān)煊皥D像中的血管之間的豪斯多夫距離的平均值;第二列和第四列所列出的“rank-n召回率”為無造影圖像中的導(dǎo)絲分別在其計(jì)算出的最匹配的前n張?jiān)煊皥D像中的血管的占比面積的平均值。由于采用前三張圖像的平均值可以排除異常結(jié)果，更好地反映出所使用的模型的性能，故后續(xù)對(duì)比實(shí)驗(yàn)均只統(tǒng)計(jì)rank-3豪斯多夫距離和召回率。匹配效果圖見附錄A。圖A1為測(cè)試集其中一位患者的連續(xù)12幀無造影圖像的匹配結(jié)果，奇數(shù)列為待匹配的無造影圖像，偶數(shù)列為模型選擇出的最佳匹配造影圖像，其中偶數(shù)列圖像中的白色曲線為無造影圖像中導(dǎo)絲的位置投影，可用于比對(duì)兩張圖像的相對(duì)位姿。1.5.1孿生網(wǎng)絡(luò)衍生結(jié)構(gòu)的對(duì)比除孿生網(wǎng)絡(luò)和偽孿生網(wǎng)絡(luò)外，實(shí)驗(yàn)還對(duì)比了基于TS-Net的三種結(jié)構(gòu)，如圖1.7所示。其中，圖1.7(a)所示結(jié)構(gòu)由兩個(gè)共享權(quán)值的CNN和兩個(gè)不共享權(quán)值的CNN共四個(gè)分支組成，將兩個(gè)輸入圖像分別對(duì)應(yīng)送入孿生網(wǎng)絡(luò)和偽孿生網(wǎng)絡(luò)中，提取出四個(gè)特征向量，將四個(gè)特征向量通過共享權(quán)值的全連接層后得到四個(gè)輸出，最后兩兩對(duì)應(yīng)計(jì)算對(duì)比損失函數(shù)。兩個(gè)子網(wǎng)絡(luò)的損失函數(shù)的加和即為總損失函數(shù)。圖1.7(b)所示結(jié)構(gòu)在圖1.7(a)所示結(jié)構(gòu)的基礎(chǔ)上，在倒數(shù)第二層卷積的位置將網(wǎng)絡(luò)結(jié)構(gòu)修改為四個(gè)分支一起共享權(quán)值。圖1.7(c)所示結(jié)構(gòu)在圖1.7(a)所示結(jié)構(gòu)的基礎(chǔ)上，在倒數(shù)第一層卷積的位置將網(wǎng)絡(luò)結(jié)構(gòu)修改為四個(gè)分支一起共享權(quán)值，在倒數(shù)第二層卷積的位置將網(wǎng)絡(luò)結(jié)構(gòu)修改為兩兩分支共享權(quán)值?；谥鞲删W(wǎng)絡(luò)VGG19，不加入CBAM結(jié)構(gòu)，對(duì)比實(shí)驗(yàn)結(jié)果如表1.2所示。采用孿生網(wǎng)絡(luò)和偽孿生網(wǎng)絡(luò)的實(shí)驗(yàn)batch大小為20，采用三種基于TS-Net的結(jié)構(gòu)的實(shí)驗(yàn)batch大小為10，epoch和優(yōu)化器參數(shù)保持不變。表STYLEREF1\s4.SEQ表\*ARABIC\s12網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比實(shí)驗(yàn)網(wǎng)絡(luò)結(jié)構(gòu)rank-3豪斯多夫距離rank-3召回率rank-1accurank-3accurank-5accuSiamese5.6764366.10%41.80%66.10%41.80%Pseudo-Siamese5.5700967.94%58.31%81.47%91.13%TS-Net結(jié)構(gòu)15.8782862.98%31.20%62.98%31.20%TS-Net結(jié)構(gòu)25.2888061.45%43.00%61.45%43.00%TS-Net結(jié)構(gòu)35.5676065.03%42.60%65.03%42.60%(a)TS-Net結(jié)構(gòu)1(b)TS-Net結(jié)構(gòu)2(c)TS-Net結(jié)構(gòu)3圖STYLEREF1\s4.SEQ圖\*ARABIC\s17TS-Net變體結(jié)構(gòu)示意圖從表1.2中可以看出，偽孿生網(wǎng)絡(luò)總體性能最優(yōu)，其中導(dǎo)絲的召回率和rank-1、rank-3和rank-5準(zhǔn)確率都優(yōu)于其他網(wǎng)絡(luò)結(jié)構(gòu)，匹配的兩張圖像中導(dǎo)絲與血管之間的豪斯多夫距離也較小，說明匹配出的兩張圖像中血管的位姿狀態(tài)很接近，偽孿生網(wǎng)絡(luò)在本任務(wù)中具有突出優(yōu)勢(shì)。1.5.2主干網(wǎng)絡(luò)的對(duì)比主干網(wǎng)絡(luò)的選擇對(duì)模型的表現(xiàn)至關(guān)重要?；趥螌\生網(wǎng)絡(luò)結(jié)構(gòu)，我對(duì)比了VGG16和VGG19的表現(xiàn)，并同時(shí)與經(jīng)典分類模型Resnet18、Resnet34和Resnet50進(jìn)行了對(duì)比。同時(shí)，為了尋找合適的模型改進(jìn)方向，我也將兩個(gè)經(jīng)典的圖主干網(wǎng)絡(luò)像分割模型——全卷積網(wǎng)絡(luò)（FullyConvolutionalNetworks,FCN）ADDINEN.CITE<EndNote><Cite><Author>Long</Author><Year>2015</Year><RecNum>96</RecNum><DisplayText><styleface="superscript">[40]</style></DisplayText><record><rec-number>96</rec-number><foreign-keys><keyapp="EN"db-id="t0vxtp2e825zpwerp2axvwz02p9rza5wdz99"timestamp="1618040990">96</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>J.Long,</author><author>E.Shelhamer,</author><author>T.Darrell,</author></authors></contributors><titles><title>Fullyconvolutionalnetworksforsemanticsegmentation</title><secondary-title>ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition</secondary-title></titles><pages>3431-3440</pages><dates><year>2015</year></dates><urls></urls></record></Cite></EndNote>[40]和U-NetADDINEN.CITE<EndNote><Cite><Author>Ronneberger</Author><Year>2015</Year><RecNum>97</RecNum><DisplayText><styleface="superscript">[41]</style></DisplayText><record><rec-number>97</rec-number><foreign-keys><keyapp="EN"db-id="t0vxtp2e825zpwerp2axvwz02p9rza5wdz99"timestamp="1618041451">97</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>O.Ronneberger,</author><author>P.Fischer,</author><author>T.Brox,</author></authors></contributors><titles><title>U-net:Convolutionalnetworksforbiomedicalimagesegmentation</title><secondary-title>InternationalConferenceonMedicalimagecomputingandcomputer-assistedintervention</secondary-title></titles><pages>234-241</pages><dates><year>2015</year></dates><publisher>Springer</publisher><urls></urls></record></Cite></EndNote>[41]——加入了對(duì)比實(shí)驗(yàn)，其中U-Net自2015年提出以來就在醫(yī)學(xué)圖像的分割任務(wù)中有著非常杰出的表現(xiàn)。實(shí)驗(yàn)中，VGG網(wǎng)絡(luò)和Resnet的輸出都為特征向量，F(xiàn)CN和U-Net的輸出為特征圖，損失函數(shù)分別計(jì)算對(duì)應(yīng)特征向量或特征圖之間的歐氏距離。VGG網(wǎng)絡(luò)、FCN和U-Net的訓(xùn)練batch大小都為20，Resnet18和Resnet34的訓(xùn)練batch大小為10，Resnet50的訓(xùn)練batch大小為1，epoch和優(yōu)化器參數(shù)保持不變。對(duì)比實(shí)驗(yàn)結(jié)果如表1.3所示。表STYLEREF1\s4.SEQ表\*ARABIC\s13主干網(wǎng)絡(luò)對(duì)比實(shí)驗(yàn)主干網(wǎng)絡(luò)rank-3豪斯多夫距離rank-3召回率rank-1accurank-3accurank-5accuVGG165.5553461.99%47.20%72.60%92.00%VGG195.5700967.94%58.31%81.47%91.13%ResNet186.5719451.17%50.80%75.60%85.80%ResNet346.3253461.14%50.80%75.40%89.80%ResNet508.0288248.48%19.20%50.20%70.60%FCN6.5738553.97%30.60%53.80%80.20%U-Net8.6624941.53%6.40%41.80%63.00%從表1.3中的實(shí)驗(yàn)結(jié)果可以看出，VGGNet系列的表現(xiàn)最好。VGG19除豪斯多夫距離略高于VGG16外，其他各個(gè)指標(biāo)均優(yōu)于VGG16，且所有指標(biāo)均顯著優(yōu)于其他網(wǎng)絡(luò)結(jié)構(gòu)。因此在實(shí)驗(yàn)中采用VGG19作為主干網(wǎng)絡(luò)。同時(shí)可以看出，ResNet系列可能因?yàn)榫W(wǎng)絡(luò)過深，出現(xiàn)了過擬合現(xiàn)象，使得預(yù)測(cè)結(jié)果較差；FCN和U-Net這類圖像分割網(wǎng)絡(luò)提取出的特征圖不如特征向量更具代表性，不是很適用于匹配任務(wù)。1.5.3