基于輕量化網(wǎng)絡(luò)Xception的血管造影圖像分類算法概述目錄TOC\o"1-3"\h\u3355基于輕量化網(wǎng)絡(luò)Xception的血管造影圖像分類算法概述 1184771.1數(shù)據(jù)標(biāo)注與預(yù)處理 1285971.1.1數(shù)據(jù)標(biāo)注 1149371.1.2數(shù)據(jù)預(yù)處理 1298021.2輕量化網(wǎng)絡(luò)Xception 279841.3實(shí)驗(yàn)結(jié)果與分析 3243541.1.1主干網(wǎng)絡(luò)的對(duì)比 3155971.1.2圖像預(yù)處理方法的對(duì)比 4在血管內(nèi)介入手術(shù)中，由于醫(yī)生只能直接獲得注射造影劑這一完整過程的連續(xù)視頻序列，而無法獲得明確區(qū)分開的X射線血管造影圖像和無造影圖像，為了進(jìn)行血管造影圖像與術(shù)中實(shí)時(shí)無造影圖像的匹配，首先需要一個(gè)分類CNN模型來區(qū)分圖像有無血管造影顯影，然后將有造影圖像保存為造影圖像庫以待在匹配階段使用。1.1數(shù)據(jù)標(biāo)注與預(yù)處理1.1.1數(shù)據(jù)標(biāo)注本實(shí)驗(yàn)采用的數(shù)據(jù)來源于16位患者的共計(jì)2937張不同體位的冠脈血管X射線造影圖像。原始造影圖像數(shù)據(jù)的格式為臨床上心血管成像以及放射診療診斷設(shè)備中最常用的DICOM格式，因此通過軟件RadiAntDICOMViewer將其統(tǒng)一導(dǎo)出為png圖像格式的單幀圖像序列。將無造影圖像標(biāo)記為0，有造影圖像標(biāo)記為1，最后獲得共計(jì)899張無造影顯影圖像和2038張有造影顯影圖像。標(biāo)簽保存為txt文件。1.1.2數(shù)據(jù)預(yù)處理由于存儲(chǔ)空間和算力資源的限制，首先將所有原圖大小為512×512的圖像都等比縮放到299×299。為了增加模型魯棒性，對(duì)所有圖像進(jìn)行了隨機(jī)水平翻轉(zhuǎn)、隨機(jī)豎直翻轉(zhuǎn)和歸一化操作。在基本操作后，本算法采用了一種特殊的三通道預(yù)處理方法，對(duì)于輸入圖像的三個(gè)通道分別進(jìn)行高斯濾波、均值濾波和直方圖均衡化（以下簡稱為“三通道預(yù)處理”）。由于輸入圖像是灰度圖，三個(gè)通道的像素值完全相同，該方法能夠比較全面地濾除不同的噪聲。雖然高斯濾波和均值濾波都會(huì)對(duì)血管的邊緣進(jìn)行模糊，但邊緣特征的缺失不會(huì)對(duì)分類任務(wù)產(chǎn)生較大的影響。采用該方法預(yù)處理前后的對(duì)比圖如圖1.1所示。(a)原始血管造影圖像(b)三通道預(yù)處理后的血管造影圖像圖STYLEREF1\s3.SEQ圖\*ARABIC\s11圖像預(yù)處理前后對(duì)比圖1.2輕量化網(wǎng)絡(luò)Xception在本實(shí)驗(yàn)中，考慮到硬件部署的靈活性和臨床手術(shù)對(duì)算法實(shí)時(shí)性的需求，主要采用輕量化網(wǎng)絡(luò)模型完成目標(biāo)任務(wù)。在目前常用的輕量化網(wǎng)絡(luò)中，選擇Google提出的Xception網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)。Xception的網(wǎng)絡(luò)結(jié)構(gòu)如圖1.2所示，其主要采用深度可分卷積來分開處理跨通道相關(guān)性和空間相關(guān)性，同時(shí)大量加入殘差連接，可以在不降低模型性能的同時(shí)大大縮減模型計(jì)算量，提高網(wǎng)絡(luò)運(yùn)算效率。圖STYLEREF1\s3.SEQ圖\*ARABIC\s12Xception網(wǎng)絡(luò)結(jié)構(gòu)示意圖ADDINEN.CITE<EndNote><Cite><Author>Chollet</Author><Year>2017</Year><RecNum>92</RecNum><DisplayText><styleface="superscript">[21]</style></DisplayText><record><rec-number>92</rec-number><foreign-keys><keyapp="EN"db-id="t0vxtp2e825zpwerp2axvwz02p9rza5wdz99"timestamp="1614433217">92</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Chollet,Fran?ois</author></authors></contributors><titles><title>Xception:Deeplearningwithdepthwiseseparableconvolutions</title><secondary-title>ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition</secondary-title></titles><pages>1251-1258</pages><dates><year>2017</year></dates><urls></urls></record></Cite></EndNote>[21]1.3實(shí)驗(yàn)結(jié)果與分析將標(biāo)記的2937張冠脈血管X射線造影圖像隨機(jī)打亂后，取70%作為訓(xùn)練集，剩下30%作為測試集。分類任務(wù)中所有實(shí)驗(yàn)的訓(xùn)練的epoch數(shù)為100，batch大小為10，優(yōu)化器為Adam，參數(shù)為0.001。采用的損失函數(shù)為交叉熵?fù)p失函數(shù)。對(duì)輸入圖像均采用三通道預(yù)處理方法，最終訓(xùn)練完成的模型在測試集上準(zhǔn)確率達(dá)到91.98%、精確率達(dá)到95.92%。1.1.1主干網(wǎng)絡(luò)的對(duì)比為了檢驗(yàn)所采用的輕量化網(wǎng)絡(luò)Xception的相對(duì)性能，將其與最常用的分類網(wǎng)絡(luò)Resnet152和VGG19進(jìn)行對(duì)比。訓(xùn)練中Loss的變化如圖1.3所示，其中紅線代表Xception，藍(lán)線代表Resnet152，綠線代表VGG19。從圖1.3中可以看出，Xception的收斂速度最快，VGG19次之，ResNet152相對(duì)最慢。圖STYLEREF1\s3.SEQ圖\*ARABIC\s13三種分類模型loss對(duì)比圖三種分類模型的性能對(duì)比如表1.1所示，可以看出，Xception網(wǎng)絡(luò)不僅分類的準(zhǔn)確率和精確度都高于另外兩種網(wǎng)絡(luò)，而且顯存占用在三者中最小。在模型大小具有顯著優(yōu)勢的情況下，Xception還保持了較強(qiáng)的分類性能和較快的收斂速度，是解決本任務(wù)的理想方案。表STYLEREF1\s3.SEQ表\*ARABIC\s11Xception與Resnet152的性能對(duì)比統(tǒng)計(jì)表主干網(wǎng)絡(luò)顯存占用/MiBAccuracyPrecisionXception430592.85%95.73%Resnet152559790.69%94.59%VGG19663692.57%95.09%1.1.2圖像預(yù)處理方法的對(duì)比為了驗(yàn)證三通道預(yù)處理方法的有效性，將其與另外兩種常用的預(yù)處理方法進(jìn)行對(duì)比。第一種方法為Frangi濾波器，與三通道預(yù)處理方法相反，該方法可以對(duì)圖像進(jìn)行邊緣增強(qiáng)；第二種方法為采用對(duì)比度受限的自適應(yīng)直方圖均衡化（ContrastLimitedAdaptiveHistogramEqualization,CLAHE），突出某些局部區(qū)域的特征，獲得更多圖像細(xì)節(jié)，同時(shí)對(duì)局部對(duì)比度進(jìn)行限制，防止局部對(duì)比度提高過大，導(dǎo)致圖像失真。采用Frangi濾波和CLAHE兩種方法對(duì)圖像進(jìn)行預(yù)處理的結(jié)果分別如圖1.4(a)和圖1.4(b)所示。對(duì)比圖1.3的兩幅圖和圖1.4的兩幅圖可以發(fā)現(xiàn)，F(xiàn)rangi濾波可以強(qiáng)化血管的形態(tài)信息和邊緣信息、抹去不重要的背景像素信息，但增強(qiáng)的血管結(jié)構(gòu)中可能包括很多不屬于原血管的部分，增加了干擾因素；三通道預(yù)處理方法會(huì)將圖像彩色化，弱化背景中的不重要元素，相對(duì)突出血管的形態(tài)信息，但會(huì)使得血管的邊緣區(qū)域變得模糊；CLAHE可以較好地強(qiáng)化血管的形態(tài)信息和邊緣信息，但對(duì)于背景中的干擾信息也會(huì)敏銳地捕捉并凸顯出來。(a)Frangi濾波后的血管造影圖像(b)CLAHE處理后的血管造影圖像圖STYLEREF1\s3.SEQ圖\*ARABIC\s14預(yù)處理效果對(duì)比圖模型主干網(wǎng)絡(luò)均采用Xception，實(shí)驗(yàn)訓(xùn)練的epoch數(shù)為100，batch大小為10，采用不同預(yù)處理方法得到的分類結(jié)果如表1.2所示。從表1.2中可以看出，采用三通道預(yù)處理方法比起不采用預(yù)處理方法的模型能夠小幅提升實(shí)驗(yàn)結(jié)果，而Frangi濾波和CLAHE反而使得結(jié)果變差，可能是出現(xiàn)了一定的過擬合現(xiàn)象。表STYLE