CN115565671B 基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法(河北工業(yè)大學(xué))_第1頁
CN115565671B 基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法(河北工業(yè)大學(xué))_第2頁
CN115565671B 基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法(河北工業(yè)大學(xué))_第3頁
CN115565671B 基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法(河北工業(yè)大學(xué))_第4頁
CN115565671B 基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法(河北工業(yè)大學(xué))_第5頁
已閱讀5頁,還剩7頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

(19)國家知識(shí)產(chǎn)權(quán)局(12)發(fā)明專利(45)授權(quán)公告日2025.06.27(21)申請?zhí)?02211264344.4(22)申請日2022.10.14(43)申請公布日2023.01.03地址300130天津市紅橋區(qū)丁字沽光榮道8(72)發(fā)明人向順王健儒王元全郭世杰蘇衛(wèi)華所(普通合伙)12210專利代理師蔡運(yùn)紅GO6V10/82(2022.01)AU2020103715A4,2021.02.11審查員盧素齋基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法本發(fā)明為基于跨模型相互教學(xué)半監(jiān)督的房分析。該方法通過跨模型相互教學(xué)的半監(jiān)督機(jī)定義數(shù)據(jù)集,并對數(shù)據(jù)集進(jìn)行增強(qiáng):引入可變形的Transformer,構(gòu)建左心房分割模型:搭建基于跨模型相互教學(xué)的半監(jiān)督訓(xùn)練框架,并設(shè)計(jì)損失函數(shù)進(jìn)行模型訓(xùn)練,最終生成左心房分割預(yù)測圖;基于重建后的左心房分割預(yù)測圖,計(jì)算左心房的直徑、體積、體積指數(shù)和左心房球形度四種臨床指標(biāo)。21.一種基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法,其特征在于,該方法包括以S1、在訓(xùn)練階段采用包含隨機(jī)翻轉(zhuǎn)、對比度增強(qiáng)以及隨機(jī)裁剪在內(nèi)的方式進(jìn)行數(shù)據(jù)增強(qiáng),在推理階段采用中心裁剪進(jìn)行數(shù)據(jù)增強(qiáng),將待分割的3D心臟核磁共振圖像裁剪為規(guī)定S2、引入可變形的Transformer,構(gòu)建左心房分割模型;左心房分割模型包括基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器、3D可變形的Transformer編碼器和基于卷積神經(jīng)網(wǎng)絡(luò)的解碼器;基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器包括多個(gè)級聯(lián)的編碼器層,每個(gè)編碼器層均包含卷積層、歸一化層、激活層和下采樣層,待分割的3D心臟核磁共振圖像通過基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器進(jìn)行特征提取,得到多尺度空間特征圖;3D可變形的Transformer編碼器由多個(gè)3D可變形的Transformer編碼器層堆疊而成,每個(gè)3D可變形的Transformerr編碼器層均包括級聯(lián)的自注意力層、歸一化層、前向反饋層和歸一化層,自注意力層和前向反饋層采用殘差連接;基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器提取的空間特征圖輸入到3D可變形的Transformer編碼器中,通過3D位置編碼器對輸入的空間特征圖進(jìn)行扁平化,同時(shí)將空間特征圖中左心房區(qū)域的像素點(diǎn)作為關(guān)鍵點(diǎn);將扁平化后的空間特征圖和關(guān)鍵點(diǎn)輸入到自注意力層中,自注意力層利用3D可變形的多頭自注意力機(jī)制使3D可變形的Transformerr編碼器只關(guān)注空間特征圖的部分像素點(diǎn),3D可變形的自注意力機(jī)制是將注意力機(jī)制在Z軸方向拓展得到,表達(dá)式坐標(biāo),Pq表示z的歸一化坐標(biāo),f1}L=2表示多尺度空間特征圖,m表示多頭注意力機(jī)制的自樣偏移量和注意力權(quán)重;φ(pq)表示將歸一化坐標(biāo)Pq轉(zhuǎn)換為對應(yīng)的第1個(gè)空間特征圖;基于卷積神經(jīng)網(wǎng)絡(luò)的解碼器包括與編碼器層數(shù)量相同的解碼器層,除最后一個(gè)解碼器層為上采樣層外,其余解碼器層均為轉(zhuǎn)置卷積;S3、搭建基于跨模型相互教學(xué)的半監(jiān)督訓(xùn)練框架;將左心房分割模型作為教師模型,V-式中,LcE(y;,p)、LDICE(y,p)分別表示左心房分割預(yù)測圖p與真實(shí)標(biāo)簽y之間的交叉熵?fù)p失和骰子系數(shù)損失;對于未標(biāo)簽數(shù)據(jù),使用跨模型相互教學(xué)的半監(jiān)督訓(xùn)練,3D心臟核磁共振圖像分別輸入到教師模型和學(xué)生模型中產(chǎn)生兩個(gè)偽標(biāo)簽,利用教師模型為學(xué)生模型提供偽標(biāo)簽,利用學(xué)生模型為教師模型提供偽標(biāo)簽;對生成的偽標(biāo)簽進(jìn)行過濾,將左心房分割預(yù)測圖中像素點(diǎn)的置信度作為過濾指標(biāo),分別對左心房分割預(yù)測圖的前景和背景設(shè)置閾值,對于左心房分割預(yù)測圖的前景選擇置信度高于前景閾值的像素點(diǎn),左心房分割預(yù)測圖的背景選擇置信度小于背景閾值的像素點(diǎn),將左心房分割預(yù)測圖中的其余像素點(diǎn)刪除,得到過濾后的左心房3分割預(yù)測圖;利用過濾后的左心房分割預(yù)測圖和偽標(biāo)簽計(jì)算模型訓(xùn)練的二交叉熵?fù)p失為:其中,9i[0]、9i[1]分別表示左心房分割預(yù)測圖的前景和背景,γ和β分別表示前景閾值和背景閾值;9;表示偽標(biāo)簽,包括教師模型為學(xué)生模型提供的偽標(biāo)簽和學(xué)生模型為教師模型提供的偽標(biāo)簽9;左心房分割預(yù)測圖p.包括教師模型和學(xué)生模型的預(yù)測結(jié)果;跨模型相互教學(xué)的策略損失函數(shù)Lcm定義為:Lcmt=LBCE(§,pT)+LBCE(T,p{)式中,LBCE({,pT)表示教師模型的預(yù)測結(jié)果與偽標(biāo)簽的二交叉熵?fù)p失,LBCE(T,pS)表示學(xué)生模型的預(yù)測結(jié)果與偽標(biāo)簽的二交叉熵?fù)p失;模型訓(xùn)練總的損失函數(shù)表示為:其中,Lsup表示監(jiān)督損失,Lcm表示跨模型相互教學(xué)的策略損失,a表示平衡因子;平衡因子α的表達(dá)式為:式中,t表示模型當(dāng)前的訓(xùn)練步數(shù),tma表示模型的最大訓(xùn)練步數(shù);S4、對同一張3D心臟核磁共振圖像生成的多張左心房分割預(yù)測圖按照原來的位置進(jìn)行3D重建,得到重建后的左心房分割預(yù)測圖;基于重建后的左心房分割預(yù)測圖,計(jì)算左心房的直徑、體積、體積指數(shù)和左心房球形度四種臨床指標(biāo),醫(yī)生將這些臨床指標(biāo)與正常參考值范圍進(jìn)行比較,并結(jié)合臨床經(jīng)驗(yàn)判斷患者是否有房顫,實(shí)現(xiàn)房顫的輔助分析。2.根據(jù)權(quán)利要求1所述的基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法,其特征在于,在步驟S4中,從重建后的左心房分割預(yù)測圖中獲取左心房的體積LA、左心房前后徑的直徑LAdia;左心房的體積指數(shù)LA為:其中,B表示患者的體表面積,計(jì)算公式為:Ba=0.0061×身高+0.0124×體重-0.0099(15)左心房球形度LAp為:其中,Vdia表示與左心房同容積球體的直徑。3.根據(jù)權(quán)利要求1或2所述的基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法,其特征在于,所述基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器包括四個(gè)編碼器層,編碼器層的卷積層的卷積核大小為2*2*2,步長為2;基于卷積神經(jīng)網(wǎng)絡(luò)的解碼器包括四個(gè)解碼器層,解碼器層的轉(zhuǎn)置卷積的卷積核大小為2*2*2,步長為2。4技術(shù)領(lǐng)域[0001]本發(fā)明屬于房顫輔助分析技術(shù)領(lǐng)域,特別是涉及一種基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法。背景技術(shù)[0002]房顫作為最常見的心臟疾病,通常表現(xiàn)為持續(xù)性心率失常和左心房增大,因此左心房的解剖結(jié)構(gòu)能夠?yàn)榉款澆±矸治鎏峁┲匾畔?,而左心房的直徑、體積、體積指數(shù)和球形度這四個(gè)指標(biāo)可以為房顫評估和分析提供重要依據(jù),故準(zhǔn)確計(jì)算這些指標(biāo)值對房顫評估具有重要作用。然而,準(zhǔn)確計(jì)算指標(biāo)值依賴于左心房輪廓的準(zhǔn)確描繪,目前在臨床診斷上醫(yī)生主要通過從心臟核磁共振圖像手動(dòng)分割左心房區(qū)域,不僅耗費(fèi)時(shí)間,而且分割準(zhǔn)確度較[0003]隨著深度學(xué)習(xí)技術(shù)的發(fā)展,基于深度學(xué)習(xí)的圖像分割方法取得了良好的效果。目前大多數(shù)可用的臨床數(shù)據(jù)庫規(guī)模較小,因此很難使用全監(jiān)督學(xué)習(xí)方式訓(xùn)練模型。對于醫(yī)學(xué)影像來說獲取大量的標(biāo)簽數(shù)據(jù)是一個(gè)費(fèi)時(shí)費(fèi)力的過程,標(biāo)簽結(jié)果受到醫(yī)生主觀影像較大。相較于標(biāo)簽數(shù)據(jù),無標(biāo)簽數(shù)據(jù)是容易獲得且能夠大量提供,如何利用有限的標(biāo)簽數(shù)據(jù)和大量的無標(biāo)簽數(shù)據(jù)進(jìn)行半監(jiān)督學(xué)習(xí)已經(jīng)成為很多研究者關(guān)注的重點(diǎn)。目前,在半監(jiān)督學(xué)習(xí)中主要面臨兩大難點(diǎn):1)一致性正則化約束問題。一致性正則化約束通過添加擾動(dòng)加強(qiáng)模型在預(yù)測過程或者中間特征提取過程中的一致性。對于同一個(gè)無標(biāo)簽數(shù)據(jù)通過在擾動(dòng)過程中隨機(jī)擴(kuò)充圖像,使得模型在前向傳播中獲得兩個(gè)不同的預(yù)測結(jié)果,并在增強(qiáng)圖像的預(yù)測之間加入一致性約束,從而使模型更加關(guān)注低密度區(qū)域,以教師-學(xué)生模型訓(xùn)練框架中使用的是基于指數(shù)移動(dòng)平均(EMA)方法更新教師參數(shù)。然而,指數(shù)移動(dòng)平均更側(cè)重于在訓(xùn)練過程中的每個(gè)階段對學(xué)生模型的參數(shù)進(jìn)行加權(quán),并沒有評估模型生成的偽標(biāo)簽的質(zhì)量。隨著訓(xùn)練次數(shù)的增加,教師模型會(huì)累積學(xué)習(xí)到學(xué)生模型的參數(shù),同時(shí)也會(huì)累積參數(shù)中的錯(cuò)誤知識(shí),這樣不能夠保證教師模型能夠提供更好的偽標(biāo)簽進(jìn)行監(jiān)督。2)模型空間信息獲取能力不足。在已有的大多數(shù)研究中采用的是基于純卷積神經(jīng)網(wǎng)絡(luò)(CNN)的醫(yī)學(xué)影像分割方法,其中大部分模型都是基于U-Net/V-Net模型及其變體衍化而來的,雖然在各種任務(wù)中取得了不錯(cuò)的結(jié)果,但是由于卷積運(yùn)算有一定的局限性,基于CNN的方法對于全局信息和長依賴信息的建模能力有限,而且大多數(shù)醫(yī)學(xué)影像都是基于3D結(jié)構(gòu)的,每張圖像之間都有很多空間信息,這些空間信息在CNN模型中無法很好地被獲取。發(fā)明內(nèi)容[0004]針對現(xiàn)有技術(shù)的不足,本發(fā)明擬解決的技術(shù)問題是,提出一種基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法。[0005]本發(fā)明解決所述技術(shù)問題采用的技術(shù)方案如下:[0006]一種基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法,包括以下步驟:[0007]S1、在訓(xùn)練階段采用包含隨機(jī)翻轉(zhuǎn)、對比度增強(qiáng)以及隨機(jī)裁剪在內(nèi)的方式進(jìn)行數(shù)5[0010]3D可變形的Transformer[0011]基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器提取的空間特征圖輸入到3D可變形的Transformer編意力層利用3D可變形的多頭自注意力機(jī)制使3D可變形的Transformerr編碼器只關(guān)注空間點(diǎn)的采樣偏移量和注意力權(quán)重;中L(pq)表示將歸一化坐標(biāo)Pq轉(zhuǎn)換為素點(diǎn)的置信度作為過濾指標(biāo),分別對左心房分割預(yù)測心房分割預(yù)測圖;利用過濾后的左心房分割預(yù)6[0020]其中,9i[0]、9i[1]分別表示左心房分割預(yù)測圖的前景和背景,γ和β分別表示前景閾值和背景閾值;;表示偽標(biāo)簽,包括教師模型為學(xué)生模型提供的偽標(biāo)簽和學(xué)生模型為教師模型提供的偽標(biāo)簽9;左心房分割預(yù)測圖p?包括教師模型和學(xué)生模型的預(yù)測結(jié)果;[0021]跨模型相互教學(xué)的策略損失函數(shù)Lm定義為:表示教師模型的預(yù)測結(jié)果與偽標(biāo)簽的二交叉熵?fù)p失,LBCE(T,pS)表示學(xué)生模型的預(yù)測結(jié)果與偽標(biāo)簽的二交叉熵?fù)p失;[0024]模型訓(xùn)練總的損失函數(shù)表示為:[0029]式中,t表示模型當(dāng)前的訓(xùn)練步數(shù),tmx表示模型的最大訓(xùn)練步數(shù);[0030]S4、對同一張3D心臟核磁共振圖像生成的多張左心房分割預(yù)測圖按照原來的位置進(jìn)行3D重建,得到重建后的左心房分割預(yù)測圖;基于重建后的左心房分割預(yù)測圖,計(jì)算左心房的直徑、體積、體積指數(shù)和左心房球形度四種臨床指標(biāo),醫(yī)生將這些臨床指標(biāo)與正常參考值范圍進(jìn)行比較,并結(jié)合臨床經(jīng)驗(yàn)判斷患者是否有房顫,實(shí)現(xiàn)房顫的輔助分析。[0032]1、3D心臟核磁共振圖像中含有豐富的空間信息,有利于左心房的準(zhǔn)確分割。為了對3D心臟核磁共振圖像進(jìn)行分割,本發(fā)明在卷積神經(jīng)網(wǎng)絡(luò)中引入可變形的Transformer構(gòu)建左心房分割模型,充分利用CNN提取局部特征和Transformer可以對遠(yuǎn)程長依賴信息進(jìn)行建模,以提取空間信息的優(yōu)勢。與傳統(tǒng)的Transformer模塊相比,本發(fā)明的3D可變形的Transformer編碼器將左心房區(qū)域的像素點(diǎn)作為關(guān)鍵點(diǎn),使得3D可變形的Transformer編碼器只關(guān)注左心房區(qū)域所在的關(guān)鍵點(diǎn),而不管特征圖的空間大小。通過為每個(gè)查詢只分配少量固定數(shù)量的鍵,可以緩解收斂和特征空間分辨率的問題,減少計(jì)算量的同時(shí)加快了收斂[0033]2、在左心房分割模型與V-Net模型之間搭建跨模型相互教學(xué)的半監(jiān)督機(jī)制,能夠兼顧不同模型在同一數(shù)據(jù)上的信息類別,同時(shí)對預(yù)測結(jié)果設(shè)置了前景閾值和背景閾值,利用像素點(diǎn)的置信度對生成的偽標(biāo)簽進(jìn)行過濾,進(jìn)而提供準(zhǔn)確穩(wěn)定的偽標(biāo)簽,使兩個(gè)模型預(yù)測逐漸達(dá)到一致性,從而提高左心房分割模型的分割精度。同時(shí)解決了現(xiàn)有的教師-學(xué)生模型半監(jiān)督訓(xùn)練框架中,隨著訓(xùn)練次數(shù)的增加,教師模型會(huì)累積錯(cuò)誤的知識(shí),而不能提供更好的偽標(biāo)簽進(jìn)行監(jiān)督的問題。在分割過程中充分利用了大量未標(biāo)簽數(shù)據(jù),很大程度上緩解了模型對標(biāo)簽數(shù)據(jù)的依賴,減少了醫(yī)生對3DMRI數(shù)據(jù)的標(biāo)注時(shí)間和精力,減少人力成本。[0034]3、本發(fā)明通過左心房分割模型獲取左心房區(qū)域的圖像,并通過3D重建左心房分割結(jié)果得到左心房直徑、體積、體積指數(shù)和左心房球形度四種臨床指標(biāo),能夠幫助醫(yī)生在房顫7癥狀和心臟疾病方面的診斷,在臨床實(shí)踐中具有重要意義,有利于醫(yī)學(xué)自動(dòng)診斷技術(shù)從實(shí)驗(yàn)室到臨床應(yīng)用。附圖說明[0035]圖1為本發(fā)明的整體流程圖;[0036]圖2為本發(fā)明的左心房分割模型的結(jié)構(gòu)圖;[0038]圖4為本發(fā)明的3D可變形的Transformerr編碼器層的結(jié)構(gòu)圖。具體實(shí)施方式[0039]下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)描述,但并不以此限定本申請的保護(hù)范圍。[0040]本發(fā)明提供一種基于跨模型相互教學(xué)半監(jiān)督的房顫輔助分析方法(簡稱方法,參見圖1~4),具體包括以下步驟:[0041]S1、定義數(shù)據(jù)集:遵循標(biāo)準(zhǔn)的半監(jiān)督學(xué)習(xí)數(shù)據(jù)集設(shè)置,將數(shù)據(jù)集記為D,將標(biāo)簽數(shù)據(jù)集表示為D?={x?,y?},未標(biāo)簽數(shù)據(jù)集表示為D={x},其中x表示3D心臟核磁共振圖像,y?表示真實(shí)標(biāo)簽;選取20%的標(biāo)簽數(shù)據(jù)和80%的未標(biāo)簽數(shù)據(jù)用于模型訓(xùn)練,達(dá)到利用少量的標(biāo)簽數(shù)據(jù)和大量的未標(biāo)簽數(shù)據(jù)組成的樣本訓(xùn)練模型的目的;[0042]對數(shù)據(jù)集進(jìn)行增強(qiáng):目前醫(yī)學(xué)影像的數(shù)據(jù)集與動(dòng)輒幾千、幾萬張的自然圖像的數(shù)據(jù)集相比十分稀少,為了使模型的穩(wěn)健性更強(qiáng),在訓(xùn)練階段采用組合方式進(jìn)行數(shù)據(jù)增強(qiáng),包含隨機(jī)翻轉(zhuǎn)15°、對比度增強(qiáng)以及隨機(jī)裁剪等方式;在推理階段使用中心裁剪的方式進(jìn)行數(shù)據(jù)增強(qiáng),將待分割的3D心臟核磁共振圖像裁剪為240*240*80像素;[0043]S2、引入可變形的Transformer,構(gòu)建左心房分割模型;左心房分割模型包括基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器、3D可變形的Transformer編碼器和基于卷積神經(jīng)網(wǎng)絡(luò)的解碼器,參見圖2;[0044]S21、基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器包括四個(gè)級聯(lián)的編碼器層,每個(gè)編碼器層均包含級聯(lián)的卷積層、歸一化層、激活層和下采樣層;卷積層的卷積核大小為2*2*2,步長為2;激活層采用PRELU激活函數(shù),歸一化層采用BatchNorm層歸一化函數(shù);經(jīng)過卷積特征圖的通道數(shù)會(huì)增加一倍,分辨率減少一半;將待分割的3D心臟核磁共振圖像輸入到基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器中進(jìn)行特征提取,得到多尺度空間特征圖,多尺度空間特征圖編碼器層數(shù)量,F(xiàn)CNN(.)表示基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器,[0047]S22、3D可變形的Transformer編碼器由多個(gè)3D可變形的Transformer編碼器層堆疊而成(本實(shí)施例為8個(gè)),每個(gè)3D可變形的Transformerr編碼器層均包括級聯(lián)的自注意力8層、歸一化層、前向反饋層和歸一化層,自注意力層和前向反饋層均采用殘差連接,參見圖3;將基于卷積神經(jīng)網(wǎng)絡(luò)的編碼器的第二~四個(gè)編碼器層提取的空間特征圖輸入到3D可變形的Transformer編碼器中,得到Transformer編碼器提取的空間特征圖,進(jìn)而提取到3D心臟核磁共振圖像之間的長依賴信息;[0048]Transformer是一種基于多頭注意機(jī)制的網(wǎng)絡(luò)架構(gòu),主要應(yīng)用于自然語言處理,由于其在長依賴信息中的優(yōu)勢,在處理視覺任務(wù)中也取得了不錯(cuò)的效果;在Transformer模塊中,給定一個(gè)查詢元素(例如分割區(qū)域的一個(gè)像素點(diǎn))和一組關(guān)鍵元素(例如待分割圖像中的像素點(diǎn)),多頭注意力機(jī)制根據(jù)注意力權(quán)重自適應(yīng)地聚合關(guān)鍵元素查詢的匹配程度;為了讓模型關(guān)注來自不同表示子空間和不同位置的內(nèi)容,多頭注意力機(jī)制將不同注意力頭的輸出與可學(xué)習(xí)的注意力權(quán)重進(jìn)行線性聚合;本申請?jiān)趥鹘y(tǒng)Transformer模塊的基礎(chǔ)上進(jìn)行改進(jìn),得到3D可變形的Transformer模塊,一方面為了解決傳統(tǒng)Transformer模塊在收斂之前方面為了解決傳統(tǒng)Transformer模塊計(jì)算的是圖像所有數(shù)據(jù)的權(quán)重,多頭注意力的計(jì)算和記憶復(fù)雜度很高,如果有許多查詢和關(guān)鍵元素,會(huì)使得計(jì)算量非常大難以適用于3D醫(yī)學(xué)影像的問題;[0049]因此,3D可變形的Transformer編碼器首先通過3D位置編碼器對輸入的空間特征圖進(jìn)行扁平化,同時(shí)將空間特征圖中左心房區(qū)域的像素點(diǎn)作為關(guān)鍵點(diǎn);3D位置編碼器的表達(dá)式為:像素點(diǎn)的索引編號;[0052]然后,將扁平化后的空間特征圖和關(guān)鍵點(diǎn)輸入到自注意力層中,自注意力層通過3D可變形的多頭自注意力機(jī)制使3D可變形的Transformerr編碼器只關(guān)注空間特征圖的部分像素點(diǎn);3D可變形的自注意力機(jī)制是將注意力機(jī)制在Z軸方向(即增加一個(gè)通道)拓展得[0054]式中,TDDeforattn(zq,Pq,{f3}{=2)表示3D可變形的多頭注意力機(jī)制,z表示像素的自注意力頭索引編號,M表示自注意力頭數(shù),L表示空間特征圖數(shù)量,W、W′均表示單位矩點(diǎn)的采樣偏移量和注意力權(quán)重;φ(pq)表示將歸一化坐標(biāo)Pq轉(zhuǎn)換為對應(yīng)的第1個(gè)空間特征[0055]S23、基于卷積神經(jīng)網(wǎng)絡(luò)的解碼器包括四個(gè)級聯(lián)的解碼器層,前三個(gè)解碼器層均采用卷積核大小為2*2*2,步長為2的轉(zhuǎn)置卷積,將Transformer編碼器提取的空間特征圖返回到輸入分辨率;最后一個(gè)解碼器層為上采樣層,用于輸出左心房分割預(yù)測圖;為了保留更多的底層細(xì)節(jié),基于卷積神經(jīng)

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論